KR102414873B1 - The autonomous driving system using smart pole having lidar sensor - Google Patents
The autonomous driving system using smart pole having lidar sensor Download PDFInfo
- Publication number
- KR102414873B1 KR102414873B1 KR1020210063344A KR20210063344A KR102414873B1 KR 102414873 B1 KR102414873 B1 KR 102414873B1 KR 1020210063344 A KR1020210063344 A KR 1020210063344A KR 20210063344 A KR20210063344 A KR 20210063344A KR 102414873 B1 KR102414873 B1 KR 102414873B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- autonomous driving
- smart
- map
- control server
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000006866 deterioration Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Transportation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
실시예들은 자율주행 시스템에서 자율주행 정보를 제공하는 방법을 제공할 수 있다. 이때, 자율주행 정보를 제공하는 방법은 제어서버가 라이다 센서를 포함하고 고정된 지리적 위치에 설치된 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하는 단계, 제어서버가 고정밀 지도 관련 정보를 통해 HD map을 제작하는 단계 및 제어서버가 복수 개의 자율주행 차량으로 제작된 HD map을 전달하는 단계를 포함할 수 있다.Embodiments may provide a method for providing autonomous driving information in an autonomous driving system. At this time, the method of providing autonomous driving information includes the steps of: the control server receiving high-precision map-related information from a plurality of smart poles installed in fixed geographic locations including lidar sensors; It may include the step of producing a , and the control server transmitting the HD map produced by a plurality of autonomous vehicles.
Description
실시예들은 라이다 센서(Lidar sensor)를 포함하는 스마트폴을 이용한 자율주행 시스템에 대한 것이다. 보다 상세하게는, 스마트폴을 이용하여 자율주행을 위한 맵을 제작하고, 이에 기초하여 서비스를 제공하는 시스템에 대한 것이다.Embodiments relate to an autonomous driving system using a smart pole including a lidar sensor. More specifically, it relates to a system for producing a map for autonomous driving using a smart pole and providing a service based thereon.
최근 자율주행 차량이 증가하고 있으며, 자율주행에 대한 연구가 활발하게 이루어지고 있다. 자율주행은 운전자 보조가 필요한 자율주행부터 완전 자율주행까지 각각의 단계로 구분될 수 있으며, 완전 자율주행을 목표로 지속적인 연구가 수행되고 있다.Recently, the number of autonomous driving vehicles is increasing, and research on autonomous driving is being actively conducted. Autonomous driving can be divided into stages from autonomous driving that requires driver assistance to fully autonomous driving, and continuous research is being conducted with the goal of fully autonomous driving.
구체적으로, 자율주행은 차량에 부착된 센서, 차량 간 통신 및 클라우드 시스템에 기초하여 주행에 필요한 정보를 획득하고, 이에 기초하여 자동으로 주행하는 시스템일 수 있다. 다만, 차량에 부착된 센서 및 차량 간 통신으로 주행 중에 필요한 정보를 획득하는데 한계가 있으며, 이를 위해 차량 주변 장치들을 활용하는 방법이 필요할 수 있다. 상술한 점을 고려하여 하기에서는 라이다 센서를 포함하는 스마트 폴을 이용한 자율주행 시스템에 대해 서술한다. Specifically, autonomous driving may be a system for acquiring information necessary for driving based on a sensor attached to a vehicle, inter-vehicle communication, and a cloud system, and automatically driving based on this. However, there is a limit to acquiring information required while driving through communication between a sensor attached to the vehicle and the vehicle, and for this purpose, a method of utilizing peripheral devices of the vehicle may be required. In consideration of the above, an autonomous driving system using a smart pole including a lidar sensor will be described below.
본 명세서는 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템을 제공할 수 있다.The present specification may provide an autonomous driving system using a smart pole having a lidar sensor.
본 명세서는 라이다 센서를 가지는 스마트폴로부터 주행 관련 정보를 수신하고, 자율주행을 제어하는 제어 서버를 제공할 수 있다.The present specification may provide a control server that receives driving-related information from a smart pole having a lidar sensor and controls autonomous driving.
본 명세서는 자율주행을 제어하는 제어 서버에 기초하여 자율주행을 수행하는 차량을 제공할 수 있다.The present specification may provide a vehicle that performs autonomous driving based on a control server that controls autonomous driving.
본 명세서는 스마트폴을 이용하여 주행 관련 정보를 획득하는 방법을 제공할 수 있다.The present specification may provide a method of acquiring driving-related information using a smart pole.
본 명세서의 해결하고자 하는 과제는 상술한 바에 한정되지 아니하고, 하기에서 설명하는 발명의 실시예들에 의해 도출될 수 있는 다양한 사항들로 확장될 수 있다.The problem to be solved in the present specification is not limited to the above, but may be extended to various matters that can be derived by the embodiments of the invention described below.
본 명세서의 일 실시예에 따라, 자율주행 정보를 제공하는 자율주행 시스템을 제공할 수 있다. 이때, 자율주행 시스템은 라이다 센서를 포함하고, 고정된 지리적 위치에 설치된 복수 개의 스마트폴 및 상기 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하고, 상기 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하여 복수 개의 자율주행 차량으로 상기 HD map을 제공하는 제어서버를 포함할 수 있다.According to an embodiment of the present specification, an autonomous driving system providing autonomous driving information may be provided. In this case, the autonomous driving system includes a lidar sensor, receives a plurality of smart poles installed in a fixed geographic location, and high-precision map-related information from the plurality of smart poles, and uses the high-precision map-related information to obtain a high-definition map (HD map). , High Definition map) may include a control server that provides the HD map to a plurality of autonomous vehicles.
또한, 본 명세서의 일 실시예에 따라, 자율주행 시스템에서 자율주행 정보를 제공하는 방법에 있어서, 제어서버가 라이다 센서를 포함하고 고정된 지리적 위치에 설치된 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하는 단계, 상기 제어서버가 상기 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하는 단계 및 상기 제어서버가 복수 개의 자율주행 차량으로 상기 제작된 HD map을 전달하는 단계를 포함할 수 있다. In addition, according to an embodiment of the present specification, in the method for providing autonomous driving information in an autonomous driving system, the control server includes a lidar sensor and receives high-precision map-related information from a plurality of smart poles installed in fixed geographic locations. receiving, the control server producing a high-definition map (HD map) through the high-precision map-related information, and the control server transmitting the produced HD map to a plurality of autonomous vehicles may include
이때, 본 명세서의 일 실시예에 따라, 상기 복수 개의 스마트폴은 상기 라이더 센서 및 적어도 어느 하나 이상의 센서를 포함하고, 상기 복수 개의 스마트폴 중 제 1 스마트폴은 상기 라이더 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 1 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되, 상기 제 1 영역은 라이더 센서 및 상기 적어도 어느 하나 이상의 센서의 센싱 각도 및 빔스티어링에 기초하여 상이하게 설정될 수 있다.At this time, according to an embodiment of the present specification, the plurality of smart poles include the lidar sensor and at least one sensor, and a first smart pole among the plurality of smart poles includes the lidar sensor and the at least one or more sensors. A first area is sensed based on a sensor, and the high-precision map-related information obtained based on the sensing is transmitted to the control server, wherein the first area is a lidar sensor and a sensing angle and a beam of the at least one sensor. It can be set differently based on the steering.
또한, 본 명세서의 일 실시예에 따라, 상기 제 1 영역은 상기 제 1 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정될 수 있다.In addition, according to an embodiment of the present specification, the first area is at least one of location information, traffic situation information, road condition information, object recognition/determination information, HD Map information, and congestion level information of the first smart pole. It may be set differently based on
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 스마트폴 중 제 2 스마트폴은 상기 라이더 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 2 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되, 상기 제 2영역은 상기 제 2 스마트폴의 위치 정보, 상기 교통상황 정보, 상기 도로 상태 정보, 상기 오브젝트 인지/판단 정보, 상기 HD Map 정보 및 상기 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정되고, 상기 제어서버는 상기 제 1 스마트폴로부터 획득한 고정밀 지도 관련 정보 및 상기 제 2 스마트폴로부터 획득한 고정밀 지도 관련 정보에 기초하여 상기 HD map을 제작할 수 있다.In addition, according to an embodiment of the present specification, the second smart pole among the plurality of smart poles senses a second area based on the lidar sensor and the at least one or more sensors, and the obtained based on the sensing High-precision map-related information is transmitted to the control server, and the second area includes the location information of the second smart pole, the traffic situation information, the road condition information, the object recognition/determination information, the HD Map information, and the congestion level. It is set differently based on at least one of the information, and the control server produces the HD map based on the high-precision map-related information obtained from the first smart pole and the high-precision map-related information obtained from the second smart pole. can
또한, 본 명세서의 일 실시예에 따라, 상기 적어도 어느 하나의 센서는 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서 및 습도센서 중 적어도 어느 하나 이상을 포함하고, 상기 적어도 어느 하나의 센서에 기초하여 상기 제 1 영역 내의 오브젝트들의 이미지 정보, 오브젝트의 윤곽 정보, 온도 정보, 열화상 정보 및 밝기 정보 중 적어도 하나 이상을 센싱하고, 센싱된 정보에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송할 수 있다.In addition, according to an embodiment of the present specification, the at least one sensor includes at least any one or more of a radar sensor, a camera sensor, a thermal image sensor, a light quantity sensor, a temperature sensor, and a humidity sensor, Sensing at least one of image information of objects in the first area, object contour information, temperature information, thermal image information, and brightness information based on a sensor, and obtaining the high-precision map-related information obtained based on the sensed information may be transmitted to the control server.
또한, 본 명세서의 일 실시예에 따라, 상기 제 1 영역 내의 오브젝트들은 고정 오브젝트 및 이동 오브젝트로 구별되고, 상기 제 1 스마트폴이 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하는 경우, 고정 오브젝브 정보 및 이동 오브젝트 정보는 구별하여 전송될 수 있다.In addition, according to an embodiment of the present specification, objects in the first area are divided into fixed objects and moving objects, and when the first smart pole transmits the high-precision map-related information to the control server, a fixed object Information and moving object information may be transmitted separately.
또한, 본 명세서의 일 실시예에 따라, 상기 이동 오브젝트에 대한 정보는 오브젝트의 종류 정보, 오브젝트의 이동방향 정보, 오브젝트의 기존속도 정보 및 오브젝트 자세 정보 중 적어도 어느 하나 이상을 포함할 수 있다.In addition, according to an embodiment of the present specification, the information on the moving object may include at least one of object type information, object movement direction information, existing speed information of the object, and object posture information.
또한, 본 명세서의 일 실시예에 따라, 상기 이동 오브젝트 정보는 실시간으로 업데이트되되, 상기 이동 오브젝트 정보는 상기 고정 오브젝트 정보와 비교하여 업데이트될 수 있다.Also, according to an embodiment of the present specification, the moving object information may be updated in real time, and the moving object information may be updated by comparing it with the fixed object information.
또한, 본 명세서의 일 실시예에 따라, 스마트폴은 가로등 형태, 지하 출입구 형태, 차량 펜스 형태, 건물 형태 및 버스 정거장 형태 중 적어도 어느 하나에 기초하여 설정될 수 있다.In addition, according to an embodiment of the present specification, the smart pole may be set based on at least one of a street lamp shape, an underground entrance shape, a vehicle fence shape, a building shape, and a bus stop shape.
또한, 본 명세서의 일 실시예에 따라, 상기 제어서버는 상기 복수 개의 스마트폴로부터 복수 개의 상기 고정밀 지도 관련 정보를 획득하고, 상기 획득한 고정밀 지도 관련 정보를 이용하여 빅데이터를 구축하고, 상기 구축된 빅데이터에 대한 기계학습을 통해 상기 HD map을 업데이트할 수 있다.In addition, according to an embodiment of the present specification, the control server acquires a plurality of the high-precision map-related information from the plurality of smart poles, builds big data using the acquired high-precision map-related information, and the construction The HD map can be updated through machine learning on the big data.
또한, 본 명세서의 일 실시예에 따라, 상기 제어서버는 상기 수행된 기계학습에 기초하여 교통신호체계 정보를 변경할 수 있다.In addition, according to an embodiment of the present specification, the control server may change the traffic signal system information based on the performed machine learning.
또한, 본 명세서의 일 실시예에 따라, 상기 제어서버가 상기 HD map을 상기 복수 개의 자율주행 차량에 제공하는 경우, 상기 제어서버는 상기 HD map 제공 여부를 상기 복수 개의 자율주행 차량으로 문의하고, 상기 HD map 제공 여부를 동의한 자율주행 차량으로 상기 HD map를 제공할 수 있다.In addition, according to an embodiment of the present specification, when the control server provides the HD map to the plurality of autonomous vehicles, the control server inquires whether to provide the HD map to the plurality of autonomous vehicles, The HD map may be provided to an autonomous vehicle that has agreed to provide the HD map.
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 스마트폴은 자율주행 관련 정보를 더 센싱하고, 상기 센싱된 자율주행 관련 정보를 상기 제어서버로 전송하고, 상기 제어서버는 상기 전송된 자율주행 관련 정보에 처리하여 자율주행 정보를 생성하여 상기 복수 개의 자율주행 차량으로 제공할 수 있다.In addition, according to an embodiment of the present specification, the plurality of smart poles further sense autonomous driving-related information, and transmit the sensed autonomous driving-related information to the control server, and the control server may further sense the autonomous driving-related information. The autonomous driving information may be generated by processing the related information and provided to the plurality of autonomous driving vehicles.
또한, 본 명세서의 일 실시예에 따라, 상기 자율주행 정보는 상기 HD map에 기초하여 제공될 수 있다.Also, according to an embodiment of the present specification, the autonomous driving information may be provided based on the HD map.
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 자율주행 차량은 상기 자율주행 시스템과 인증을 수행하고, 상기 제어서버는 상기 자율주행 시스템에 기초하여 상기 복수개 의 자율주행 차량 중 인증된 자율주행 차량으로만 상기 HD map을 전송할 수 있다.In addition, according to an embodiment of the present specification, the plurality of autonomous driving vehicles perform authentication with the autonomous driving system, and the control server performs authenticated autonomous driving among the plurality of autonomous driving vehicles based on the autonomous driving system. Only the vehicle can transmit the HD map.
또한, 본 명세서의 일 실시예에 따라, 상기 복수 개의 자율주행 차량 중 제 1 자율주행 차량이 상기 자율주행 시스템과 인증을 수행하는 경우, 상기 제 1 자율주행 차량이 턴-온되면 상기 자율주행 시스템으로 상기 제 1자율주행 차량의 식별 정보를 포함하는 인증 요청 메시지를 전송하고, 상기 자율주행 시스템은 상기 인증 요청 메시지의 상기 제1 자율주행 차량의 식별 정보에 기초하여 인증을 수행하고, 상기 인증이 완료되면 상기 HD map을 포함하는 인증 완료 메시지를 상기 제 1 자율주행 차량으로 전송할 수 있다.Also, according to an embodiment of the present specification, when a first autonomous driving vehicle among the plurality of autonomous driving vehicles performs authentication with the autonomous driving system, when the first autonomous driving vehicle is turned on, the autonomous driving system to transmit an authentication request message including the identification information of the first autonomous driving vehicle, the autonomous driving system performs authentication based on the identification information of the first autonomous driving vehicle in the authentication request message, and the authentication is performed Upon completion, an authentication completion message including the HD map may be transmitted to the first autonomous vehicle.
본 명세서는 라이다 센서를 가지는 스마트폴을 이용한 자율주행 시스템을 제공할 수 있다.The present specification may provide an autonomous driving system using a smart pole having a lidar sensor.
본 명세서는 라이다 센서를 가지는 스마트폴로부터 주행 관련 정보를 수신하고, 자율주행을 제어하는 제어 서버를 제공할 수 있다.The present specification may provide a control server that receives driving-related information from a smart pole having a lidar sensor and controls autonomous driving.
본 명세서는 자율주행을 제어하는 제어 서버에 기초하여 자율주행을 수행하는 차량을 제공할 수 있다.The present specification may provide a vehicle that performs autonomous driving based on a control server that controls autonomous driving.
본 명세서는 스마트폴을 이용하여 주행 관련 정보를 획득하는 방법을 제공할 수 있다.The present specification may provide a method of acquiring driving-related information using a smart pole.
본 명세서의 효과는 위 기재된 사항에 한정되지 아니하며, 아래 발명의 실시예들에 대한 상세한 설명으로부터 도출될 수 있는 다양한 내용들로 확장될 수 있음이 이해되어야 한다.It should be understood that the effect of the present specification is not limited to the matters described above, and may be extended to various contents that can be derived from the detailed description of the embodiments of the present invention below.
도 1은 본 명세서의 일실시예에 따른 시스템의 동작 환경의 예를 도시한 도면이다.
도 2는 본 명세서의 일실시예에 있어서 컴퓨팅 장치(200)의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 명세서의 일실시예에 있어서 주행 관련 정보를 처리하는 방법을 나타낸 도면이다.
도 4a는 본 명세서의 일실시예에 있어서 스마트폴을 나타낸 도면이다.
도 4b는 본 명세서의 일실시예에 있어서 스마트폴을 나타낸 도면이다.
도 4c는 본 명세서의 일실시예에 있어서 스마트폴을 나타낸 도면이다.
도 5a는 본 명세서의 일실시예에 있어서 스마트폴의 센싱 방법을 나타낸 도면이다.
도 5b는 본 명세서의 일실시예에 있어서 스마트폴의 센싱 방법을 나타낸 도면이다.
도 6은 본 명세서의 일실시예에 있어서 자율주행 단계를 나타낸 도면이다.
도 7은 본 명세서의 일실시예에 있어서 자율주행 시스템을 나타낸 도면이다.
도 8은 본 명세서의 일실시예에 있어서 자율주행 시스템을 나타낸 도면이다.
도 9는 본 명세서의 일실시예에 있어서 자율주행 시스템을 나타낸 도면이다.
도 10은 본 명세서의 일실시예에 있어서 자율주행 차량 동작 방법을 나타낸 도면이다.
도 11은 본 명세서의 일실시예에 있어서 데이터 처리 방법을 나타낸 도면이다.
도 12는 본 명세서의 일실시예에 있어서 데이터 처리 방법을 나타낸 도면이다.
도 13은 본 명세서의 일실시예에 있어서 데이터 처리 방법을 나타낸 도면이다.
도 14a는 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 자율 주행을 제어하는 방법을 나타낸 도면이다.
도 14b는 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 자율 주행을 제어하는 방법을 나타낸 도면이다.
도 15는 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 주행 관련 정보를 획득하는 장치들을 나타낸 도면이다.
도 16은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 차량을 제어하는 방법을 나타낸 도면이다.
도 17은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 주행 관련 정보를 획득하는 장치들을 나타낸 도면이다.
도 18은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 제어 서버의 동작을 나타낸 순서도이다.1 is a diagram illustrating an example of an operating environment of a system according to an embodiment of the present specification.
2 is a block diagram illustrating an internal configuration of the
3 is a diagram illustrating a method of processing driving-related information according to an embodiment of the present specification.
Figure 4a is a view showing a smart pole in an embodiment of the present specification.
Figure 4b is a view showing a smart pole in an embodiment of the present specification.
Figure 4c is a view showing a smart pole in an embodiment of the present specification.
5A is a diagram illustrating a sensing method of a smart pole according to an embodiment of the present specification.
5B is a diagram illustrating a sensing method of a smart pole according to an embodiment of the present specification.
6 is a diagram illustrating an autonomous driving step according to an embodiment of the present specification.
7 is a diagram illustrating an autonomous driving system according to an embodiment of the present specification.
8 is a diagram illustrating an autonomous driving system according to an embodiment of the present specification.
9 is a diagram illustrating an autonomous driving system according to an embodiment of the present specification.
10 is a diagram illustrating a method of operating an autonomous driving vehicle according to an embodiment of the present specification.
11 is a diagram illustrating a data processing method according to an embodiment of the present specification.
12 is a diagram illustrating a data processing method according to an embodiment of the present specification.
13 is a diagram illustrating a data processing method according to an embodiment of the present specification.
14A is a diagram illustrating a method of controlling autonomous driving based on an autonomous driving system according to an embodiment of the present specification.
14B is a diagram illustrating a method of controlling autonomous driving based on an autonomous driving system according to an embodiment of the present specification.
15 is a diagram illustrating devices for acquiring driving-related information based on an autonomous driving system according to an embodiment of the present specification.
16 is a diagram illustrating a method of controlling a vehicle based on an autonomous driving system according to an embodiment of the present specification.
17 is a diagram illustrating devices for acquiring driving-related information based on an autonomous driving system according to an embodiment of the present specification.
18 is a flowchart illustrating an operation of a control server based on an autonomous driving system according to an embodiment of the present specification.
본 명세서의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 명세서의 실시예에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. In the description of the embodiments of the present specification, if it is determined that a detailed description of a known configuration or function may obscure the gist of the embodiment of the present specification, a detailed description thereof will be omitted. In addition, in the drawings, parts not related to the description of the embodiments of the present specification are omitted, and similar reference numerals are attached to similar parts.
본 명세서의 실시예에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다. In the embodiments of the present specification, when a component is "connected", "coupled" or "connected" with another component, it is not only a direct connection relationship, but also an indirect relationship where another component exists in the middle. It can also include human connections. In addition, when a component is said to "include" or "have" another component, it means that another component may be further included without excluding other components unless otherwise stated. .
본 명세서의 실시예에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 명세서의 실시예의 범위 내에서 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다. In the embodiments of the present specification, terms such as first, second, etc. are used only for the purpose of distinguishing one component from other components, and unless otherwise specified, do not limit the order or importance between the components. does not Accordingly, within the scope of the embodiments herein, a first component in an embodiment may be referred to as a second component in another embodiment, and similarly, a second component in an embodiment is referred to as a first component in another embodiment. can also be called
본 명세서의 실시예에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 명세서의 실시예의 범위에 포함된다. In the embodiment of the present specification, the components that are distinguished from each other are for clearly explaining each characteristic, and the components do not necessarily mean that the components are separated. That is, a plurality of components may be integrated to form one hardware or software unit, or one component may be distributed to form a plurality of hardware or software units. Accordingly, even if not specifically mentioned, such integrated or dispersed embodiments are also included in the scope of the embodiments of the present specification.
본 명세서에서 네트워크는 유무선 네트워크를 모두 포함하는 개념일 수 있다. 이때, 네트워크는 디바이스와 시스템 및 디바이스 상호 간의 데이터 교환이 수행될 수 있는 통신망을 의미할 수 있으며, 특정 네트워크로 한정되는 것은 아니다. In the present specification, the network may be a concept including both wired and wireless networks. In this case, the network may mean a communication network in which data exchange between the device and the system and devices can be performed, and is not limited to a specific network.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다. Embodiments described herein may have aspects that are entirely hardware, partly hardware and partly software, or entirely software. As used herein, "unit," "device," or "system," or the like, refers to hardware, a combination of hardware and software, or a computer-related entity, such as software. For example, as used herein, a part, module, device, or system is a running process, a processor, an object, an executable, a thread of execution, a program, and/or a computer. (computer), but is not limited thereto. For example, both an application running on a computer and a computer may correspond to a part, module, device, or system of the present specification.
또한, 본 명세서에서 디바이스는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 HMD(Head Mounted Display)와 같이 모바일 디바이스뿐만 아니라, PC나 디스플레이 기능을 구비한 가전처럼 고정된 디바이스일 수 있다. 또한, 일 예로, 디바이스는 차량 내 장치, 또는 IoT (Internet of Things) 디바이스일 수 있다. 즉, 본 명세서에서 디바이스는 어플리케이션 동작이 가능한 기기들을 지칭할 수 있으며, 특정 타입으로 한정되지 않는다. 하기에서는 설명의 편의를 위해 어플리케이션이 동작하는 기기를 디바이스로 지칭한다.In addition, in the present specification, the device may be a mobile device such as a smart phone, a tablet PC, a wearable device, and a head mounted display (HMD), as well as a fixed device such as a PC or home appliance having a display function. Also, as an example, the device may be an in-vehicle device or an Internet of Things (IoT) device. That is, in the present specification, a device may refer to devices capable of operating an application, and is not limited to a specific type. Hereinafter, for convenience of description, a device in which an application operates is referred to as a device.
본 명세서에 있어서 네트워크의 통신 방식은 제한되지 않으며, 각 구성요소간 연결이 동일한 네트워크 방식으로 연결되지 않을 수도 있다. 네트워크는, 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 5G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 유선 및/또는 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.In the present specification, the communication method of the network is not limited, and the connection between each component may not be connected in the same network method. The network may include not only a communication method using a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network, a satellite network, etc.) but also short-range wireless communication between devices. For example, the network may include all communication methods through which an object and an object can network, and is not limited to wired communication, wireless communication, 3G, 4G, 5G, or other methods. For example, a wired and/or network may be a Local Area Network (LAN), a Metropolitan Area Network (MAN), a Global System for Mobile Network (GSM), an Enhanced Data GSM Environment (EDGE), a High Speed Downlink Packet Access (HSDPA), W-CDMA (Wideband Code Division Multiple Access), CDMA (Code Division Multiple Access), TDMA (Time Division Multiple Access), Bluetooth, Zigbee, Wi-Fi, VoIP (Voice over) Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX (World Interoperability for Microwave Access), and ultrasonic-based communication can refer to a communication network by one or more communication methods selected from the group consisting of However, the present invention is not limited thereto.
다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 명세서의 실시예의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 명세서의 실시예의 범위에 포함된다.Components described in various embodiments do not necessarily mean essential components, and some may be optional components. Accordingly, an embodiment composed of a subset of the components described in the embodiment is also included in the scope of the embodiment of the present specification. In addition, embodiments including other components in addition to the components described in various embodiments are also included in the scope of the embodiments of the present specification.
이하에서, 도면을 참조하여 본 명세서의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present specification will be described in detail with reference to the drawings.
도 1은 본 명세서의 일실시예에 따른 시스템의 동작 환경의 예를 도시한 도면이다. 도 1을 참조하면 사용자 디바이스(110), 하나 이상의 서버(120, 130, 140)가 네트워크(1)를 통해 연결되어 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 디바이스의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.1 is a diagram illustrating an example of an operating environment of a system according to an embodiment of the present specification. Referring to FIG. 1 , a user device 110 and one or
사용자 디바이스(110)는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 디바이스(110)는 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 일례로 실시예들에서 사용자 디바이스(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(1)를 통해 다른 서버들(120 - 140)과 통신할 수 있는 다양한 물리적인 컴퓨터 시스템들 중 하나를 의미할 수 있다.The user device 110 may be a fixed terminal implemented as a computer system or a mobile terminal. The user device 110 is, for example, a smart phone, a mobile phone, a navigation system, a computer, a laptop computer, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), a tablet PC, a game console (game). console), a wearable device, an Internet of things (IoT) device, a virtual reality (VR) device, and an augmented reality (AR) device. In one example embodiments, the user device 110 may actually use one of a variety of physical computer systems capable of communicating with the other servers 120 - 140 over the
각 서버는 사용자 디바이스(110)와 네트워크(1)를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버는 네트워크(1)를 통해 접속한 사용자 디바이스(110)로 각각의 서비스를 제공하는 시스템일 수 있다. 보다 구체적인 예로, 서버는 사용자 디바이스(110)에 설치되어 구동되는 컴퓨터 프로그램으로서의 어플리케이션을 통해, 해당 어플리케이션이 목적하는 서비스(일례로, 정보 제공 등)를 사용자 디바이스(110)로 제공할 수 있다. 다른 예로, 서버는 상술한 어플리케이션의 설치 및 구동을 위한 파일을 사용자 디바이스(110)로 배포하고 사용자 입력 정보를 수신해 대응하는 서비스를 제공할 수 있다.Each server may be implemented as a computer device or a plurality of computer devices that communicate with the user device 110 and the
도 2는 본 명세서의 일실시예에 있어서 컴퓨팅 장치(200)의 내부 구성을 설명하기 위한 블록도이다. 이러한 컴퓨팅 장치(200)는 도1을 참조하여 상술한 하나 이상의 사용자 디바이스(110-1, 110-2) 또는 서버(120-140)에 적용될 수 있으며, 각 장치와 서버들은 일부 구성요소를 더 하거나 제외하여 구성됨으로써 동일하거나 유사한 내부 구성을 가질 수 있다. 2 is a block diagram illustrating an internal configuration of the
도 2를 참조하면 컴퓨팅 장치(200)는 메모리(210), 프로세서(220), 통신 모듈(230) 그리고 송수신부(240)를 포함할 수 있다. 메모리(210)는 비-일시적인 컴퓨터 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 상술한 장치나 서버에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 사용자 디바이스(110) 등에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 사용자 디바이스(110) 등에 설치된 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. Referring to FIG. 2 , the
다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로, 상술한 서버)이 네트워크(1)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(210)에 로딩될 수 있다.In another embodiment, the software components may be loaded into the
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The
통신 모듈(230)은 네트워크(1)를 통해 사용자 기기(110)와 서버(120 -140)가 서로 통신하기 위한 기능을 제공할 수 있으며, 장치(110) 및/또는 서버(120 - 140) 각각이 다른 전자 기기와 통신하기 위한 기능을 제공할 수 있다. The
송수신부(240)는 외부 입력/출력장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 외부 입력장치는 키보드, 마우스, 마이크로폰, 카메라 등의 장치를, 그리고 외부 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. The
다른 예로 송수신부(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. As another example, the
또한, 다른 실시예들에서 컴퓨팅 장치(200)는 적용되는 장치의 성질에 따라서 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 예를 들어, 컴퓨팅 장치(200)가 사용자 디바이스(110)에 적용되는 경우 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 사용자 디바이스가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 더 포함되도록 구현될 수 있다.Also, in other embodiments, the
하기에서 차량 및 스마트폴은 도 1에 기초하여 제어서버와 통신을 수행하고 데이터를 공유하는 디바이스일 수 있다. 즉, 하기에서 서술하는 차량 및 스마트폴은 도 1의 사용자 디바이스일 수 있으나 상술한 실시예로 한정되지 않는다. 또한, 자율주행 시스템에 기초하여 동작하는 제어서버는 상술한 서버들 중 하나의 타입일 수 있다. 하기에서는 설명의 편의를 위해 차량, 스마트폴 및 제어 서버를 포함하는 자율주행 시스템에 기초하여 서술하지만, 상기 구성들은 특정 타입의 디바이스로 제한되는 것은 아닐 수 있다.Hereinafter, the vehicle and the smart pole may be devices that communicate with the control server and share data based on FIG. 1 . That is, the vehicle and smart pole described below may be the user device of FIG. 1 , but are not limited to the above-described embodiment. In addition, the control server operating based on the autonomous driving system may be one type of the above-described servers. Hereinafter, for convenience of description, description will be made based on an autonomous driving system including a vehicle, a smart pole, and a control server, but the configurations may not be limited to a specific type of device.
또한, 일 예로, 차량, 스마트폴 및 제어서버는 도 2의 컴퓨팅 장치에 기초하여 동작할 수 있다. 즉, 각각의 구성들은 메모리, 프로세서, 통신 모듈 및 송수신부와 그 밖의 구성에 기초하여 동작하는 컴퓨팅 장치일 수 있다. 하기에서는 설명의 편의를 위해 차량, 스마트폴 및 제어 서버를 포함하는 자율주행 시스템에 기초하여 서술하지만, 상기 구성들은 컴퓨팅 장치로서 다양한 구성들을 포함할 수 있으며, 특정 컴퓨팅 장치로 한정되는 것은 아닐 수 있다.Also, as an example, the vehicle, the smart pole, and the control server may operate based on the computing device of FIG. 2 . That is, each of the components may be a computing device operating based on a memory, a processor, a communication module, a transceiver, and other components. The following description is based on an autonomous driving system including a vehicle, a smart pole, and a control server for convenience of explanation, but the configurations may include various configurations as computing devices, and may not be limited to a specific computing device. .
일 예로, 기존 자율주행 시스템에서는 차량에 라이다 센서가 설치되어 운용될 수 있었다. 여기서, 라이다 (LiDAR: Light Detection And Ranging) 센서는 레이저를 이용해 물체까지의 거리를 측정하는 센서를 의미할 수 있다. 라이다 센서는 촬영 대상 개체의 표면과 검출 범위에 레이저를 조사한 후 반사되는 신호를 분석해 거리 및 개체의 속성을 측정할 수 있다. 라이다 센서는 단순 거리 측정뿐만 아니라 물체의 형상까지도 정밀하게 파악할 수 있다. 즉, 라이다 센서는 물체 인식 능력이 뛰어날 수 있으며, 기존에는 라이다 센서가 설치된 차량에 기초하여 주행 관련 정보가 획득될 수 있었다. 이때, 차량은 주변 지형 및 사물을 실시간으로 탐지하여 3차원 매핑을 하기 위해 필수적으로 사용하는 센서로 활용하고, 그 밖에도 라이다 센서를 통해 보행자나 도로 위 장애물 등을 인지할 수 있었다. 다만, 일 예로, 라이다 센서를 활용하는 차량은 기술 및 가격 이슈에 기초하여 사용에 제약이 클 수 있다. 보다 상세하게는, 도 3에서처럼 라이다 센서가 부착된 특수 차량(310)을 통해서만 주행 관련 정보가 획득될 수 있었으며, 이에 따라 자율주행 시스템에는 한계가 존재할 수 있다. 구체적으로, 라이다 센서를 활용하는 차량은 설치된 라이더 센서 및 그 밖의 센서를 통해 이동하면서 주변 객체를 인식하여 정보를 획득할 수 있다. 이때, 차량(310)은 획득한 정보를 클라우드 서버(320)로 전송하고, 클라우드 서버(320)는 획득한 정보를 통해 자율주행 시스템을 구축할 수 있다. 구체적인 일 예로, 클라우드 서버(320)는 차량(310)으로부터 획득한 정보에 기초하여 고정밀 지도를 제작할 수 있었다. 그 후, 클라우드 서버(320)를 통해 획득한 정보들이 자율주행 차량(330)으로 제공될 수 있었다.For example, in the existing autonomous driving system, a lidar sensor could be installed and operated in a vehicle. Here, the LiDAR (Light Detection And Ranging) sensor may refer to a sensor that measures a distance to an object using a laser. The lidar sensor irradiates a laser on the surface and detection range of the object to be photographed, and then analyzes the reflected signal to measure the distance and properties of the object. The lidar sensor can accurately grasp the shape of an object as well as a simple distance measurement. That is, the lidar sensor may have excellent object recognition ability, and in the past, driving-related information could be acquired based on the vehicle in which the lidar sensor was installed. At this time, the vehicle detects the surrounding terrain and objects in real time and uses it as an essential sensor for 3D mapping, and in addition, it was able to recognize pedestrians or obstacles on the road through the lidar sensor. However, as an example, a vehicle using a lidar sensor may have great restrictions in use based on technology and price issues. More specifically, as shown in FIG. 3 , driving-related information could be acquired only through the
다만, 상술한 방식은 개별적인 차량의 라이다 센서들이 다른 이웃한 차량의 라이다 센서의 결과를 이용하지 않는 문제점이 존재할 수 있다. 또한, 일 예로, 인접한 차량들 각각이 라이다 센서를 구비해야 하고 유사한 주변을 센싱 및 처리해야 하므로 비효율적일 수 있으며, 실시간 정보를 반영하는데 한계가 존재할 수 있다. However, in the above-described method, there may be a problem in that lidar sensors of individual vehicles do not use the results of lidar sensors of other neighboring vehicles. Also, as an example, since each of the adjacent vehicles must have a lidar sensor and similar surroundings must be sensed and processed, it may be inefficient, and there may be a limit in reflecting real-time information.
상술한 점을 고려하여 라이다 센서를 가지는 스마트폴을 이용하여 자율주행 시스템을 구축하는 방법을 고려할 수 있다. 일 예로, 스마트폴은 가로등과 같은 도로 주변 장치일 수 있다. 가로등은 가로교통의 안전과 보안을 위하여 가로를 따라서 설치한 조명시설로 고속도로, 시가지의 주요도로, 상업지구 도로, 주택지구 도로 등 설치장소에 따라 그에 알맞은 종류로 설치된 조형물일 수 있다. 또한, 가로등은 지하 혹은 건물 내에서 차량 및 오브젝트 이동을 돕기 위한 조명 시설도 포함할 수 있다. 즉, 가로등은 도로 주변에 일정 간격으로 다수 설치되어 있으며, 가로등을 이용하여 자율주행 시스템을 위한 스마트폴이 구현될 수 있다. 여기서, 일 예로, 라이다 센서는 차량 이외에는 단순 차량 검지 및 판독 시스템, 신호 및 정지선 위반 차량 단속, 울타리, 펜스 침입 감시, 미술품 도난 감시, 횡단보도 보행자 안전관리, 철도 철로 추락 감시 등에 도입되는 센서로 스마트폴처럼 고정된 장치에도 설치가 가능할 수 있다. In consideration of the above, a method of constructing an autonomous driving system using a smart pole having a lidar sensor may be considered. As an example, the smart pole may be a road peripheral device such as a street lamp. A street lamp is a lighting facility installed along the street for the safety and security of street traffic, and it may be a sculpture installed in a suitable type depending on the installation site, such as a highway, a major road in an urban area, a road in a commercial district, a road in a residential district, etc. In addition, the street lamp may include a lighting facility for helping vehicles and objects move underground or in a building. That is, a plurality of street lights are installed at regular intervals around the road, and a smart pole for an autonomous driving system can be implemented using the street lights. Here, as an example, the lidar sensor is a simple vehicle detection and reading system other than a vehicle, a signal and stop line violation vehicle enforcement, fence, fence intrusion monitoring, art theft monitoring, pedestrian safety management at crosswalks, railroad fall monitoring, etc. As a sensor introduced It can also be installed on fixed devices such as smart poles.
보다 상세하게는, 도 4a를 참조하면, 가로등(410)에서 라이다 센서의 배치는 상황과 용도를 고려하여 다양한 방식으로 배치될 수 있다. 라이다 센서(411)는 전주의 끝 부분에 장착될 수 있다. 또한, 실내 또는 지하에 사용되는 가로등의 경우 전주 중앙 부위 등에 배치할 수도 있으며, 이는 도 4a와 같을 수 있다. More specifically, referring to FIG. 4A , the arrangement of the lidar sensor in the
또 다른 일 예로, 도 4b를 참조하면, 기존 가로등(410)에 라이다 센서(411) 및 주행 관련 정보 획득과 관련된 다양한 장치가 설치될 수 있다. 일 예로, WiFi 장치 및 디스플레이 장치가 가로등(410)에 설치될 수 있으며, 라이다 센서(411)도 부착되어 스마트폴의 기능을 수행할 수 있다. 또한, 일 예로, 도 4c를 참조하면, 라이다 센서(411-2)는 가로등(410) 중앙에 설치되어 다양한 화각으로 정보를 수집할 수 있으며, 이에 대해서는 후술한다. 여기서, 가로등(410)에 장착하는 라이다 센서(411-1, 411-2)의 수 및 위치는 도로 구성, 유동인구, 차량유입 및 신호체계 중 적어도 어느 하나에 기초하여 변경될 수 있으며, 상술한 실시예로 한정되지 않는다. 하기에서는 설명의 편의를 위해 상술한 바에 기초하여 동작하는 장치를 스마트폴로 지칭한다.As another example, referring to FIG. 4B , a
또한, 일 예로, 도 5a를 참조하면, 스마트폴은 중앙처리 장치 또는 내부 프로세서의 제어에 따라 송신광의 빔스티어링의 각도를 수평/수직 방향으로 조정할 수 있다. 여기서, 송신광은 오브젝트를 감지하기 위한 신호일 수 있으며, 빔스티어링에 기초하여 오브젝트 감지 영역이 설정될 수 있다. 또한, 스마트폴은 주행 상황 정보 또는 화각 설정에 기초하여, FPS(frames per second)과 해상도를 수정할 수 있다.Also, as an example, referring to FIG. 5A , the smart pole may adjust the angle of the beam steering of the transmitted light in the horizontal/vertical direction according to the control of the central processing unit or the internal processor. Here, the transmitted light may be a signal for detecting an object, and an object detection area may be set based on beam steering. In addition, the smart pole may modify frames per second (FPS) and resolution based on driving situation information or angle of view setting.
구체적인 일 예로, 도 5b를 참조하면, 제 1 스마트 폴(510-1) 및 제 2 스마트 폴(510-2)은 함께 연동될 수 있도록 각각의 송신광에 대한 빔스티어링(또는 빔포밍) 각도가 조절될 수 있다. 일 예로, 제 1 스마트 폴(510-1) 및 제 2 스마트 폴(510-2)은 각각 대칭되는 위치에서 유사한 영역에 대한 오브젝트를 감지할 수 있다. 여기서, 제어서버(미도시)는 제 1 스마트 폴(510-1) 및 제 2 스마트 폴(510-2)로부터 수신한 각각의 정보를 이용하여 오브젝트에 대한 감지를 수행할 수 있으며, 복수 개의 스마트폴을 이용하는바 정확도가 높아질 수 있다. As a specific example, referring to FIG. 5B , the first smart pole 510-1 and the second smart pole 510-2 have a beam steering (or beamforming) angle for each transmitted light so that they can be interlocked together. can be adjusted. For example, the first smart pole 510 - 1 and the second smart pole 510 - 2 may detect an object of a similar area at a symmetrical position, respectively. Here, the control server (not shown) may detect an object using each information received from the first smart poll 510-1 and the second smart poll 510-2, and a plurality of smart polls Using a pole can increase the accuracy.
또 다른 일 예로, 제 3 스마트 폴(510-3) 및 제 4 스마트 폴(510-4)은 교차로에서 횡단보도의 오브젝트를 감지할 수 있다. 여기서, 교차로는 사고가 많고, 횡단보도는 보행자에 의해 많은 오브젝트가 감지되는 영역일 수 있다. 상술한 점을 고려하여 제 3 스마트 폴(510-3)의 송신광은 횡단보도 및 교차로 주변으로 오브젝트를 감지할 수 있도록 빔스티어링이 제어될 수 있다. 또한, 일 예로, 제 3 스마트 폴(510-3)의 송신광은 보행자 키 높이에 기초하여 수평 방향 빔스티어링이 제어될 수 있다. 제 4 스마트 폴(510-4)도 횡단보도 및 교차로와 일정 거리가 존재하지만 빔스티어링을 통해 해당 영역에 대한 감지를 수행하도록 제어될 수 있다. 이를 통해, 제어서버는 제 3 스마트 폴(510-3) 및 제 4 스마트 폴(510-4)을 통해 오브젝트 정보를 획득할 수 있으며, 이를 통해 정밀도를 높일 수 있다. 여기서, 각각의 스마트폴이 센싱을 수행하는 영역은 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 또는 그밖의 정보에 기초하여 다양하게 설정될 수 있다. As another example, the third smart pole 510-3 and the fourth smart pole 510-4 may detect an object of a crosswalk at an intersection. Here, there are many accidents at the intersection, and the crosswalk may be an area in which many objects are detected by pedestrians. In consideration of the above, beam steering of the transmitted light of the third smart pole 510-3 may be controlled to detect an object around a crosswalk and an intersection. Also, as an example, horizontal beam steering of the transmitted light of the third smart pole 510 - 3 may be controlled based on the height of the pedestrian's height. Although the fourth smart pole 510-4 also has a certain distance from the crosswalk and the intersection, it may be controlled to detect the corresponding area through beam steering. Through this, the control server can acquire object information through the third smart poll 510-3 and the fourth smart poll 510-4, and through this, the precision can be increased. Here, the sensing area of each smart pole may be set in various ways based on the smart pole's location information, traffic situation information, road condition information, object recognition/judgment information, HD Map information, and congestion information or other information. can
또 다른 일 예로, 제어서버는 스마트폴 각각에 대한 빔스티어링을 제어할 수 있다. 일 예로, 각각의 스마트폴에는 기 설정된 빔스티어링 방향이 복수 개 존재할 수 있다. 이때, 제어서버는 스마트폴의 위치 및 스마트폴 주변의 상황을 고려하여 획득하고자 하는 오브젝트 정보의 센싱 정확도를 높일 수 있도록 스마트폴 각각에 대한 빔스티어링을 제어할 수 있으며, 이에 기초하여 고정밀 지도를 생성할 수 있다.As another example, the control server may control beam steering for each smart pole. For example, each smart pole may have a plurality of preset beam steering directions. At this time, the control server can control the beam steering for each smart pole so as to increase the sensing accuracy of the object information to be acquired in consideration of the location of the smart pole and the situation around the smart pole, and generate a high-precision map based on this can do.
여기서, 자율주행 시스템을 위해 고정밀지도(HD map, High Definition map)는 도로, 지형의 고저 및 곡률과 같은 주변환경 정보가 3D로 구현된 지도일 수 있다. HD Map의 오차범위는 10cm로 기존 지도보다 높은 정확성을 가질 수 있으며, 이를 통해 자율주행 시스템의 정확도를 높일 수 있다.Here, for the autonomous driving system, a high-definition map (HD map) may be a map in which surrounding environment information such as roads and terrain heights and curvatures are implemented in 3D. The error range of HD Map is 10cm, which can have higher accuracy than existing maps, which can increase the accuracy of the autonomous driving system.
구체적인 일 예로, 도 6을 참조하면, 자율주행은 레벨 0 부터 레벨 5까지 6단계로 구분될 수 있다. 이때, 단순 경고 및 일시 개입의 동작을 수행하는 경우는 레벨 0에 해당할 수 있다. 특정 주행모드에서 시스템이 조향 또는 감·가속 중 하나를 수행하는 컨트롤 등은 레벨 1에 해당할 수 있다. 또한, 특정 주행모드에서 시스템이 조향 및 감·가속을 모두 수행하는 고속도로 주행 보조는 레벨 2에 해당할 수 있다. 이때, 레벨 0 내지 레벨 2는 운전자 주도하에 시스템이 일부 주행을 보조하는 단계일 수 있다. 반면, 레벨 3부터는 시스템이 전체 주행을 수행할 수 있다. 즉, 레벨 3은 차량 제어와 주행환경을 동시에 인식하고, 비상 상황 시 운전 제어권 이양을 운전자할 수 있다. 또한, 레벨 4는 시스템이 전체 주행을 수행할 수 있으며, 위험 상황 발생 시에도 직접 대응할 수 있다. 또한, 레벨 4는 자율 주행을 할 수 있는 지역에 제한이 있지만, 레벨 5는 제약이 없는 완전한 자율주행일 수 있다. 즉, 상술한 바와 같이 자율주행은 각각의 단계가 존재하며 완전 자율주행을 위한 자율주행 시스템의 정확도가 요구될 수 있다.As a specific example, referring to FIG. 6 , autonomous driving may be divided into six stages from level 0 to level 5. In this case, the case of performing simple warning and temporary intervention may correspond to level 0. In a specific driving mode, a control in which the system performs one of steering or deceleration/acceleration, etc. may correspond to
상술한 점을 고려하여, HD Map의 고정밀 지도가 필요할 수 있으며, 하기에서 자율주행 시스템은 스마프폴을 이용하여 자율주행에 필요한 고정밀 지도를 위한 정보를 획득하는 방법을 서술한다.In consideration of the above points, a high-precision map of HD Map may be required, and a method of acquiring information for a high-precision map required for autonomous driving in an autonomous driving system using Smappole will be described below.
구체적인 일 예로, 도 7을 참조하면, 스마트폴(710)은 제어서버(또는 중앙처리장치, 클라우드 서버, 720) 및 차량(730)과 통신을 수행할 수 있다. 일 예로, 스마트폴(710)은 제어서버(720)로 자율주행 시스템에서 필요한 HD Map 제작 관련 정보를 주기적으로 제공하여 업데이트할 수 있다. 또한, 일 예로, 스마트폴(710)은 차량(730)으로 도로 정보를 직접 제공할 수 있다. 또한, 차량(730)은 제어서버(720)로부터 HD Map이나 그 밖의 운행 상황 및 도로 정보를 획득하고, 이에 기초하여 자율주행을 수행할 수 있다. 이때, 차량(730)은 스마트폴(710) 및 제어서버(720)로부터 획득한 정보를 이용하여 자율주행 정확도를 높일 수 있으며, 완전 자율주행에 근접한 주행을 하도록 할 수 있다.As a specific example, referring to FIG. 7 , the
보다 구체적인 일 예로, 도 8을 참조하면, 스마트폴의 각각의 라이다 센서는 데이터를 수집하고, 이를 통신 컴포넌트로 스마트폴(또는 가로등)으로 제공할 수 있다. 그 후, 각각의 스마트폴은 획득한 정보들을 중계기로 보내고, 이에 대한 정보는 허브를 통해 제어서버로 전송될 수 있다. 제어서버는 상술한 바에 기초하여 획득한 정보를 통해 HD Map을 포함한 자율주행과 관련된 다양한 정보들을 생성할 수 있다. 또한, 도 9를 참조하면, 제어서버는 통신 컴포넌트를 통해 상기 자율주행과 관련된 다양한 정보들을 차량으로 제공할 수 있다. 또한, 차량은 통신 컴포넌트를 통해 스마트폴로부터 자율주행 관련 다양한 정보를 획득할 수 있으며, 이에 기초하여 자율주행을 수행할 수 있다.As a more specific example, referring to FIG. 8 , each lidar sensor of the smart pole may collect data and provide it to the smart pole (or street lamp) as a communication component. After that, each smart pole sends the acquired information to the repeater, and the information may be transmitted to the control server through the hub. The control server may generate various information related to autonomous driving, including HD Map, through the information obtained based on the above description. Also, referring to FIG. 9 , the control server may provide various information related to the autonomous driving to the vehicle through a communication component. In addition, the vehicle may obtain various information related to autonomous driving from the smart pole through the communication component, and may perform autonomous driving based on this.
이때, 일 예로, HD Map과 관련하여, 현재까지는 HD Map 구성을 위해서 주로 차량을 통한 MMS(모바일 맵핑 시스템) 방식이 이용되고 있으며, 이는 상술한 도 3과 같다. 이때, 다양한 센서를 탑재한 차량이 지도 작성을 위한 지역을 이동하며 데이터를 확보하고, 이를 기반으로 기본 도로를 구성할 수 있다. 이후 MMS 차량 혹은 데이터 업로드가 가능한 차량이 도로를 주행하면서 기존 도로상황 대비 변동사항을 제어서버에 전송할 수 있으며, 제어서버를 수신한 정보로 HD Map을 업데이트할 수 있다. 즉, 차량 센서를 통해 차량이 주기적으로 이동하여야 업데이트가 수행될 수 있다.In this case, as an example, in relation to the HD Map, an MMS (mobile mapping system) method through a vehicle has been mainly used to configure the HD Map until now, as shown in FIG. 3 described above. At this time, a vehicle equipped with various sensors moves through an area for map creation to obtain data, and a basic road can be constructed based on the data. After that, the MMS vehicle or the vehicle capable of uploading data can transmit changes compared to the existing road condition to the control server while driving on the road, and the HD Map can be updated with the information received from the control server. That is, the update can be performed only when the vehicle moves periodically through the vehicle sensor.
상술한 점을 고려하면, 제어서버는 실시간 업데이트가 용이하지 않을 수 있으며, 차량 주행을 고려해야 하는바 한계가 존재할 수 있다. 반면, 스마트폴은 상술한바처럼 고정된 위치에서 실시간으로 정보를 제어서버로 전송할 수 있으므로 업데이트가 용이할 수 있다. 여기서, 라이다 센서는 오브젝트를 높은 정확도의 3D로 인식할 수 있다. 또한, 라이다 센서는 정보전송 및 위치/맵핑이 용이함에 따라 HD Map 구현에 중요한 역할을 할 수 있다. 따라서, 스마트폴은 라이다 센서를 장착하고, 이를 통해 주변 상황을 인지하여 제어서버로 전송할 수 있다. 또한, 스마트폴은 도로상태뿐만 아니라 사고없는 안전한 주행을 위해 고려되야 하는 오브젝트 정보에 대한 정보도 수집할 수 있다. 일 예로, 오브젝트는 차선, 타 차량, 보행자, 빛, 드론, 교통 신호, 도로, 구조물, 과속 방지턱, 지형물 및 동물 중 적어도 어느 하나를 포함할 수 있다.In consideration of the above, real-time update of the control server may not be easy, and there may be limitations in consideration of vehicle driving. On the other hand, the smart pole can be easily updated because it can transmit information to the control server in real time at a fixed location as described above. Here, the lidar sensor may recognize the object in 3D with high accuracy. In addition, the lidar sensor can play an important role in HD Map implementation as information transmission and location/mapping are easy. Therefore, the smart pole is equipped with a lidar sensor, and through this, the surrounding situation can be recognized and transmitted to the control server. In addition, the smart pole can collect information about object information that must be considered for safe driving without accidents as well as road conditions. As an example, the object may include at least one of a lane, another vehicle, a pedestrian, a light, a drone, a traffic signal, a road, a structure, a speed bump, a terrain, and an animal.
여기서, 상술한 제어서버는 HD Map을 구성하고, 특정 지역의 교통신호를 제어할 수 있는 중앙처리장치와 클라우드 서버와 정보를 교환하는 서버일 수 있다. 이때, 상술한 경우에는 통신망을 통해 정보가 교환될 수 있다. 통신망은 V2X(Vehicle to Everything)이 주로 사용될 수 있다. 일 예로, V2X는 서버 또는 타 차량과의 무선 통신 수행을 위함이며, 차량간 통신(V2V) 또는 차량과 인프라간 통신(V2I)을 포함할 수 있다. 차량은 V2X 통신을 통해 외부 서버 및 타 차량과 무선 통신을 수행할 수 있다. 일 예로, V2X 통신은 고속 주행하는 자동차 환경에 특화된 무선 통신 기술로 WAVE(Wireless Accesss in Vehicular Environment)나 LTE, 5G 등의 기술이 활용될 수 있으며, 이를 통해 차량 및 주변 장치들과 효율적인 통신이 수행될 수 있다. 상술한 바에 기초하여, 차량은 도로 상황이나 최적 경로, 교통 정보 등을 원거리에서 실시간으로 주고 받을 수 있으며, 환경 변화에 따라 통신망에는 근거리 통신 모듈, 위치 정보 모듈 및 광통신 모듈을 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.Here, the above-described control server may be a server that configures the HD Map and exchanges information with a central processing unit capable of controlling traffic signals in a specific area and a cloud server. In this case, in the above-described case, information may be exchanged through a communication network. As for the communication network, V2X (Vehicle to Everything) can be mainly used. For example, V2X is for performing wireless communication with a server or other vehicle, and may include vehicle-to-vehicle communication (V2V) or vehicle-to-infrastructure communication (V2I). The vehicle may perform wireless communication with an external server and other vehicles through V2X communication. As an example, V2X communication is a wireless communication technology specialized for a high-speed driving environment, and technologies such as WAVE (Wireless Accesss in Vehicular Environment), LTE, and 5G can be utilized, and through this, efficient communication with vehicles and peripheral devices is performed. can be Based on the above, the vehicle can exchange road conditions, optimal routes, and traffic information in real time from a long distance, and according to changes in the environment, the communication network may include a short-distance communication module, a location information module, and an optical communication module, It is not limited to one embodiment.
또한, 일 예로, 스마트폴에서 제어서버로 정보가 전달되는 경우를 고려하면, 스마트폴의 라이다 센서는 반경 내에 위치한 오브젝트, 도로 상태 및 상황을 감지할 수 있다. 여기서, 라이다 센서는 반경 내에 오브젝트 유무 파악과 효율적인 판별을 위해 라이다 이외의 센서(e.g. 카메라 센서)를 장착할 수 있으며, 이를 통해 탐지 정확도를 높일 수 있다. 라이다 센서는 오브젝트를 탐지하기 위해 레이저를 조사한 후 반사되는 신호를 분석해 거리 및 개체의 속성을 측정할 수 있다. 여기서, 라이다 센서는 단순 거리 측정뿐만 아니라 물체의 형상까지도 정밀하게 파악할 수 있다. 그 후, 라이다 센서는 오브젝트를 탐지하면서 도로 상태 및 상황도 확인할 수 있으며, 기존 HD Map과 차이점을 확인할 수 있다. 여기서, 스마트폴은 라이다 센서로부터 획득한 정보를 수집하고, 이를 통신 컴포넌트를 활용하여 중계기를 거쳐 제어서버로 전송할 수 있다. 제어서버는 스마트폴의 위치 정보에 기초하여 HD Map을 업데이트하고, 오브젝트 위치 및 상태를 파악할 수 있다.Also, as an example, considering the case in which information is transmitted from the smart pole to the control server, the lidar sensor of the smart pole may detect an object located within a radius, the road condition, and the situation. Here, the lidar sensor may be equipped with a sensor (e.g. a camera sensor) other than the lidar to determine the presence of an object within a radius and efficiently determine it, thereby increasing detection accuracy. The lidar sensor irradiates a laser to detect an object and then analyzes the reflected signal to measure the distance and properties of the object. Here, the lidar sensor can accurately grasp the shape of an object as well as a simple distance measurement. After that, the lidar sensor can check the road condition and situation while detecting the object, and check the difference from the existing HD Map. Here, the smart pole may collect information obtained from the lidar sensor and transmit it to the control server through a repeater using a communication component. The control server may update the HD Map based on the location information of the smart pole and determine the object location and status.
또한, 일 예로, 제어서버는 상술한 바에 기초하여 획득한 정보를 자율주행 차량으로 전달할 수 있다. 여기서, 자율주행 차량은 카메라, 레이더 및 그 밖의 센서를 포함할 수 있다. 또한, 자율주행 차량은 차량 내부에 존재하는 소프트웨어를 기반으로 하는 차량 제어시스템을 통해 차량 하드웨어를 조정 및 제어하며 운행하는 차량일 수 있다. 일 예로, 자율주차기능(PAS), 크루즈 컨트롤(Cruise Control) 이상의 ADAS 기능을 수행할 수 있는 차량이 자율주행 차량으로 포함될 있다. 여기서, 자율주행 차량은 스마트폴 및 제어서버로부터 수신한 정보에 기초하여 주행에 영향을 줄 수 있는 오브젝트 정보로써 위치 및 예상 궤적 정보를 확인하고, 이에 기초하여 주행할 수 있다. 또한, 일 예로, 자율주행 차량은 제어서버로부터 HD Map을 수신하고, 다른 스마트폴에 기초하여 도시 또는 특정 지역 내의 교통신호와 밀집도 정보를 수신할 수 있으며, 상술한 실시예로 한정되지 않는다.Also, as an example, the control server may transmit information obtained based on the above description to the autonomous vehicle. Here, the autonomous vehicle may include a camera, radar, and other sensors. In addition, the autonomous vehicle may be a vehicle that operates while adjusting and controlling vehicle hardware through a vehicle control system based on software existing inside the vehicle. For example, a vehicle capable of performing ADAS functions such as an autonomous parking function (PAS) or cruise control or more may be included as an autonomous driving vehicle. Here, the autonomous vehicle may check the location and expected trajectory information as object information that can affect driving based on the information received from the smart pole and the control server, and drive based on the information. In addition, as an example, the autonomous vehicle may receive an HD Map from the control server, and may receive traffic signals and density information within a city or a specific area based on another smart pole, and is not limited to the above-described embodiment.
또한, 일 예로, 도 10을 참조하면, 자율주행 차량의 자율주행을 위해서는 인지(Sensing) - 계획(Plan) - 동작(Act)의 단계가 필요할 수 있다. 보다 상세하게는, 자율주행 차량은 라이다 센서를 포함한 다양한 센서로부터 수집한 미가공 원본데이터를 획득하고, 이에 기초하여 유의미한 정보를 도출할 수 있다. 또한, 자율주행 차량은 차량위치에 대한 로컬라이제이션을 통해 주변환경을 파악하고 인지할 수 있다. 그 후, 자율주행 차량은 목표지점까지 안전하게 도달하는데 필요한 경로 계획을 확정하고, 이에 기초하여 실제 주행을 설계할 수 있다. 여기서, 상술한 각각의 단계에서는 다양한 정보들이 주기적 또는 실시간으로 필요할 수 있으며, 자율주행 차량은 스마트폴 및 제어서버로부터 정보를 수신하여 주행을 수행할 수 있다.Also, as an example, referring to FIG. 10 , steps of Sensing - Planning - Act may be required for autonomous driving of an autonomous vehicle. More specifically, the autonomous vehicle may obtain raw original data collected from various sensors including a lidar sensor, and derive meaningful information based thereon. In addition, the autonomous vehicle can grasp and recognize the surrounding environment through localization of the vehicle location. After that, the autonomous vehicle may determine a route plan necessary to safely reach a target point, and design an actual driving based on the plan. Here, in each of the above-described steps, various information may be required periodically or in real time, and the autonomous vehicle may receive information from the smart pole and the control server to perform driving.
여기서, 자율주행 시스템은 도로 상태, 오브젝트 인지/판단 정보, 고정밀 지도, 도로교통신호 및 혼잡도 정보를 자율주행 차량으로 제시할 수 있다. 자율주행 시스템은 수신한 정보에 기초하여 자율주행에서 요구되는 인지, 매핑 및 로컬라이제이션을 제공할 수 있다. 그 후, 자율주행 시스템은 트래픽 예측과 경로계획을 보조함으로 도시 혹은 특정 지역 내에서의 자율주행을 보조할 수 있다. 즉, 자율주행 시스템은 차량에서 자체적으로 판단해야 하는 상당부분을 해결해 줌에 따라 자율주행에서 요구되는 많은 데이터와 이를 기반으로 하는 판단의 빈도를 낮출 수 있고, 자율주행의 안정성을 높여줄 수 있다. Here, the autonomous driving system may present road conditions, object recognition/judgment information, high-precision maps, road traffic signals, and congestion information to the autonomous vehicle. The autonomous driving system may provide recognition, mapping, and localization required for autonomous driving based on the received information. Then, the autonomous driving system can assist autonomous driving within a city or specific area by assisting in traffic prediction and route planning. In other words, as the autonomous driving system solves a significant part of the vehicle's self-determination, it is possible to lower the frequency of judgment based on the large amount of data required for autonomous driving and increase the stability of autonomous driving.
보다 구체적인 일 예로, 자율주행 시스템에서 스마트폴은 자율주행에 요구되는 고정밀 지도(HD Map)의 구성과 업데이트에 필요한 정보를 획득하여 제어서버로 전송할 수 있으며, 이는 상술한 바와 같다.As a more specific example, in the autonomous driving system, the smart pole may acquire information necessary for the configuration and update of a high-definition map required for autonomous driving and transmit it to the control server, as described above.
또한, 제어서버는 고정밀 지도의 전송뿐만 아니라 도시 혹은 특정지역 내의 교통신호를 제어할 수 있으며, 이에 기초하여 자율주행 차량으로 정보를 제공할 수 있다.In addition, the control server can not only transmit a high-precision map, but also control traffic signals within a city or a specific area, and based on this, can provide information to the autonomous vehicle.
또한, 자율주행 차량은 차량 인근에 위치한 스마트폴 및 제어서버로부터 정보를 전달받을 수 있으며, 이에 기초하여 자체적으로 취득 및 처리할 데이터의 양을 줄일 수 있다. 여기서, 자율주행 차량이 외부와 통신이 불가능한 경우, 자율주행을 중지하고 정차할 수 있으다. 즉, 자율주행 차량은 통신이 수행됨을 전제로 동작할 수 있다.In addition, the autonomous vehicle can receive information from a smart pole and a control server located near the vehicle, and based on this, it is possible to reduce the amount of data to be acquired and processed by itself. Here, when the autonomous vehicle cannot communicate with the outside, the autonomous driving may be stopped and stopped. That is, the autonomous vehicle may operate on the premise that communication is performed.
자율주행 시스템과 관련된 보다 구체적인 일 예로, 스마트 호출과 발렛파킹(Valet Parking) 서비스를 고려할 수 있다. 일 예로, 도시 또는 특정지역 내 자율주행 기능을 활용하여 스마트 호출과 발렛파킹(Valet Parking) 서비스를 제공할 수 있다. 자율주행이 가능해짐에 따라 차량 소유자 또는 이용자는 본인의 위치정보를 제공하면 해당 위치로 차량호출이 가능해지며, 차량 소유자 또는 이용자가 하차한 이후 차량은 인접지역에 위치한 주차타워로 이동하여 자율주차가 수행될 수 있다.As a more specific example related to the autonomous driving system, a smart call and valet parking service may be considered. For example, a smart call and valet parking service may be provided by utilizing an autonomous driving function within a city or a specific area. As autonomous driving becomes possible, if the vehicle owner or user provides their location information, it becomes possible to call a vehicle at that location. can be performed.
또한, 스마트 호출은 호출자 또는 서비스 이용자가 개인 디바이스 또는 도심 내 위치한 스마트폴 등 기반시설을 활용하여 제어서버로 출발할 위치와 출발자, 그리고 목적지 정보를 전송할 수 있다. 그 후, 제어서버는 주차 혹은 정차된 차량에게 호출 정보 및 도로 정보 및 상황을 전달할 수 있다. 이때, 자율주행 차량은 전달받은 정보를 바탕으로 자체적인 소프트웨어 혹은 외부 인프라를 활용하여 호출지 및 목적지까지의 예상되는 이동시간과 경로를 검토할 수 있다. 이후, 자율주행 차량은 통신 컴포넌트를 활용하여 제어 서버 또는 서비스 이용자에게 정보를 전달할 수 있다. 또한, 자율주행 차량은 주차 또는 정차 공간을 벗어난 이후 차량은 자율주행 시스템에 기초하여 자율주행을 수행할 수 있다.In addition, smart call enables the caller or service user to transmit the departure location, departure and destination information to the control server by using a personal device or infrastructure such as a smart pole located in the city center. Thereafter, the control server may transmit call information and road information and conditions to the parked or stopped vehicle. In this case, the autonomous vehicle can review the estimated travel time and route to the call destination and destination by using its own software or external infrastructure based on the received information. Thereafter, the autonomous vehicle may transmit information to a control server or a service user by utilizing the communication component. In addition, after the autonomous vehicle leaves a parking or stopping space, the vehicle may perform autonomous driving based on the autonomous driving system.
또 다른 일 예로, 발렛파킹 서비스는 차량 이용자가 목적지 도착 이후 일정 소요시간 이상 차량을 사용하지 않을 경우, 개인 디바이스 또는 도심 내 위치한 가로등 등 기반시설을 활용하여 자율주행 시스템에 차량의 주차 여부를 전송할 수 있다. 그 후, 자율주행 시스템은 차량의 위치정보와 도로 상황, 주차타워의 주차여력을 감안하여 가능한 주차타워를 선정하고, 차량에 정보를 전달할 수 있다. 이때, 차량은 전달받은 주차타워로 자율주행을 기반으로 이동하고, 주차타워 내에서 주차공간 여부는 타워 내부에 위치한 스마트폴 및 고정밀 지도 데이터를 활용하여 확인 후 주차공간을 파악한다. 그 후, 차량은 전달받은 주차장 내부 지도와 추가공간 정보를 활용하여 타워 내부를 이동하고, 주차를 수행할 수 있다.As another example, the valet parking service can transmit whether the vehicle is parked to the autonomous driving system by using a personal device or infrastructure such as a street lamp located in the city center when the vehicle user does not use the vehicle for more than a certain period of time after arriving at the destination. have. After that, the autonomous driving system can select a possible parking tower in consideration of the vehicle's location information, road conditions, and parking capacity of the parking tower, and deliver the information to the vehicle. At this time, the vehicle moves to the received parking tower based on autonomous driving, and whether there is a parking space in the parking tower is checked using the smart pole and high-precision map data located inside the tower, and then the parking space is identified. After that, the vehicle can move inside the tower and perform parking using the received parking lot map and additional space information.
여기서, 일 예로, 상술한 스마트 호출 및 발렛파킹 관련해서 서비스 편의성을 높여주기 위해 어플리케이션과의 연동이 수행될 수 있다. 이때, 연동 가능한 어플리케이션은 차량 및 도로 정보를 제공하는 기존 네비게이션 앱 또는 차량 호출 서비스와 연계된 앱일 수 있다.Here, for example, in order to enhance service convenience in relation to the smart call and valet parking described above, interworking with an application may be performed. In this case, the interoperable application may be an existing navigation app that provides vehicle and road information or an app associated with a vehicle call service.
또한, 상술한 바를 위한 새로운 어플리케이션이 도입될 수 있으며, 새로운 어플리케이션은 차량의 위치, 도착 예정 시간, 예상 경로 등을 서비스 이용자가 소유한 디바이스의 디스플레이에서 확인하도록 할 수 있다. 또 다른 일 예로, 해당 디바이스에서 예정 시간과 희망 경로 등을 수정 가능하며 관련 정보를 타인에게 공유하도록 할 수 있다. In addition, a new application for the above-mentioned bar may be introduced, and the new application may check the location of the vehicle, the expected arrival time, the expected route, etc. on the display of the device owned by the service user. As another example, the scheduled time and desired route may be modified in the device, and related information may be shared with others.
또한, 자율주행 시스템에 기초하여 주차나 호출 이외의 다양한 서비스가 수행될 수 있다. 일 예로, 차량의 충전소 이동, 지정된 장소에서 물건의 탑재 또는 하차가 자율주행 시스템에 기초하여 수행될 수 있다. 또한, 일 예로, 자율주행 차량의 이동과 정차 중에 발생할 수 있는 비용은 차량, 스마트폴 및 제어서버의 통신을 활용하여 운전자 디바이스를 통해 결제될 수 있다.In addition, various services other than parking or calling may be performed based on the autonomous driving system. For example, moving the vehicle to a charging station and loading or unloading an object at a designated place may be performed based on the autonomous driving system. Also, as an example, costs that may occur during movement and stopping of the autonomous vehicle may be paid through the driver device by utilizing communication between the vehicle, the smart pole, and the control server.
또한, 일 예로, 제어서버가 HD Map을 구성하기 위해서는 데이터 정합률 또는 객체 인식률을 높일 필요성이 있다. 보다 상세하게는, 고정밀지도(HD Map)을 구성하기 위해서 도 11에서처럼 빅 데이터를 활용하여 맵 데이터 처리가 수행될 수 있으며, 이를 통해 정확도가 높아질 수 있다. 또한, 일 예로, 도 12에서처럼 ROI를 추출하고, 이에 기초하여 이미지 처리를 수행함으로서 데이터 정확도를 높일 수 있다. 또한, 일 예로, 도 13에서처럼 복수 개의 레이어를 이용하여 각각의 데이터를 분산처리하도록 함으로서 정확도를 높일 수 있다. 또한, 그 밖에도 다양한 방법에 기초하여 데이터 정합도가 높아질 수 있으며, 상술한 실시예로 한정되지 않는다.Also, as an example, in order for the control server to configure the HD Map, it is necessary to increase the data matching rate or the object recognition rate. In more detail, map data processing may be performed using big data as shown in FIG. 11 to construct a high-definition map (HD Map), and thus, accuracy may be increased. Also, as an example, data accuracy may be increased by extracting an ROI as shown in FIG. 12 and performing image processing based thereon. Also, as an example, as shown in FIG. 13 , accuracy can be improved by distributing each data using a plurality of layers. In addition, the degree of data matching may be increased based on various other methods, and the present invention is not limited to the above-described embodiment.
상술한 바처럼 자율주행 시스템은 자율주행 차량의 주행 정확도를 높이기 위한 동작들을 수행할 수 있으며, 스마트폴, 제어서버 및 자율주행 차량으로 구성될 수 있다. 즉, 스마트폴, 제어서버 및 자율주행 차량 상호간의 통신에 기초하여 정보가 교환되고, 자율주행을 위한 정보를 처리할 있다. As described above, the autonomous driving system may perform operations to increase the driving accuracy of the autonomous driving vehicle, and may include a smart pole, a control server, and an autonomous driving vehicle. That is, information is exchanged based on communication between the smart pole, the control server, and the autonomous vehicle, and information for autonomous driving can be processed.
여기서, 일 예로, 자율주행 시스템의 구성으로서 스마트폴, 제어서버 및 자율주행 차량 각각에 대한 동작이 정의될 필요성이 있다. 도 14a를 참조하면, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 각각 라이다 센서 및 그 밖의 센서들을 포함하고, 이를 통해 주변 오브젝트를 감지하여 자율주행 관련 정보를 획득할 수 있다. 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4) 각각은 고정된 위치에 존재하며, 각각의 위치 정보에 기초하여 자율주행 관련 정보를 획득할 수 있다. 또한, 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4) 각각은 상술한 빔스티어링에 기초하여 센싱하는 영역을 조절할 수 있으며, 이에 기초하여 확인이 필요한 영역에 대한 센싱을 수행할 수 있다. 상술한 바와 같이, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)을 통해 획득된 자율 주행 관련 정보들은 제어서버(1420)로 전송될 수 있다. 여기서, 제어서버(1420)는 자율주행 시스템에서 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)들로부터 수신한 정보를 이용하여 HD Map을 제작할 수 있다. 또한, 일 예로, 제어서버(1420)는 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)로부터 획득한 자율주행 관련 정보를 처리하여 자율주행에 필요한 정보를 재-생성하고, 이를 자율주행 차량에게 제공할 수 있다.Here, as an example, as a configuration of the autonomous driving system, it is necessary to define operations for each of the smart pole, the control server, and the autonomous driving vehicle. Referring to FIG. 14A , a plurality of smart poles 1410-1, 1410-2, 1410-3, and 1410-4 each includes a lidar sensor and other sensors, and detects surrounding objects through this, and is related to autonomous driving. information can be obtained. For example, each of the plurality of smart poles 1410-1, 1410-2, 1410-3, and 1410-4 exists at a fixed location, and autonomous driving-related information may be acquired based on the respective location information. In addition, as an example, each of the plurality of smart poles 1410-1, 1410-2, 1410-3, and 1410-4 may adjust a sensing area based on the above-described beam steering, and based on this, an area requiring confirmation. can be sensed. As described above, autonomous driving-related information acquired through the plurality of smart poles 1410-1, 1410-2, 1410-3, and 1410-4 may be transmitted to the
보다 구체적인 일 예로, 도 14b를 참조하면, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 교차로에 위치한 스마트폴일 수 있다. 다만, 이는 하나의 일 예일 뿐, 스마트폴은 도로 위의 다양하게 설치될 수 있다. 여기서, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)들은 교차로 주변 정보들을 센싱할 수 있다. 이때, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 센싱한 정보를 제어서버(1420)로 전송하고, 제어서버(1420)는 HD Map을 제작할 수 있다. 이때, 제어서버(1420)는 HD Map 정보를 자율주행 차량(1430)에게 제공할 수 있으며, 이를 통해 자율주행 차량(1430)은 자율주행을 수행할 수 있다. 또한, 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 실시간 정보를 획득하여 제어서버(1420)로 전송할 수 있다. 일 예로, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4)은 자율주행 차량(1430)이 교차로에서 우회전함을 디텍트할 수 있다. 여기서, 복수 개의 스마트폴(1410-1, 1410-2, 1410-3, 1410-4) 각각은 센싱 영역이 다를 수 있으며, 각각의 센싱 영역에서 오브젝트의 이동을 감지하고, 이에 대한 정보를 추출하여 제어서버(1420)로 전송할 수 있다. 이때, 제어서버(1420)는 자율주행 차량(1430)이 교차로에서 주행되고 있음을 감지하고, 이와 관련된 자율주행 정보를 자율주행 차량(1430)에게 제공할 수 있다. 일 예로, 제어서버(1420)는 횡단보도 신호 정보나 횡단보도에 보행자 존재 여부에 대한 정보를 자율주행 차량(1430)에게 제공할 수 있다. 자율주행 차량(1430)은 제어서버(1420)로부터 수신한 정보 및 자신이 직접 센싱한 정보를 함께 이용하여 횡딘보도에서 보행자를 감지하여 주행할 수 있다. 즉, 상술한 바와 같이, 자율주행 시스템은 스마트폴, 제어서버 및 자율주행 차량의 상호 정보 교환을 통해 동작할 수 있으며, 이에 기초하여 자율주행 정확도를 높일 수 있다. As a more specific example, referring to FIG. 14B , the plurality of smart poles 1410-1, 1410-2, 1410-3, and 1410-4 may be smart poles located at an intersection. However, this is only one example, and the smart pole may be installed in various ways on the road. Here, the plurality of smart poles 1410-1, 1410-2, 1410-3, and 1410-4 may sense information about the intersection. In this case, the plurality of smart poles 1410-1, 1410-2, 1410-3, and 1410-4 may transmit the sensed information to the
여기서, 스마트폴은 라이더 센서 이외에 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서, 습도센서, 디스플레이 장치 및 와이파이 장치 중 적어도 어느 하나 이상을 더 포함할 수 있다. 또한, 일 예로, 스마트폴은 HD Map을 제작하거나 오브젝트 탐지 정확도를 높이기 위한 다른 센서를 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.Here, the smart pole may further include at least one of a radar sensor, a camera sensor, a thermal image sensor, a light quantity sensor, a temperature sensor, a humidity sensor, a display device, and a Wi-Fi device in addition to the lidar sensor. In addition, as an example, the smart pole may further include another sensor for producing an HD map or increasing object detection accuracy, and is not limited to the above-described embodiment.
또한, 스마트폴은 상술한 센서에 기초하여 오브젝트에 대한 이미지 정보뿐만 아니라, 오브젝트의 윤곽 정보, 온도 정보, 열화성 정보 및 밝기 정보 중 적어도 하나 이상을 더 센싱할 수 있으며, 이에 대한 정보를 제어서버로 전송할 수 있다. 제어서버는 이미지 정보뿐만 아니라 상술한 정보 중 적어도 어느 하나를 더 고려하여 HD Map 정보를 생성할 수 있다.In addition, the smart pole may further sense at least one of outline information, temperature information, deterioration information, and brightness information of the object as well as image information about the object based on the above-described sensor, and the information about this may be stored in the control server can be sent to The control server may generate HD Map information in consideration of not only image information but also at least any one of the above-described information.
또한, 일 예로, 상술한 바와 같이, 스마트폴은 센싱 영역을 제어할 수 있다. 스마트폴은 고정된 위치에서 빔스티어링 및 센서 조정을 통해 센싱을 위한 방향 및 영역 크기 정보를 조절할 수 있다. 일 예로, 오브젝트의 세밀한 정보를 획득하기 위해 스마트폴의 빔은 샤프하게 설정되고, 이에 기초하여 고밀도의 오브젝트 정보가 획득될 수 있다. 또 다른 일 예로, 스마트폴이 넓은 영역을 센싱할 수 있도록 빔은 브로드하게 설정되고, 넓은 영역의 다양한 오브젝트를 센싱하도록 할 수 있으며, 이에 기초하여 다양한 정보를 획득할 수 있다. 또한, 일 예로, 스마트폴의 센싱 방향도 제어될 수 있으며, 이를 통해 다양한 영역을 센싱할 수 있다. 또한, 스마트폴은 상술한 바와 같이 가로등일 수 있으나, 이에 제한되는 것은 아닐 수 있다. 일 예로, 도 15를 참조하면, 스마트폴은 가로등(1510) 형태일 수 있다. 또는 스마트폴은 지하철 출입구에 세워진 표시판(1520)이거나, 특정 건물(1530), 버스 정거장(1540) 또는 차량 펜스(1550) 중 적어도 어느 하나의 장치일 수 있다. 즉, 스마트폴은 도로 주변에 센서가 설치될 수 있는 다양한 물체일 수 있으며, 특정 형태로 제한되지 않는다. 일 예로, 스마트폴이 상술한 바와 같이 다양한 형태인 경우, 스마트폴의 센싱 화각이 다양할 수 있다. 일 예로, 가로등 형태의 스마트폴(1510)은 보행자 키 높이를 센싱하고, 차량 펜스 형태의 스마트폴(1550)은 낮은 높이를 센싱하고, 건물 형태의 스마트폴(1530)은 원거리 형태의 센싱을 수행할 수 있다. 즉, 스마트폴은 다양한 형태로 설치되어 다양한 센싱을 수행할 수 있다.Also, as an example, as described above, the smart pole may control the sensing area. The smart pole can adjust the direction and area size information for sensing through beam steering and sensor adjustment at a fixed position. As an example, the beam of the smart pole is set to be sharp in order to obtain detailed information of the object, and high-density object information may be obtained based on this. As another example, the beam is set to be broad so that the smart pole can sense a wide area, and various objects in a wide area can be sensed, and various information can be obtained based on this. Also, as an example, the sensing direction of the smart pole may be controlled, and various areas may be sensed through this. In addition, the smart pole may be a street light as described above, but may not be limited thereto. For example, referring to FIG. 15 , the smart pole may be in the form of a
또 다른 일 예로, 스마트폴은 복수 개가 설치되기 때문에 특정 영역 내 객체의 종류, 객체의 현재 위치, 이동 방향 및 이동 속도 정보 중 적어도 어느 하나 이상을 획득할 수 있다. 즉, 스마트폴은 이동하는 차량의 실시간 정보를 획득할 수 있다. 구체적인 일 예로, 도 16을 참조하면, 복수 개의 스마트폴(1610-1, 1610-2, 1610-3, 1610-4)들은 교차로 주변의 오브젝트를 센싱할 수 있다. 또한, 각각의 자율주행 차량(1620-1, 1620-2, 1620-3, 1620-4)들 각각도 주변 오브젝트 정보를 신셍할 수 있다. 이때, 일 예로, 제 1 자율주행 차량(1620-1)이 교차로를 주행중인 경우, 제 2 자율주행 차량(1620-2)는 보행자(1630)를 인식하지 못할 수 있다. 여기서, 제 1 스마트폴(1610-1) 및 제 2 스마트폴(1610-2)은 보행자(1630)를 인식할 수 있으며, 이에 대한 정보를 제어서버 또는 제 2 자율주행 차량(1620-2)에게 직접 제공할 수 있다. 또한, 구체적인 일 예로, 제어서버는 제 1 스마트폴(1610-1) 및 제 2 스마트폴(1610-2)로부터 인식되는 보행자(1630) 및 제 1 자율주행 차량(1620-1)에 대한 정보를 획득하고, 이에 기초하여 제 2 자율주행 차량(1620-2)의 시야가 제한됨을 확인할 수 있다. 이때, 제어서버는 제 2 자율주행 차량(1620-2)의 시야가 제한됨을 인지하면 보행자(1630)에 대한 정보를 제공할 수 있다. 즉, 제어서버는 제 2 자율주행 차량(1620-2)의 시야가 제한되는 이벤트를 인지하는 경우에만 관련 정보를 제공하여 무분별한 정보 제공이 수행되지 않도록 할 수 있다.As another example, since a plurality of smart poles are installed, at least any one or more of information about a type of an object in a specific area, a current location of an object, a moving direction, and a moving speed may be acquired. That is, the smart pole can acquire real-time information of a moving vehicle. As a specific example, referring to FIG. 16 , a plurality of smart poles 1610 - 1 , 1610 - 2 , 1610 - 3 , and 1610 - 4 may sense objects around the intersection. In addition, each of the autonomous driving vehicles 1620 - 1 , 1620 - 2 , 1620 - 3 and 1620 - 4 may also set surrounding object information. In this case, for example, when the first autonomous vehicle 1620 - 1 is driving at the intersection, the second autonomous vehicle 1620 - 2 may not recognize the
또 다른 일 예로, 제어서버는 복수 개의 자율주행 차량 또는 스마트폴의 센서로부터 획득한 정보에 기초하여 HD Map 내에서 오브젝트에 대한 정보를 디스플레이할 수 있다. 즉, 제어서버는 HD Map과 함께 실시간으로 변동되는 오브젝트에 대한 정보를 자율주행 차량에게 제공할 수 있으며, 이를 통해 자율주행이 제어될 수 있다.As another example, the control server may display information about the object in the HD Map based on information obtained from sensors of a plurality of autonomous vehicles or smart poles. That is, the control server can provide the autonomous vehicle with information on objects that change in real time together with the HD Map, and through this, the autonomous driving can be controlled.
또 다른 일 예로, 상술한 제어서버는 중앙 서버 방식으로 설정될 수 있다. 즉, 복수 개의 스마트폴을 제어하는 중앙 서버 방식일 수 있다. 다만, 자율주행 시스템은 도로 전반에 걸쳐서 동작하여야 하고, 중앙 서버로 동작하는데 지연 등의 문제가 발생할 수 있으므로 제어 서버는 엣지 컴퓨팅에 기초하여 분산된 형태로 구현될 수 있다. 구체적인 일 예로, 제어서버는 복수 개의 스마트폴 중 특정 스마트폴로 설정되고, 일정 영역마다 설정될 수 있다. 또한, 제어서버는 일정 영역별로 별도로 구성될 수 있으며, 상술한 실시예로 한정되지 않는다. 즉, 제어서버는 다양한 형태로 구현될 수 있으며, 특정 영역을 제어하도록 설정될 수 있다.As another example, the above-described control server may be configured in a central server manner. That is, it may be a central server method that controls a plurality of smart poles. However, since the autonomous driving system must operate across the road, and problems such as delay may occur in operation as a central server, the control server may be implemented in a distributed form based on edge computing. As a specific example, the control server may be set as a specific smart pole among a plurality of smart poles, and may be set for each predetermined area. In addition, the control server may be separately configured for each predetermined area, and is not limited to the above-described embodiment. That is, the control server may be implemented in various forms and may be set to control a specific area.
또한, 일 예로, 제어서버는 스마트폴의 라이다 센서를 통해 기본지도를 생성할 수 있다. 이때, 제어서버는 기본지도에서는 고정된 사물에 대한 정보를 규정할 수 있다 일 예로, 벤치, 화단, 건물의 형태 및 가로등 위치 정보는 고정된 형태의 정보일 수 있다. 그 후, 고정된 사물에 정보를 제외하여 실시간으로 이동하는 오브젝트를 센싱할 수 있으며, 이를 통해 오브젝트의 이동속도를 추정하거나 관련 정보를 획득할 수 있다. 또한, 고정된 사물에 대한 정보 처리를 줄일 수 있어 데이터 처리 속도를 향상시킬 수 있다. 또한, 오브젝트의 이동을 디텍트하는 경우, 오브젝트의 종류, 오브젝트의 이동방향, 오브젝트의 종전속도, 오브젝트의 자세(e.g. 사람의 경우 팔을 들었는지 스마트폰을 손에 들었는지 들다가 가방에 넣었는지 등) 정보를 획득하고, 이에 기초하여 이동 속도 및 방향을 인지할 수 있으며, 자율주행에 활용하도록 할 수 있다.Also, as an example, the control server may generate a basic map through the lidar sensor of the smart pole. In this case, the control server may define information on a fixed object in the basic map. For example, information on the shape of a bench, a flower bed, a building, and a location of a street lamp may be information in a fixed form. Thereafter, the moving object can be sensed in real time by excluding information on the fixed object, and through this, the moving speed of the object can be estimated or related information can be obtained. In addition, it is possible to reduce information processing for fixed objects, thereby improving data processing speed. In addition, when detecting the movement of an object, the type of object, the direction of movement of the object, the previous speed of the object, and the posture of the object (e.g. in the case of a person, whether he held his arm or smartphone in his hand or put it in a bag) etc.) information can be obtained, and based on this, the moving speed and direction can be recognized, and it can be used for autonomous driving.
또 다른 일 예로, 제어서버는 HD Map 내의 고정된 오브젝트 및 이동 오브젝트에 대한 정보를 데이터화하고, 이를 빅데이터로 활용할 수 있다. 여기서, 빅데이터에 기초한 기계학습이 수행될 수 있고, 기계학습을 통해 자율주행에 필요한 정보를 추출할 수 있다. 일 예로, 제어서버는 복수 개의 스마트폴로부터 수집된 정보를 이용하여 교통신호체계를 분석하고, 자율주행에 가장 도움이 될 수 있는 신호체계를 설계할 수 있다. 일 예로, 신호체계는 특정 시간대에 사람이 많이 지나가는 경우 보행신호를 길게 변경될 수 있다. 또한, 자율주행 차량의 이동 속도를 고려하여 주변 신호들과의 상관 관계를 분석하여 교통 흐름을 원활하게 하는 신호 체계를 학습할 수 있으며, 상술한 실시예로 한정되지 않는다.As another example, the control server may convert information on fixed and moving objects in the HD Map into data, and use this as big data. Here, machine learning based on big data may be performed, and information necessary for autonomous driving may be extracted through machine learning. For example, the control server may analyze a traffic signal system using information collected from a plurality of smart poles, and design a signal system that is most helpful for autonomous driving. For example, the signal system may change the length of the walking signal when a lot of people pass in a specific time period. In addition, a signal system for smooth traffic flow may be learned by analyzing a correlation with surrounding signals in consideration of the moving speed of the autonomous vehicle, and is not limited to the above-described embodiment.
또한, 일 예로, 제어서버는 생성한(또는 실시간 업데이트된) 고정밀 지도를 사용할 것인지 여부를 특정 지역내 들어온 차량에 노티할 수 있다. 즉, 제어서버는 특정 영역에 진입하는 자율주행 차량에게 HD Map 제공 여부를 문의하고, 자율주행 차량의 승인하에 HD Map 정보를 제공할 수 있다. 일 예로, 자율주행 차량도 다수의 센서를 구비할 수 있으며, 센서에 의해 센싱된 정보와 제어서버로부터 수신한 정보가 불일치하는 경우에 자율주행에 방해가 될 수 있다. 상술한 점을 고려하여, 제어서버는 자율주행 차량에서 HD Map 정보 제공 여부를 문의하고, 자율주행 차량은 차량의 현재 상태 및 주변 환경에 기초하여 센싱 정확도를 고려하여 HD Map 정보 제공여부를 결정할 수 있다.Also, as an example, the control server may notify a vehicle entering a specific area whether to use the generated (or updated in real-time) high-precision map. That is, the control server may inquire whether to provide an HD Map to an autonomous vehicle entering a specific area, and may provide HD Map information upon approval of the autonomous vehicle. For example, an autonomous vehicle may also include a plurality of sensors, and when information sensed by the sensors and information received from the control server do not match, autonomous driving may be hindered. In consideration of the above, the control server inquires whether to provide HD Map information from the autonomous vehicle, and the autonomous vehicle determines whether to provide HD Map information in consideration of sensing accuracy based on the current state of the vehicle and the surrounding environment. have.
구체적인 일 예로, 제어서버는 자율주행 차량으로부터 해당 지역에 대한 고정밀 지도A를 수신하고 제어서버가 생성한 고정밀 지도B를 고정밀 지도 A와 비교할 수 있다. 이때, 제어서버는 두 지도의 매칭률(유사도)에 대한 정보를 차량에게 제공할 수 있다. 여기서, 제어서버가 장기간에 걸쳐 획득한 데이터로 생성된 지도 B의 정확도가 높을 수 있으나, 자율주행 차량의 라이다 센서에 기초하여 지도 A의 정확도가 높을 수 있다. 보다 구체적인 일 예로, 특정 지역에 갑작스런 공사가 진행되는 경우, 제어서버의 지도 B보다 자율주행 차량의 지도 A가 정확할 수 있으며, 이러한 경우 자율주행 차량은 자신이 획득한 센싱 정보를 활용하는 것이 자율주행에 도움을 줄 수 있다. As a specific example, the control server may receive a high-precision map A for a corresponding area from the autonomous vehicle and compare the high-precision map B generated by the control server with the high-precision map A. In this case, the control server may provide information on the matching rate (similarity) of the two maps to the vehicle. Here, the accuracy of the map B generated by the data acquired by the control server over a long period of time may be high, but the accuracy of the map A may be high based on the lidar sensor of the autonomous vehicle. As a more specific example, when sudden construction is carried out in a specific area, the map A of the autonomous driving vehicle may be more accurate than the map B of the control server. can help
또 다른 일 예로, 도 17을 참조하면, 제어서버는 사각지역에 대한 제어를 수행할 수 있다. 일 예로, 복수 개의 스마트폴(1710-1, 1710-2)은 고정된 영역을 센싱하거나 빔스티어링에 기초하여 변경되는 영역을 센싱할 수 있다. 여기서, 복수 개의 스마트폴(1710-1, 1710-2)에 의해 센싱되지 않는 사각지역이 생길 수 있다. 일 예로, 자율주행 차량이 사각지역을 주행하는 경우에 제어서버는 해당 영역에 대한 정보를 자율주행 차량에게 제공할 수 없으므로 사각지역에 대한 정보와 함께 자율주행 차량이 직접 센싱을 수행하도록 요청할 수 있다. 또 다른 일 예로, 제어서버는 자율주행 차량에게 우회경로를 제공할 수 있으며, 이를 통해 제어 불가능한 영역이 존재하지 않도록 할 수 있다. 상술한 점을 고려하여 자율주행에서 있어서 예외적 상황(exceptional case)가 발생하지 않도록 할 수 있으며, 자율주행 안정성을 높일 수 있다.As another example, referring to FIG. 17 , the control server may control the blind area. For example, the plurality of smart poles 1710-1 and 1710-2 may sense a fixed area or sense a changed area based on beam steering. Here, a blind area that is not sensed by the plurality of smart poles 1710-1 and 1710-2 may occur. For example, when the autonomous vehicle drives in a blind area, the control server cannot provide information on the corresponding area to the autonomous vehicle, so the autonomous vehicle may request to directly perform sensing together with information on the blind area. . As another example, the control server may provide a detour route to the autonomous vehicle, so that an uncontrollable area does not exist. In consideration of the above, it is possible to prevent an exceptional case from occurring in autonomous driving, and it is possible to increase the stability of autonomous driving.
도 18은 본 명세서의 일실시예에 있어서 자율주행 시스템에 기초하여 제어 서버의 동작을 나타낸 순서도이다.18 is a flowchart illustrating an operation of a control server based on an autonomous driving system according to an embodiment of the present specification.
도 18을 참조하면, 자율주행 시스템은 자율주행 정보를 제공할 수 있다. 이때, 자율주행 시스템은 라이다 센서를 포함하고, 고정된 지리적 위치에 설치된 복수 개의 스마트폴, 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하고, 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하여 복수 개의 자율주행 차량으로 상기 HD map을 제공하는 제어서버를 포함할 수 있다.Referring to FIG. 18 , the autonomous driving system may provide autonomous driving information. At this time, the autonomous driving system includes a lidar sensor, receives high-precision map-related information from a plurality of smart poles and a plurality of smart poles installed in a fixed geographic location, and uses high-precision map-related information through high-definition map (HD map, High Definition map) and may include a control server that provides the HD map to a plurality of autonomous vehicles.
이때, 제어서버는 라이다 센서를 포함하고 고정된 지리적 위치에 설치된 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신할 수 있다.(S1810) 그 후, 제어서버는 고정밀 지도 관련 정보를 통해 HD map을 제작하고(S1820), 제작된 HD map을 복수 개의 자율주행 차량으로 전달할 수 있다.(S1830) 여기서, 복수 개의 스마트폴은 라이더 센서 및 적어도 어느 하나 이상의 센서를 포함할 수 있다. 이때, 적어도 하나 이상의 센서는 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서 및 습도센서 중 적어도 어느 하나 이상을 포함할 수 있다. 이때, 스마트폴은 적어도 어느 하나의 센서에 기초하여 특정 영역 내의 오브젝트들의 이미지 정보, 오브젝트의 윤곽 정보, 온도 정보, 열화성 정보 및 밝기 정보 중 적어도 하나 이상을 센싱할 수 있다. 그 후, 스마트폴은 센싱된 정보에 기초하여 획득된 고정밀 지도 관련 정보를 제어서버로 전송할 수 있다.In this case, the control server may receive high-precision map-related information from a plurality of smart poles including the lidar sensor and installed at a fixed geographic location (S1810). Then, the control server transmits the HD map through the high-precision map-related information. After manufacturing (S1820), the manufactured HD map may be transmitted to a plurality of autonomous vehicles (S1830). Here, the plurality of smart poles may include a lidar sensor and at least one or more sensors. In this case, the at least one sensor may include at least one of a radar sensor, a camera sensor, a thermal image sensor, a light quantity sensor, a temperature sensor, and a humidity sensor. In this case, the smart pole may sense at least one of image information of objects in a specific area, contour information of the object, temperature information, deterioration information, and brightness information based on at least one sensor. Thereafter, the smart pole may transmit the high-precision map-related information obtained based on the sensed information to the control server.
또한, 일 예로, 복수 개의 스마트폴 중 제 1 스마트폴은 라이더 센서 및 적어도 어느 하나 이상의 센서에 기초하여 제 1 영역을 센싱할 수 있다. 그 후, 제 1 스마트폴은 센싱에 기초하여 획득된 고정밀 지도 관련 정보를 제어서버로 전송할 수 있다. 여기서, 제 1 영역은 라이더 센서 및 적어도 어느 하나 이상의 센서의 센싱 각도 및 빔스티어링에 기초하여 상이하게 설정될 수 있다. 즉, 각각의 스마트폴이 센싱하는 영역은 고정되지 않고 센서의 화각이나 높이 등에 기초하여 상이하게 설정될 수 있다. 구체적으로, 제 1 영역은 상기 제 1 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정될 수 있다. Also, as an example, the first smart pole among the plurality of smart poles may sense the first area based on a lidar sensor and at least one or more sensors. Thereafter, the first smart pole may transmit the high-precision map-related information obtained based on the sensing to the control server. Here, the first area may be set differently based on a sensing angle and beam steering of the lidar sensor and at least one or more sensors. That is, the area sensed by each smart pole is not fixed and may be set differently based on the angle of view or height of the sensor. Specifically, the first area may be set differently based on at least one of location information, traffic situation information, road condition information, object recognition/determination information, HD Map information, and congestion level information of the first smart pole.
또한, 일 예로, 복수 개의 스마트폴 중 제 2 스마트폴은 라이더 센서 및 적어도 어느 하나 이상의 센서에 기초하여 제 2 영역을 센싱하고, 센싱에 기초하여 획득된 고정밀 지도 관련 정보를 제어서버로 전송할 수 있다. 이때, 제 2 영역도 제 2 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정될 수 있다. 제어서버는 제 1 스마트폴로부터 획득한 센싱 정보 및 제 2 스마트폴로부터 획득한 센싱 정보에 기초하여 특정 영역에 대한 HD map을 제작할 수 있다. Also, as an example, the second smart pole among the plurality of smart poles may sense the second area based on the lidar sensor and at least one sensor, and transmit high-precision map-related information obtained based on the sensing to the control server. . In this case, the second area may also be set differently based on at least one of location information, traffic situation information, road condition information, object recognition/determination information, HD Map information, and congestion level information of the second smart pole. The control server may create an HD map for a specific area based on the sensing information acquired from the first smart pole and the sensing information acquired from the second smart pole.
또한, 일 예로, 스마트폴이 라이다 센서 및 적어도 어느 하나 이상의 센서를 통해 특정 영역을 센싱하는 경우, 특정 영역 내의 오브젝트들은 고정 오브젝트 및 이동 오브젝트로 구별될 수 있다. 여기서, 스마트폴이 고정밀 지도 관련 정보를 상기 제어서버로 전송하는 경우, 스마트폴은 고정 오브젝브 정보 및 이동 오브젝트 정보는 구별하여 전송할 수 있다. 이때, 이동 오브젝트에 대한 정보는 오브젝트의 종류 정보, 오브젝트의 이동방향 정보, 오브젝트의 기존속도 정보 및 오브젝트 자세 정보 중 적어도 어느 하나 이상을 포함할 수 있다. 또한, 이동 오브젝트 정보는 실시간으로 업데이트되되, 이동 오브젝트 정보는 고정 오브젝트 정보와 비교하여 업데이트될 수 있다. 일 예로, 이동 오브젝트의 이동속도 정보는 고정 오브젝트의 위치 정보에 기초하여 실시간으로 업데이트될 수 있으며, 이는 상술한 바와 같다.Also, as an example, when the smart pole senses a specific area through the lidar sensor and at least one sensor, objects within the specific area may be divided into a fixed object and a moving object. Here, when the smart pole transmits the high-precision map-related information to the control server, the smart pole can transmit the fixed object information and the moving object information separately. In this case, the information on the moving object may include at least one of object type information, object movement direction information, existing speed information of the object, and object posture information. Also, the moving object information may be updated in real time, but the moving object information may be updated by comparing it with the fixed object information. For example, the movement speed information of the moving object may be updated in real time based on the position information of the fixed object, as described above.
또한, 일 예로, 스마트폴은 가로등 형태, 지하출 출입구 형태, 차량 펜스 형태, 건물 형태 및 버스 정거장 형태 중 적어도 어느 하나에 기초하여 설정될 수 있으며, 이는 상술한 바와 같다.Also, as an example, the smart pole may be set based on at least one of a street lamp shape, an underground entrance/exit shape, a vehicle fence shape, a building shape, and a bus stop shape, as described above.
또한, 일 예로, 제어서버는 복수 개의 스마트폴로부터 복수 개의 고정밀 지도 관련 정보를 획득하고, 획득한 고정밀 지도 관련 정보를 이용하여 빅데이터를 구축할 수 있다. 또한, 제어서버는 구축된 빅데이터에 대한 기계학습을 통해 HD map을 업데이트할 수 있다. 또 다른 일 예로, 제어서버는 수행된 기계학습에 기초하여 교통신호체계 정보를 변경할 수 있다. 또한, 제어서버가 HD map을 상기 복수 개의 자율주행 차량에 제공하는 경우, 제어서버는 HD map 제공 여부를 복수 개의 자율주행 차량으로 문의하고, HD map 제공 여부를 동의한 자율주행 차량으로만 HD map를 제공할 수 있다.Also, as an example, the control server may acquire a plurality of high-precision map-related information from a plurality of smart poles, and construct big data using the obtained high-precision map-related information. In addition, the control server can update the HD map through machine learning on the built big data. As another example, the control server may change the traffic signal system information based on the performed machine learning. In addition, when the control server provides the HD map to the plurality of autonomous vehicles, the control server inquires whether to provide the HD map to the plurality of autonomous vehicles, and only provides HD map to the autonomous vehicles that have agreed to provide the HD map. can provide
또 다른 일 예로, 복수 개의 스마트폴은 자율주행 관련 정보를 더 센싱하고, 센싱된 자율주행 관련 정보를 제어서버로 전송할 수 있다. 이때, 제어서버는 전송된 자율주행 관련 정보에 처리하여 자율주행 정보를 생성하여 복수 개의 자율주행 차량으로 제공할 수 있다. 여기서, 자율주행 정보는 HD map에 기초하여 제공될 수 있다.또 다른 일 예로, 복수 개의 자율주행 차량은 자율주행 시스템과 인증을 수행할 수 있다. 여기서, 자율주행 시스템은 복수 개의 자율주행 차량 중 인증이 완료된 차량에게만 HD map을 전송할 수 있다. 즉, 자율주행 시스템은 인증된 자율주행 차량에 대해서만 서비스를 제공할 수 있다. 여기서, 구체적인 일 예로, 자율주행 차량은 턴온되면 자율주행 시스템과 인증을 수행할 수 있다. 즉, 자율주행 차량의 시동이 켜지거나 주행을 위한 트리거링 동작이 수행되는 경우에 자율주행 시스템과 인증을 수행할 수 있다. 이때, 자율주행 차량이 턴-온되면 자율주행 차량은 자율주행 시스템으로 자율주행 차량의 식별 정보를 포함하는 인증 요청 메시지를 전송할 수 있다. 자율주행 시스템은 인증 요청 메시지에 포함된 자율주행 차량의 식별 정보에 기초하여 인증을 수행할 수 있다. 이때, 인증이 완료되면 자율주행 시스템은 HD map을 포함하는 인증 완료 메시지를 자율주행 차량으로 전송할 수 있으며, 이를 통해 자율주행 차량은 자율주행 시스템으로부터 서비스를 제공받을 수 있다.As another example, the plurality of smart poles may further sense autonomous driving-related information and transmit the sensed autonomous driving-related information to the control server. In this case, the control server may process the transmitted autonomous driving-related information to generate autonomous driving information and provide it to a plurality of autonomous driving vehicles. Here, the autonomous driving information may be provided based on the HD map. As another example, the plurality of autonomous driving vehicles may perform authentication with the autonomous driving system. Here, the autonomous driving system may transmit the HD map only to a vehicle for which authentication has been completed among a plurality of autonomous driving vehicles. In other words, the autonomous driving system can provide services only for certified autonomous vehicles. Here, as a specific example, when the autonomous driving vehicle is turned on, it may perform authentication with the autonomous driving system. That is, when the engine of the autonomous driving vehicle is turned on or a triggering operation for driving is performed, authentication with the autonomous driving system may be performed. In this case, when the autonomous driving vehicle is turned on, the autonomous driving vehicle may transmit an authentication request message including identification information of the autonomous driving vehicle to the autonomous driving system. The autonomous driving system may perform authentication based on identification information of the autonomous driving vehicle included in the authentication request message. In this case, when the authentication is completed, the autonomous driving system may transmit an authentication completion message including the HD map to the autonomous vehicle, through which the autonomous vehicle can receive a service from the autonomous driving system.
이상에서 설명한 실시예들은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The embodiments described above may be at least partially implemented as a computer program and recorded in a computer-readable recording medium. A computer-readable recording medium in which a program for implementing the embodiments is recorded includes all types of recording devices in which computer-readable data is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, and optical data storage devices. In addition, the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which the present embodiment belongs.
이상에서 살펴본 본 명세서는 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 명세서의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 명세서의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 포함하도록 정해져야 할 것이다.Although the present specification described above has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and variations of the embodiments are possible therefrom. However, such modifications should be considered to be within the technical protection scope of the present specification. Accordingly, the true technical protection scope of the present specification should be defined to include other implementations, other embodiments, and equivalents to the claims by the spirit of the appended claims.
Claims (10)
라이다 센서를 포함하고, 고정된 지리적 위치에 설치된 복수 개의 스마트폴; 및
상기 복수 개의 스마트폴로부터 고정밀 지도 관련 정보를 수신하고, 상기 고정밀 지도 관련 정보를 통해 고정밀지도(HD map, High Definition map)를 제작하여 복수 개의 자율주행 차량으로 상기 HD map을 제공하는 제어서버;를 포함하되,
상기 제어서버가 센싱할 수 없는 사각지역을 상기 자율주행 차량이 주행하는 경우, 상기 사각지역에 대한 정보를 상기 자율주행 차량에게 요청하는, 자율주행 시스템.
In the autonomous driving system that provides autonomous driving information,
A plurality of smart poles including a lidar sensor and installed at a fixed geographic location; and
A control server that receives high-precision map-related information from the plurality of smart poles, produces a high-definition map (HD map) through the high-precision map-related information, and provides the HD map to a plurality of autonomous vehicles; including,
When the autonomous driving vehicle drives in a blind spot that cannot be sensed by the control server, the autonomous driving system requests information on the blind spot from the autonomous driving vehicle.
상기 복수 개의 스마트폴은 상기 라이다 센서 및 적어도 어느 하나 이상의 센서를 포함하고,
상기 복수 개의 스마트폴 중 제 1 스마트폴은 상기 라이다 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 1 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되,
상기 제 1 영역은 라이더 센서 및 상기 적어도 어느 하나 이상의 센서의 센싱 각도 및 빔스티어링에 기초하여 상이하게 설정되는, 자율주행 시스템.
The method of claim 1,
The plurality of smart poles include the lidar sensor and at least one sensor,
A first smart pole among the plurality of smart poles senses a first area based on the lidar sensor and the at least one sensor, and transmits the high-precision map-related information obtained based on the sensing to the control server but,
The autonomous driving system, wherein the first area is set differently based on a lidar sensor and a sensing angle and beam steering of the at least one or more sensors.
상기 제 1 영역은 상기 제 1 스마트폴의 위치 정보, 교통상황 정보, 도로 상태 정보, 오브젝트 인지/판단 정보, HD Map 정보 및 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정되는, 자율주행 시스템.
3. The method of claim 2,
The first area is set differently based on at least one of location information, traffic situation information, road condition information, object recognition/determination information, HD Map information, and congestion level information of the first smart pole.
상기 복수 개의 스마트폴 중 제 2 스마트폴은 상기 라이더 센서 및 상기 적어도 어느 하나 이상의 센서에 기초하여 제 2 영역을 센싱하고, 상기 센싱에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하되,
상기 제 2영역은 상기 제 2 스마트폴의 위치 정보, 상기 교통상황 정보, 상기 도로 상태 정보, 상기 오브젝트 인지/판단 정보, 상기 HD Map 정보 및 상기 혼잡도 정보 중 적어도 어느 하나에 기초하여 상이하게 설정되고,
상기 제어서버는 상기 제 1 스마트폴로부터 획득한 고정밀 지도 관련 정보 및 상기 제 2 스마트폴로부터 획득한 고정밀 지도 관련 정보에 기초하여 상기 HD map을 제작하는, 자율주행 시스템.
4. The method of claim 3,
A second smart pole among the plurality of smart poles senses a second area based on the lidar sensor and the at least one sensor, and transmits the high-precision map-related information obtained based on the sensing to the control server, ,
The second area is set differently based on at least one of the location information of the second smart pole, the traffic situation information, the road condition information, the object recognition/determination information, the HD Map information, and the congestion level information, ,
The control server produces the HD map based on the high-precision map-related information obtained from the first smart pole and the high-precision map-related information obtained from the second smart pole.
상기 적어도 어느 하나의 센서는 레이더 센서, 카메라센서, 열화상 센서, 광량센서, 온도센서 및 습도센서 중 적어도 어느 하나 이상을 포함하고,
상기 적어도 어느 하나의 센서에 기초하여 상기 제 1 영역 내의 오브젝트들의 이미지 정보, 오브젝트의 윤곽 정보, 온도 정보, 열화성 정보 및 밝기 정보 중 적어도 하나 이상을 센싱하고,
센싱된 정보에 기초하여 획득된 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하는, 자율주행 시스템.
3. The method of claim 2,
The at least one sensor includes at least any one or more of a radar sensor, a camera sensor, a thermal image sensor, a light quantity sensor, a temperature sensor, and a humidity sensor,
Sensing at least one of image information of objects in the first area, object contour information, temperature information, deterioration information, and brightness information based on the at least one sensor,
An autonomous driving system for transmitting the high-precision map-related information obtained based on the sensed information to the control server.
상기 제 1 영역 내의 오브젝트들은 고정 오브젝트 및 이동 오브젝트로 구별되고,
상기 제 1 스마트폴이 상기 고정밀 지도 관련 정보를 상기 제어서버로 전송하는 경우, 고정 오브젝브 정보 및 이동 오브젝트 정보는 구별하여 전송되는, 자율주행 시스템.
3. The method of claim 2,
Objects in the first area are divided into a fixed object and a moving object,
When the first smart pole transmits the high-precision map-related information to the control server, the fixed object information and the moving object information are transmitted separately.
상기 이동 오브젝트에 대한 정보는 오브젝트의 종류 정보, 오브젝트의 이동방향 정보, 오브젝트의 기존속도 정보 및 오브젝트 자세 정보 중 적어도 어느 하나 이상을 포함하는, 자율주행 시스템.
7. The method of claim 6,
The autonomous driving system, wherein the information on the moving object includes at least one of object type information, object movement direction information, existing speed information of the object, and object posture information.
상기 이동 오브젝트 정보는 실시간으로 업데이트되되,
상기 이동 오브젝트 정보는 상기 고정 오브젝트 정보와 비교하여 업데이트되는, 자율주행 시스템.
8. The method of claim 7,
The moving object information is updated in real time,
and the moving object information is updated compared to the fixed object information.
스마트폴은 가로등 형태, 지하출 출입구 형태, 차량 펜스 형태, 건물 형태 및 버스 정거장 형태 중 적어도 어느 하나에 기초하여 설정되는, 자율주행 시스템.
3. The method of claim 2,
The smart pole is an autonomous driving system that is set based on at least one of a street lamp type, an underground entrance/exit type, a vehicle fence type, a building type, and a bus stop type.
상기 제어서버는 상기 복수 개의 스마트폴로부터 복수 개의 상기 고정밀 지도 관련 정보를 획득하고,
상기 획득한 고정밀 지도 관련 정보를 이용하여 빅데이터를 구축하고, 상기 구축된 빅데이터에 대한 기계학습을 통해 상기 HD map을 업데이트하는, 자율주행 시스템.The method of claim 1,
The control server obtains a plurality of the high-precision map-related information from the plurality of smart poles,
An autonomous driving system that builds big data using the obtained high-precision map-related information, and updates the HD map through machine learning on the built big data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210063344A KR102414873B1 (en) | 2020-11-30 | 2021-05-17 | The autonomous driving system using smart pole having lidar sensor |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200164521A KR102256541B1 (en) | 2020-11-30 | 2020-11-30 | The autonomous driving system using smart pole having lidar sensor |
KR1020210063344A KR102414873B1 (en) | 2020-11-30 | 2021-05-17 | The autonomous driving system using smart pole having lidar sensor |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200164521A Division KR102256541B1 (en) | 2020-11-30 | 2020-11-30 | The autonomous driving system using smart pole having lidar sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220076268A KR20220076268A (en) | 2022-06-08 |
KR102414873B1 true KR102414873B1 (en) | 2022-06-29 |
Family
ID=76145304
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200164521A KR102256541B1 (en) | 2020-11-30 | 2020-11-30 | The autonomous driving system using smart pole having lidar sensor |
KR1020210063344A KR102414873B1 (en) | 2020-11-30 | 2021-05-17 | The autonomous driving system using smart pole having lidar sensor |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200164521A KR102256541B1 (en) | 2020-11-30 | 2020-11-30 | The autonomous driving system using smart pole having lidar sensor |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102256541B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240100970A (en) | 2022-12-23 | 2024-07-02 | 주식회사 에코란트 | Vehicle driving assistance apparatus and vehicle driving assistance system using smart pole |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102330985B1 (en) * | 2021-06-02 | 2021-12-01 | 주식회사 엠데이터싱크 | method for guidance of parking in parking space |
KR20230004178A (en) | 2021-06-30 | 2023-01-06 | 김배훈 | Camera backup system and method for autonomous vehicle |
KR102425980B1 (en) * | 2021-07-05 | 2022-07-29 | 한국전자기술연구원 | Supporting System and Method for customizing service of Vehicle to Everything |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150047215A (en) * | 2013-10-24 | 2015-05-04 | 현대모비스 주식회사 | Apparatus for sensing target vehicle using a rotational lidar sensor, and the rotational lidar sensor |
KR102623680B1 (en) | 2015-02-10 | 2024-01-12 | 모빌아이 비젼 테크놀로지스 엘티디. | Sparse map for autonomous vehicle navigation |
KR102631850B1 (en) * | 2017-01-05 | 2024-02-02 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. | Generation and use of hd maps |
KR102064222B1 (en) * | 2017-09-22 | 2020-03-02 | 엘지전자 주식회사 | Method for controlling the driving system of a vehicle |
-
2020
- 2020-11-30 KR KR1020200164521A patent/KR102256541B1/en active IP Right Grant
-
2021
- 2021-05-17 KR KR1020210063344A patent/KR102414873B1/en active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240100970A (en) | 2022-12-23 | 2024-07-02 | 주식회사 에코란트 | Vehicle driving assistance apparatus and vehicle driving assistance system using smart pole |
Also Published As
Publication number | Publication date |
---|---|
KR20220076268A (en) | 2022-06-08 |
KR102256541B1 (en) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102414873B1 (en) | The autonomous driving system using smart pole having lidar sensor | |
JP6602352B2 (en) | Decision improvement system based on planning feedback for autonomous vehicles | |
CN109863513B (en) | Neural network system for autonomous vehicle control | |
US11238733B2 (en) | Group driving style learning framework for autonomous vehicles | |
JP6506805B2 (en) | An evaluation framework for the determination of autonomous vehicles | |
CN109429518B (en) | Map image based autonomous traffic prediction | |
US11967230B2 (en) | System and method for using V2X and sensor data | |
JP7285756B2 (en) | Updating map data for autonomous vehicles based on sensor data | |
KR101703144B1 (en) | Apparatus and method for autonomous driving | |
US20210072756A1 (en) | Solution Path Overlay Interfaces for Autonomous Vehicles | |
KR102223346B1 (en) | Pedestrian probability prediction system for autonomous vehicles | |
JP2019182402A (en) | Detection assistant used for autonomous driving vehicle | |
CN114829224A (en) | Geo-location models for perception, prediction, or planning | |
JP2019145077A (en) | System for building vehicle-to-cloud real-time traffic map for autonomous driving vehicle (adv) | |
KR20200130279A (en) | System and method to anonymize navigation information | |
CN108089571A (en) | For predicting the vehicular traffic behavior of automatic driving vehicle to make the method and system of Driving Decision-making | |
US11782439B2 (en) | Determining routes for autonomous vehicles | |
CN110597243A (en) | Vehicle lane system of automatic driving vehicle based on V2X communication | |
JP7181354B2 (en) | Vehicle routing with a connected data analytics platform | |
JPWO2019064490A1 (en) | Vehicle control device, vehicle control method, and program | |
CN111857118A (en) | Segmenting parking trajectory to control autonomous vehicle parking | |
US20210356965A1 (en) | Vehicle routing using third party vehicle capabilities | |
CN114754780A (en) | Lane line planning method and related device | |
JP2020144711A (en) | Vehicle control system and vehicle control method | |
CN113196010A (en) | Intersection maps learned from long-term sensor data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |