KR102255432B1 - Electronic apparatus and control method thereof - Google Patents

Electronic apparatus and control method thereof Download PDF

Info

Publication number
KR102255432B1
KR102255432B1 KR1020140154597A KR20140154597A KR102255432B1 KR 102255432 B1 KR102255432 B1 KR 102255432B1 KR 1020140154597 A KR1020140154597 A KR 1020140154597A KR 20140154597 A KR20140154597 A KR 20140154597A KR 102255432 B1 KR102255432 B1 KR 102255432B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
information
location information
electronic device
Prior art date
Application number
KR1020140154597A
Other languages
Korean (ko)
Other versions
KR20150144681A (en
Inventor
고석필
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to US14/742,004 priority Critical patent/US9677898B2/en
Priority to CN201910530448.7A priority patent/CN110296715A/en
Priority to CN201811382624.9A priority patent/CN109323708B/en
Priority to CN201510336818.5A priority patent/CN105300401B/en
Publication of KR20150144681A publication Critical patent/KR20150144681A/en
Priority to US15/605,485 priority patent/US9983018B2/en
Priority to US15/974,341 priority patent/US10739156B2/en
Priority to US16/920,084 priority patent/US11543256B2/en
Priority to KR1020210063573A priority patent/KR102348127B1/en
Application granted granted Critical
Publication of KR102255432B1 publication Critical patent/KR102255432B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 차량의 운전 관련 영상 데이터로부터 차선 영역을 식별하는 단계, 식별된 차선 영역 부분의 영상 데이터로부터 차량이 위치한 차로에 대응되는 차선 정보를 생성하는 단계, 생성된 차선 정보 및 차량이 위치한 도로의 차로 정보 중 적어도 하나를 이용하여 차량이 위치한 차로 위치 정보를 생성하는 단계 및 생성된 차로 위치 정보를 이용하여 차량의 운전 관련 안내를 수행하는 단계를 포함한다.A method of controlling an electronic device is disclosed. The control method includes the steps of identifying a lane area from image data related to driving of the vehicle, generating lane information corresponding to the lane where the vehicle is located from the image data of the identified lane area portion, the generated lane information and the vehicle location. And generating location information of a lane in which the vehicle is located using at least one of the lane information of the road, and performing a driving-related guidance of the vehicle using the generated lane location information.

Description

전자 장치 및 그의 제어 방법{ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}Electronic device and its control method TECHNICAL FIELD [ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}

본 발명은 전자 장치 및 그의 제어 방법에 관한 것으로, 보다 상세하게는 차량이 위치한 차로 위치 인식 및 이를 기초로 운전 관련 안내를 수행할 수 있는 전자 장치 및 그의 제어 방법에 관한 것이다. The present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device capable of performing a driving-related guide based on the recognition of a location of a vehicle in which a vehicle is located, and a control method thereof.

차량의 주행 시 가장 중요한 것은 안전 주행 및 교통 사고의 예방이며, 이를 위해 차량의 자세 제어, 차량 구성장치들의 기능 제어 등을 수행하는 다양한 보조장치 및 안전 벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.The most important thing when driving a vehicle is safe driving and the prevention of traffic accidents, and for this purpose, various auxiliary devices that perform the vehicle's attitude control and function control of the vehicle components, as well as safety devices such as seat belts and airbags, are installed on the vehicle. have.

뿐만 아니라, 최근에는 블랙박스 등과 같이 차량에 위치하여 차량의 주행 영상 및 각종 센서들로부터 전송되는 데이터를 저장함으로써, 차량이 사고 발생시 차량의 사고 원인을 규명하는 장치들도 차량에 구비되는 추세이다. 스마트폰, 태블릿과 같은 휴대용 단말기들도 블랙박스 또는 네비게이션 어플리케이션 등이 탑재 가능하여 이와 같은 차량용 장치로 활용되고 있는 실정이다.In addition, recently, devices such as a black box that are located in a vehicle and store driving images of the vehicle and data transmitted from various sensors are being provided in vehicles to identify the cause of an accident in the vehicle when an accident occurs. Portable terminals such as smartphones and tablets can also be equipped with a black box or a navigation application, so they are being used as such vehicle devices.

그러나, 현재 이와 같은 차량용 장치들에서의 주행 영상 활용도는 낮은 실정이다. 보다 구체적으로 현재 차량에 장착된 카메라와 같은 비젼 센서를 통해 차량의 주행 영상을 획득하더라도 차량의 전자 장치는 이를 단순히 표시, 전송하거나, 차선 이탈 여부 등과 같은 간단한 주변 알림 정보만을 생성하는데 그치고 있다.However, currently, the utilization of driving images in such vehicle devices is low. More specifically, even if a driving image of a vehicle is acquired through a vision sensor such as a camera currently mounted on the vehicle, the electronic device of the vehicle simply displays and transmits the driving image, or only generates simple surrounding notification information such as whether or not a lane has been departed.

또한, 현재 새로이 대두되는 차량의 전자 장치로서 HUD(Head Up Display)나, 증강 현실 인터페이스도 제안되고 있으나 여기에서도 차량의 주행 영상의 활용도는 단순 디스플레이 또는 간단한 알림 정보 생성에 그치고 있다.In addition, a HUD (Head Up Display) or an augmented reality interface has also been proposed as an electronic device of a vehicle that is currently emerging, but the utilization of the driving image of the vehicle is limited to a simple display or simple notification information generation.

본 발명의 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 차량의 운전 관련 영상 데이터를 이용하여 차량이 위치한 차로 위치 정보를 생성하고, 이를 기초로 운전 관련 안내를 수행할 수 있는 전자 장치 및 그의 제어 방법을 제공함에 있다. It was conceived to solve the above-described problems of the present invention, and an object of the present invention is to generate information on the location of the lane where the vehicle is located using image data related to driving of the vehicle, and to perform driving-related guidance based on this It is to provide an apparatus and a control method thereof.

또한, 본 발명의 다른 목적은 증강 현실을 기반으로 효과적으로 운전 관련 안내를 수행할 수 있는 전자 장치 및 그의 제어 방법을 제공함에 있다. In addition, another object of the present invention is to provide an electronic device capable of effectively performing driving-related guidance based on augmented reality and a control method thereof.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 차량의 운전 관련 영상 데이터로부터 차선 영역을 식별하는 단계, 상기 식별된 차선 영역 부분의 영상 데이터로부터 상기 차량이 위치한 차로에 대응되는 차선 정보를 생성하는 단계, 상기 생성된 차선 정보 및 상기 차량이 위치한 도로의 차로 정보 중 적어도 하나를 이용하여 상기 차량이 위치한 차로 위치 정보를 생성하는 단계 및 상기 생성된 차로 위치 정보를 이용하여 상기 차량의 운전 관련 안내를 수행하는 단계를 포함한다.In order to achieve the above object, a method of controlling an electronic device according to an embodiment of the present invention includes the steps of identifying a lane area from image data related to driving of a vehicle, where the vehicle is located from the image data of the identified lane area portion. Generating lane information corresponding to a lane, generating location information of a lane in which the vehicle is located using at least one of the generated lane information and lane information of a road in which the vehicle is located, and the generated lane location information And performing guidance related to driving of the vehicle by using.

그리고, 상기 차선 정보는, 상기 차량이 위치한 차로를 기준으로 양측에 위치한 각 차선에 대응되는 차선 종류 정보, 차선 색상 정보를 포함할 수 있다.In addition, the lane information may include lane type information and lane color information corresponding to each lane located on both sides of the lane in which the vehicle is located.

또한, 상기 차로 위치 정보를 생성하는 단계는, 지도 데이터로부터 상기 차량이 위치한 도로의 차로 정보를 획득하는 단계, 상기 생성된 차선 정보를 이용하여 상기 차량이 상기 도로의 첫 번째 차로, 또는 마지막 차로에 위치하는지 여부를 판단하는 단계, 상기 차량이 상기 첫 번째 또는 마지막 차로에 위치하는 경우, 상기 도로의 차로 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 생성하는 단계를 포함할 수 있다.In addition, the generating of the lane location information may include obtaining lane information of a road on which the vehicle is located from map data, and the vehicle is in the first lane or the last lane of the road using the generated lane information. Determining whether or not the vehicle is located, when the vehicle is located in the first or last lane, generating location information of the lane where the vehicle is located by reflecting the lane information of the road.

그리고, 상기 차로 위치 정보를 생성하는 단계는, 상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 첫 번째 또는 마지막 차로의 사이에 위치한 차로로 변경되면, 상기 생성된 차로 위치 정보를 상기 변경된 차로 위치 정보로 갱신하는 단계를 더 포함할 수 있다.In the generating of the lane location information, when the lane in which the vehicle is located is changed to a lane located between the first or last lane according to the change of the lane of the vehicle, the generated lane location information is converted to the changed lane. It may further include the step of updating the location information.

또한, 상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 사이에 위치한 차로에서 상기 첫 번째 또는 마지막 차로로 변경되면, 상기 차량이 위치한 도로의 차로 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 재생성하는 단계를 더 포함할 수 있다.In addition, when the lane in which the vehicle is located is changed from the lane in the intervening lane to the first or last lane according to the change of the lane of the vehicle, the lane location information of the vehicle in which the vehicle is located is reflected by reflecting the lane information of the road where the vehicle is located It may further include the step of regenerating.

그리고, 상기 차량의 운전 관련 안내를 수행하는 단계는, 상기 차량의 내비게이션 경로와 상기 차로 위치 정보를 이용하여 차로 변경 안내를 출력하는 단계를 포함할 수 있다.In addition, the performing of the driving-related guidance of the vehicle may include outputting a lane change guidance using the navigation path of the vehicle and the lane location information.

또한, 상기 차량의 운전 관련 안내를 수행하는 단계는, 상기 차로 위치 정보를 이용하여 상기 차량이 위치한 차로 안내를 출력하는 단계를 포함할 수 있다.In addition, the performing of the driving-related guidance of the vehicle may include outputting a guidance on a lane in which the vehicle is located using the lane location information.

그리고, 상기 차선 정보에 기초하여 식별되는 차량이 위치한 차로 양측 차선의 종류에 따라, 적절한 차선 이탈 안내를 선택하여 출력하는 단계를 더 포함할 수 있다.The method may further include selecting and outputting an appropriate lane departure guide according to a type of lane on both sides of a lane in which the vehicle identified based on the lane information is located.

또한, 상기 출력하는 단계는, 상기 운전 관련 안내를 수행하기 위한 인디케이터를 생성하는 단계 및 상기 생성된 인디케이터를 증강 현실을 통해 출력하는 단계를 포함할 수 있다.In addition, the outputting may include generating an indicator for performing the driving-related guide and outputting the generated indicator through augmented reality.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 차량의 운전 관련 영상 데이터로부터 차선 영역을 식별하고, 상기 식별된 차선 영역 부분의 영상 데이터로부터 상기 차량이 위치한 차로에 대응되는 차선 정보를 생성하는 차선 정보 생성부, 상기 생성된 차선 정보 및 상기 차량이 위치한 도로의 차로 정보 중 적어도 하나를 이용하여 상기 차량이 위치한 차로 위치 정보를 생성하는 차로 위치 정보 생성부 및 상기 생성된 차로 위치 정보를 이용하여 상기 차량의 운전 관련 안내를 수행하는 제어부를 포함한다.On the other hand, the electronic device according to an embodiment of the present invention for achieving the above object identifies a lane area from image data related to driving of a vehicle, and from the image data of the identified lane area portion to a lane in which the vehicle is located. A lane information generation unit that generates corresponding lane information, a lane location information generation unit that generates location information of a lane where the vehicle is located using at least one of the generated lane information and lane information of a road on which the vehicle is located, and the generation And a control unit that guides the driving of the vehicle by using the location information of the vehicle.

그리고, 상기 차선 정보는, 상기 차량이 위치한 차로를 기준으로 양측에 위치한 각 차선에 대응되는 차선 종류 정보, 차선 색상 정보를 포함할 수 있다.In addition, the lane information may include lane type information and lane color information corresponding to each lane located on both sides of the lane in which the vehicle is located.

또한, 상기 차로 위치 정보 생성부는, 지도 데이터로부터 상기 차량이 위치한 도로의 차로 정보를 획득하고, 상기 생성된 차선 정보를 이용하여 상기 차량이 상기 도로의 첫 번째 차로, 또는 마지막 차로에 위치하는지 여부를 판단하며, 상기 차량이 상기 첫 번째 또는 마지막 차로에 위치하는 경우, 상기 도로의 차로 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 생성할 수 있다In addition, the lane location information generation unit acquires lane information of the road where the vehicle is located from map data, and determines whether the vehicle is located in the first lane or the last lane of the road using the generated lane information. It is determined, and when the vehicle is located in the first or last lane, location information of the lane in which the vehicle is located may be generated by reflecting information on the lane of the road.

그리고, 상기 차로 위치 정보 생성부는, 상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 첫 번째 또는 마지막 차로의 사이에 위치한 차로로 변경되면, 상기 생성된 차로 위치 정보를 상기 변경된 차로 위치 정보로 갱신할 수 있다.And, the lane location information generation unit, when the lane in which the vehicle is located is changed to a lane located between the first or last lane according to the change of the lane of the vehicle, the generated lane location information is converted into the changed lane location information. It can be renewed.

또한, 상기 차로 위치 정보 생성부는, 상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 사이에 위치한 차로에서 상기 첫 번째 또는 마지막 차로로 변경되면, 상기 차량이 위치한 도로의 차로 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 재생성할 수 있다.In addition, the lane location information generation unit, when the lane in which the vehicle is located is changed from the lane located between the lanes to the first or last lane according to the change of the lane of the vehicle, reflecting the lane information of the road where the vehicle is located, and the The location information of the lane where the vehicle is located can be reproduced.

그리고, 상기 제어부는, 상기 차량의 내비게이션 경로와 상기 차로 위치 정보를 이용하여 차로 변경 안내를 출력하도록 출력부를 제어할 수 있다.In addition, the control unit may control the output unit to output a lane change guide using the navigation path of the vehicle and the lane location information.

또한, 상기 제어부는, 상기 차로 위치 정보를 이용하여 상기 차량이 위치한 차로 안내를 출력하도록 출력부를 제어할 수 있다.In addition, the control unit may control the output unit to output guidance on a lane in which the vehicle is located using the lane location information.

그리고, 상기 제어부는, 상기 차선 정보에 기초하여 식별되는 차량이 위치한 차로 양측 차선의 종류에 따라, 적절한 차선 이탈 안내를 선택하여 출력하도록 출력부를 제어할 수 있다.In addition, the control unit may control the output unit to select and output an appropriate lane departure guide according to a type of lane on both sides of a lane in which the vehicle identified based on the lane information is located.

또한, 상기 제어부는, 상기 운전 관련 안내를 수행하기 위한 인디케이터를 생성하고, 상기 생성된 인디케이터를 증강 현실을 통해 출력하도록 출력부를 제어할 수 있다.In addition, the control unit may generate an indicator for performing the driving-related guide and control the output unit to output the generated indicator through augmented reality.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 경로 안내를 요청하는 사용자 입력을 수신하는 단계 상기 요청에 대응되는 목적지 정보를 기초로 경로 안내선을 생성하는 단계, 실제 주행 차량의 주행 궤적 반경을 반영하여 생성된 경로 안내선의 보정을 수행하는 단계, 상기 보정된 경로 안내선을 자차의 거리에 따라 높이를 달리하여 가변 입체화를 수행하는 단계, 상기 입체에 텍스처를 매핑하여 경로 안내 인디케이터를 생성하는 단계, 및 상기 경로 안내 인디케이터를 증강 현실을 통해 화면에 출력하는 단계를 포함한다.On the other hand, in the control method of an electronic device according to an embodiment of the present invention for achieving the above object, the step of receiving a user input for requesting route guidance generates a route guide line based on destination information corresponding to the request. Step, performing correction of the route guide line generated by reflecting the driving trajectory radius of the actual driving vehicle, performing variable three-dimensionalization by varying the height of the corrected route guide line according to the distance of the host vehicle, and applying a texture to the three-dimensional And generating a route guide indicator by mapping, and outputting the route guide indicator on a screen through augmented reality.

그리고, 상기 경로 안내선의 보정을 수행하는 단계는, 자차 앞 경로 안내선의 직선을 유지하기 위한 버텍스들을 추가하는 단계, 경로 안내선의 커브 구간에 커브 구간의 곡선화를 위한 버텍스들을 추가하는 단계 및 추가된 버텍스들을 이용하여 실제 주행 차량의 주행 궤적 반경을 반영한 경로 안내선을 생성하는 단계를 포함할 수 있다.In addition, the step of performing correction of the path guide line includes adding vertices for maintaining a straight line of the path guide line in front of the own vehicle, adding vertices for curving the curve section to the curve section of the path guide line, and the added It may include generating a path guide line reflecting a driving trajectory radius of an actual driving vehicle by using the vertices.

그리고, 상기 가변 입체화를 수행하는 단계는, 상기 보정된 경로 안내선 양 쪽에 가상의 경로 안내선을 생성하는 단계, 상기 보정된 경로 안내선에 포함된 버텍스들의 높이 값이 자차의 거리에 비례하여 증가하도록 높이 값을 산출하는 단계 및 상기 높이 값이 산출된 경로 안내선의 버텍스들과 상기 가상의 경로 안내선 각각에 포함된 버텍스들을 폴리곤을 통해 입체화를 수행하는 단계;를 포함할 수 있다.In addition, the step of performing the variable three-dimensionalization includes generating a virtual path guide line on both sides of the corrected path guide line, and a height value such that the height values of vertices included in the corrected path guide line increase in proportion to the distance of the host vehicle. And performing three-dimensionalization of vertices of the path guide line for which the height value is calculated and vertices included in each of the virtual path guide line through a polygon.

또한, 상기 경로 안내 인디케이터를 생성하는 단계는, 상기 입체에 차량 속도에 따라 변위를 가진 텍스처를 매핑하여 경로 안내 인디케이터를 생성할 수 있다.In addition, in the generating of the route guide indicator, a route guide indicator may be generated by mapping a texture having a displacement according to a vehicle speed to the three-dimensional surface.

그리고, 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행하는 단계 및 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 가상 3D 공간을 생성하는 단계를 더 포함하고, 상기 출력하는 단계는, 생성된 가상 3D 공간에 생성된 경로 안내 인디케이터를 결합하여 출력할 수 있다.And, the step of performing a calibration (Calibration) for estimating a camera parameter corresponding to the camera from the captured image captured by the camera, and the step of generating a virtual 3D space from the image captured by the camera based on the camera parameter, In the outputting, the generated path guide indicator may be combined and outputted in the generated virtual 3D space.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 경로 안내를 요청하는 사용자 입력을 수신하는 입력부, 상기 요청에 대응되는 목적지 정보를 기초로 경로 안내선을 생성하는 경로 안내선 생성부, 상기 생성된 경로 안내선을 이용하여 증강 현실 상에서 경로 안내를 위한 경로 안내 인디케이터를 생성하는 경로 안내 인디케이터 생성부 및 상기 생성된 경로 안내 인디케이터를 증강 현실을 통해 화면에 출력하는 디스플레이부를 포함하고, 상기 경로 안내 인디케이터 생성부는, 실제 주행 차량의 주행 궤적 반경을 반영하여 생성된 경로 안내선의 보정을 수행하는 경로 안내선 처리부, 상기 보정된 경로 안내선을 자차의 거리에 따라 높이를 달리하여 가변 입체화를 수행하는 경로 안내선 입체화부 및 상기 입체에 텍스처를 매핑하여 경로 안내 인디케이터를 생성하는 텍스처 매핑부를 포함할 수 있다. Meanwhile, an electronic device according to an embodiment of the present invention for achieving the above object includes an input unit for receiving a user input for requesting a route guide, and a route guide line for generating a route guide line based on destination information corresponding to the request. A generating unit, a route guide indicator generating unit for generating a route guide indicator for route guidance in augmented reality using the generated route guide line, and a display unit for outputting the generated route guide indicator on a screen through augmented reality, The route guide indicator generation unit includes a route guide line processing unit that corrects a route guide line generated by reflecting a driving trajectory radius of an actual driving vehicle, and performs variable three-dimensionalization by varying the height of the corrected route guide line according to the distance of the host vehicle. It may include a path guide line three-dimensionalization unit and a texture mapping unit for generating a path guide indicator by mapping a texture to the solid.

그리고, 상기 경로 안내선 처리부는, 자차 앞 경로 안내선의 직선을 유지하기 위한 버텍스들을 추가하고, 경로 안내선의 커브 구간에 커브 구간의 곡선화를 위한 버텍스들을 추가하며, 추가된 버텍스들을 이용하여 실제 주행 차량의 주행 궤적 반경을 반영한 경로 안내선을 생성할 수 있다.그리고, 상기 경로 안내선 입체화부는, 상기 보정된 경로 안내선 양 쪽에 가상의 경로 안내선을 생성하고, 상기 보정된 경로 안내선에 포함된 버텍스들의 높이 값이 자차의 거리에 비례하여 증가하도록 높이 값을 산출하며, 상기 높이 값이 산출된 경로 안내선의 버텍스들과 상기 가상의 경로 안내선 각각에 포함된 버텍스들을 폴리곤을 통해 입체화를 수행할 수 있다.In addition, the route guide line processing unit adds vertices for maintaining a straight line of the route guide line in front of the host vehicle, adds vertices for curveizing the curve section to the curve section of the route guide line, and uses the added vertices to actually drive the vehicle. A route guide line reflecting a driving trajectory radius of may be generated. In addition, the route guide line three-dimensionalization unit generates virtual route guide lines on both sides of the corrected route guide line, and height values of vertices included in the corrected route guide line are A height value is calculated to increase in proportion to the distance of the host vehicle, and vertices of the path guide line for which the height value is calculated and vertices included in each of the virtual path guide lines may be three-dimensionalized through a polygon.

또한, 상기 텍스처 맵핑부는, 상기 입체에 차량 속도에 따라 변위를 가진 텍스처를 매핑하여 경로 안내 인디케이터를 생성할 수 있다.In addition, the texture mapping unit may generate a path guide indicator by mapping a texture having a displacement according to a vehicle speed to the solid.

그리고, 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행하는 캘리브레이션부; 및 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 가상 3D 공간을 생성하는 3D 공간 생성부를 더 포함하고, 상기 디스플레이부는, 생성된 가상 3D 공간에 상기 생성된 경로 안내 인디케이터를 결합하여 출력할 수 있다.And, a calibration unit that performs a calibration (Calibration) for estimating a camera parameter corresponding to the camera from the captured image captured by the camera; And a 3D space generation unit for generating a virtual 3D space from an image captured by the camera based on the camera parameter, and the display unit may combine and output the generated path guide indicator to the generated virtual 3D space.

한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록 매체는, 상술한 제어 방법을 컴퓨터에서 실행시키기 위한 프로그램 코드가 기록될 수 있다.Meanwhile, in the recording medium according to an embodiment of the present invention for achieving the above-described object, a program code for executing the above-described control method in a computer may be recorded.

상술한 본 발명의 다양한 실시 예에 따르면, 차선 영역 부분의 영상 데이터로부터 차량이 위치한 차로에 대응되는 차선 정보를 생성하고, 필요한 처리를 수행할 수 있다. 이에 따라, 차선 정보를 이용한 차선 인터페이스 출력 및 증강 현실 인터페이스 생성을 포함하는 다양한 정보 처리를 수행할 수 있다.According to various embodiments of the present disclosure, information on a lane corresponding to a lane in which a vehicle is located may be generated from image data of a portion of a lane area, and necessary processing may be performed. Accordingly, various information processing including outputting a lane interface using the lane information and generating an augmented reality interface may be performed.

또한, 본 발명의 다양한 실시 예에 따르면, 도로의 중앙 차로가 복수 개인 상황(예를 들어, 차로의 개수가 4개 이상인 경우)에서 복수의 중앙 차로 중 차량이 위치한 차로를 정확하게 알 수 있다.In addition, according to various embodiments of the present disclosure, in a situation in which there are a plurality of central lanes of a road (for example, when the number of lanes is 4 or more), a lane in which a vehicle is located among a plurality of central lanes may be accurately known.

또한, 본 발명의 다양한 실시 예에 따르면, 차량이 위치한 차로를 판단하여 운전자에게 안내함으로써 운전자 보조 역할을 수행하게 할 수 있다.In addition, according to various embodiments of the present disclosure, it is possible to perform a driver assistance role by determining a lane in which a vehicle is located and guiding the vehicle to the driver.

또한, 본 발명의 다양한 실시 예에 따르면, 내비게이션의 경로 정보와 차량이 위치한 차로를 이용하여 정확한 차로 변경 알림을 수행함으로써, 사용자 편의성을 도모할 수 있다.In addition, according to various embodiments of the present disclosure, user convenience may be promoted by performing an accurate lane change notification using the route information of the navigation and the lane in which the vehicle is located.

또한, 본 발명의 다양한 실시 예에 따르면, 차선 정보를 이용하여 주행 중인 차로의 양측 차선 종류에 따라 적절한 차로 변경 알림을 선택적으로 수행할 수 있어 차로 변경 알림의 성능을 향상시키고, 풍부한 정보를 제공할 수 있다.In addition, according to various embodiments of the present disclosure, appropriate lane change notification may be selectively performed according to the types of lanes on both sides of the driving lane using lane information, thereby improving the performance of lane change notification and providing rich information. I can.

또한, 본 발명의 다양한 실시 예에 따르면, 경로 안내선의 입체화 처리를 통하여 증강 현실에 적합한 경로 안내 인디케이터를 실시간으로 구축하여, 2차원의 카메라 영상 위에 3차원의 경로 안내 인디케이터를 사실적이고 효과적으로 표시할 수 있다. 즉, 종래의 증강 현실 내비게이션에서와 같은 단순한 형태의 경로 안내선의 표출이 아닌, 마치 실제 도로에 경로 안내선이 위치하는 것과 같이 표시할 수 있다.In addition, according to various embodiments of the present invention, a route guide indicator suitable for augmented reality is constructed in real time through a three-dimensional process of a route guide line, so that a three-dimensional route guide indicator can be realistically and effectively displayed on a two-dimensional camera image. have. That is, instead of displaying a simple path guide line as in the conventional augmented reality navigation, it may be displayed as if the path guide line is located on an actual road.

도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치와 연결된 시스템 네트워크를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 차선 정보 생성 방법을 나타내는 흐름도 이다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 차선 정보 생성 방법을 구체적으로 나타내는 흐름도 이다.
도 5는 본 발명의 일 실시 예에 따른 그레이 영상 변환 및 차선 영역 검출 과정을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 그레이 영상에서의 차선 종류 관심 영역을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 그레이 영상에서의 차선 종류 관심 영역 이진화 및 1차원 매핑을 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 차로 위치 정보 생성 방법을 구체적으로 나타내는 흐름도 이다.
도 9는 본 발명의 일 실시 예에 따른 차로 판단 테이블을 나타내는 도면이다.
도 10은 본 발명의 다른 실시 예에 따른 차로 판단 테이블을 나타내는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 제어 방법을 나타내는 흐름도 이다.
도 12는 본 발명의 일 실시 예에 따른 증강 현실 제공부를 구체적으로 나타내는 블록도 이다.
도 13은 경로 안내선의 처리 전 후를 비교한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 경로 안내선 입체화 과정을 나타내는 도면이다.
도 15는 본 발명의 일 실시 예에 따른 증강 현실 경로 안내 방법을 나타내는 흐름도 이다.
도 16은 본 발명의 일 실시 예에 따른 경로 안내 화면을 나타내는 도면이다.
도 17은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 분리형이 경우 구현 형태를 나타내는 도면이다.
도 18은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 일체형인 경우 구현 형태를 나타내는 도면이다.
도 19는 본 발명의 일 실시 예에 따른 HUD(Head-Up Display) 및 전자 장치를 이용한 구현 형태를 나타내는 도면이다. 1 is a block diagram illustrating an electronic device according to an embodiment of the present invention.
2 is a diagram illustrating a system network connected to an electronic device according to an embodiment of the present invention.
3 is a flowchart illustrating a method of generating lane information of an electronic device according to an embodiment of the present invention.
4 is a detailed flowchart illustrating a method of generating lane information of an electronic device according to an embodiment of the present invention.
5 is a diagram illustrating a process of converting a gray image and detecting a lane area according to an embodiment of the present invention.
6 is a diagram illustrating a lane type ROI in a gray image according to an embodiment of the present invention.
7 is a diagram illustrating a lane type ROI binarization and one-dimensional mapping in a gray image according to an embodiment of the present invention.
8 is a detailed flowchart illustrating a method of generating lane location information according to an embodiment of the present invention.
9 is a diagram illustrating a lane determination table according to an embodiment of the present invention.
10 is a diagram illustrating a lane determination table according to another embodiment of the present invention.
11 is a flowchart illustrating a control method according to an embodiment of the present invention.
12 is a block diagram illustrating in detail an augmented reality providing unit according to an embodiment of the present invention.
13 is a view comparing before and after processing of a route guide line.
14 is a diagram illustrating a process of three-dimensionalizing a route guide line according to an embodiment of the present invention.
15 is a flowchart illustrating a method of guiding an augmented reality route according to an embodiment of the present invention.
16 is a diagram illustrating a route guidance screen according to an embodiment of the present invention.
17 is a diagram illustrating an implementation form when a camera and an electronic device are separate types according to an embodiment of the present invention.
18 is a diagram illustrating an implementation form when a camera and an electronic device are integrated according to an embodiment of the present invention.
19 is a diagram illustrating an implementation form using a head-up display (HUD) and an electronic device according to an embodiment of the present invention.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following content merely exemplifies the principles of the present invention. Therefore, those skilled in the art can implement the principles of the present invention and invent various devices included in the concept and scope of the present invention, although not clearly described or illustrated herein. In addition, all conditional terms and examples listed in this specification are, in principle, clearly intended only for the purpose of understanding the concept of the present invention, and should be understood as not limiting to the embodiments and states specifically listed as described above. do.

또한, 본 발명의 원리, 관점 및 실시 예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.In addition, it is to be understood that all detailed descriptions listing specific embodiments as well as principles, aspects and embodiments of the present invention are intended to include structural and functional equivalents of these matters. It should also be understood that these equivalents include not only currently known equivalents, but also equivalents to be developed in the future, that is, all devices invented to perform the same function regardless of the structure.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, the block diagrams herein are to be understood as representing a conceptual perspective of exemplary circuits embodying the principles of the invention. Similarly, all flowcharts, state transition diagrams, pseudocodes, etc. are understood to represent the various processes performed by a computer or processor, whether or not the computer or processor is clearly depicted and that can be represented substantially in a computer-readable medium. It should be.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.The functions of the various elements shown in the drawings, including a processor or functional block represented by a similar concept, may be provided by the use of dedicated hardware as well as hardware having the ability to execute software in association with appropriate software. When provided by a processor, the function may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.In addition, the explicit use of terms presented as processor, control, or similar concepts should not be interpreted exclusively by quoting hardware capable of executing software, and without limitation, digital signal processor (DSP) hardware, ROM for storing software. It should be understood to implicitly include (ROM), RAM (RAM) and non-volatile memory. Other commonly used hardware may also be included.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.In the claims of the present specification, components expressed as means for performing the functions described in the detailed description include all types of software including, for example, combinations of circuit elements or firmware/microcodes that perform the above functions. It is intended to include all methods of performing a function to perform the function, and is combined with suitable circuitry for executing the software to perform the function. Since the invention defined by these claims is combined with the functions provided by the various enumerated means and combined with the manner required by the claims, any means capable of providing the above functions are equivalent to those conceived from this specification. It should be understood as.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. The above-described objects, features, and advantages will become more apparent through the following detailed description in connection with the accompanying drawings, whereby those of ordinary skill in the technical field to which the present invention pertains can easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 블록도 이다. 도 1을 참조하면, 전자 장치(100)는 저장부(110), 입력부(120), 출력부(130), 차선 정보 생성부(140), 차로 위치 정보 생성부(150), 증강 현실 제공부(160), 제어부(170), 통신부(180), 센싱부(190)의 전부 또는 일부를 포함한다.1 is a block diagram illustrating an electronic device according to an embodiment of the present invention. Referring to FIG. 1, the electronic device 100 includes a storage unit 110, an input unit 120, an output unit 130, a lane information generation unit 140, a lane location information generation unit 150, and an augmented reality providing unit. (160), the control unit 170, the communication unit 180, and includes all or part of the sensing unit 190.

여기서, 전자 장치(100)는 차량 운전자에게 운전 관련 안내를 제공할 수 있는 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, PDA(personal digital assistant), PMP(portable multimedia player), 스마트 글래스, 프로젝트 글래스, 내비게이션(navigation), 블랙 박스(Black-box) 등과 같은 다양한 장치로 구현될 수 있다. Here, the electronic device 100 includes a smart phone, a tablet computer, a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), a smart glass, a project glass, and a navigation system that can provide driving-related guidance to the vehicle driver. navigation), black-box, and the like.

여기서, 차량의 운전 상태는, 차량의 정차 상태, 차량의 주행 상태, 차량의 주차 상태 등과 같이 차량이 운전자에 의하여 운전되고 있는 다양한 상태를 포함할 수 있다. Here, the driving state of the vehicle may include various states in which the vehicle is being driven by the driver, such as a stopped state of the vehicle, a driving state of the vehicle, and a parking state of the vehicle.

운전 관련 안내는 경로 안내, 차선 이탈 안내, 전방 차량 출발 안내, 신호등 변경 안내, 전방 차량 추돌 방지 안내, 차로 변경 안내, 차로 안내 등과 같이 차량 운전자의 운전을 보조하기 위한 다양한 안내를 포함할 수 있다. The driving-related guide may include various guides to assist a vehicle driver's driving, such as route guidance, lane departure guidance, front vehicle departure guidance, traffic light change guidance, front vehicle collision prevention guidance, lane change guidance, and lane guidance.

여기서, 경로 안내는, 운전 중인 차량의 전방을 촬영한 영상에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 증강 현실 경로 안내, 및 2D(2-Dimensional) 또는 3D(3-Dimensional)의 지도 데이터에 사용자의 위치, 방향 등과 같은 각종 정보를 결합하여 경로 안내를 수행하는 2D(2-Dimensional) 또는 3D(3-Dimensional) 경로 안내를 포함할 수 있다. 여기서, 경로 안내는, 사용자가 차량에 탑승하여 운전하는 경우 뿐만 아니라, 사용자가 걷거나 뛰어서 이동하는 경우의 경로 안내도 포함하는 개념으로 해석될 수 있다. Here, the route guidance includes an augmented reality route guidance that performs route guidance by combining various information such as a user's location and direction with an image photographed in front of the driving vehicle, and 2-Dimensional (2D) or 3-D (3-D). A 2D (2-Dimensional) or 3D (3-Dimensional) route guidance may be included that performs route guidance by combining various information such as a user's location and direction with map data of Dimensional). Here, the route guidance may be interpreted as a concept including not only a case where a user rides in a vehicle and drives, but also a route guidance when a user walks or jumps.

또한, 차선 이탈 안내는, 주행 중인 차량이 차선을 이탈하였는지 여부를 안내하는 것일 수 있다. In addition, the lane departure guidance may provide guidance on whether the vehicle being driven has deviated from the lane.

또한, 전방 차량 출발 안내는, 정차 중인 차량의 전방에 위치한 차량의 출발 여부를 안내하는 것일 수 있다. In addition, the front vehicle departure guide may guide whether a vehicle located in front of the vehicle being stopped starts or not.

또한, 신호등 변경 안내는, 정차 중인 차량의 전방에 위치한 신호등의 변경 여부를 안내하는 것일 수 있다. 일 예로, 정지 신호를 나타내는 빨간등이 켜진 상태에서 출발 신호를 나타내는 파란등으로 변경되면, 이를 안내하는 것 일 수 있다. In addition, the traffic light change guidance may guide whether or not the traffic light located in front of the vehicle being stopped is changed. For example, when a red light indicating a stop signal is turned on to a blue light indicating a start signal, this may be guided.

또한, 전방 차량 추돌 방지 안내는 정차 또는 주행 중인 차량의 전방에 위치한 차량과의 거리가 일정 거리 이내가 되면 전방 차량과 추돌을 방지하기 위해 이를 안내하는 것일 수 있다. In addition, the front vehicle collision prevention guide may be a guide to prevent a collision with the vehicle in front when the distance between the vehicle stopped or the vehicle located in front of the vehicle being driven is within a predetermined distance.

또한, 차로 변경 안내는 목적지까지의 경로 안내를 위하여 차량이 위치한 차로에서 다른 차로로 변경을 안내하는 것일 수 있다. In addition, the lane change guidance may be guiding a change from a lane in which a vehicle is located to another lane in order to guide a route to a destination.

또한, 차로 안내는 차량이 현재 위치한 차로를 안내하는 것일 수 있다. In addition, the lane guidance may be guiding a lane in which the vehicle is currently located.

이러한, 다양한 안내의 제공을 가능하게 하는 차량의 전방 영상과 같은 운전 관련 영상은 차량에 거치된 카메라에서 촬영될 수 있다. 여기서 카메라는 차량에 거치된 전자 장치(100)와 일체로 형성되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 스마트 폰, 내비게이션, 또는 블랙 박스와 일체로 형성될 수 있고, 전자 장치(100)는 일체로 형성된 카메라에서 촬영된 영상을 입력받을 수 있다.A driving-related image such as a front image of the vehicle that enables the provision of various guides may be photographed by a camera mounted on the vehicle. Here, the camera may be a camera formed integrally with the electronic device 100 mounted on the vehicle to photograph the front of the vehicle. In this case, the camera may be integrally formed with a smart phone, a navigation system, or a black box, and the electronic device 100 may receive an image captured by the integrally formed camera.

다른 예로, 카메라는 전자 장치(100)와 별개로 차량에 거치되어 차량의 전방을 촬영하는 카메라일 수 있다. 이 경우, 카메라는 차량의 전방을 향하여 거치된 별도의 블랙 박스일 수 있고, 전자 장치(100)는 별도로 거치된 블랙박스와 유/무선 통신을 통하여 촬영 영상을 입력받거나, 블랙 박스의 촬영 영상을 저장하는 저장 매체가 전자 장치(100)에 삽입되면, 전자 장치(100)는 촬영 영상을 입력받을 수 있다. As another example, the camera may be a camera mounted on a vehicle separately from the electronic device 100 to photograph the front of the vehicle. In this case, the camera may be a separate black box mounted toward the front of the vehicle, and the electronic device 100 receives a photographed image through wired/wireless communication with a separately mounted black box, or captures a photographed image of the black box. When a storage medium to be stored is inserted into the electronic device 100, the electronic device 100 may receive a captured image.

이하에서는, 상술한 내용을 기초로 본 발명의 일 실시 예에 따른 전자 장치(100)에 대해서 보다 구체적으로 설명하기로 한다.Hereinafter, the electronic device 100 according to an embodiment of the present invention will be described in more detail based on the above description.

저장부(110)는 전자 장치(100)의 동작에 필요한 다양한 데이터 및 어플리케이션을 저장하는 기능을 한다. 특히, 저장부(110)는 전자 장치(100)의 동작에 필요한 데이터, 예를 들어, OS, 경로 탐색 어플리케이션, 지도 데이터 등을 저장할 수 있다. 또한, 저장부(110)는 전자 장치(100)의 동작에 의하여 생성된 데이터, 예를 들어, 탐색된 경로 데이터, 수신한 영상 등을 저장할 수 있다. 또한, 저장부(110)는 차로 판단 테이블 등을 저장할 수 있다. The storage unit 110 functions to store various data and applications required for the operation of the electronic device 100. In particular, the storage unit 110 may store data necessary for the operation of the electronic device 100, for example, an OS, a route search application, map data, and the like. In addition, the storage unit 110 may store data generated by an operation of the electronic device 100, for example, searched route data, and a received image. In addition, the storage unit 110 may store a lane determination table or the like.

여기서 저장부(110)는 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USIM(Universal Subscriber Identity Module)등과 같은 내장된 형태의 저장소자는 물론, USB 메모리 등과 같은 착탈가능한 형태의 저장소자로 구현될 수도 있다.Here, the storage unit 110 is a random access memory (RAM), a flash memory, a read only memory (ROM), an erasable programmable ROM (EPROM), an electronically erasable and programmable ROM (EEPROM), a register, a hard disk, a removable disk, and a memory. It can be implemented not only as a built-in storage such as a card or USIM (Universal Subscriber Identity Module), but also as a removable storage such as a USB memory.

입력부(120)는 전자 장치(100)의 외부로부터의 물리적 입력을 특정한 전기 신호로 변환하는 기능을 한다. 여기서, 입력부(120)는 사용자 입력부(121)와 마이크부(123)의 전부 또는 일부를 포함할 수 있다.The input unit 120 functions to convert a physical input from the outside of the electronic device 100 into a specific electric signal. Here, the input unit 120 may include all or part of the user input unit 121 and the microphone unit 123.

사용자 입력부(121)는 터치, 푸쉬동작 등과 같은 사용자 입력을 수신할 수 있다. 여기서 사용자 입력부(120)는 다양한 버튼의 형태, 터치 입력을 수신하는 터치 센서, 접근하는 모션을 수신하는 근접 센서 중 적어도 하나를 이용하여 구현될 수 있다. The user input unit 121 may receive a user input such as a touch or a push operation. Here, the user input unit 120 may be implemented using at least one of various button types, a touch sensor receiving a touch input, and a proximity sensor receiving an approaching motion.

마이크부(123)는 사용자의 음성 및 차량의 내외부에서 발생한 음향을 수신할 수 있다.The microphone unit 123 may receive a user's voice and a sound generated inside and outside the vehicle.

출력부(130)는 전자 장치(100)의 데이터를 출력하는 장치이다. 여기서, 출력부(130)는 디스플레이부(131)와 오디오 출력부(133)의 전부 또는 일부를 포함할 수 있다.The output unit 130 is a device that outputs data of the electronic device 100. Here, the output unit 130 may include all or part of the display unit 131 and the audio output unit 133.

디스플레이부(131)는 전자 장치(100)이 시각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 디스플레이부(131)는 전자 장치(100)의 하우징 전면(前面)에 마련된 디스플레이부로 구현될 수 있다. 여기서 디스플레이부(131)는 전자 장치(100)와 일체로 형성되어 시각적 인식 데이터를 출력할 수 있고, HUD(Head Up Display)와 같이 전자 장치(100)와 별개로 설치되어 시각적 인식 데이터를 출력할 수도 있다. The display unit 131 is a device that outputs data that can be visually recognized by the electronic device 100. The display unit 131 may be implemented as a display unit provided on the front of the housing of the electronic device 100. Here, the display unit 131 is integrally formed with the electronic device 100 to output visual recognition data, and is installed separately from the electronic device 100 such as a head up display (HUD) to output visual recognition data. May be.

오디오 출력부(133)는 전자 장치(100)가 청각적으로 인식될 수 있는 데이터를 출력하는 장치이다. 오디오 출력부(133)는 전자 장치(100)의 사용자에게 알려야 할 데이터를 소리를 표현하는 스피커로 구현될 수 있다.The audio output unit 133 is a device that outputs data that can be audibly recognized by the electronic device 100. The audio output unit 133 may be implemented as a speaker that expresses sound data to be notified to the user of the electronic device 100.

통신부(180)는 전자 장치(100)가 다른 디바이스와 통신하기 위하여 마련될 수 있다. 통신부(180)는, 위치 데이터부(181)과, 무선 인터넷부(183)과, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189)의 전부 또는 일부를 포함할 수 있다. The communication unit 180 may be provided for the electronic device 100 to communicate with other devices. The communication unit 180 includes all or part of a location data unit 181, a wireless Internet unit 183, a broadcast transmission/reception unit 185, a mobile communication unit 186, a short range communication unit 187, and a wired communication unit 189. It may include.

위치 데이터부(181)는 GNSS(Global Navigation Satellite System)를 통하여 위치 데이터를 획득하는 장치이다. GNSS는 인공위성으로부터 수신한 전파신호를 이용하여 수신 단말기의 위치를 산출할 수 있는 항법 시스템을 의미한다. GNSS의 구체적인 예로는, 그 운영 주체에 따라서 GPS(Global Positioning System), Galileo, GLONASS(Global Orbiting Navigational Satellite System), COMPASS, IRNSS(Indian Regional Navigational Satellite System), QZSS(Quasi-Zenith Satellite System) 등 일 수 있다. 본 발명의 일 실시예에 따른 전자 장치(100)의위치 데이터부(181)는, 전자 장치(100)가 사용되는 지역에서 서비스하는 GNSS 신호를 수신하여 위치 데이터를 획득할 수 있다.The location data unit 181 is a device that acquires location data through a Global Navigation Satellite System (GNSS). GNSS refers to a navigation system capable of calculating the location of a receiving terminal using radio signals received from satellites. Specific examples of GNSS include GPS (Global Positioning System), Galileo, GLONASS (Global Orbiting Navigational Satellite System), COMPASS, IRNSS (Indian Regional Navigational Satellite System), QZSS (Quasi-Zenith Satellite System), etc. I can. The location data unit 181 of the electronic device 100 according to an embodiment of the present invention may obtain location data by receiving a GNSS signal serving in an area where the electronic device 100 is used.

무선 인터넷부(183)는 무선 인터넷에 접속하여 데이터를 획득하거나 송신하는 장치이다. 무선 인터넷부(183)를 통하여 접속할 수 있는 무선 인터넷은, WLAN(Wireless LAN), Wibro(Wireless broadband), Wimax(World interoperability for microwave access), HSDPA(High Speed Downlink Packet Access) 등 일 수 있다.The wireless internet unit 183 is a device that acquires or transmits data by accessing the wireless internet. The wireless Internet accessible through the wireless Internet unit 183 may be a wireless LAN (WLAN), a wireless broadband (Wibro), a world interoperability for microwave access (Wimax), a high speed downlink packet access (HSDPA), or the like.

방송 송수신부(185)는 각종 방송 시스템을 통하여 방송 신호를 송수신하는 장치이다. 방송 송수신부(185)를 통하여 송수신할 수 있는 방송 시스템은, DMBT(Digital Multimedia Broadcasting Terrestrial), DMBS(Digital Multimedia Broadcasting Satellite), MediaFLO(Media Forward Link Only), DVBH(Digital Video Broadcast Handheld), ISDBT(Integrated Services Digital Broadcast Terrestrial) 등일 수 있다. 방송 송수신부(185)를 통하여 송수신되는 방송 신호에는 교통 데이터, 생활 데이터 등을 포함할 수 있다.The broadcast transmission/reception unit 185 is a device that transmits and receives broadcast signals through various broadcast systems. Broadcast systems that can transmit and receive through the broadcast transmission/reception unit 185 include Digital Multimedia Broadcasting Terrestrial (DMBT), Digital Multimedia Broadcasting Satellite (DMBS), Media Forward Link Only (MediaFLO), Digital Video Broadcast Handheld (DVBH), and ISDBT ( Integrated Services Digital Broadcast Terrestrial). Broadcast signals transmitted and received through the broadcast transmission/reception unit 185 may include traffic data, life data, and the like.

이동 통신부(186)는 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신할 수 있다.The mobile communication unit 186 may access and communicate with a mobile communication network according to various mobile communication standards such as 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), and Long Term Evolution (LTE).

근거리 통신부(187)는 근거리 통신을 위한 장치이다. 근거리 통신부(187)는, 전술한 바와 같이, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra WidBand), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity) 등을 통하여 통신할 수 있다.The short-range communication unit 187 is a device for short-range communication. As described above, the short-range communication unit 187 includes Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra WidBand (UWB), ZigBee, Near Field Communication (NFC), Wi It can communicate through -Fi (Wireless-Fidelity).

유선 통신부(189)는 전자 장치(100)를 다른 디바이스와 유선으로 연결할 수 있는 인터페이스 장치이다. 유선 통신부(119)는, USB Port를 통하여 통신할 수 있는 USB 모듈일 수 있다. The wired communication unit 189 is an interface device capable of connecting the electronic device 100 to another device by wire. The wired communication unit 119 may be a USB module capable of communicating through a USB port.

이러한, 통신부(180)는 위치 데이터부(181)와, 무선 인터넷부(183)와, 방송 송수신부(185), 이동 통신부(186), 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 다른 디바이스와 통신할 수 있다. The communication unit 180 includes at least one of a location data unit 181, a wireless Internet unit 183, a broadcast transmission/reception unit 185, a mobile communication unit 186, a short range communication unit 187, and a wired communication unit 189. You can use to communicate with other devices.

일 예로, 전자 장치(100)가 카메라 기능을 포함하지 않는 경우, 블랙 박스 등과 같은 차량용 카메라에서 촬영된 영상을 근거리 통신부(187), 유선 통신부(189) 중 적어도 하나를 이용하여 수신할 수 있다.For example, when the electronic device 100 does not include a camera function, an image captured by a vehicle camera such as a black box may be received using at least one of the short-range communication unit 187 and the wired communication unit 189.

다른 예로, 복수의 디바이스와 통신하는 경우에, 어느 하나는 근거리 통신부(187)로 통신하고, 다른 하나는 유선 통신부(119)를 통하여 통신하는 경우도 가능하다. As another example, in the case of communication with a plurality of devices, one may communicate with the short-range communication unit 187 and the other may communicate with the wired communication unit 119.

센싱부(190)는 전자 장치(100)의 현재 상태를 감지할 수 있는 장치이다. 센싱부(190)는 모션 센싱부(191)와, 광 센싱부(193)의 전부 또는 일부를 포함할 수 있다.The sensing unit 190 is a device capable of detecting the current state of the electronic device 100. The sensing unit 190 may include a motion sensing unit 191 and all or part of the light sensing unit 193.

모션 센싱부(191)는 전자 장치(100)의 3차원 공간 상에서의 운동을 감지할 수 있다. 모션 센싱부(191)은, 3축 지자기 센서 및 3축 가속도 센서를 포함할 수 있다. 모션 센싱부(191)을 통하여 획득한 운동 데이터를 위치 데이터부(191)를 통하여 획득한 위치 데이터와 결합하여, 전자 장치(100)를 부착한 차량의 보다 정확한 궤적을 산출할 수 있다.The motion sensing unit 191 may detect a motion of the electronic device 100 in a 3D space. The motion sensing unit 191 may include a 3-axis geomagnetic sensor and a 3-axis acceleration sensor. By combining the motion data acquired through the motion sensing unit 191 with the position data acquired through the position data unit 191, a more accurate trajectory of the vehicle to which the electronic device 100 is attached may be calculated.

광 센싱부(193)는 전자 장치(100)의 주변 조도(illuminance)를 측정하는 장치이다. 광 센싱부(193)를 통하여 획득한 조도데이터를 이용하여, 디스플레이부(195)의 밝기를 주변 밝기에 대응되도록 변화시킬 수 있다.The light sensing unit 193 is a device that measures ambient illumination of the electronic device 100. The brightness of the display unit 195 may be changed to correspond to the ambient brightness by using the illuminance data acquired through the light sensing unit 193.

전원부(195)는 전자 장치(100)의 동작 또는 전자 장치(100)와 연결된 다른 디바이스의 동작을 위하여 필요한 전원을 공급하는 장치이다. 전원부(195)는, 전자 장치(100)에 내장된 배터리 또는 차량 등의 외부전원에서 전원을 공급받는 장치일 수 있다. 또한, 전원부(195)는, 전원을 공급받는 형태에 따라서 유선 통신 모듈(119)로 구현되거나, 무선으로 공급받는 장치로 구현될 수도 있다.The power supply unit 195 is a device that supplies power necessary for the operation of the electronic device 100 or the operation of another device connected to the electronic device 100. The power supply unit 195 may be a device that receives power from a battery built in the electronic device 100 or an external power source such as a vehicle. In addition, the power supply unit 195 may be implemented as a wired communication module 119 or a device that is wirelessly supplied depending on the type of power being supplied.

한편, 제어부(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로 제어부(170)는 저장부(110), 입력부(120), 출력부(130), 차선 정보 생성부(140), 차로 위치 정보 생성부(150), 증강 현실 제공부(160), 통신부(180), 센싱부(190)의 전부 또는 일부를 제어할 수 있다.Meanwhile, the controller 170 controls the overall operation of the electronic device 100. Specifically, the control unit 170 includes a storage unit 110, an input unit 120, an output unit 130, a lane information generation unit 140, a lane location information generation unit 150, an augmented reality providing unit 160, and a communication unit. (180), it is possible to control all or part of the sensing unit 190.

특히, 제어부(170)는 차선 정보 생성부(140), 차로 위치 정보 생성부(150)를 제어하여, 운전 관련 영상 데이터로부터 차선 영역을 식별하고, 식별된 차선 영역 부분의 영상 데이터로부터 상기 차량이 위치한 차로에 대응되는 차선 정보를 생성하며, 생성된 차선 정보 및 차량이 위치한 도로의 차로 정보 중 적어도 하나를 이용하여 차량이 위치한 차로 위치 정보를 생성할 수 있다. In particular, the control unit 170 controls the lane information generation unit 140 and the lane location information generation unit 150 to identify a lane area from driving-related image data, and the vehicle is The lane information corresponding to the located lane may be generated, and location information of the lane where the vehicle is located may be generated using at least one of the generated lane information and lane information of the road where the vehicle is located.

여기서, 차선은 차량이 위치한 차로(lane)를 형성하는 양측 선(line) 각각을 의미할 수 있다. 또한, 차로(lane)는 1 차로, 2 차로, .. N 차로 등과 같이 차선에 의해 형성되고, 차량이 주행하는 도로를 의미할 수 있다. Here, the lane may mean each of both side lines forming a lane in which the vehicle is located. In addition, a lane is formed by lanes such as a primary lane, a secondary lane, or an N lane, and may mean a road on which a vehicle travels.

차선 정보 생성부(140)는 차량의 주행, 정차 등과 같은 운전 상태에서 촬영된 영상 데이터로부터 차선 영역을 식별하고, 차선 영역 부분의 영상 데이터로부터 차량이 위치한 차로를 기준으로 양측에 위치한 각 차선에 대응되는 차선 정보를 생성할 수 있다. 차선 정보는, 차량이 위치한 차로를 기준으로 양측에 위치한 각 차선에 대응되는 차선 종류 정보, 차선 색상 정보를 포함할 수 있다. The lane information generation unit 140 identifies a lane area from image data captured in a driving state such as driving or stopping a vehicle, and responds to each lane located on both sides of the lane where the vehicle is located from the image data of the lane area portion. It is possible to generate information about the lanes that are being used. The lane information may include lane type information and lane color information corresponding to each lane located on both sides of a lane in which the vehicle is located.

여기서, 차량이 위치한 차로에 대응되는 차선 정보를 생성하기 위해, 차선 정보 생성부(140)는 차선 영역 부분의 영상 데이터에 대해 이진화를 수행하고, 이진화된 부분 영상 데이터로부터 차선 종류 정보를 획득할 수 있다. 구체적으로 차선 정보 생성부(140)는 이진화된 부분 영상 데이터를, 차선의 시간 연속성 정보 및 차선 속도 정보 중 적어도 하나를 이용하여 분석하여, 차량이 위치한 차로의 양 차선 종류가 실선인지 점선인지 식별할 수 있다. Here, in order to generate lane information corresponding to the lane where the vehicle is located, the lane information generation unit 140 may perform binarization on the image data of the lane area portion and obtain lane type information from the binarized partial image data. have. Specifically, the lane information generation unit 140 analyzes the binary partial image data using at least one of the time continuity information and the lane speed information of the lane to identify whether the types of both lanes in the lane where the vehicle is located are solid lines or dotted lines. I can.

그리고, 차선 정보 생성부(140)는 종류가 식별된 각 차선에 대응되는 색상 정보를 영상 데이터로부터 추출하여 차선 정보로 생성할 수 있다.In addition, the lane information generation unit 140 may extract color information corresponding to each lane whose type is identified from the image data and generate the lane information as lane information.

차로 위치 정보 생성부(150)는 제어부(170)의 제어에 따라, 차선 정보 생성부(140)에서 생성된 차선 정보 및 차량이 위치한 도로의 차로 정보 중 적어도 하나를 이용하여 차량이 위치한 차로 위치 정보를 생성할 수 있다. Under the control of the control unit 170, the lane location information generation unit 150 uses at least one of the lane information generated by the lane information generation unit 140 and the lane information of the road where the vehicle is located. Can be created.

구체적으로, 차로 위치 정보 생성부(150)는 지도 데이터로부터 차량이 위치한 도로의 차로 정보를 획득하고, 생성된 차선 정보를 이용하여 차량이 도로의 첫 번째 차로, 또는 마지막 차로에 위치하는지 여부를 판단하며, 차량이 첫 번째 또는 마지막 차로에 위치하는 경우, 도로의 차로 정보를 반영하여 차량이 위치한 차로 위치 정보를 생성할 수 있다. 이 후, 차량의 차로 변경에 따라 차량이 위치한 차로가 첫 번째 또는 마지막 차로의 사이에 위치한 차로로 변경되면, 생성된 차로 위치 정보를 변경된 차로 위치 정보로 갱신할 수 있다. 이 후, 차량의 차로 변경에 따라 차량이 위치한 차로가 사이에 위치한 차로에서 첫 번째 또는 마지막 차로로 변경되면, 차량이 위치한 도로의 차로 정보를 반영하여 차량이 위치한 차로 위치 정보를 다시 생성할 수 있다.Specifically, the lane location information generation unit 150 obtains lane information of the road where the vehicle is located from the map data, and determines whether the vehicle is located in the first lane or the last lane of the road using the generated lane information. And, when the vehicle is located in the first or last lane, location information of the lane where the vehicle is located may be generated by reflecting information on the lane of the road. Thereafter, when the lane in which the vehicle is located is changed to a lane located between the first or last lane according to the change of the lane of the vehicle, the generated lane position information may be updated with the changed lane position information. Thereafter, when the lane in which the vehicle is located is changed to the first or last lane from the lane in between, according to the change of the vehicle lane, the location information of the lane in which the vehicle is located may be generated again by reflecting the lane information on the road where the vehicle is located .

여기서, 차량이 위치한 도로의 차로 정보는, 차량이 위치한 도로의 차로 개수 정보, 도로 종류 정보(예를 들어, 고속 도로, 도시 고속화 도로, 지방 도로, 일반 도로) 등을 포함할 수 있고, 전자 장치(100)내의 저장부(110)에 저장된 지도 데이터에서 획득되거나, 전자 장치(100)와 별도의 외부 지도 데이터베이스(DB)에서 획득되거나, 다른 전자 장치(100)로부터 획득될 수 있다. 일 예로, 전자 장치(100)가 블랙 박스로 구현되는 경우, 블랙 박스는 통신 연결된 외부 내비게이션 장치로부터 도로의 차로 정보를 획득할 수 있다. Here, the lane information of the road on which the vehicle is located may include information on the number of lanes on the road on which the vehicle is located, road type information (eg, highway, urban highway, local road, general road), and the like, and the electronic device It may be acquired from map data stored in the storage unit 110 in the 100, may be acquired from an external map database DB separate from the electronic device 100, or may be acquired from another electronic device 100. For example, when the electronic device 100 is implemented as a black box, the black box may obtain information about a road lane from an external navigation device connected to communication.

한편, 국가 별로 사용하는 차선 정보를 상이한 바, 차로 위치 정보 생성부(150)는 국가별 교통 법규 등에 따른 차로 판단 테이블을 이용하여 차로 위치 정보를 생성할 수 있다. 이에 따라, 차로 위치 정보 생성부(150) 설정된 국가 정보에 매핑된 차로 판단 테이블에 기초하여 차로 위치 정보를 생성할 수 있다. Meanwhile, since lane information used for each country is different, the lane location information generation unit 150 may generate the lane location information using a lane determination table according to traffic regulations for each country. Accordingly, the lane location information generation unit 150 may generate the lane location information based on the lane determination table mapped to the set country information.

한편, 제어부(170)는 차선 정보 생성부(140), 차로 위치 정보 생성부(150)에서 생성된 차선 정보를 이용하여 차량의 운전 관련 안내를 수행할 수 있다. Meanwhile, the control unit 170 may perform a driving-related guidance of a vehicle by using the lane information generated by the lane information generation unit 140 and the lane location information generation unit 150.

일 예로, 제어부(170)는 차선 정보에 기초하여 식별되는 차량이 위치한 차로 양측 차선의 종류에 따라, 적절한 차선 이탈 안내를 선택하고, 이를 사용자에게 출력할 수 있다. 구체적으로, 제어부(170)는 전자 기기(100)가 차선 이탈 안내 기능을 제공하는 경우, 이탈한 차선 종류 및 색상에 따라 서로 다른 안내를 제공할 수 있다. 예를 들어, 제어부(170)는 차량이 중앙선을 침범한 경우, 백색 실선을 침범한 경우, 백색 점선을 침범한 경우 또는 청색 선을 침범한 경우에 따라 각각 서로 다른 안내 이미지 또는 안내 음성을 선택하여 출력할 수 있다.For example, the controller 170 may select an appropriate lane departure guide according to the type of lanes on both sides of a lane in which a vehicle identified based on the lane information is located, and output this to the user. Specifically, when the electronic device 100 provides a lane departure guidance function, the control unit 170 may provide different guidance according to the type and color of the departure lane. For example, the control unit 170 selects a different guide image or a guide voice according to the case where the vehicle invades the center line, the white solid line, the white dotted line, or the blue line. Can be printed.

다른 예로, 제어부(170)는 차로 위치 정보 생성부(150)에서 생성된 차로 위치 정보를 이용하여 생성된 차로 안내를 출력부(140)를 통해 출력할 수 있다. 구체적으로, 제어부(170)는 현재 차량이 위치한 차로가 몇 차로 인지, 예를 들어, 1 차로, 2 차로,.. N 차로 인지를 이미지 또는 음성으로 출력할 수 있다.As another example, the control unit 170 may output a lane guidance generated by using the lane location information generated by the lane location information generation unit 150 through the output unit 140. Specifically, the control unit 170 may output the number of lanes in which the vehicle is currently located, for example, whether a first lane, a second lane, or an N lane is recognized as an image or voice.

또 다른 예로, 제어부(170)는 차로 위치 정보 생성부(150)에서 생성된 차로 위치 정보를 이용하여 생성된 차로 변경 안내를 출력부(140)를 통해 출력할 수 있다. 구체적으로, 제어부(170)는 전자 장치(100)가 차량의 내비게이션 기능을 제공하는 경우, 목적지까지의 경로와 상기 판단된 차로 위치에 따라 차로 변경 안내를 이미지 또는 안내 음성으로 출력할 수 있다. 즉, 제어부(170)는 좌회전 또는 우회전 안내 지점까지의 거리가 일정 거리 이하인 경우, 현재 차로가 좌회전 또는 우회전 가능한지를 판단하여 사용자에게 차로 변경 안내를 출력할 수 있다.As another example, the control unit 170 may output a lane change guide generated by using the lane location information generated by the lane location information generation unit 150 through the output unit 140. Specifically, when the electronic device 100 provides a vehicle navigation function, the controller 170 may output a lane change guide as an image or a guidance voice according to a route to a destination and the determined lane position. That is, when the distance to the left or right turn guidance point is less than a certain distance, the controller 170 may determine whether the current lane is capable of turning left or right and output a lane change guidance to the user.

한편, 제어부(170)는 전자 기기(100)가 증강 현실을 기반으로 운전 관련 안내를 수행하도록 증강 현실 제공부(160)를 제어할 수 있다. 여기서, 증강 현실이란, 사용자가 실제로 보고 있는 현실 세계를 담고 있는 화면에 부가 정보(예를 들면, 관심 지점(Point Of Interest: POI)을 나타내는 그래픽 요소, 목적지까지의 경로를 나타내는 그래픽 요소 등)를 시각적으로 중첩하여 제공하는 방법일 수 있다. 이 경우, 제어부(170)는 증강 현실 제공부(160)와 연동하여 운전 관련 안내를 수행하기 위한 인디케이터를 생성하고, 생성된 인디케이터를 출력부(130)를 통해 출력할 수 있다. 일 예로, 증강 현실은 차량 앞유리를 이용한 HUD 또는 별도의 영상 출력 장치를 이용한 영상 오버레이 등을 통해 제공될 수 있으며, 증강 현실 제공부(160)는 이와 같이 현실 영상 또는 유리에 오버레이되는 인터페이스 이미지 등을 생성할 수 있다. 이를 통해 증강 현실 네비게이션 또는 차량 인포테인먼트 시스템 등이 구현될 수 있다. Meanwhile, the controller 170 may control the augmented reality providing unit 160 so that the electronic device 100 performs driving-related guidance based on the augmented reality. Here, the augmented reality means additional information (e.g., a graphic element indicating a point of interest (POI), a graphic element indicating a path to a destination, etc.) on a screen that contains the real world actually viewed by the user. It may be a method of visually overlapping and providing. In this case, the control unit 170 may generate an indicator for performing driving-related guidance in conjunction with the augmented reality providing unit 160 and output the generated indicator through the output unit 130. As an example, the augmented reality may be provided through a HUD using a vehicle windshield or an image overlay using a separate image output device, and the augmented reality providing unit 160 may provide a reality image or an interface image overlaid on the glass. Can be created. Through this, an augmented reality navigation or vehicle infotainment system may be implemented.

특히, 본 발명의 일 실시 예에 따르면, 경로 안내선의 입체화 처리를 통하여 증강 현실에 적합한 경로 안내 인디케이터를 실시간으로 구축하여, 2차원의 카메라 영상 위에 3차원의 경로 안내 인디케이터를 사실적이고 효과적으로 표시할 수 있다. 이에 대해서는 이후 도면을 참조하여 후술하기로 한다. In particular, according to an embodiment of the present invention, a path guidance indicator suitable for augmented reality can be constructed in real time through three-dimensional processing of a path guide line, so that a 3D path guidance indicator can be realistically and effectively displayed on a 2D camera image. have. This will be described later with reference to the accompanying drawings.

도 2는 본 발명의 일 실시 예에 따른 전자 장치와 연결된 시스템 네트워크를 설명하기 위한 도면이다. 도 2를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 내비게이션, 블랙 박스, 스마트 폰 또는 기타 차량용 증강 현실 인터페이스 제공 장치 등과 같은 차량에 구비되는 각종 장치로 구현될 수 있으며, 다양한 통신망 및 다른 전자 디바이스(61 내지 64)와 접속할 수 있다.2 is a diagram illustrating a system network connected to an electronic device according to an embodiment of the present invention. Referring to FIG. 2, the electronic device 100 according to an embodiment of the present invention may be implemented as various devices provided in a vehicle such as a navigation system, a black box, a smart phone, or other vehicle augmented reality interface providing device. It can connect to a communication network and other electronic devices (61 to 64).

또한, 전자 장치(100)는 인공위성(20)으로부터 수신한 전파신호에 따라 GPS모듈을 연동하여 현재의 위치 및 현재 시간대를 산출할 수 있다.In addition, the electronic device 100 may calculate a current location and a current time zone by interlocking the GPS module according to the radio signal received from the satellite 20.

각각의 인공위성(20)은 주파수 대역이 상이한 L밴드 주파수를 송신할 수 있다. 전자 장치(100)는, 각각의 인공위성(20)에서 송신된 L밴드 주파수가 전자 장치(100)에 도달하는데 까지 소요된 시간에 기초하여 현재 위치를 산출할 수 있다.Each satellite 20 may transmit an L-band frequency having a different frequency band. The electronic device 100 may calculate a current location based on a time taken for the L-band frequency transmitted from each satellite 20 to reach the electronic device 100.

한편, 전자 장치(100)는, 통신부(180)을 통하여 제어국(40, ACR), 기지국(50, RAS) 등을 통하여 네트워크(30)에 무선으로 접속할 수 있다. 네트워크(30)에 전자 장치(100)가 접속하면, 네트워크(30)에 접속한 다른 전자 디바이스(61, 62)와도 간접적으로 접속하여 데이터를 교환할 수 있다.Meanwhile, the electronic device 100 may wirelessly access the network 30 through the control station 40 (ACR), the base station 50 (RAS), or the like through the communication unit 180. When the electronic device 100 connects to the network 30, data may be exchanged by indirectly connecting with other electronic devices 61 and 62 connected to the network 30.

한편, 전자 장치(100)는, 통신 기능을 가진 다른 디바이스(63)를 통하여 간접적으로 네트워크(30)에 접속할 수도 있다. 예를 들어, 네트워크(30)에 접속할 수 있는 모듈이 전자 장치(100)에 구비되지 않은 경우에, 근거리 통신 모듈 등을 통하여 통신 기능을 가진 다른 디바이스(63)와 통신할 수 있다.Meanwhile, the electronic device 100 may indirectly access the network 30 through another device 63 having a communication function. For example, when a module capable of accessing the network 30 is not provided in the electronic device 100, communication with another device 63 having a communication function may be performed through a short-range communication module or the like.

도 3은 본 발명의 일 실시 예에 따른 전자 장치의 차선 정보 생성 방법을 나타내는 흐름도 이다. 도 3을 참조하면, 먼저 전자 장치(100)는 차량의 운전 관련 영상 데이터로부터 차선 영역을 식별할 수 있다(S101). 구체적으로, 차선 정보 생성부(140)는 운전 관련 영상을 그레이 영상으로 변환하고, 차선 검출 알고리즘을 수행하여 차량의 양 측에 위치한 각 차선을 식별할 수 있는 영역을 차선 영역으로 결정할 수 있다. 여기서, 차량의 운전 관련 영상은 차량의 정차, 주행 등에 대한 영상을 포함할 수 있다. 그리고, 차량의 운전 관련 영상은 전자 장치(100)에 포함된 카메라 모듈에서 촬영한 영상이거나 또는 다른 장치에서 촬영한 영상을 전자 장치(100)가 수신한 영상일 수 있다. 그리고, 차량의 운전 관련 영상은 RGB(Red Green Blue)(칼라) 영상일 수 있다. 3 is a flowchart illustrating a method of generating lane information of an electronic device according to an embodiment of the present invention. Referring to FIG. 3, first, the electronic device 100 may identify a lane area from image data related to driving of a vehicle (S101). Specifically, the lane information generation unit 140 may convert a driving-related image into a gray image and determine an area capable of identifying each lane located on both sides of the vehicle as a lane area by performing a lane detection algorithm. Here, the image related to driving of the vehicle may include an image of stopping or driving of the vehicle. In addition, the driving-related image of the vehicle may be an image captured by a camera module included in the electronic device 100 or an image that the electronic device 100 receives from an image captured by another device. In addition, the driving-related image of the vehicle may be an RGB (Red Green Blue) (color) image.

그리고, 전자 장치(100)는 식별된 차선 영역 부분의 영상 데이터로부터 차량이 위치한 차로에 대응되는 차선 정보를 생성할 수 있다(S102). 구체적으로, 차선 정보 생성부(140)는 검출된 차선 영역에 대해 차선의 패턴 정보 및 색상 정보를 분석함으로써, 차선 정보를 생성할 수 있다. 차선 정보는 차량이 위치한 차로 양 측에 위치한 각 차선에 대응되는 선 종류 정보 및 선 색상 정보 중 적어도 하나를 포함할 수 있다.Further, the electronic device 100 may generate lane information corresponding to a lane in which the vehicle is located from the image data of the identified lane area (S102). Specifically, the lane information generation unit 140 may generate lane information by analyzing the pattern information and color information of the lane with respect to the detected lane region. The lane information may include at least one of line type information and line color information corresponding to each lane located on both sides of the lane where the vehicle is located.

이하에서는 도 4 내지 7을 참조하여 차선 정보 생성 방법을 보다 구체적으로 설명하기로 한다. Hereinafter, a method of generating lane information will be described in more detail with reference to FIGS. 4 to 7.

도 4는 본 발명의 일 실시 예에 따른 전자 장치의 차선 정보 생성 방법을 구체적으로 나타내는 흐름도 이다. 도 4를 참조하면, 먼저, 전자 장치(100)는 컬러 영상 데이터를 그레이 영상으로 변환하고(S201), 변환된 그레이 영상으로부터 차선 영역 검출을 수행할 수 있다(S202). 4 is a detailed flowchart illustrating a method of generating lane information of an electronic device according to an embodiment of the present invention. Referring to FIG. 4, first, the electronic device 100 may convert color image data into a gray image (S201) and detect a lane area from the converted gray image (S202).

구체적으로, 차선 정보 생성부(140) 촬영된 운전 관련 영상으로부터 차선을 검출하기 위한 영역을 추출할 수 있다. 또한, 차선 정보 생성부(140) 도로의 일부분이 그림자 영향을 받으면 차선 검출에 어려움이 있기 때문에 그림자 영향을 최소화 하기 위하여, 원 영상에 대한 광원 보정을 미리 수행할 수 있다.Specifically, the lane information generation unit 140 may extract a region for detecting a lane from the captured driving-related image. In addition, since it is difficult to detect a lane when a part of the road is affected by a shadow, the lane information generation unit 140 may perform light source correction on the original image in advance in order to minimize the shadow effect.

그리고, 차선 정보 생성부(140) 미리 결정된 카메라 위치 또는 카메라 설치 각도에 따라 차선이 존재 가능한 영역을 차선 영역으로 검출할 수 있다. 예를 들어, 차선 정보 생성부(140) 차선이 시작 가능한 위치를 기점으로 차선 영역을 결정할 수 있다. 또한, 차선 정보 생성부(140) 차선 영역이 시작되는 위치와 차선 영역의 길이를 운전 관련 영상 내 차로 폭(좌측 차선 영역과 우측 차선 영역 사이의 최대 너비)과 카메라의 시야각으로 추정할 수 있다.In addition, the lane information generation unit 140 may detect an area in which a lane can exist as a lane area according to a predetermined camera position or a camera installation angle. For example, the lane information generator 140 may determine a lane area based on a position at which a lane can start. In addition, the lane information generator 140 may estimate the starting position of the lane region and the length of the lane region as the width of the lane in the driving-related image (the maximum width between the left and right lane regions) and the viewing angle of the camera.

또한, 차선 정보 생성부(140) 차선 검출 영역에 해당되는 그레이 영상을 에지 영상으로 변환하고, 변환된 에지 영상에서 추출되는 직선 위치에 기초하여 차선 영역을 검출할 수 있다. 보다 구체적으로, 운전 관련 영상은 알려진 다양한 알고리즘을 통해 에지 영상으로 변환될 수 있으며, 에지 영상은 다수의 직선을 나타내는 에지를 포함할 수 있다. 이 때, 차선 정보 생성부(140)는 검출된 직선의 위치를 차선으로 인식할 수 있다. 또한, 차선 정보 생성부(140)는 다수의 직선 후보 중에서 차량의 주행 방향에 대하여 일정한 차선의 폭을 가지는 직선의 위치에 기초하여 차선 영역을 결정할 수 있다.In addition, the lane information generator 140 may convert a gray image corresponding to the lane detection region into an edge image, and detect the lane region based on a straight line position extracted from the converted edge image. More specifically, the driving-related image may be converted into an edge image through various known algorithms, and the edge image may include edges representing a plurality of straight lines. In this case, the lane information generation unit 140 may recognize the position of the detected straight line as a lane. In addition, the lane information generation unit 140 may determine a lane area based on a position of a straight line having a constant lane width with respect to a driving direction of a vehicle among a plurality of straight line candidates.

도 5에서는 이와 같은 그레이 영상 변환 및 차선 영역 검출 과정을 나타내고 있다. 도 5를 참조하면, 최초 입력된 운전 관련 영상은 그레이 영상(200)으로 변환될 수 있으며, 에지 검출 등의 차선 검출 알고리즘을 통해 직선의 차선 영역(201, 202)이 검출될 수 있다. 차선 영역은 차량의 위치를 기준으로 좌측 차선 영역(201) 및 우측 차선 영역(202)으로 구분될 수 있다.5 shows a process of converting a gray image and detecting a lane area. Referring to FIG. 5, the first input driving-related image may be converted into a gray image 200, and straight lane areas 201 and 202 may be detected through a lane detection algorithm such as edge detection. The lane area may be divided into a left lane area 201 and a right lane area 202 based on the location of the vehicle.

다시 도 4를 설명한다.Again, FIG. 4 will be described.

이후, 차선 영역이 검출되면, 전자 장치(100)는 차선 영역에 기반하여 차선 종류 관심 영역을 설정할 수 있다(S203). 구체적으로, 차선 정보 생성부(140)는 차선 영역이 검출되면, 검출된 차선 영역을 기준으로 하는 차선 종류 관심 영역(ROI, Region Of interest)을 설정할 수 있다. 차선 종류 관심 영역은, 차선의 선 종류 및 색상을 판단하기 위한 차선 및 그 주변 일정 영역을 포함하는 운전 관련 영상의 부분을 의미할 수 있다.Thereafter, when the lane area is detected, the electronic device 100 may set the lane type ROI based on the lane area (S203). Specifically, when a lane area is detected, the lane information generator 140 may set a lane type region of interest (ROI) based on the detected lane area. The lane type ROI may mean a portion of a driving-related image including a lane for determining the line type and color of the lane and a predetermined area around the lane.

보다 구체적으로, 도 6에서는 그레이 영상에서의 차선 종류 관심 영역을 나타내고 있다.More specifically, FIG. 6 shows a lane type interest area in a gray image.

도 6에 도시된 바와 같이, 차선 종류 관심 영역(210, 220)은 앞서 검출된 차선 영역 및 그 주변 영역을 일부 포함할 수 있다. 또한, 차선 종류 관심 영역은 차량의 진행 방향을 기준으로 좌측 차선 종류 관심 영역(210) 및 우측 차선 종류 관심 영역(220)으로 구분될 수 있다.As illustrated in FIG. 6, the lane type ROI regions 210 and 220 may partially include a previously detected lane region and a peripheral region thereof. In addition, the lane type ROI may be divided into a left lane type ROI 210 and a right lane ROI 220 based on the driving direction of the vehicle.

예를 들어, 앞서 검출된 차선 영역은 일반적으로 직선으로 형성될 수 있고, y = a * x + b 와 같은 수식으로 표현되는 경우, 차선 종류 관심 영역은 y = a * x + b + m 및 y = a * x + b - m 을 모두 포함하는 영역으로 나타낼 수 있다. 이는 기존의 단순 차선 검출 방식과 달리, 구체적이고 다양한 주행 차선 정보를 생성하기 위한 방식으로서, 차선 정보 생성부(140)는 검출된 직선의 차선 영역을 확장하여 그 주변 영역까지 관심 영역으로 설정할 수 있다.For example, the previously detected lane area may be generally formed as a straight line, and when expressed by an equation such as y = a * x + b, the lane type region of interest is y = a * x + b + m and y = a * x + b-m can be represented as a region including all. Unlike the conventional simple lane detection method, this is a method for generating detailed and various driving lane information. The lane information generator 140 may expand the detected line lane area and set the area around the detected line as a region of interest. .

다시 도 4를 설명한다.Again, FIG. 4 will be described.

이 후, 전자 장치(100)는 차선 종류 관심 영역에 대해 이진화를 수행하고(S204), 이진화된 부분 그레이 영상을 1차원 영역으로 매핑하며(S205), 시각 연속성 및 속도 중 적어도 하나를 이용하여 선 종류를 식별할 수 있다(S206).Thereafter, the electronic device 100 performs binarization on a lane-type ROI (S204), maps the binarized partial gray image to a one-dimensional region (S205), and uses at least one of visual continuity and speed. The type can be identified (S206).

차선 정보 생성부(140)는 변환된 그레이 영상으로부터 차선 종류 관심 영역의 부분 그레이 영상을 추출하고, 부분 그레이 영상에 대해 이진화를 수행할 수 있다. 이진화를 위한 기준값은 관심 영역의 부분 그레이 영상의 평균 휘도 값으로 결정할 수 있다. 이에 따라, 주행 차선 정보 생성 모듈(180)은 부분 그레이 영상으로부터 차선으로 판단되는 부분만을 명확하게 구별할 수 있다.The lane information generator 140 may extract a partial gray image of a lane type ROI from the converted gray image and perform binarization on the partial gray image. The reference value for binarization may be determined as an average luminance value of the partial gray image of the ROI. Accordingly, the driving lane information generation module 180 can clearly distinguish only a portion determined as a lane from the partial gray image.

그리고, 차선 정보 생성부(140)는 이진화된 부분 그레이 영상에서 식별되는 각 선을(좌측 및 우측) 1차원 영역으로 매핑할 수 있다. 그리고, 1차원 영역으로 매핑된 각 선의 패턴을 분석함으로써, 선 종류를 식별할 수 있다. In addition, the lane information generation unit 140 may map each line (left and right) identified in the binary partial gray image to a one-dimensional region. And, by analyzing the pattern of each line mapped to the one-dimensional area, it is possible to identify the line type.

보다 구체적으로, 도 7에서는 그레이 영상에서의 차선 종류 관심 영역 이진화 및 1차원 매핑을 나타내고 있다.More specifically, FIG. 7 shows the binarization and one-dimensional mapping of a lane type ROI in a gray image.

도 7에 도시된 바와 같이, 차선 종류 관심 영역에 대한 이진화가 수행되면, 이진화된 영상(300)이 획득될 수 있다. 이진화된 영상(300)에서, 흰색으로 나타나는 부분을 차선으로 식별할 수 있으며, 그 외의 부분은 흑색으로 식별될 수 있다.As shown in FIG. 7, when binarization is performed on a lane type ROI, a binarized image 300 may be obtained. In the binarized image 300, a portion indicated by white may be identified as a lane, and other portions may be identified as black.

그리고, 이진화된 영상(300)에서 식별되는 각 선은 1차원 영역으로 매핑될 수 있다. 차선 정보 생성부(140)는 1차원 영역으로 매핑된 영상(310)을 이용하여 선 종류를 용이하게 판별할 수 있다.In addition, each line identified in the binarized image 300 may be mapped to a one-dimensional region. The lane information generation unit 140 may easily determine the line type by using the image 310 mapped to the 1D area.

예를 들어, 차선 정보 생성부(140)는 1차원으로 매핑된 각 선의 시작점 및 길이 특징에 기초하여 점선 또는 실선 여부를 판단할 수 있다. 또한, 차선 정보 생성부(140)는 1차원으로 매핑된 각 선의 시간에 대한 연속성 및 속도를 이용하여 점선 또는 실선 여부를 판단할 수 있다. 그리고, 차선 정보 생성부(140)는 1차적으로 상기 시작점 및 길이 특징에 따라 점선 또는 실선을 결정한 후, 2차적으로 시간 연속성 및 속도를 이용하여 최종적으로 점선 또는 실선을 결정할 수 있다.For example, the lane information generator 140 may determine whether a dotted line or a solid line is based on a starting point and a length characteristic of each line mapped in one dimension. In addition, the lane information generation unit 140 may determine whether a dotted line or a solid line is made using the continuity and speed of each line mapped in one dimension. In addition, the lane information generator 140 may first determine a dotted line or a solid line according to the starting point and length characteristics, and then secondly determine the dotted line or a solid line using time continuity and speed.

보다 구체적으로, 차선 정보 생성부(140)는 먼저 각 선의 시작점 위치에 따른 선 길이를 비교 판별하여 점선 또는 실선 여부를 결정할 수 있다. 이 경우 차선 정보 생성부(140)는 하나의 영상 프레임만으로도 점선 또는 실선 여부를 판단할 수 있다.More specifically, the lane information generation unit 140 may first determine whether the line length is a dotted line or a solid line by comparing and determining the line length according to the location of the starting point of each line. In this case, the lane information generation unit 140 may determine whether there is a dotted line or a solid line with only one image frame.

또한, 차선 정보 생성부(140)는 각 선이 시간에 따라 연속적으로 형성되는지 여부에 따라 점선인지 실선인지를 보다 명확하게 판단할 수 있다. 예를 들어, 주행 차선 정보 생성 모듈(180)은 영상 내에서의 선 이동 속도에 따른 연속성 정도를 미리 설정하고, 각 선의 연속성이 미리 설정된 연속성 정도 값보다 낮은 경우 점선으로 판별할 수 있다.In addition, the lane information generation unit 140 may more clearly determine whether each line is a dotted line or a solid line depending on whether each line is continuously formed over time. For example, the driving lane information generation module 180 may preset a degree of continuity according to a line movement speed in an image, and may determine the continuity degree as a dotted line when the continuity of each line is lower than a preset continuity degree value.

따라서, 본 발명의 실시 예에 따르면 하나의 프레임을 통해 점선 또는 실선 여부를 미리 구별하고, 연속되는 프레임을 통해 이를 검증함으로써 최종적인 선 종류를 판단할 수 있다. Accordingly, according to an embodiment of the present invention, a final line type may be determined by pre-distinguishing whether a dotted line or a solid line is performed through one frame and verifying it through successive frames.

다시 도 4를 참조하면, 전자 장치(100)는 컬러인 원본 영상 데이터로부터 상기 종류가 식별된 선 부분의 색상을 검출할 수 있다(S207).Referring back to FIG. 4, the electronic device 100 may detect a color of a line portion whose type is identified from original image data that is color (S207).

차선 정보 생성부(140)는 컬러 영상을 분석하여, 앞서 종류가 식별된 선에 해당하는 부분의 색상을 검출하고, 이를 분류할 수 있다. 예를 들어, 차선 정보 생성부(140)는 검출된 색상을 백색, 황색 또는 청색으로 분류할 수 있다.The lane information generation unit 140 may analyze a color image, detect a color of a portion corresponding to a line whose type has been previously identified, and classify it. For example, the lane information generation unit 140 may classify the detected color into white, yellow, or blue.

이후, 전자 장치(100)는 식별된 선 종류 및 분류된 색상에 기초하여 차량이 위치한 차로에 대응되는 차선 정보를 생성할 수 있다(S208).Thereafter, the electronic device 100 may generate lane information corresponding to the lane in which the vehicle is located based on the identified line type and the classified color (S208).

도 8은 본 발명의 일 실시 예에 따른 차로 위치 정보 생성 방법을 구체적으로 나타내는 흐름도 이다. 도 8을 참조하면, 전자 장치(100)는 지도 데이터로부터 차량이 위치한 도로의 차로 정보를 획득할 수 있다(S301). 여기서, 도로의 차로 정보는, 운전 중인 차량이 현재 위치한 도로의 차로 정보일 수 있고, 차량이 위치한 도로의 차로 개수 정보를 포함할 수 있다. 그리고, 도로의 차로 정보는 전자 장치(100)내의 저장부(110)에 저장된 지도 데이터에서 획득되거나, 전자 장치(100)와 별도의 외부 지도 데이터베이스(DB)에서 획득되거나, 다른 전자 장치(100)로부터 획득될 수 있다. 8 is a detailed flowchart illustrating a method of generating lane location information according to an embodiment of the present invention. Referring to FIG. 8, the electronic device 100 may obtain lane information of a road on which a vehicle is located from map data (S301). Here, the lane information of the road may be information about the lane of the road where the vehicle being driven is currently located, and may include information on the number of lanes of the road where the vehicle is located. Further, the road lane information is obtained from map data stored in the storage unit 110 in the electronic device 100, or from an external map database (DB) separate from the electronic device 100, or the other electronic device 100 Can be obtained from

그리고, 전자 장치(100)는 생성된 차선 정보를 이용하여 차량이 도로의 첫 번째 차로(1 차로), 또는 마지막 차로(끝 차로)에 위치하는지 여부를 판단할 수 있다(S302). 구체적으로 차로 위치 정보 생성부(150)는 도 9와 같은 차로 판단 테이블에 차량이 위치한 차로에 대응되는 차선 정보를 적용하여 차량이 도로의 1 차로, 또는 끝차로에 위치하는지 여부를 판단할 수 있다. Further, the electronic device 100 may determine whether the vehicle is located in the first lane (the first lane) or the last lane (the last lane) of the road by using the generated lane information (S302). Specifically, the lane location information generation unit 150 may determine whether the vehicle is located in the first lane or the last lane of the road by applying lane information corresponding to the lane where the vehicle is located to the lane determination table as shown in FIG. 9. .

즉, 차로 판단 테이블은 국가, 좌측선 종류 및 색상, 우측선 종류 및 색상에 따라 결정되는 1 차로, 끝차로를 포함할 수 있다. 여기서, 도 10과 같은 차로 판단 테이블은 예시일 수 있으며, 설정에 따라 국가별 또는 상황별로 다른 값으로 설정될 수 있다.That is, the lane determination table may include a first lane and an end lane determined according to the country, the type and color of the left line, and the type and color of the right line. Here, the lane determination table as shown in FIG. 10 may be an example, and may be set to a different value for each country or situation according to the setting.

한편, 전자 장치(100)는 차량이 첫 번째 또는 마지막 차로에 위치하는 경우, 도로의 차로 정보를 반영하여 차량이 위치한 차로 위치 정보를 생성할 수 있다(S303). 예를 들어, 차량이 마지막 차로에 위치한다고 판단되면, 차로 위치 정보 생성부(150)는 차로 위치 정보를 N 차로로 생성할 수 있다. 그리고, 도로 차로 정보에 대응되는 차로 개수가 5 개인 경우, 이를 반영하여 N 차로를 5 차로로 생성할 수 있다. Meanwhile, when the vehicle is located in the first or the last lane, the electronic device 100 may generate location information of the lane where the vehicle is located by reflecting the lane information of the road (S303). For example, if it is determined that the vehicle is located in the last lane, the lane location information generation unit 150 may generate the lane location information as N lanes. In addition, when the number of lanes corresponding to the road lane information is 5, N lanes may be generated as 5 lanes by reflecting this.

그리고, 전자 장치(100)는 차량의 차로 변경에 따라 차량이 위치한 차로가 첫 번째 또는 마지막 차로의 사이에 위치한 차로로 변경되면, 생성된 차로 위치 정보를 변경된 차로 위치 정보로 갱신할 수 있다(S304). 이 경우, 차로 위치 정보 생성부(150)는 차선 정보를 이용하여 차선 이탈 여부를 판단하고, 이를 기초로 차로 변경 여부를 판단할 수 있다. 예를 들어, 차로 위치 정보 생성부(150)는 차량이 5 차로에 위치하다 좌측 차로로 1 차로 변경하였다고 판단되면, 이를 반영하여 차로 위치 정보를 5 차로에서 4차로로 갱신할 수 있다.Further, when the lane in which the vehicle is located is changed to a lane located between the first or last lane according to the change of the vehicle lane, the electronic device 100 may update the generated lane location information with the changed lane location information (S304). ). In this case, the lane location information generation unit 150 may determine whether to deviate from the lane using the lane information, and determine whether to change the lane based on this. For example, when it is determined that the vehicle is located in the 5th lane and changed to the 1st lane to the left lane, for example, the lane location information generation unit 150 may reflect this and update the lane location information from the 5th lane to the 4th lane.

그리고, 전자 장치(100)는 차량의 차로 변경에 따라 차량이 위치한 차로가 사이에 위치한 차로에서 첫 번째 또는 마지막 차로로 변경되면, 차량이 위치한 도로의 차로 정보를 재획득할 수 있다(S305). 그리고, 재획득된 차로 정보를 반영하여 차량이 위치한 차로 위치 정보를 재생성할 수 있다(S306). 예를 들어, 차량이 4 차로에 위치하다 우측 차로로 1 차로 변경되었다고 판단되면, 전에 설정된 마지막 차로인 5차로로 이동하였는 바, 현재 차량이 위치한 도로의 차로 정보를 획득할 수 있다. 그리고, 획득된 차로 정보가 4 차로인 경우, 차량이 위치한 차로 위치 정보를 4 차로로 재생성할 수 있다. In addition, when the lane in which the vehicle is located is changed to the first or last lane in the intervening lane according to the change of the vehicle lane, the electronic device 100 may re-acquire information on the lane of the road where the vehicle is located (S305). Then, the location information of the lane where the vehicle is located may be regenerated by reflecting the reacquired lane information (S306). For example, if it is determined that the vehicle is located in the 4th lane and changed to the 1st lane to the right lane, the vehicle has moved to the 5th lane, which is the last lane previously set, and information about the lane of the road where the vehicle is currently located may be obtained. In addition, when the obtained lane information is the fourth lane, the location information of the lane where the vehicle is located may be recreated as the fourth lane.

한편, 본 발명의 일 실시 예에 따른 차로 위치 정보 생성 방법은 상술한 도 9에 한정되는 것은 아니다. 따라서, 다른 실시 예에 따라서 상술한 순서는 일부 변경될 수 있다. 일 예로, 차량이 위치한 도로의 차로 정보를 획득하는 단계는 S304 단계에서 수행될 수 있다. 이 경우, 전자 장치(100)는 차량이 첫 번째 또는 마지막 차로에 위치하는 경우, 차량이 위치한 차로 위치 정보를 생성할 수 있다(S303). 예를 들어, 차량이 마지막 차로에 위치한다고 판단되면, 차로 위치 정보 생성부(150)는 차로 위치 정보를 N 차로로 생성할 수 있다. Meanwhile, a method of generating lane location information according to an embodiment of the present invention is not limited to the above-described FIG. 9. Accordingly, the above-described order may be partially changed according to other embodiments. As an example, the step of acquiring lane information of a road on which the vehicle is located may be performed in step S304. In this case, when the vehicle is located in the first or last lane, the electronic device 100 may generate location information of the lane in which the vehicle is located (S303). For example, if it is determined that the vehicle is located in the last lane, the lane location information generation unit 150 may generate the lane location information as N lanes.

그리고, 전자 장치(100)는 차량의 차로 변경에 따라 차량이 위치한 차로가 첫 번째 또는 마지막 차로의 사이에 위치한 차로로 변경되면, 생성된 차로 위치 정보 및 획득된 도로의 차로 정보를 이용하여 차로 위치 정보로 갱신할 수 있다(S304). 예를 들어, 차로 위치 정보 생성부(150)는 차량이 끝차로에 대응되는 N 차로에 위치하다 좌측 차로로 1 차로 변경하였다고 판단되면, N-1 차로에 차로 개수 정보인 N = 5를 반영하여 차로 위치 정보를 4차로로 갱신할 수 있다.In addition, when the lane in which the vehicle is located is changed to a lane located between the first or last lane according to the change of the vehicle lane, the electronic device 100 uses the generated lane location information and the obtained lane information to locate the lane. It can be updated with information (S304). For example, when it is determined that the vehicle is located in the N lane corresponding to the last lane and changed to the first lane to the left lane, the lane location information generation unit 150 reflects the number of lane information N = 5 in the N-1 lane. Lane location information can be updated to four lanes.

또한, 본 발명의 다른 실시 예에 따르면, 차로 위치 정보 생성부(150)는 도 10과 같은 차로 판단 테이블에 차량이 위치한 차로에 대응되는 차선 정보를 적용하여 차량이 도로의 1 차로, 중앙 차로, 끝차로에 위치하는지 여부를 판단할 수 있다. 다만, 이 경우, 도로의 중앙 차로가 복수 개인 상황(예를 들어, 차로의 개수가 4개 이상인 경우)에서는 복수의 중앙 차로 중 차량이 위치한 차로를 정확하게 알 수 없는 바, 본 발명의 일 실시 예는 바람직하게는 도 9와 같은 방법을 사용할 수 있다. In addition, according to another embodiment of the present invention, the lane location information generation unit 150 applies lane information corresponding to the lane where the vehicle is located to the lane determination table as shown in FIG. It can be determined whether or not it is located at the last lane. However, in this case, in a situation in which there are multiple central lanes of the road (for example, when the number of lanes is 4 or more), it is not possible to accurately determine the lane in which the vehicle is located among the plurality of central lanes. Preferably, the same method as in FIG. 9 may be used.

도 11은 본 발명의 일 실시 예에 따른 제어 방법을 나타내는 흐름도 이다. 도 11을 참조하면, 먼저 전자 장치(100)는 차량의 운전 관련 영상 데이터로부터 차선 영역을 식별할 수 있다(S401).11 is a flowchart illustrating a control method according to an embodiment of the present invention. Referring to FIG. 11, first, the electronic device 100 may identify a lane area from image data related to driving of a vehicle (S401).

그리고, 식별된 차선 영역 부분의 영상 데이터로부터 상기 차량이 위치한 차로에 대응되는 차선 정보를 생성할 수 있다(S402).In addition, lane information corresponding to a lane in which the vehicle is located may be generated from the image data of the identified lane area portion (S402).

그리고, 생성된 차선 정보 및 상기 차량이 위치한 도로의 차로 정보 중 적어도 하나를 이용하여 상기 차량이 위치한 차로 위치 정보를 생성할 수 있다(S403).In addition, the location information of the lane where the vehicle is located may be generated by using at least one of the generated lane information and the lane information of the road where the vehicle is located (S403).

그리고, 획득된 차로 정보를 이용하여 차량의 운전 관련 안내를 수행할 수 있다(S404).In addition, the vehicle driving-related guidance may be performed using the obtained lane information (S404).

여기서, 차량의 운전 관련 안내를 수행하는 단계(S404)는 차량의 내비게이션 경로와 차로 위치 정보를 이용하여 차로 변경 안내를 출력하는 단계를 포함할 수 있다.Here, the step of performing a driving-related guide (S404) of the vehicle may include outputting a lane change guide using the navigation route and lane location information of the vehicle.

또한, 차량의 운전 관련 안내를 수행하는 단계(S404)는, 차로 위치 정보를 이용하여 상기 차량이 위치한 차로 안내를 출력하는 단계를 포함할 수 있다.In addition, the step of performing a driving-related guide (S404) of the vehicle may include outputting a guide to a lane in which the vehicle is located using lane location information.

한편, 본 발명의 일 실시 예에 따른 제어 방법은, 차선 정보에 기초하여 식별되는 차량의 차로 양측 차선의 종류에 따라, 적절한 차선 이탈 안내를 선택하여 출력하는 단계를 더 포함할 수 있다.Meanwhile, the control method according to an embodiment of the present invention may further include selecting and outputting an appropriate lane departure guide according to the type of lanes on both sides of a vehicle lane identified based on the lane information.

여기서, 상기 출력은, 운전 관련 안내를 수행하기 위한 인디케이터를 생성하고, 생성된 인디케이터를 증강 현실을 통해 출력함으로써 수행될 수 있다. Here, the output may be performed by generating an indicator for performing a driving-related guide and outputting the generated indicator through augmented reality.

한편, 종래의 증강 현실 내비게이션 에서는 경로 안내에 있어서 다양한 가지 기법을 사용하고 있으나, 경로 안내선과 실질적인 도로 환경과의 합성이 어려워, 경로 안내선의 표현에 한계가 있었다. Meanwhile, in the conventional augmented reality navigation, various techniques are used for route guidance, but it is difficult to synthesize the route guide line and the actual road environment, and thus there is a limit to the expression of the route guide line.

다만, 본 발명에 일 실시 예에 따르면, 경로 안내선의 입체화 처리를 통하여 증강 현실에 적합한 경로 안내 인디케이터를 실시간으로 구축하여, 2차원의 카메라 영상 위에 3차원의 경로 안내 인디케이터를 사실적이고 효과적으로 표시할 수 있다. 이하에서는 상술한 목적을 달성하기 위한 본 일 실시 예에 따른 증강 현실 제공부(160)에 대해서 구체적으로 설명하기로 한다. However, according to an embodiment of the present invention, a route guide indicator suitable for augmented reality is constructed in real time through the three-dimensional processing of the route guide line, so that a three-dimensional route guide indicator can be realistically and effectively displayed on a two-dimensional camera image. have. Hereinafter, the augmented reality providing unit 160 according to the present exemplary embodiment for achieving the above-described object will be described in detail.

도 12는 본 발명의 일 실시 예에 따른 증강 현실 제공부(160)를 구체적으로 나타내는 블록도 이다. 도 12를 참조하면, 증강 현실 제공부(160)는 캘리브레이션부(161), 3D 공간 생성부(162), 인디케이터 생성부(163), 맵핑부(164)의 전부 또는 일부를 포함할 수 있다. 12 is a block diagram illustrating in detail the augmented reality providing unit 160 according to an embodiment of the present invention. Referring to FIG. 12, the augmented reality providing unit 160 may include all or part of a calibration unit 161, a 3D space generation unit 162, an indicator generation unit 163, and a mapping unit 164.

캘리브레이션부(161)는 카메라에서 촬영된 촬영 영상으로부터 카메라에 해당되는 카메라 파라미터를 추정하기 위한 캘리브레이션(Calibration)을 수행할 수 있다. 여기서, 카메라 파라미터는 실사공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행렬을 구성하는 파라미터일 수 있다.The calibration unit 161 may perform calibration for estimating a camera parameter corresponding to a camera from a captured image captured by the camera. Here, the camera parameter may be a parameter constituting a camera matrix, which is information indicating a relationship between the real space and the picture.

3D 공간 생성부(162)는 카메라에서 촬영된 촬영 영상을 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로, 3D 공간 생성부(162)는 캘리브레이션부(161)가 추정한 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 깊이 정보(Depths information)를 획득하고, 획득한 깊이 정보와 촬영 영상을 기초로 가상 3D 공간을 생성할 수 있다.The 3D space generator 162 may generate a virtual 3D space based on a captured image captured by a camera. Specifically, the 3D space generation unit 162 acquires depth information from the image captured by the camera based on the camera parameter estimated by the calibration unit 161, and based on the acquired depth information and the captured image. You can create a virtual 3D space.

인디케이터 생성부(163)는 증강 현실 상에서 안내를 위한 인디케이터, 예를 들어, 경로 안내 인디케이터, 차로 변경 안내 인디케이터, 차선 이탈 안내 인디케이터 등을 생성할 수 있다.The indicator generator 163 may generate an indicator for guidance on augmented reality, for example, a route guidance indicator, a lane change guidance indicator, a lane departure guidance indicator, and the like.

특히, 인디케이터 생성부(163)는 목적지까지의 경로 안내를 요청하는 사용자 입력이 입력부(120)를 통하여 수신되면, 증강 현실 상에서 경로 안내를 위한 경로 안내 인디케이터를 생성할 수 있다. 여기서, 경로 안내 인디케이터 생성부는 경로 안내선 처리부(163-1), 경로 안내선 입체화부(163-2). 동적 텍스처 맵핑부(163-3)을 포함할 수 있다.In particular, when a user input requesting a route guidance to a destination is received through the input unit 120, the indicator generator 163 may generate a route guidance indicator for route guidance in augmented reality. Here, the path guide indicator generation unit includes a path guide line processing unit 163-1, and a path guide line three-dimensionalization unit 163-2. A dynamic texture mapping unit 163-3 may be included.

경로 안내선 처리부(163-1)는 사용자의 경로 안내 요청에 따라 목적지까지의 경로 안내선이 생성되면, 실제 주행 차량의 주행 궤적 반경을 반영하여 경로 안내선의 처리를 수행할 수 있다. When the route guide line to the destination is generated in response to the user's route guide request, the route guide line processing unit 163-1 may process the route guide line by reflecting the driving route radius of the actual driving vehicle.

구체적으로, 전자 장치(100)는 저장부(110)로부터 획득된 지도 데이터, 전자 장치(100)와 별도의 외부 지도 데이터베이스(DB)에서 획득된 지도 데이터를 이용하여 사용자의 경로 안내 요청에 따른 목적지까지의 경로 안내선을 생성할 수 있다. 여기서, 생성된 경로 안내선은, 노드와 링크로 구성될 수 있고, 도 13(a)와 같은 형태일 수 있다. 즉, 도 13(a)를 참조하면, 생성된 경로 안내선(1301)은 커브 구간(1302)에서 차량 주행 궤적과는 비유사한 직선 형태일 수 있다. 따라서, 도 13(a)와 같은 경로 안내선을 기초로 카메라 영상과 합성을 하여 증강 현실을 제공하게 되면, 실제 차량의 주행 궤적과 상이한 결과를 표시하게 된다. Specifically, the electronic device 100 uses map data obtained from the storage unit 110 and map data obtained from an external map database (DB) separate from the electronic device 100 to provide a destination according to a user's route guidance request. You can create route guides to. Here, the generated path guide line may be composed of a node and a link, and may have a shape as shown in FIG. 13(a). That is, referring to FIG. 13A, the generated route guide line 1301 may have a straight line shape similar to the vehicle driving trajectory in the curve section 1302. Accordingly, when the augmented reality is provided by synthesizing with a camera image based on the route guide line as shown in FIG. 13(a), a result different from the actual driving trajectory of the vehicle is displayed.

이에 따라, 본 발명의 일 실시 예에 따른 경로 안내선 처리부(163-1)는 실제 주행 차량의 주행 궤적 반경을 반영하여 경로 안내선의 처리를 수행할 수 있다. 구체적으로, 경로 안내선 처리부(163-1)는 생성된 경로 안내선 중 현재 화면에 표시되지 않는 영역에 대한 버텍스(vertex), 중복점과 같은 불필요한 vertex를 제거할 수 있다. 그리고, 경로 안내선 처리부(163-1)는 자차 앞 경로 안내선의 직선을 유지하기 위한 버텍스들을 추가할 수 있다. 그리고, 경로 안내선 처리부(163-1)는 경로 안내선의 커브 구간에 커브 구간의 곡선화를 위한 버텍스들을 추가할 수 있다. 그리고, 경로 안내선 처리부(163-1)는 추가된 버텍스들을 이용하여 실제 주행 차량의 주행 궤적 반경을 반영한 경로 안내선을 생성할 수 있다. Accordingly, the route guide line processing unit 163-1 according to an embodiment of the present invention may process the route guide line by reflecting the driving trajectory radius of the actual driving vehicle. Specifically, the path guide line processing unit 163-1 may remove unnecessary vertices such as vertices and overlapping points for an area not currently displayed on the screen among the generated path guide lines. In addition, the path guide line processing unit 163-1 may add vertices for maintaining a straight line of the path guide line in front of the host vehicle. In addition, the path guide line processing unit 163-1 may add vertices for curving the curve section to the curve section of the path guide line. In addition, the route guide line processing unit 163-1 may generate a route guide line reflecting a driving trajectory radius of an actual driving vehicle by using the added vertices.

이러한, 본 발명의 일 실시 예에 따르면, 도 13(b)와 같은 경로 안내선을 생성할 수 있다. 즉, 도 13(b)를 참조하면, 처리된 경로 안내선(1303)은 커브 구간(1304)에서 차량 주행 궤적과 유사한 부드러운 형태일 수 있다. According to an embodiment of the present invention, a route guide line as shown in FIG. 13(b) may be generated. That is, referring to FIG. 13B, the processed route guide line 1303 may have a smooth shape similar to a vehicle driving trajectory in the curve section 1304.

경로 안내선 입체화부(163-2)는 경로 안내선 처리부(163-1)에서 생성된 경로 안내선을 거리에 따라 높이를 달리하여 가변 입체화를 수행할 수 있다. 이에 대해서는 도 14를 참조하여 구체적으로 설명하기로 한다. The path guide line three-dimensionalization unit 163-2 may perform variable three-dimensionalization by varying the height of the path guide line generated by the path guide line processing unit 163-1 according to a distance. This will be described in detail with reference to FIG. 14.

도 14를 참조하면, 경로 안내선 입체화부(163-2)는 경로 안내선 처리부(163-1)에서 생성된 경로 안내선(1401)의 양 쪽에 가상의 경로 안내선(1402,1403)을 생성할 수 있다. 구체적으로, 경로 안내선 입체화부(163-2)는 경로 안내선 처리부(163-1)에서 생성된 경로 안내선(1401)의 버텍스들의 단위 벡터를 산출하고, 산출된 단위 벡터의 내적 연산에 의해 단위 벡터에 수직인 법선 벡터를 산출하여 가상의 경로 안내선(1402,1403)을 생성할 수 있다.Referring to FIG. 14, the route guide line three-dimensionalization unit 163-2 may generate virtual route guide lines 1402 and 1403 on both sides of the route guide line 1401 generated by the route guide line processing unit 163-1. Specifically, the path guide line three-dimensionalization unit 163-2 calculates a unit vector of vertices of the path guide line 1401 generated by the path guide line processing unit 163-1, and calculates the unit vector by a dot product calculation of the calculated unit vector. Virtual path guide lines 1402 and 1403 may be generated by calculating a vertical normal vector.

그리고, 경로 안내선 입체화부(163-2)는 경로 안내선(1401)에 포함된 버텍스들의 높이 값을 산출할 수 있다. 이 경우, 경로 안내선 입체화부(163-2)는 경로 안내선(1401)에 포함된 버텍스들의 높이 값이 거리에 비례하여 증가하도록 높이 값을 산출할 수 있다. In addition, the path guide line 3D unit 163-2 may calculate height values of vertices included in the path guide line 1401. In this case, the path guide line 3D unit 163-2 may calculate a height value such that height values of vertices included in the path guide line 1401 increase in proportion to the distance.

그리고, 경로 안내선 입체화부(163-2)는 높이 값이 산출된 경로 안내선(1401)의 버텍스들과 가상의 경로 안내선(1402,1403) 각각에 포함된 버텍스들을 폴리곤을 통해 면을 생성하여 입체화를 수행할 수 있다. In addition, the path guide line three-dimensionalization unit 163-2 generates a surface through polygons by generating a surface of the vertices of the path guide line 1401 for which the height value is calculated and the vertices included in each of the virtual path guide lines 1402 and 1403. You can do it.

이에 따라, 화면에 표시된 경로 안내 인디케이터 중 자차로부터 멀리 위치한 지점의 경로 안내 인디케이터를 운전자가 식별 가능하도록 화면에 표시할 수 있다.Accordingly, among the route guide indicators displayed on the screen, a route guide indicator at a point located far from the host vehicle may be displayed on the screen so that the driver can identify it.

동적 텍스처 맵핑부(163-3)는 경로 안내선 입체화부(163-2)에서 생성된 입체 데이터에 차량 속도에 따라 변위를 가진 텍스처를 매핑할 수 있다. The dynamic texture mapping unit 163-3 may map a texture having a displacement according to the vehicle speed to the three-dimensional data generated by the path guide line three-dimensionalization unit 163-2.

여기서 텍스처는 차량 속도에 따라 변위를 가진 텍스처일 수 있다. 즉, 차량이 경로 상에서 이동하는 경우, 동적 텍스처 맵핑부(163-3)는 입체 데이터에서 텍스처의 매핑 위치를 변경함으로써, 차량 속도에 따라 변위를 가진 텍스처를 생성할 수 있다. 이 경우, 화면에 표시된 경로 안내 인디케이터는 마치 도로면에 붙어있는 듯한 효과를 극대화시킬 수 있다. Here, the texture may be a texture having a displacement according to the vehicle speed. That is, when the vehicle moves on the path, the dynamic texture mapping unit 163-3 may generate a texture having displacement according to the vehicle speed by changing the mapping position of the texture in the three-dimensional data. In this case, the route guidance indicator displayed on the screen can maximize the effect as if it is attached to the road surface.

이러한 동작에 따라, 인디케이터 생성부(163)는 증강 현실 상에서 경로 안내를 위한 경로 안내 인디케이터를 생성할 수 있다.According to this operation, the indicator generator 163 may generate a path guidance indicator for path guidance on the augmented reality.

한편, 턴 지점이 있고 이 턴 지점을 지나고 나서의 디스플레이기법은 보다 효과적인 화면 표출을 하기 위하여, 경로 안내선 입체화부(163-2)는 상술한 동작에 따라 생성된 입체를 수직화할 수 있다.Meanwhile, in order to display a more effective screen after a turn point exists and the display technique passes the turn point, the path guide line three-dimensionalization unit 163-2 may verticalize the three-dimensional generated according to the above-described operation.

즉, 경로 안내선 입체화부(163-2)는 좌회전인 경우에는 경로 안내선(1401)의 우측에 해당하는 가상의 경로 안내선(1403)을 높이 방향으로 세워서 입체 데이터를 결정할 수 있고, 반대로 우회전인 경우에는 경로 안내선(1401)의 좌측에 해당하는 가상의 경로 안내선(1402)을 높이 방향으로 세워서 입체 데이터를 결정할 수 있다. That is, the path guide line 3D unit 163-2 may determine three-dimensional data by erecting the virtual path guide line 1403 corresponding to the right side of the path guide line 1401 in the height direction in the case of left turn. Three-dimensional data may be determined by erecting a virtual path guide line 1402 corresponding to the left side of the path guide line 1401 in the height direction.

한편, 맵핑부(164)는 3D 공간 생성부(162)에서 생성된 가상 3D 공간에 인디케이터 생성부(163)에서 생성된 인디케이터를 결합할 수 있다. Meanwhile, the mapping unit 164 may combine the indicator generated by the indicator generating unit 163 with the virtual 3D space generated by the 3D space generating unit 162.

도 15는 본 발명의 일 실시 예에 따른 증강 현실 경로 안내 방법을 나타내는 흐름도 이다. 도 15를 참조하면, 먼저 전자 장치(100)는 경로 안내를 요청하는 사용자 입력을 수신할 수 있다(S501).15 is a flowchart illustrating a method of guiding an augmented reality route according to an embodiment of the present invention. Referring to FIG. 15, first, the electronic device 100 may receive a user input requesting a route guidance (S501).

그리고, 전자 장치(100)는 경로 안내에 따른 목적지 정보를 기초로 경로 안내선을 생성할 수 있다(S502). Further, the electronic device 100 may generate a route guide line based on destination information according to the route guide (S502).

그리고, 전자 장치(100)는 실제 주행 차량의 주행 궤적 반경을 반영하여 생성된 경로 안내선의 보정를 수행할 수 있다(S503). 구체적으로, S503 단계는, 생성된 경로 안내선 중 현재 화면에 표시되지 않는 영역에 대한 버텍스(vertex), 중복점과 같은 불필요한 vertex를 제거하는 단계, 자차 앞 경로 안내선의 직선을 유지하기 위한 버텍스들을 추가하는 단계, 경로 안내선의 커브 구간에 커브 구간의 곡선화를 위한 버텍스들을 추가하는 단계, 추가된 버텍스들을 이용하여 실제 주행 차량의 주행 궤적 반경을 반영한 경로 안내선을 생성하는 단계를 포함할 수 있다.In addition, the electronic device 100 may correct the path guide line generated by reflecting the radius of the driving trajectory of the actual driving vehicle (S503). Specifically, step S503 is to remove unnecessary vertices such as vertices and overlapping points for areas not currently displayed on the screen among the generated path guide lines, and add vertices for maintaining the straight line of the path guide line in front of the host vehicle. The step of, adding vertices for curving the curve section to the curve section of the route guide line, and generating a route guide line reflecting a driving trajectory radius of an actual driving vehicle using the added vertices.

그리고, 전자 장치(100)는 보정된 경로 안내선을 자차와의 거리에 따라 높이를 달리하여 가변 입체화를 수행할 수 있다(S504). 구체적으로, S504 단계는, 처리된 경로 안내선 양 쪽에 가상의 경로 안내선을 생성하는 단계, 처리된 경로 안내선에 포함된 버텍스들의 높이 값이 거리에 비례하여 증가하도록 높이 값을 산출하는 단계, 높이 값이 산출된 경로 안내선의 버텍스들과 가상의 경로 안내선 각각에 포함된 버텍스들을 폴리곤을 통해 면을 생성하여 입체화를 수행하는 단계를 포함할 수 있다.Further, the electronic device 100 may perform variable three-dimensionalization by varying the height of the corrected path guide line according to the distance to the host vehicle (S504). Specifically, in step S504, generating a virtual path guide line on both sides of the processed path guide line, calculating a height value such that the height values of vertices included in the processed path guide line increase in proportion to the distance, and the height value is It may include performing three-dimensionalization by generating a surface of the calculated vertices of the path guide line and the vertices included in each of the virtual path guide line through a polygon.

그리고, 전자 장치(100)는 입체 데이터에 차량 속도에 따라 변위를 가진 텍스처를 매핑하여 경로 안내 인디케이터를 생성할 수 있다.(S505). In addition, the electronic device 100 may generate a path guidance indicator by mapping a texture having a displacement according to a vehicle speed to three-dimensional data (S505).

그리고, 전자 장치(100)는 경로 안내 인디케이터를 증강 현실을 통해 화면에 출력할 수 있다(S506). 여기서, 출력 화면에 대해서는 도 16을 참조하여 구체적으로 설명하기로 한다. In addition, the electronic device 100 may output the route guidance indicator on the screen through augmented reality (S506). Here, the output screen will be described in detail with reference to FIG. 16.

도 16은 본 발명의 일 실시 예에 따른 경로 안내 화면을 나타내는 도면이다. 도 16을 참조하면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 증강 현실 상에서의 경로 안내 화면(좌측 화면) 및 지도 상에서의 경로 안내 화면(우측 화면)을 함께 표시할 수 있다.16 is a diagram illustrating a route guidance screen according to an embodiment of the present invention. Referring to FIG. 16, the electronic device 100 according to an embodiment of the present invention may simultaneously display a route guide screen (left screen) on augmented reality and a route guide screen (right screen) on a map.

이 경우, 증강 현실 제공부(160)는 증강 현실 상에서 안내를 위하여 증강 현실에 오버레이 되는 인디케이터를 생성할 수 있다. In this case, the augmented reality providing unit 160 may generate an indicator that is overlaid on the augmented reality for guidance on the augmented reality.

일 예로, 도 16과 같이, 경로 안내 인디케이터(1601), 차로 변경 안내 인디케이터(1602), 차선 이탈 안내 인디케이터(1603)를 생성할 수 있다. 그리고, 증강 현실 제공부(160)는 생성된 인디케이터를 증강 현실 상에서 출력할 수 있다. For example, as shown in FIG. 16, a route guide indicator 1601, a lane change guide indicator 1602, and a lane departure guide indicator 1603 may be generated. In addition, the augmented reality providing unit 160 may output the generated indicator on the augmented reality.

도 17은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 분리형이 경우 구현 형태를 나타내는 도면이다. 도 17을 참조하면, 차량용 내비게이션(100)과 별도로 마련된 차량용 블랙박스(200)가 유선/무선 통신 방식을 이용하여 본 발명의 일 실시 예에 따른 시스템을 구성할 수 있다. 17 is a diagram illustrating an implementation form when a camera and an electronic device are separate types according to an embodiment of the present invention. Referring to FIG. 17, a vehicle black box 200 provided separately from the vehicle navigation 100 may configure a system according to an embodiment of the present invention using a wired/wireless communication method.

차량용 내비게이션(100)은 내비게이션 하우징(191)의 전면에 마련된 디스플레이부(145)와, 내비게이션 조작키(193)와, 내비게이션 마이크(195)를 포함할 수 있다.The vehicle navigation 100 may include a display unit 145 provided on the front of the navigation housing 191, a navigation operation key 193, and a navigation microphone 195.

차량용 블랙박스(200)는 주행 중 및 정차 중에 차량의 데이터를 획득할 수 있다. 즉, 차량의 주행 중의 영상을 촬영할 수 있음은 물론, 차량이 정차하여 있는 경우에도 영상을 촬영할 수 있다. 차량용 블랙박스(200)를 통하여 획득된 영상의 화질은, 일정하거나 변화될 수 있다. 예를 들어, 사고의 발생을 전후하여서는 영상의 화질을 높게 하고, 통상적인 경우에는 영상의 화질을 낮게 함으로써 요구되는 저장공간을 최소화하면서도 핵심적인 영상을 저장할 수 있다.The vehicle black box 200 may acquire vehicle data while driving and while stopping. That is, it is possible to capture an image while the vehicle is driving, as well as to capture an image even when the vehicle is stopped. The image quality of the image acquired through the vehicle black box 200 may be constant or may be changed. For example, by increasing the image quality before and after the occurrence of an accident, and lowering the image quality in a normal case, it is possible to minimize the required storage space while storing the core image.

차량용 블랙박스(200)는 블랙박스 카메라(222)와, 블랙박스 마이크(224)와, 부착부(281)를 포함할 수 있다.The vehicle black box 200 may include a black box camera 222, a black box microphone 224, and an attachment part 281.

한편, 도 17에서는 차량용 내비게이션(100)과 별도로 마련된 차량용 블랙박스(200)가 유/무선 통신 방식을 통하여 연결된 것으로 도시하였으나, 차량용 내비게이션(100)과 차량용 블랙박스(200)는 유/무선 통신 방식을 통하여 연결되지 않을 수도 있다. 이 경우, 블랙 박스(200)의 촬영 영상을 저장하는 저장 매체가 전자 장치(100)에 삽입되면, 전자 장치(100)는 촬영 영상을 입력받을 수 있다. 한편, 차량용 블랙박스(200)가 차량용 내비게이션(100)의 기능을 구비하거나, 차량용 내비게이션(100)이 카메라를 구비하여 일체화되는 경우도 가능하다. 이에 대해서는 도 18을 참조하여 구체적으로 설명하기로 한다.Meanwhile, in FIG. 17, it is shown that the vehicle black box 200 provided separately from the vehicle navigation 100 is connected through a wired/wireless communication method, but the vehicle navigation 100 and the vehicle black box 200 are connected with a wired/wireless communication method It may not be connected through. In this case, when a storage medium for storing the captured image of the black box 200 is inserted into the electronic device 100, the electronic device 100 may receive the captured image. Meanwhile, the vehicle black box 200 may have the function of the vehicle navigation 100 or the vehicle navigation 100 may be integrated with a camera. This will be described in detail with reference to FIG. 18.

도 18은 본 발명의 일 실시 예에 따른 카메라와 전자 장치가 일체형인 경우 구현 형태를 나타내는 도면이다. 도 18을 참조하면, 전자 장치가 카메라 기능을 내포하는 경우, 사용자는 전자 장치의 카메라 부분이 차량의 전방을 촬영하고, 전자 장치의 디스플레이 부분이 사용자 인식 가능하도록 전자 장치를 거치시킬 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 시스템을 구현할 수 있다. 18 is a diagram illustrating an implementation form when a camera and an electronic device are integrated according to an embodiment of the present invention. Referring to FIG. 18, when the electronic device includes a camera function, a user may mount the electronic device so that the camera part of the electronic device photographs the front of the vehicle and the display part of the electronic device can be recognized by the user. Accordingly, a system according to an embodiment of the present invention can be implemented.

도 19는 본 발명의 일 실시 예에 따른 HUD(Head-Up Display) 및 전자 장치를 이용한 구현 형태를 나타내는 도면이다. 도 19를 참조하면, 전자 장치는 헤드업 디스플레이와 유/무선 통신을 통하여 증강 현실 안내 화면을 헤드업 디스플레이 상에서 표시할 수 있다. 19 is a diagram illustrating an implementation form using a head-up display (HUD) and an electronic device according to an embodiment of the present invention. Referring to FIG. 19, the electronic device may display an augmented reality guide screen on the head-up display through wired/wireless communication with the head-up display.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 전자 장치의 제어 방법은 프로그램 코드로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다. Meanwhile, the method for controlling an electronic device according to various embodiments of the present disclosure described above may be implemented as a program code and provided to each server or devices in a state stored in various non-transitory computer readable media. have.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short moment, such as a register, a cache, and a memory. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, or the like.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be understood individually from the technical spirit or prospect of the present invention.

100 : 전자 장치 110 : 저장부
120 : 입력부 130 : 출력부
140 : 차선 정보 생성부 150 : 차로 위치 정보 생성부
160 : 증강 현실 제공부 170 : 제어부
180 : 통신부 190 : 센싱부
195 : 전원부100: electronic device 110: storage
120: input unit 130: output unit
140: lane information generation unit 150: lane location information generation unit
160: augmented reality providing unit 170: control unit
180: communication unit 190: sensing unit
195: power supply

Claims (30)

전자 장치의 제어 방법에 있어서,
차량의 운전 관련 영상 데이터로부터 차선 영역을 식별하는 단계;
상기 식별된 차선 영역 부분의 영상 데이터로부터 상기 차량이 위치한 차로에 대응되는 차선 정보를 생성하는 단계;
상기 생성된 차선 정보 및 상기 차량이 위치한 도로의 차로 정보를 이용하여 상기 차량이 위치한 차로 위치 정보를 생성하는 단계; 및
상기 생성된 차로 위치 정보를 이용하여 상기 차량의 운전 관련 안내를 수행하는 단계;를 포함하고,
상기 차로 위치 정보를 생성하는 단계는,
상기 차량이 위치한 도로의 차로 개수 정보를 획득하는 단계;
상기 차량이 위치한 차로에 대응되는 차선 정보를 기 저장된 차로 판단 테이블에 적용하여 상기 차량이 도로의 첫 번째 또는 마지막 차로에 위치하는지 여부를 판단하는 단계;
상기 차량이 상기 첫 번째 또는 마지막 차로에 위치하는 경우, 상기 도로의 차로 개수 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 생성하는 단계를 포함하고,
상기 차로 판단 테이블은 차선 종류 및 차선 색상과 차로 관계가 정의된 테이블이고,
상기 차로 위치 정보는 도로를 구성하는 복수의 차로 중 상기 차량이 몇 차로에 위치하는지를 나타내는 정보인 것을 특징으로 하는 제어 방법.In the control method of an electronic device,
Identifying a lane area from image data related to driving of the vehicle;
Generating lane information corresponding to a lane in which the vehicle is located from the image data of the identified lane area portion;
Generating location information of a lane where the vehicle is located using the generated lane information and lane information of a road on which the vehicle is located; And
Including; and performing a driving-related guidance of the vehicle using the generated lane location information,
Generating the lane location information,
Obtaining information on the number of lanes of the road on which the vehicle is located;
Determining whether the vehicle is located in the first or last lane of the road by applying lane information corresponding to the lane in which the vehicle is located to a previously stored lane determination table;
When the vehicle is located in the first or last lane, generating location information of the lane where the vehicle is located by reflecting information on the number of lanes of the road,
The lane determination table is a table in which a lane type, a lane color, and a lane relationship are defined,
The lane location information is information indicating in which lane the vehicle is located among a plurality of lanes constituting a road. 제1항에 있어서,
상기 차선 정보는,
상기 차량이 위치한 차로를 기준으로 양측에 위치한 각 차선에 대응되는 차선 종류 정보, 차선 색상 정보를 포함하는 것을 특징으로 하는 제어 방법.The method of claim 1,
The lane information is,
And lane type information and lane color information corresponding to each lane located on both sides of the lane in which the vehicle is located. 삭제delete 제1항에 있어서,
상기 차로 위치 정보를 생성하는 단계는,
상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 첫 번째 차로와 마지막 차로의 사이에 위치한 차로로 변경되면, 상기 생성된 차로 위치 정보를 상기 변경된 차로 위치 정보로 갱신하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.The method of claim 1,
Generating the lane location information,
If the lane in which the vehicle is located is changed to a lane located between the first lane and the last lane according to the change of the vehicle lane, updating the generated lane location information with the changed lane location information; Control method, characterized in that. 제4항에 있어서,
상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 사이에 위치한 차로에서 상기 첫 번째 또는 마지막 차로로 변경되면, 상기 차량이 위치한 도로의 차로 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 재생성하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법. The method of claim 4,
When the lane in which the vehicle is located is changed from the lane in the intervening lane to the first or last lane according to the change in the lane of the vehicle, the position information of the lane in which the vehicle is located is regenerated by reflecting the lane information of the road in which the vehicle is located The control method further comprising a; 제1항에 있어서,
상기 차량의 운전 관련 안내를 수행하는 단계는,
상기 차량의 내비게이션 경로와 상기 차로 위치 정보를 이용하여 차로 변경 안내를 출력하는 단계;를 포함하는 것을 특징으로 하는 제어 방법. The method of claim 1,
The step of performing guidance related to driving of the vehicle,
And outputting a lane change guide using the vehicle navigation path and the lane location information. 제1항에 있어서,
상기 차량의 운전 관련 안내를 수행하는 단계는,
상기 차로 위치 정보를 이용하여 상기 차량이 위치한 차로 안내를 출력하는 단계;를 포함하는 것을 특징으로 하는 제어 방법. The method of claim 1,
The step of performing guidance related to driving of the vehicle,
And outputting guidance on a lane in which the vehicle is located by using the lane location information. 제1항에 있어서,
상기 차선 정보에 기초하여 식별되는 차량이 위치한 차로 양측 차선의 종류에 따라, 적절한 차선 이탈 안내를 선택하여 출력하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.The method of claim 1,
And selecting and outputting an appropriate lane departure guide according to the types of lanes on both sides of the lane where the vehicle identified based on the lane information is located. 제6항 내지 제 8항 중 어느 한 항에 있어서,
상기 출력하는 단계는,
상기 운전 관련 안내를 수행하기 위한 인디케이터를 생성하는 단계; 및
상기 생성된 인디케이터를 증강 현실을 통해 출력하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.The method according to any one of claims 6 to 8,
The outputting step,
Generating an indicator for performing the driving-related guidance; And
And outputting the generated indicator through augmented reality. 전자 장치에 있어서,
차량의 운전 관련 영상 데이터로부터 차선 영역을 식별하고, 상기 식별된 차선 영역 부분의 영상 데이터로부터 상기 차량이 위치한 차로에 대응되는 차선 정보를 생성하는 차선 정보 생성부;
상기 생성된 차선 정보 및 상기 차량이 위치한 도로의 차로 정보를 이용하여 상기 차량이 위치한 차로 위치 정보를 생성하는 차로 위치 정보 생성부; 및
상기 생성된 차로 위치 정보를 이용하여 상기 차량의 운전 관련 안내를 수행하는 제어부;를 포함하고,
상기 차로 위치 정보 생성부는,
상기 차량이 위치한 도로의 차로 정보를 획득하고,
상기 차량이 위치한 차로에 대응되는 차선 정보를 기 저장된 차로 판단 테이블에 적용하여 상기 차량이 도로의 첫 번째 또는 마지막 차로에 위치하는지 여부를 판단하며,
상기 차량이 상기 첫 번째 또는 마지막 차로에 위치하는 경우, 상기 도로의 차로 개수 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 생성하는 것을 특징으로 하고,
상기 차로 판단 테이블은 차선 종류 및 차선 색상과 차로 관계가 정의된 테이블이고,
상기 차로 위치 정보는 도로를 구성하는 복수의 차로 중 상기 차량이 몇 차로에 위치하는지를 나타내는 정보인 것을 특징으로 하는 전자 장치.In the electronic device,
A lane information generation unit that identifies a lane area from image data related to driving of a vehicle and generates lane information corresponding to a lane in which the vehicle is located from the image data of the identified lane area portion;
A lane location information generation unit that generates location information of a lane on which the vehicle is located using the generated lane information and lane information on a road on which the vehicle is located; And
Including; a control unit for performing a driving-related guidance of the vehicle by using the generated lane location information,
The lane location information generation unit,
Acquire information about the lane of the road where the vehicle is located,
It is determined whether the vehicle is located in the first or last lane of the road by applying the lane information corresponding to the lane in which the vehicle is located to a previously stored lane determination table,
When the vehicle is located in the first or last lane, location information of the lane where the vehicle is located is generated by reflecting information on the number of lanes of the road,
The lane determination table is a table in which a lane type, a lane color, and a lane relationship are defined,
The electronic device, wherein the lane location information is information indicating in which lane the vehicle is located among a plurality of lanes constituting a road. 제10항에 있어서,
상기 차선 정보는,
상기 차량이 위치한 차로를 기준으로 양측에 위치한 각 차선에 대응되는 차선 종류 정보, 차선 색상 정보를 포함하는 것을 특징으로 하는 전자 장치.The method of claim 10,
The lane information is,
The electronic device comprising: lane type information and lane color information corresponding to each lane located on both sides of the lane in which the vehicle is located. 삭제delete 제10항에 있어서,
상기 차로 위치 정보 생성부는,
상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 첫 번째 차로와 마지막 차로의 사이에 위치한 차로로 변경되면, 상기 생성된 차로 위치 정보를 상기 변경된 차로 위치 정보로 갱신하는 것을 특징으로 하는 전자 장치.The method of claim 10,
The lane location information generation unit,
When the lane in which the vehicle is located is changed to a lane located between the first lane and the last lane according to the change of the lane of the vehicle, the generated lane location information is updated with the changed lane location information. . 제13항에 있어서,
상기 차로 위치 정보 생성부는,
상기 차량의 차로 변경에 따라 상기 차량이 위치한 차로가 상기 사이에 위치한 차로에서 상기 첫 번째 또는 마지막 차로로 변경되면, 상기 차량이 위치한 도로의 차로 정보를 반영하여 상기 차량이 위치한 차로 위치 정보를 재생성하는 것을 특징으로 하는 전자 장치.The method of claim 13,
The lane location information generation unit,
When the lane in which the vehicle is located is changed from the lane in the intervening lane to the first or last lane according to the change in the lane of the vehicle, the position information of the lane in which the vehicle is located is regenerated by reflecting the lane information of the road in which the vehicle is located Electronic device, characterized in that. 제10항에 있어서,
상기 제어부는,
상기 차량의 내비게이션 경로와 상기 차로 위치 정보를 이용하여 차로 변경 안내를 출력하도록 출력부를 제어하는 것을 특징으로 하는 전자 장치.The method of claim 10,
The control unit,
And controlling an output unit to output a lane change guide using the vehicle navigation path and the lane location information. 제10항에 있어서,
상기 제어부는,
상기 차로 위치 정보를 이용하여 상기 차량이 위치한 차로 안내를 출력하도록 출력부를 제어하는 것을 특징으로 하는 전자 장치.The method of claim 10,
The control unit,
And controlling an output unit to output guidance on a lane in which the vehicle is located using the lane location information. 제10항에 있어서,
상기 제어부는,
상기 차선 정보에 기초하여 식별되는 차량이 위치한 차로 양측 차선의 종류에 따라, 적절한 차선 이탈 안내를 선택하여 출력하도록 출력부를 제어하는 것을 특징으로 하는 전자 장치.The method of claim 10,
The control unit,
And controlling an output unit to select and output an appropriate lane departure guide according to a type of lane on both sides of a lane in which the vehicle identified based on the lane information is located. 제15항 내지 제 17항 중 어느 한 항에 있어서,
상기 제어부는,
상기 운전 관련 안내를 수행하기 위한 인디케이터를 생성하고, 상기 생성된 인디케이터를 증강 현실을 통해 출력하도록 출력부를 제어하는 것을 특징으로 하는 전자 장치.The method according to any one of claims 15 to 17,
The control unit,
And generating an indicator for performing the driving-related guide, and controlling an output unit to output the generated indicator through augmented reality. 제1항, 제2항 및 제4항 내지 제8항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램 코드가 기록된 기록 매체.A recording medium on which a program code for executing the method according to any one of claims 1, 2, and 4 to 8 on a computer is recorded. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020140154597A 2014-06-17 2014-11-07 Electronic apparatus and control method thereof KR102255432B1 (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US14/742,004 US9677898B2 (en) 2014-06-17 2015-06-17 Electronic apparatus and control method thereof
CN201910530448.7A CN110296715A (en) 2014-06-17 2015-06-17 Electronic device and its control method, computer readable recording medium
CN201811382624.9A CN109323708B (en) 2014-06-17 2015-06-17 Electronic device and control method thereof
CN201510336818.5A CN105300401B (en) 2014-06-17 2015-06-17 Electronic device and its control method
US15/605,485 US9983018B2 (en) 2014-06-17 2017-05-25 Electronic apparatus and control method thereof
US15/974,341 US10739156B2 (en) 2014-06-17 2018-05-08 Electronic apparatus and control method thereof
US16/920,084 US11543256B2 (en) 2014-06-17 2020-07-02 Electronic apparatus and control method thereof
KR1020210063573A KR102348127B1 (en) 2014-06-17 2021-05-17 Electronic apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140073727 2014-06-17
KR20140073727 2014-06-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210063573A Division KR102348127B1 (en) 2014-06-17 2021-05-17 Electronic apparatus and control method thereof

Publications (2)

Publication Number Publication Date
KR20150144681A KR20150144681A (en) 2015-12-28
KR102255432B1 true KR102255432B1 (en) 2021-05-24

Family

ID=55084952

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140154597A KR102255432B1 (en) 2014-06-17 2014-11-07 Electronic apparatus and control method thereof
KR1020210063573A KR102348127B1 (en) 2014-06-17 2021-05-17 Electronic apparatus and control method thereof

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210063573A KR102348127B1 (en) 2014-06-17 2021-05-17 Electronic apparatus and control method thereof

Country Status (2)

Country Link
KR (2) KR102255432B1 (en)
CN (3) CN105300401B (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI609807B (en) * 2016-05-17 2018-01-01 緯創資通股份有限公司 Image evaluation method and electronic apparatus thereof
CN107784864A (en) * 2016-08-26 2018-03-09 奥迪股份公司 Vehicle assistant drive method and system
RU2720140C1 (en) * 2016-09-27 2020-04-24 Ниссан Мотор Ко., Лтд. Method for self-position estimation and self-position estimation device
CN109891194B (en) * 2016-10-31 2024-01-26 御眼视觉技术有限公司 System and method for navigation lane merging and lane splitting
KR20180050823A (en) 2016-11-07 2018-05-16 삼성전자주식회사 Generating method and apparatus of 3d lane model
US10551840B2 (en) * 2018-07-02 2020-02-04 Baidu Usa Llc Planning driven perception system for autonomous driving vehicles
CN110361021B (en) * 2018-09-30 2021-06-22 毫末智行科技有限公司 Lane line fitting method and system
CN111460865B (en) * 2019-01-22 2024-03-05 斑马智行网络(香港)有限公司 Driving support method, driving support system, computing device, and storage medium
US11790613B2 (en) 2019-01-31 2023-10-17 Lg Electronics Inc. Image output device
CN110006440B (en) * 2019-04-12 2021-02-05 北京百度网讯科技有限公司 Map relation expression method and device, electronic equipment and storage medium
CN110070623B (en) * 2019-04-16 2023-02-24 阿波罗智联(北京)科技有限公司 Guide line drawing prompting method, device, computer equipment and storage medium
KR102249100B1 (en) * 2019-12-10 2021-05-06 한국교통대학교산학협력단 The vehicle positioning apparatus
KR102599269B1 (en) * 2019-12-31 2023-11-06 현대오토에버 주식회사 Augmented reality navigation apparatus and control method thereof
KR20210087271A (en) * 2020-01-02 2021-07-12 삼성전자주식회사 Apparatus and method for displaying navigation information of three dimention augmented reality
CN111353466B (en) * 2020-03-12 2023-09-22 北京百度网讯科技有限公司 Lane line recognition processing method, equipment and storage medium
KR20210126365A (en) * 2020-04-10 2021-10-20 팅크웨어(주) Method, apparatus, electronic device, computer program and computer readable recording medium for detecting lane marking based on vehicle image
KR102443401B1 (en) * 2020-06-29 2022-09-15 주식회사 라이드플럭스 Method, apparatus and computer program for generating road network data to automatic driving vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214883A (en) * 2004-01-30 2005-08-11 Denso Corp Car navigation system
JP5037686B2 (en) * 2008-06-11 2012-10-03 三菱電機株式会社 Navigation device

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000282423A (en) * 1999-03-31 2000-10-10 Toshiba Corp Variable road marker
CN1710550A (en) * 2004-06-16 2005-12-21 上海宝信软件股份有限公司 Method for dynamically generating crossing channelized picture
JP4923647B2 (en) * 2006-03-17 2012-04-25 株式会社デンソー Driving support image display device and program
JP4861850B2 (en) * 2007-02-13 2012-01-25 アイシン・エィ・ダブリュ株式会社 Lane determination device and lane determination method
JP4886597B2 (en) * 2007-05-25 2012-02-29 アイシン・エィ・ダブリュ株式会社 Lane determination device, lane determination method, and navigation device using the same
JP5036407B2 (en) * 2007-05-30 2012-09-26 アルパイン株式会社 Navigation device
JP4994256B2 (en) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 Data structure of route guidance database
CN101540100A (en) * 2008-03-17 2009-09-23 上海宝康电子控制工程有限公司 Device for recording vehicle lane change
KR100929331B1 (en) * 2008-04-30 2009-12-03 팅크웨어(주) Method and apparatus for generating 3D direction indication
KR100889470B1 (en) * 2008-05-14 2009-03-19 팅크웨어(주) Method and apparatus for 3d path
KR100888155B1 (en) * 2008-05-14 2009-03-10 팅크웨어(주) System and method for displaying 3-dimension map using texture mapping
KR100888156B1 (en) * 2008-05-15 2009-03-10 팅크웨어(주) System and method for displaying guidance symbol
JP4656456B2 (en) * 2008-10-22 2011-03-23 日本電気株式会社 Lane marking device, lane marking detection method, and lane marking detection program
KR20100130483A (en) * 2009-06-03 2010-12-13 엘지전자 주식회사 Mobile vehicle navigation method and apparatus thereof
US8503762B2 (en) * 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
DE102010033729B4 (en) * 2010-08-07 2014-05-08 Audi Ag Method and device for determining the position of a vehicle on a roadway and motor vehicles with such a device
KR101688155B1 (en) * 2010-10-25 2016-12-20 엘지전자 주식회사 Information processing apparatus and method thereof
KR20130015746A (en) * 2011-08-04 2013-02-14 엘지전자 주식회사 Apparatus for detecting lane and method thereof
KR20130027367A (en) * 2011-09-07 2013-03-15 동국대학교 산학협력단 A navigation apparatus and method for displaying course thereof
CN102519475A (en) * 2011-12-12 2012-06-27 杨志远 Intelligent navigation method and equipment based on augmented reality technology
KR101371725B1 (en) * 2012-05-31 2014-03-07 현대자동차(주) Apparatus and method for displaying three-dimensional contents graphic image in navigation
KR20130135656A (en) * 2012-06-01 2013-12-11 현대엠엔소프트 주식회사 A navigation apparatus, system and method for controlling vehicle using the same
US20130325343A1 (en) * 2012-06-05 2013-12-05 Apple Inc. Mapping application with novel search field
US9052197B2 (en) * 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
JP6328366B2 (en) * 2012-08-13 2018-05-23 アルパイン株式会社 Display control apparatus and display control method for head-up display
DE102012215322A1 (en) * 2012-08-29 2014-03-06 Robert Bosch Gmbh Method and device for detecting a position of a vehicle on a lane
CN103234547B (en) * 2013-04-18 2017-03-22 易图通科技（北京）有限公司 Method and device for displaying road scene in vacuum true three-dimensional navigation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005214883A (en) * 2004-01-30 2005-08-11 Denso Corp Car navigation system
JP5037686B2 (en) * 2008-06-11 2012-10-03 三菱電機株式会社 Navigation device

Also Published As

Publication number Publication date
CN109323708B (en) 2022-04-05
CN105300401A (en) 2016-02-03
CN109323708A (en) 2019-02-12
KR20150144681A (en) 2015-12-28
CN105300401B (en) 2019-07-12
CN110296715A (en) 2019-10-01
KR102348127B1 (en) 2022-01-11
KR20210061319A (en) 2021-05-27

Similar Documents

Publication Publication Date Title
KR102348127B1 (en) Electronic apparatus and control method thereof
US11543256B2 (en) Electronic apparatus and control method thereof
CN108680173B (en) Electronic device, control method of electronic device, and computer-readable recording medium
CN111681455B (en) Control method of electronic device, and recording medium
US11030816B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
KR102233391B1 (en) Electronic apparatus, control method of electronic apparatus and computer readable recording medium
CN110260877B (en) Driving related guidance providing method and apparatus, and computer readable recording medium
KR102406490B1 (en) Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium
KR20200092197A (en) Image processing method, image processing apparatus, electronic device, computer program and computer readable recording medium for processing augmented reality image
KR20160065721A (en) Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium
KR102158167B1 (en) Electronic apparatus, control method of electronic apparatus and computer readable recording medium
KR102299501B1 (en) Electronic apparatus, control method of electronic apparatus and computer readable recording medium
KR102371620B1 (en) Electronic apparatus, control method of electronic apparatus and computer readable recording medium
KR102299500B1 (en) Electronic apparatus and control method thereof
KR102299499B1 (en) Electronic apparatus and control method thereof
CN110263688B (en) Driving related guidance providing method and apparatus, and computer readable recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant