KR102436962B1 - 운송 장치에 구비된 전자 장치 및 이의 제어 방법 - Google Patents

운송 장치에 구비된 전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102436962B1
KR102436962B1 KR1020170120279A KR20170120279A KR102436962B1 KR 102436962 B1 KR102436962 B1 KR 102436962B1 KR 1020170120279 A KR1020170120279 A KR 1020170120279A KR 20170120279 A KR20170120279 A KR 20170120279A KR 102436962 B1 KR102436962 B1 KR 102436962B1
Authority
KR
South Korea
Prior art keywords
information
road
dangerous object
electronic device
transportation device
Prior art date
Application number
KR1020170120279A
Other languages
English (en)
Other versions
KR20190031951A (ko
Inventor
김우목
박언규
최현미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170120279A priority Critical patent/KR102436962B1/ko
Priority to US16/134,501 priority patent/US11055544B2/en
Priority to PCT/KR2018/011015 priority patent/WO2019059622A1/en
Publication of KR20190031951A publication Critical patent/KR20190031951A/ko
Application granted granted Critical
Publication of KR102436962B1 publication Critical patent/KR102436962B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Atmospheric Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 특히, 본 개시의 운송 장치에 구비된 전자 장치의 제어 방법은, 운송 장치의 경로 주변에 위치한 지역의 지역 정보를 획득하고, 카메라를 통해 운송 장치가 주행하는 도로를 촬영하여 이미지를 획득하며, 획득된 이미지를 분석하여 운송 장치가 주행하는 도로에 대한 도로 정보를 획득하고, 도로 정보 및 상기 지역 정보를 바탕으로 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트에 대한 정보를 획득하며, 획득된 위험 오브젝트에 대한 정보를 제공한다.

Description

운송 장치에 구비된 전자 장치 및 이의 제어 방법{An electronic device and Method for controlling the electronic device thereof}
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로서, 운송 장치가 주행하는 도로에 출현할 수 있는 위험 오브젝트를 예측할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.
또한, 본 개시는 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공 지능(Artificial Intelligence, AI) 시스템 및 그 응용에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
한편, 근래의 운송 장치(예를 들어, 자동차)는 카메라를 이용하여 촬영된 영상을 이용하여 현재 운송 장치 주변에 위치하는 오브젝트 중 위험 오브젝트를 예측하여 사용자에게 안내하는 기능을 제공하고 있다. 이러한 기능은 현재 카메라에 촬영된 오브젝트만을 분석하여 위험 오브젝트에 대한 정보를 제공할 뿐, 카메라에 촬영되지 않은 오브젝트에 대해서는 별도로 안내해주지 않는 한계가 존재한다.
따라서, 인공지능 기술을 이용하여 사용자가 인지하기 어려운 위험 오브젝트를 예측하여 사용자에게 제공할 방안의 모색이 요청된다.
본 개시는 지역 정보와 도로 정보를 획득하고, 획득된 지역 정보와 도로 정보를 바탕으로 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트를 판단하여 사용자에게 가상의 위험 오브젝트를 안내할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 운송 장치에 구비된 전자 장치의 제어 방법은, 상기 운송 장치의 경로 주변에 위치한 지역의 지역 정보를 획득하는 단계; 카메라를 통해 상기 운송 장치가 주행하는 도로를 촬영하여 이미지를 획득하는 단계; 상기 획득된 이미지를 분석하여 상기 운송 장치가 주행하는 도로에 대한 도로 정보를 획득하는 단계; 상기 도로 정보 및 상기 지역 정보를 바탕으로 상기 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트에 대한 정보를 획득하는 단계; 및 상기 획득된 위험 오브젝트에 대한 정보를 제공하는 단계;를 포함한다.
또한, 상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 운송 장치에 구비된 전자 장치는, 카메라; 통신부; 상기 카메라 및 상기 통신부와 전기적으로 연결된 프로세서; 및 상기 프로세서에 전기적으로 연결된 메모리;를 포함하며, 상기 프로세서는, 상기 운송 장치의 경로 주변에 위치한 지역의 지역 정보를 획득하여 상기 메모리에 저장하며, 상기 카메라를 통해 상기 운송 장치가 주행하는 도로를 촬영하여 이미지를 획득하고, 상기 획득된 이미지를 분석하여 상기 운송 장치가 주행하는 도로에 대한 도로 정보를 획득하며, 상기 도로 정보 및 상기 지역 정보를 바탕으로 상기 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트에 대한 정보를 획득하고, 상기 획득된 위험 오브젝트에 대한 정보를 상기 운송 장치에 제공할 수 있다.
또한, 상기 목적을 달성하기 위한 본 개시의 다른 실시예에 따른, 운송 장치에 구비된 전자 장치는, 카메라; 통신부; 상기 카메라 및 상기 통신부와 전기적으로 연결된 프로세서; 및 상기 프로세서에 전기적으로 연결되며, 상기 카메라에 의해 촬영된 이미지를 이용하여 도로 정보를 추정하기 위해 학습된 도로 정보 인식 모델 및 도로 정보와 지역 정보를 이용하여 가상의 위험 오브젝트를 추정하기 위해 학습된 위험 오브젝트 인식 모델을 저장하는 메모리;를 포함하며, 상기 프로세서는, 상기 운송 장치의 경로 주변에 위치한 지역의 지역 정보를 획득하여 상기 메모리에 저장하며, 상기 카메라를 통해 상기 운송 장치가 주행하는 도로를 촬영하여 이미지를 획득하고, 상기 획득된 이미지를 상기 도로 정보 인식 모델에 적용하여 상기 운송 장치가 주행하는 도로에 대한 도로 정보를 획득하며, 상기 도로 정보 및 상기 지역 정보를 상기 위험 오브젝트 인식 모델에 적용하여 상기 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트에 대한 정보를 획득하고, 상기 획득된 위험 오브젝트에 대한 정보를 상기 운송 장치에 제공할 수 있다.
상술한 바와 같은 본 개시의 실시예에 따라, 전자 장치가 사용자가 현재 인지할 수 없는 가상의 위험 오브젝트에 대한 정보를 제공함으로써, 예측 불가능하게 발생할 수 있는 사고를 미연에 방지할 수 있게 된다.
도 1은 본 개시의 일 실시예에 따른, 전자 장치가 가상의 위험 오브젝트에 대한 정보를 제공하는 사용도이다.
도 2a 내지 도 3은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른, 전자 장치를 포함하는 운송 장치의 구성을 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따른, 전자 장치가 위험 오브젝트를 제공하는 방법을 설명하기 위한 흐름도이다.
도 6 내지 도 8은 본 개시의 다양한 실시예에 따른, 전자 장치가 위험 오브젝트를 제공하는 방법을 설명하기 위한 도면들이다.
도 9는 본 개시의 일 실시예에 따른, 다양한 위험 오브젝트를 도시한 도면이다.
도 10a는 본 개시의 일 실시예에 따른, 헤드업 디스플레이를 이용하여 위험 오브젝트에 대응되는 인디케이터를 제공하는 실시예를 설명하기 위한 도면이다.
도 10a는 본 개시의 일 실시예에 따른, 차량 내 클러스터를 이용하여 위험 오브젝트에 대응되는 인디케이터를 제공하는 실시예를 설명하기 위한 도면이다.
도 10c는 본 개시의 일 실시예에 따른, 후방 카메라에 의해 촬영된 이미지에 위험 오브젝트를 제공하는 실시예를 설명하기 위한 도면이다.
도 10d는 본 개시의 일 실시예에 따른, 사이드 미러에 위험 오브젝트를 제공하는 실시예를 설명하기 위한 도면이다.
도 11은 본 개시의 다른 실시예에 따른, 전자 장치가 운송 장치의 일부로 구현되는 실시예를 설명하기 위한 블록도이다.
도 12는 본 개시의 일 실시예에 따른, 인식 모델을 학습하고 이용하기 위한 전자 장치의 구성을 나타내는 블록도이다.
도 13a 및 도 13b는 본 개시의 일 실시예에 따른, 학습부 및 인식부의 구체적인 구성을 나타내는 블록도이다.
도 14는 본 개시의 일 실시예에 따른, 전자 장치와 서버를 포함하는 시스템이 위험 오브젝트를 제공하는 방법을 설명하기 위한 흐름도이다.
도 15는 본 개시의 일 실시예에 따른, 인식 모델의 학습 시나리오를 설명하기 위한 흐름도이다.
도 16 내지 도 19는 본 개시의 다양한 실시예에 따른, 인식 모델을 이용하는 네트워크 시스템의 흐름도들이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시의 일 실시예에 따른, 전자 장치는 운송 장치 일부 또는 운송 기기에 장착되는 외부 장치로 구현될 수 있다.
전자 장치가 운송 장치에 장착되는 외부 장치인 경우, 전자 장치는 예로, 차량용 커넥터(예: OBD 단자 또는 OBD 커넥터 등)에 연결되는 자기 진단 기기(on board diagnostics, OBD), 네비게이션 등과 같은 운전 보조 장치가 될 수 있으며, 또는 이들의 일부가 될 수도 있다.
전자 장치가 운송 기기의 일부인 경우, 전자 장치는, 예로, ADAS(Advanced Driver Assist System)와 같은 첨단 운전 보조 시스템일 수도 있고, 시스템의 일부일 수도 있다. 또는, 전자 장치는, 예로, 운송 장치의 운행과 관련된 다양한 기능 등을 전자적으로 제어하는 ECU(Electronic Control Unit)와 같은 전자 제어 장치일 수도 있고, 상기 장치 일부일 수도 있다.
그 밖에 전자 장치는 휴대 단말 장치인 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 사물 인터넷 장치(internet of things) 또는 웨어러블 장치(wearable device)가 될 수 있으며, 이들의 일부가 될 수도 있다. 이때, 전자 장치가 휴대 단말 장치로 구현된 경우, 전자 장치는 운송 장치와 다양한 인터페이스를 통해 연결될 수 있다.
본 개시에서, 운송 장치는 사람이 탑승하거나 또는 화물이 적재되어 이동할 수 있는 장치가 될 수 있으며, 예로, 차량, 비행기, 오토바이, 선박 또는 기차 등을 포함할 수 있다.
도 1은 본 개시의 일 실시예에 따른, 전자 장치가 가상의 위험 오브젝트에 대한 정보를 제공하는 시나리오를 설명하기 위한 도면이다.
먼저, 전자 장치(100)는 전자 장치(100)가 구비된 운송 장치가 위치하는 지역의 지역 정보를 획득하여 저장할 수 있다. 이때, 지역 정보는 지역의 인구 구성 정보, 지역의 학교/학원에 대한 정보, 지역에서 발생한 교통 사고에 대한 정보, 지역의 야생 동물 출현 정보, 다른 차량에서 발생한 위험 오브젝트 출현 정보 등일 수 있으나, 이에 한정되는 것은 아니며, 병원 정보, 식당 정보 등과 같은 다양한 정보를 포함할 수 있다.
특히, 사용자가 네비게이션 장치를 통해 경로를 설정한 경우, 전자 장치(100)는 사용자에 의해 설정된 경로를 바탕으로 사용자가 위치할 수 있는 지역의 지역 정보를 미리 획득할 수 있다. 또 다른 예로, 전자 장치(100)는 GPS 센서를 통해 현재 위치를 확인하고, 현재 위치를 바탕으로 기설정된 범위 내의 지역에 대한 지역 정보를 미리 획득할 수 있다. 이때, 전자 장치(100)는 전자 장치(100)가 기설정된 범위를 벗어나거나 기설정된 범위를 벗어나기 전에 현재 위치를 업데이트하고, 업데이트된 현재 위치를 바탕으로 새로운 범위 내에 위치하는 지역에 대한 지역 정보를 미리 획득할 수 있다.
전자 장치(100)는 도 1의 (a)에 도시된 바와 같이, 카메라를 통해 운송 장치가 주행하는 도로를 촬영하여 이미지를 획득할 수 있다. 이때, 전자 장치(100)는 카메라를 통해 운송 장치의 전방 영역에 대한 이미지를 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 운송 장치의 측면 영역 또는 후방 영역에 대한 이미지를 획득할 수 있다. 또한, 전자 장치(100)는 운송 장치에 포함된 카메라 또는 전자 장치(100)와 별도로 구비된 외부 장치(예를 들어, 블랙박스 등)에 포함된 카메라를 이용하여 이미지를 획득할 수 있다.
전자 장치(100)는 획득된 이미지를 분석하여 운송 장치가 주행하는 도로에 대한 도로 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 획득된 이미지를 분석하여 획득된 이미지에 포함된 적어도 하나의 오브젝트를 검출할 수 있다. 이때, 검출되는 적어도 하나의 오브젝트는 차량, 오토바이, 자전거, 표지판, 신호등, 건물, 간판, 행인, 동물 중 적어도 하나일 수 있으나, 이는 일 실시예에 불과할 뿐, 도로 정보를 획득할 수 있는 다른 오브젝트 역시 포함될 수 있다. 이때, 전자 장치(100)는 오브젝트를 추정하기 위해 학습된 오브젝트 인식 모델에 이미지를 입력하여 적어도 하나의 오브젝트를 검출할 수 있다.
그리고, 전자 장치(100)는 검출된 적어도 하나의 오브젝트를 바탕으로 운송 장치가 주행하는 도로에 대한 도로 정보를 획득할 수 있다. 이때, 도로 정보는 현재 운송 장치가 주행하는 도로 또는 도로에 포함된 오브젝트의 상태를 나타내는 정보로서, 오브젝트의 배치 정보, 오브젝트의 이동 정보, 도로에 포함된 사각지대 정보 및 도로의 상태 정보 등을 포함할 수 있다. 특히, 전자 장치는 도로 정보를 추정하기 위해 학습된 도로 정보 인식 모델에 검출된 오브젝트 정보를 입력하여 운송 장치가 주행하는 도로에 대한 도로 정보를 획득할 수 있다. 한편, 상술한 실시예에서는 전자 장치(100)가 이미지를 분석하여 오브젝트를 검출하고, 검출된 오브젝트를 바탕으로 도로 정보를 획득하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)는 획득된 이미지를 도로 정보를 추정하기 위해 학습된 도로 정보 인식 모델에 촬영된 이미지 데이터를 입력하여 바로 도로 정보를 획득할 수 있다.
전자 장치(100)는 도로 정보 및 지역 정보를 바탕으로 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트(이하에서는 "위험 오브젝트"라고 함.)에 대한 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 지역 정보(예를 들어, 인구 구성 정보, 교통 사고 정보 등) 및 도로 정보(예를 들어, 사각 지대 정보, 차량 이동 속도 정보 등)를 바탕으로 위험 오브젝트가 출현할 확률을 계산할 수 있다. 그리고, 위험 오브젝트가 출현할 확률이 기설정된 값 이상인 경우, 전자 장치(100)는 전자 장치(100)는 지역 정보(예를 들어, 인구 구성 정보, 교통 사고 정보 등) 및 도로 정보(예를 들어, 사각 지대 정보, 차량 이동 속도 정보 등)를 바탕으로 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 위험 오브젝트에 대한 정보는 위험 오브젝트의 유형 정보, 위험 오브젝트가 출현할 가능성이 높은 위치에 대한 정보, 위험 오브젝트의 속도 정보 등이 포함될 수 있다. 특히, 전자 장치(100)는 위험 오브젝트를 추정하기 위해 학습된 위험 오브젝트 인식 모델에 도로 정보 및 지역 정보를 입력하여 위험 오브젝트에 대한 정보를 획득할 수 있다.
전자 장치(100)는 획득된 위험 오브젝트에 대한 정보를 제공할 수 있다. 구체적으로, 전자 장치(100)는 획득된 위험 오브젝트에 대한 정보를 스피커를 통해 청각적 피드백을 제공할 수 있으며, 디스플레이를 통해 시각적 피드백을 제공할 수 있으며, 진동 장치를 통해 촉각적 피드백을 제공할 수 있다. 이때, 스피커, 디스플레이, 진동 장치는 전자 장치(100)에 구비될 수 있으나, 이는 일 실시예에 불과할 뿐, 운송 장치 또는 운송 장치에 구비된 다른 장치에 구비될 수 있다. 예를 들어, 스피커는 운송 장치에 구비된 스피커로 구현될 수 있으며, 디스플레이는 운송 장치에 구비된 디스플레이(예를 들어, 헤드업 디스플레이(HUD))로 구현될 수 있으며, 진동 장치는 운송 장치의 운전석 또는 핸들에 구비된 진동 장치로 구현될 수 있다.
특히, 전자 장치(100)는 도 1의 (b)에 도시된 바와 같이, 위험 오브젝트에 대응되는 인디케이터(A)를 생성하여 표시할 수 있다. 이때, 인디케이터(A)는 위험 오브젝트의 유형에 대응되는 형상을 가질 수 있으며, 위험 오브젝트가 출현할 가능성이 높은 위치에 표시될 수 있다. 또한, 인디케이터(A)는 실제 오브젝트와 구별되기 위하여 애니메이션화된(혹은 단순화) 이미지일 수 있다.
또한, 전자 장치(100)는 위험 오브젝트에 대한 정보를 바탕으로 운송 장치의 주행을 제어하기 위한 제어 명령을 전송할 수 있다. 예로, 전자 장치(100)는 위험 오브젝트의 유형, 위치, 속도 등에 따라 감속 명령, 정지 명령, 우회 명령 등을 운송 장치에 전송할 수 있다. 또한, 전자 장치(100)가 운송 장치의 일부로 구현되는 경우, 전자 장치(100)는 위험 오브젝트에 대한 정보를 바탕으로 운송 장치의 주행을 제어할 수 있다.
한편, 상술한 바와 다양한 인식 모델은 인공지능 기반으로 학습된 인식 모델로서, 예로, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 객체 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 또한 객체 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 객체 인식 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.
또한, 전자 장치(100)는 상술한 바와 같은 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트를 제공하기 위하여, 인공지능 에이전트(Artificial intelligence agent)를 이용할 수 있다. 이때, 인공지능 에이전트는 AI(Artificial Intelligence) 기반의 서비스(예를 들어, 음성 인식 서비스, 비서 서비스, 번역 서비스, 검색 서비스 등)를 제공하기 위한 전용 프로그램으로서, 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU 등)에 의해 실행될 수 있다. 특히, 인공지능 에이전트는 후술할 다양한 모듈을 제어할 수 있다.
구체적으로, 전자 장치(100) 또는 운송 장치가 안전 운행 모드 또는 자율 운행 모드로 진입한 경우, 전자 장치(100)는 인공지능 에이전트를 동작시킬 수 있다. 이때, 인공지능 에이전트는 다양한 인식 모델 및 모듈을 이용하여 위험 오브젝트를 예측하여 위험 오브젝트에 대한 정보를 제공할 수 있다.
도 2a는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블록도이다. 우선, 전자 장치(100)는 카메라(110), 통신부(120), 메모리(130) 및 프로세서(140)를 포함한다. 도 2a에 도시된 구성들은 본 개시의 실시 예들을 구현하기 위한 예시도이며, 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 전자 장치(100)에 추가로 포함될 수 있다.
카메라(110)는 운송 장치가 운행하는 도로를 촬영하여 이미지를 획득할 수 있다. 이때, 카메라(110)는 운송 장치의 전면에 위치하여 운송 장치가 운행하는 도로의 전방 영역을 촬영할 수 있으나, 이는 일 실시예에 불과할 뿐, 운송 장치의 후면에 위치하여 운송 장치가 운행하는 도로의 후방 영역을 촬영할 수 있으며, 운송 장치 측면에 위치하여 운송 장치가 운행하는 도로의 측방 영역을 촬영할 수 있다. 이때, 카메라(110)는 전자 장치(100) 내에 구비될 수 있으나, 이는 일 실시예에 불과할 뿐, 운송 장치 내부에 구비되며 전자 장치(100)와 유무선으로 연결될 수 있다.
이때, 카메라(110)는 컬러 이미지를 획득하기 위한 카메라일 수 있으나, 이는 뎁스 이미지를 획득하기 위한 뎁스 카메라 등 다양한 카메라로 구현될 수 있다.
통신부(120)는 외부 서버 또는 외부 장치와 통신하여 다양한 정보를 송수신할 수 있다. 이때, 통신부(120)는 외부의 서버로부터 현재 운송 장치가 위치하는 지역의 지역 정보를 수신할 수 있다. 또한, 통신부(120)는 외부의 교통 안내 장치로부터 교통 안내 정보를 포함하는 비컨 신호를 수신할 수 있다. 뿐만 아니라, 통신부(120)는 현재 운송 장치에 대한 정보 및 사용자 정보를 외부의 서버로 전송할 수 있다.
또한, 통신부(120)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(120)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 중 적어도 하나를 포함할 수 있다. 프로세서(140)는 통신부(120)를 이용하여 외부 서버 또는 각종 외부 기기와 통신을 수행할 수 있다.
메모리(130)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 특히, 메모리(130)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(130)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(130), 프로세서(140) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 메모리(130)에는 디스플레이(170)의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
또한, 메모리(130)는 현재 운송 장치가 위치하는 지역의 지역 정보를 저장할 수 있다. 이때, 지역 정보는 해당 지역의 인구 구성 정보, 해당 지역의 학교/학원에 대한 정보, 해당 지역에서 발생한 교통 사고에 대한 정보, 해당 지역의 야생 동물 출현 정보 등을 포함할 수 있다. 이때, 메모리(130)는 프로세서(140)의 제어에 따라 운송 장치의 위치가 변경된 경우, 지역 정보를 변경된 운송 장치의 위치를 기준으로 업데이트할 수 있다.
또한, 메모리(130)는 선택된 객체와 관련된 정보를 제공하기 위한 인공지능 에이전트를 저장할 수 있으며, 본 개시의 인식 모델(오브젝트 인식 모델(370), 도로 정보 인식 모델(380), 위험 오브젝트 인식 모델(390) 등)을 저장할 수 있다. 한편, 본 발명의 일 실시예에서는 인식 모델을 메모리(130)가 저장하는 것으로 설명하였으나, 이는 일 실시예에 불과할 분, 복수의 인식 모델 중 적어도 하나는 외부의 데이터 인식 서버가 저장할 수 있다.
또한, 메모리(130)는 도 3에 도시된 지역 정보 수집 모듈(310), 영상 처리 모듈(320), 도로 정보 수집 모듈(330), 위험 오브젝트 평가 모듈(340), 위험 오브젝트 제공 모듈(350), 자동 제어 모듈(360) 등을 저장할 수 있다.
구체적으로, 지역 정보 수집 모듈(310)은 통신부(110)를 통해 외부의 서버로부터 지역 정보를 수집할 수 있다. 특히, 지역 정보 수집 모듈(310)는 GPS 센서(150)를 통해 감지된 위치를 바탕으로 지역 정보를 수집할 수 있다. 또는, 지역 정보 수집 모듈(310)은 통신부(120)와 연결된 기지국 정보를 통해 현재 위치를 판단하고, 판단된 위치를 기준으로 지역 정보를 수집할 수 있다.
또한, 운송 장치의 경로 정보가 미리 설정된 경우, 지역 정보 수집 모듈(310)는 미리 설정된 경로를 바탕으로 지역 정보를 미리 수집할 수 있다. 또는 지역 정보 수집 모듈(310)는 기설정된 시간 간격으로 위치를 업데이트하여 업데이트된 위치를 기준으로 지역 정보를 수신할 수 있다.
지역 정보 수집 모듈(310)는 외부의 교통 안내 장치로부터 지역 정보를 획득할 수 있다. 예를 들어,지역 정보 수집 모듈(310)는 외부의 교통 안내 장치를 통해 현재 위치가 어린이 보호 구역인지, 야생 동물 출몰 지역인지 여부를 수집할 수 있다.
지역 정보 수집 모듈(310)는 외부의 서버로부터 지역에 대한 정보를 수신한 후, 수신된 정보 중 필요한 지역 정보만을 수집할 수 있다. 예를 들어, 지역 정보 수집 모듈(310)은 빅데이터로서 다양한 정보를 수신할 수 있으나, 현재 지역의 인구 구성 비율 정보, 교통 사고 정보 등과 같이, 위험 오브젝트를 예측하기 위해 필요한 정보를 추출하여 수집할 수 있다.
영상 처리 모듈(320)은 카메라(110)에 의해 촬영된 이미지를 처리할 수 있다. 이때, 영상 처리 모듈(320)은 이미지에 포함된 오브젝트를 인식하기 위하여, 전처리 과정을 거칠 수 있다. 또한, 영상 처리 모듈(320)은 오브젝트 인식 모델(370)을 이용하여 이미지에 포함된 오브젝트를 인식할 수 있다. 이때, 오브젝트 인식 모델(370)은 이미지에 포함된 오브젝트를 인식하기 위하여 학습된 인식 모델로서, 학습된 인식 모델에 이미지를 입력하여 오브젝트를 추출할 수 있다. 이때, 오브젝트 인식 모델(370)은 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등과 같은 객체 인식 모델을 이용할 수 있다.
도로 정보 수집 모듈(330)은 오브젝트 정보를 이용하여 현재 운송 장치가 주행하는 도로에 대한 도로 정보를 수집할 수 있다. 이때, 도로 정보는 도로에 포함된 오브젝트의 배치 정보, 오브젝트의 이동 정보, 도로에 포함된 사각지대 정보 및 도로의 상태 정보 등일 수 있다. 이때, 도로 정보 수집 모듈(330)은 도 3에 도시된 바와 같이, 도로 정보 인식 모델(380)을 이용하여 도로 정보를 수집할 수 있다. 도로 정보 인식 모델(380)은 도로 정보를 획득하기 위해 학습된 인식 모델로서, 오브젝트 정보(예를 들어, 오브젝트 유형, 위치 등)를 입력하여 도로 정보를 획득할 수 있다. 이때, 도로 정보 인식 모델(380) 역시 객체 인식 모델을 이용할 수 있으나, 이에 한정되는 것은 아니다.
도 3에서는 오브젝트 인식 모델(370) 및 도로 정보 인식 모델(380)이 별도의 인식 모델로 구현되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 하나의 인식 모델을 이용하여 도로 정보를 획득할 수 있다. 즉, 인식 모델에 촬영된 영상을 입력하여 바로 도로 정보를 획득할 수 있다.
위험 오브젝트 평가 모듈(340)은 지역 정보 수집 모듈(310)로부터 출력된 지역 정보 및 도로 정보 수집 모듈(320)로부터 출력된 도로 정보를 바탕으로 위험 오브젝트가 출현할 가능성을 예측하고, 위험 오브젝트에 대한 정보를 획득할 수 있다.
구체적으로, 위험 오브젝트 평가 모듈(340)은 지역 정보 및 도로 정보를 바탕으로 위험 정보가 출현할 확률을 계산할 수 있다. 구체적으로, 위험 오브젝트 평가 모듈(340)은 지역 정보 중 인구 구성 비율, 교통 사고 비율를 바탕으로 위험 정보가 출현할 가능성을 계산할 수 있다. 또한, 위험 오브젝트 평가 모듈(340)은 현재 도로에 포함된 오브젝트의 배치 상태, 이동 상태, 사각지대 유무를 바탕으로 위험 정보가 출현할 확률을 계산할 수 있다.
또한, 위험 오브젝트 평가 모듈(340)은 현재 시간 정보, 현재 운송 장치가 위치한 도로와 유사한 형태로 등록된 유사 도로에 대한 추가 정보 중 적어도 하나를 함께 이용하여 위험 오브젝트가 출현할 확률을 계산할 수 있다. 또한, 위험 오브젝트 평가 모듈(340)은 통신부(120)를 통해 운송 장치가 주행하는 도로에 위치한 교통 안내 장치로부터 수신한 도로에 대한 교통 안내 정보를 함께 이용하여 위험 오브젝트가 출현할 확률을 계산할 수 있다. 또한, 위험 오브젝트 평가 모듈(340)은 메모리(130)에 저장된 사용자의 운전 습관에 대한 히스토리 정보를 바탕으로 위험 오브젝트가 출현할 확률을 계산할 수 있다. 이때, 히스토리 정보는 해당 지역에서의 평균 속도, 브레이크 구동 비율, 교통 신호 위반 비율, 선호도 경로 정보 등이 포함될 수 있다.
계산된 확률값이 기설정된 값 이상인 경우, 위험 오브젝트 평가 모듈(340)은 예측되는 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 위험 오브젝트에 대한 정보는 위험 오브젝트의 유형, 위험 오브젝트가 출현할 가능성이 높은 위치, 위험 오브젝트의 이동 속도 등이 포함될 수 있다.
또한, 위험 오브젝트 평가 모듈(340)은 도 3에 도시된 바와 같이, 위험 오브젝트 인식 모델(390)을 이용하여 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 위험 오브젝트 인식 모델(390)은 위험 오브젝트에 대한 정보를 획득하기 위해 학습된 인식 모델로서, 도로 정보 및 지역 정보를 입력으로 하여 위험 오브젝트에 대한 정보를 획득할 수 있다.
위험 오브젝트 제공 모듈(350)은 위험 오브젝트에 대한 정보를 다양한 피드백으로 제공한다. 구체적으로, 위험 오브젝트 제공 모듈(350)은 위험 오브젝트에 대한 정보를 시각적 피드백, 청각적 피드백, 촉각적 피드백을 통해 제공할 수 있다. 예로, 위험 오브젝트 제공 모듈(350)은 디스플레이에 표시되도록 위험 오브젝트에 대응되는 인디케이터(A)를 제공할 수 있으며. 스피커로 출력되도록 위험 오브젝트에 대응되는 안내 오디오를 제공할 수 있으며, 운전자가 앉아 있는 좌석 또는 운전자가 쥐고 있는 핸들에 포함된 진동 장치를 통해 위험 오브젝트에 대응되는 진동을 제공할 수 있다.
또한, 위험 오브젝트 제공 모듈(350)은 위험 오브젝트에 대한 다양한 정보를 제공할 수 있다. 구체적으로, 위험 오브젝트 제공 모듈(350)은 위험 오브젝트의 유형, 위험 오브젝트의 위치, 위험 오브젝트의 이동 패턴 등과 같은 정보를 제공할 수 있다. 예로, 위험 오브젝트 제공 모듈(350)은 "차 뒤 사각 지대에 어린이가 출현할 수 있으니 조심해 주세요"라는 안내 오디오를 제공할 수 있다.
자동차 제어 모듈(360)은 위험 오브젝트에 대한 정보를 바탕으로 자동차의 주행을 제어하기 위한 제어 명령을 생성할 수 있다. 구체적으로, 자동차 제어 모듈(360)은 위험 오브젝트에 따라 차량의 속도, 방향을 제어하기 위한 제어 명령을 생성할 수 있다. 예를 들어, 자동차 제어 모듈(360)은 위험 오브젝트에 따라 감속 명령, 정지 명령, 회전 명령 등을 생성할 수 있다.
한편, 도 2에 개시된 복수의 모듈(310 내지 360)이 전자 장치(100)의 메모리(130)에 저장되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 모듈(310 내지 360) 중 적어도 하나는 운송 장치(10) 또는 외부의 서버에 구비될 수 있다.
다시 도 2a에 대해 설명하면, 프로세서(140)는 카메라(110), 통신부(120) 및 메모리(130)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 특히, 프로세서(140)는 도 3에 도시된 바와 같은 지역 정보 수집 모듈(310), 영상 처리 모듈(320), 도로 정보 수집 모듈(330), 위험 오브젝트 평가 모듈(340), 위험 오브젝트 제공 모듈(350), 자동 제어 모듈(360) 및 복수의 인식 모델을 이용하여 위험 오브젝트를 예측하여 제공할 수 있다.
구체적으로, 프로세서(140)는 통신부(120)를 통해 운송 장치의 경로 주변에 위치한 지역의 지역 정보를 수신하여 메모리(130)에 저장할 수 있다. 그리고, 프로세서(140)는 카메라(110)를 통해 운송 장치가 주행하는 도로를 촬영하여 이미지를 획득하고, 획득된 이미지를 분석하여 운송 장치가 주행하는 도로에 대한 도로 정보를 획득할 수 있다. 그리고, 프로세서(140)는 도로 정보 및 지역 정보를 바탕으로 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트에 대한 정보를 획득하고, 획득된 위험 오브젝트에 대한 정보를 운송 장치에 제공할 수 있다.
특히, 프로세서(140)는 통신부(120)를 통해 운송 장치의 경로 주변에 위치하는 지역의 지역 정보를 미리 수신하여 메모리(130)에 저장할 수 있다. 이때, 지역 정보에는 지역의 인구 구성 정보, 지역의 학교/학원에 대한 정보, 지역에서 발생한 교통 사고에 대한 정보, 지역의 야생 동물 출현 정보가 포함될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(140)는 카메라(110)를 통해 이미지를 획득하고, 획득된 이미지를 바탕으로 도로 정보를 획득할 수 있다. 구체적으로, 프로세서(140)는 도로 정보를 추정하도록 학습된 인식 모델에 이미지를 입력하여 운송 장치가 주행하는 도로에 포함된 오브젝트의 배치 정보, 오브젝트의 이동 정보, 상기 도로에 포함된 사각지대 정보 및 상기 도로의 상태 정보 중 적어도 하나를 획득할 수 있다.
그리고, 프로세서(140)는 획득된 도로 정보 및 지역 정보를 바탕으로 운송 장치가 주행하는 도로에 출현할 가능성이 높은 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 가상의 위험 오브젝트에 대한 정보는 위험 오브젝트를 추정하도록 학습된 인식 모델에 도로 정보 및 지역 정보를 적용하여 획득된 정보일 수 있다. 이때, 가상의 위험 오브젝트에 대한 정보는 위험 오브젝트에 대한 유형 정보, 가상의 위험 오브젝트가 출현할 위치에 대한 정보 및 가상의 위험 오브젝트의 이동 패턴 정보 중 적어도 하나를 포함할 수 있다.
프로세서(140)는 도로 정보 및 지역 정보 이외에 현재 시간 정보, 도로와 유사한 형태로 등록된 유사 도로에 대한 추가 정보를 이용하여 위험 오브젝트에 대한 정보를 획득할 수 있다. 구체적으로, 프로세서(140)는 현재 시간 정보(예를 들어, 등/하교 시간인지, 야간 시간인지 여부)를 함께 이용하여 위험 오브젝트의 출현 확률을 계산할 수 있으며, 도로와 유사한 형태로 등록된 유사 도로에 대한 추가 지역 정보를 함께 이용하여 위험 오브젝트의 출현 확률을 계산할 수 있다. 즉, 프로세서(140)는 현재 도로와 유사한 도로 구조 및 건물 구조를 가지는 다른 지역의 추가 지역 정보를 함께 이용하여 위험 오브젝트의 출현 확률을 계산할 수 있다.
또한, 통신부(120)를 통해 운송 장치가 주행하는 도로에 위치한 교통 안내 장치로부터 도로에 대한 교통 안내 정보가 수신된 경우, 프로세서(140)는 교통 안내 정보를 함께 이용하여 위험 오브젝트에 대한 정보를 획득할 수 있다. 예를 들어, 교통 안내 장치로부터 "어린이 보호 구역", "야생 동물 출현 구역" 등과 같은 교통 안내 정보를 수신할 경우, 프로세서(140)는 도로 정보 및 지역 정보와 함께 교통 안내 정보를 이용하여 위험 오브젝트에 대한 정보를 획득할 수 있다.
또한, 프로세서(140)는 메모리(130)에 저장된 사용자의 운전 습관에 대한 히스토리 정보를 함께 이용하여 위험 오브젝트에 대한 정보를 획득할 수 있다. 구체적으로, 어린이가 자주 출현하는 도로에서 주행한 사용자의 평균 속도가 기설정된 값을 초과하는 경우, 프로세서(140)는 위험 오브젝트의 출현 확률을 높게 계산할 수 있다.
또한, 프로세서(140)는 운송 장치에 구비된 스피커를 통해 위험 오브젝트에 대한 정보를 출력하거나 운송 장치에 구비된 디스플레이를 통해 위험 오브젝트를 표시하도록 운송 장치에 제어 명령을 출력할 수 있다. 또는 프로세서(140)는 위험 오브젝트에 대한 정보를 전자 장치(100)가 구비한 디스플레이(170) 및 스피커(180)를 통해 직접 출력할 수 있다.
또한, 프로세서(140)는 위험 오브젝트에 대한 정보를 바탕으로 운송 장치의 주행을 제어하기 위한 제어 명령을 운송 장치에 전송할 수 있다. 이때, 프로세서(140)는 운송 장치와 연결된 커넥터 또는 인터페이스를 통해 제어 명령을 전송할 수 있다. 또한, 프로세서(140)는 운송 장치의 ECU와 같은 구성으로 구현되어, 직접 운송 장치의 주행을 제어할 수 있다.
또한, 프로세서(140)는 위험 오브젝트에 대한 실제 출현 여부에 대한 정보를 획득하고, 획득된 결과를 지역 정보를 저장하는 서버로 전송하도록 통신부(120)를 제어할 수 있다. 구체적으로, 가상의 위험 오브젝트가 실제로 출현한 경우, 프로세서(140)는 출현한 실제 위험 오브젝트에 대한 정보, 현재 위치 정보 등을 외부의 서버로 전송하도록 통신부(120)를 제어할 수 있다. 이때, 전송된 실제 위험 오브젝트에 대한 정보는 다른 차량이 가상의 위험 오브젝트를 예측하기 위한 지역 정보로 이용될 수 있다.
도 2b는 본 개시의 일 실시예에 따른, 전자 장치(100)의 구성을 상세히 도시한 블럭도이다. 도 2b에서, 전자 장치(100)는 카메라(110), 통신부(120), 메모리(130), 프로세서(140), GPS(150), 센서(160), 디스플레이(170) 및 스피커(180)를 포함할 수 있다. 카메라(110), 통신부(120), 메모리(130), 프로세서(140)에 대해서는 도 2a와 중복되는 설명은 생략하기로 한다.
GPS(Global Positioning System)(150)는 GPS 위성으로부터 GPS 신호를 수신하여, 전자 장치(100)를 포함하는 운송 장치의 현재 위치를 산출하기 위한 구성요소이다.
센서(160)는 전자 장치(100)를 포함하는 운송 장치의 주변 환경, 사용자 인터렉션, 또는 상태 변화를 감지할 수 있다. 이때, 센서(160)는 감지된 센싱값 또는 센싱값으로 도출된 정보를 프로세서(140)로 전송할 수 있다.
센서(160)는 다양한 센서를 포함할 수 있다. 예를 들어, 센서(160)는 다른 차량, 행인, 동물 등의 근접을 감지하기 위한 근접 센서를 포함할 수 있다. 또는 센서(160)는 사용자 인터렉션을 감지하기 위한 센서(예를 들어, 터치 센서(Touch Sensor), 펜 감지 센서), 운송 장치의 움직임 정보를 감지하기 위한 센서(예를 들어, 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor)), 전자 장치(100) 또는 운송 장치의 주변 상태를 감지하기 위한 센서(예를 들어, 조도 센서(illuminance sensor), 노이즈 센서(Noise Sensor)(예컨대, 마이크))등과 같은 다양한 센서를 포함할 수 있다.
디스플레이(170)는 다양한 화면을 제공할 수 있다. 특히, 디스플레이(170)는 위험 오브젝트에 대응되는 인디케이터를 표시할 수 있다. 이때, 디스플레이(170)는 현재 카메라(110)에 의해 촬영되는 도로 이미지 상에 인디케이터를 표시할 수 있다.
한편, 디스플레이(170)는 전자 장치(100)의 하우징의 일면에 노출된 디스플레이 영역에 영상 데이터를 출력할 수 있으며, 이때, 디스플레이(170)의 적어도 일부는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(100)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다.
디스플레이(170)는 터치 패널과 결합하여 레이어 구조의 터치 스크린으로 구현될 수 있다. 터치 스크린은 디스플레이 기능뿐만 아니라 터치 입력 위치, 터치된 면적뿐만 아니라 터치 입력 압력까지도 검출하는 기능을 가질 수 있고, 또한 실질적인 터치(real-touch)뿐만 아니라 근접 터치(proximity touch)도 검출하는 기능을 가질 수 있다.
또한, 디스플레이(170)는 일반적인 LCD, OLED 등과 같은 디스플레이로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 운송 장치 내의 HUD(Head-Up Display)로 구현될 수 있다.
스피커(180)는 오디오 데이터를 출력할 수 있다. 특히, 스피커(180)는 위험 오브젝트에 대한 정보를 포함하는 안내 오디오를 출력할 수 있다. 이때, 스피커(180)는 전자 장치(100) 내부에 포함될 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)와 전기적으로 연결되어 운송 장치 내에 설치될 수 있다.
프로세서(140)(또는, 제어부)는 메모리(130)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 이때, 프로세서(140)는 도 2b에 도시된 바와 같이, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1~145-n), 버스(146)로 구성될 수 있다. 이때, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1~145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
도 4는 본 개시의 일 실시예에 따른, 전자 장치를 포함하는 운송 장치의 구성을 나타내는 블록도이다. 도 4는 본 개시의 일 실시 예에 따른 전자 장치(100)를 구비한 운송 기기의 시스템의 구성을 개략적으로 도시한 블록도이다.
도 4를 참조하면, 운송 기기(10)는 전자 장치(100), 통신부(410), ADAS(420), ECU(430), 운송 기기(10)의 도어(445)를 제어하는 도어 제어부(440), 도어(445), 감지부(450), 감속장치(460)(예: 브레이크 페달 등), 조향 장치(470)(예: 휠 등), 가속 장치(예: 가속 페달 등)(480) 및 출력 장치(490)를 포함할 수 있다.
전자 장치(100)는 유선 통신 방식으로 운송 장치(10)(특히, ADAS(420), ECU(430))와 통신을 수행할 수 있다. 예를 들어, 전자 장치(100)는 20핀 커넥터, 16핀 커넥터 또는 USB 커넥터를 통해 운송 장치(10)와 통신을 수행할 수 있다. 또한, 전자 장치(100)는 On-Board Diagnosis Version I(OBD-1), OBD-2, European On-Board Diagnosis(EOBD), Korean On-Board Diagnosis(KOBD), K-Line, RS-232, CAN(Controller Area Network) 등과 같은 통신 프로토콜에 따라 운송 장치(10)와 통신을 수행할 수 있다.
통신부(410)는 운송 장치(10) 외부 장치(50)와 통신을 수행할 수 있다. 특히, 통신부(410)는 지역 정보를 획득하기 위하여 외부의 서버와 통신을 수행할 뿐만 아니라, 교통 안내 정보를 획득하기 위하여 외부의 교통 안내 장치와 통신을 수행할 수 있다.
통신부(410)는 원거리 통신 모듈 또는 근거리 통신 모듈을 이용하여, 운송 기기(10)의 외부에 위치한 외부 장치(50)(예: 클라우드 서버)와 통신을 수행할 수 있다. 원거리 통신 모듈을 이용하는 경우, 통신부(410)는 IEEE, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), GPS(Global Positioning System) 등과 같은 통신 표준에 따라 외부 장치(50)와 통신을 수행할 수 있다. 근거리 통신 모듈을 이용하는 경우, 통신부(410)는 Wi-Fi, Bluetooth, NFC, Zigbee, Picocast 등과 같은 통신 표준에 따라 외부 장치(50)와 통신을 수행할 수 있다.
ADAS(420)는 첨단 운전 보조 시스템으로서, 방향지시등을 켜지 않고 차선을 변경할 때, 이를 감지하여 운전자에게 정보를 제공하는 차선 유지 보조 시스템(Land Departure Warning System: LDWS), 차량 전방에 카메라를 장착하여 전방 차량을 실시간으로 인식하고, 전방 차량의 움직임을 바탕으로 사고 위험을 사전에 경고하는 전방 추돌 경보 시스템(Foeward Collision Warning System: FCWS), 전후방 감지센서와 음성 안내를 통해 자동으로 주차를 도와주는 주차 조향 보조 시스템(Intelligent Parking Assist System:IPAS), 위성항법장치가 내장되어 차량의 위치를 자동으로 표시하는 동시에 실시간으로 주변 교통상황을 제공하는 차량자동항법장치(Car Navigation System: CNS), 후방 주차시 주차 공간을 정확하게 파악하도록 주차중의 충돌상황을 미리 감지하여 안내하는 후방 주차 지원 시스템(Rear Parking Assist System:RPAS), 보행자를 인식하여 운전자의 부주의로 인한 사고를 미리 감지하여 운전자에게 안내하는 보행 인식 경보 시스템(Pedestrian Collision Warning System: PCWS) 등을 포함할 수 있다.
ECU(430)는 운송 기기(10)의 구동/제동/조향 등 운송 기기(10)의 운행과 관련된 전반적인 제어를 수행할 수 있다. ECU(430)는, 예로, 운송 기기(10)의 상태를 감지하여 운송 기기(10)의 엔진이 고장나지 않도록 연료의 분사량과 점화 시기를 결정할 수 있다. 예를 들어, ECU(430)는 운송 기기(10)의 엔진의 회전수와 흡입 공기량, 흡입 압력, 액셀러레이터 개방 정도를 고려하여 미리 설정한 점화 시기 MAP(Manifold Absolute Pressure) 값과 연료 분사 MAP 값에 기초하여 수온센서, 산소센서 등을 보정하고 인젝터의 개폐율을 조정할 수 있다.
도어 제어부(440)는 사용자 조작 혹은 운송 장치(10)의 주행 상태에 따라 도어(445)의 잠금을 제어할 수 있다. 예를 들어, 기설정된 속도 이상으로 차량이 주행하는 경우, 도어 제어부(440)는 자동으로 도어(445)에 잠금 동작을 수행할 수 있다.
감지부(450)는 운송 기기(10)의 주변 환경 또는 운송 기기(10)에 탑승한 운전자의 상태를 감지할 수 있다. 감지부(450)는, 예로, 운송 기기(10)의 주변 환경을 감지하기 위하여, 라이더(Lidar) 센서, 레이다(Radar) 센서, 초음파 센서, 비젼(Vision) 센서 등과 같은 물체 감지 센서를 포함할 수 있다. 이때, 운송 기기(10)의 주변 환경이라 함은, 운송 기기(10) 주변에 위치하는 다른 운송 기기에 대한 정보, 운송 기기(10) 주변에 위치하는 점거물, 사람 등에 대한 정보를 의미할 수 있다.
또는, 감지부(450)는, 예로, 운전자의 상태를 감지하기 위하여, 소리 센서, 움직임 감지 센서, 비디오(Video) 센서, 터치 센서 등을 포함할 수 있다. 이때, 운전자의 상태라 함은 운전자의 피로도, 운전자의 운전 자세 등을 의미할 수 있다. 특히, 운전자의 피도로는 사용자의 시선, 사용자의 얼굴 움직임 등을 추적하여 판단할 수 있다.
그 밖에, 감지부(450)는 가속도 센서(acceleration sensor), 자이로 센서(gyro sensor), 조도 센서(illuminance sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor), 노이즈 센서(noise sensor)(예컨대, 마이크), 비디오 센서(video sensor)(예컨대, 카메라 모듈), 온도 센서, 충격 센서(shock sensor) 및 타이머 중 적어도 하나의 센서를 더 포함할 수 있다.
그 밖에, 감속 장치(460)는 운송 장치(10)의 속도를 감속하기 위한 구성으로서, 브레이크 페달 등을 포함할 수 있으며, 조향 장치(470)는 운송 장치(10)의 주행 방향을 결정하기 위한 구성으로서, 휠 등을 포함할 수 있으며, 가속 장치(480)는 운송 장치(10)의 속도를 가속하기 위한 구성으로서, 가속 페달 등을 포함할 수 있다.
출력 장치(490)는 자동차의 상태 혹은 사용자에 의해 설정된 컨텐츠를 출력하기 위한 구성으로서, 스피커, 디스플레이, 진동 장치 등을 포함할 수 있다. 이때, 디스플레이는 일반적인 LCD 디스플레이일 수 있으나, 이는 일 실시예에 불과할 뿐, 헤드업 디스플레이(Head-Up Display)일 수 있다.
전자 장치(100)는 상술한 바와 같은 구성에 직접 제어 명령을 수행할 수 있으며, ADAS(420) 혹은 ECU(430)에 제어 명령을 전송할 수 있다. 또는 전자 장치(100)는 ADAS(420) 혹은 ECU(430)로 구현될 수 있으며, 그의 일부로 구현될 수 있다.
도 5는 본 개시의 일 실시예에 따른, 전자 장치가 위험 오브젝트를 제공하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 운송 장치의 경로 주변에 위치한 지역의 지역 정보를 획득한다(S510). 이때, 전자 장치(100)는 실시간으로 위험 오브젝트를 예측하기 위하여 운송 장치의 경로 주변에 위치한 지역의 지역 정보를 미리 획득할 수 있다.
구체적으로, 사용자가 네비게이션 장치를 통해 경로를 설정한 경우, 전자 장치(100)는 설정된 경로 주변의 지역 정보를 미리 외부 서버로부터 수신하여 저장할 수 있다. 예를 들어, 사용자가 네비게이션 장치를 통해 A 지역에서 B 지역으로의 경로를 설정한 경우, 전자 장치(100)는 A 지역과 B 지역 사이에 존재하는 지역들의 지역 정보를 미리 외부 서버로부터 수신하여 저장할 수 있다.
또한, 전자 장치(100)는 운송 장치(10)의 움직임에 따라 현재 위치를 업데이트하고, 업데이트된 위치를 기준으로 기설정된 거리의 내의 지역에 대한 정보를 미리 외부 서버로부터 수신하여 저장할 수 있다. 예를 들어, 전자 장치(100)는 현재 장치를 기준으로 20km 거리 이내의 지역에 대한 정보를 미리 외부 서버로부터 수신하여 저장할 수 있으며, 현재 위치로부터 15Km 이동한 경우, 전자 장치(100)는 이동한 위치를 기준으로 다시 20km 거리 이내의 지역에 대한 정보를 미리 외부 서버로부터 수신하여 저장할 수 있다.
그 밖에, 전자 장치(100)는 주기적으로 전지역에 대한 지역 정보를 미리 수신하여 저장할 수 있다, 특정 지역(예를 들어, 사고 다발 지역 등)에 진입하였을 때, 전자 장치(100)는 특정 지역에 대한 지역 정보를 미리 수신하여 저장할 수 있다.
전자 장치(100)는 카메라를 통해 운송 장치(10)가 주행하는 도로를 촬영하여 이미지를 획득한다(S520). 이때, 전자 장치(100)는 운송 장치(10)가 주행하는 도로의 전방 영역에 대한 이미지를 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 운송 장치(10)가 주행하는 도로의 후방 영역, 측방 영역에 대한 이미지를 획득할 수 있다. 이때, 전자 장치(100)는 기어 상태에 따라 상이한 영역의 이미지를 획득할 수 있다. 예를 들어, 기어 상태가 D인 경우, 전자 장치(100)는 운송 장치(10)가 주행하는 도로의 전방 영역 및 측방 영역에 대한 이미지를 획득할 수 있으며, 기어 상태가 R인 경우, 전자 장치(100)는 운송 장치(10)가 주행하는 도로의 후방 영역에 대한 이미지를 획득할 수 있다.
전자 장치(100)는 획득된 이미지를 분석하여 운송 장치(10)가 주행하는 도로에 대한 도로 정보를 획득한다(S530). 구체적으로, 전자 장치(100)는 획득된 이미지를 분석하여 이미지 속에 포함된 오브젝트에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 오브젝트를 추정하도록 학습된 오브젝트 인식 모델(370)에 이미지 데이터를 입력하여 오브젝트에 대한 정보(예를 들어, 오브젝트의 유형, 오브젝트의 위치 등)를 획득할 수 있다.
그리고, 전자 장치(100)는 획득된 오브젝트에 대한 정보를 바탕으로 운송 장치(10)가 주행하는 도로의 도로 정보를 획득할 수 있다. 이때, 전자 장치(100)는 도로 정보를 추정하도록 학습된 도로 정보 인식 모델(380)에 오브젝트에 대한 정보를 입력하여 도로 정보를 획득할 수 있다. 이때, 도로 정보는 도로에 포함된 오브젝트의 배치 정보, 이동 정보, 도로에 포함된 사각지대, 도로의 상태 정보 등이 포함될 수 있다.
한편, 상술한 실시예에서는 전자 장치(100)가 이미지를 분석하여 오브젝트에 대한 정보를 획득하고, 오브젝트에 대한 정보를 분석하여 도로 정보를 획득하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)가 이미지를 분석하여 바로 도로 정보를 획득할 수 있다. 즉, 전자 장치(100)는 도로 정보를 추정하도록 학습된 도로 정보에 입력 데이터로서 이미지 데이터를 입력하여 현재 운송 장치(10)가 주행하는 도로의 도로 정보를 획득할 수 있다.
전자 장치(100)는 도로 정보 및 지역 정보를 바탕으로 운송 장치가 주행하는 도로에 출현할 수 있는 가상의 위험 오브젝트에 대한 정보를 획득한다(S540). 구체적으로, 전자 장치(100)는 도로 정보 및 지역 정보를 바탕으로 운송 장치가 주행하는 도로에 가상의 위험 오브젝트가 출현할 확률을 계산할 수 있다. 그리고, 계산된 확률이 기설정된 값 이상인 경우, 전자 장치(100)는 도로 정보 및 지역 정보를 바탕으로 가상의 위험 오브젝트에 대한 정보를 획득할 수 있다.
특히, 전자 장치(100)는 위험 오브젝트를 추정하도록 학습된 위험 오브젝트 인식 모델(390)에 도로 정보 및 지역 정보를 입력하여 가상의 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 위험 오브젝트에 대한 정보는 위험 오브젝트의 유형 정보, 위험 오브젝트가 출현할 확률이 높은 위치에 대한 정보, 위험 오브젝트의 이동 패턴 정보를 포함할 수 있다.
또한, 전자 장치(100)는 도로 정보 및 지역 정보뿐만 아니라 현재 시간 정보를 바탕으로 가상의 위험 오브젝트의 출현 확률을 계산할 수 있다. 예를 들어, 현재 시간이 등/하교 시간인 경우, 전자 장치(100)는 가상 위험 오브젝트인 어린이 오브젝트의 출현 확률이 높아지도록 가중치를 부가할 수 있으며, 현재 시간이 새벽 시간인 경우, 전자 장치(100)는 가상 위험 오브젝트인 오브젝트의 출현 확률이 낮아지도록 가중치를 부가할 수 있다.
또한, 전자 장치(100)는 도로 정보 및 지역 정보뿐만 아니라, 현재 위치하는 도로와 유사한 형태로 등록된 유사 도로에 대한 추가 정보를 바탕으로 가상의 위험 오브젝트의 출현 확률을 계산할 수 있다. 예를 들어, 현재 위치하는 도로가 사거리 이며, 주위에 초등학교가 많은 경우, 전자 장치(100)는 이와 유사한 형태의 도로에 대한 추가 정보(예를 들어, 교통 사고량 등)를 함께 이용하여 가상의 위험 오브젝트의 출현 확률을 계산할 수 있다.
또한, 전자 장치(100)는 도로 정보 및 지역 정보뿐만 아니라, 교통 안내 장치로부터 수신된 교통 안내 정보를 바탕으로 가상의 위험 오브젝트의 출현 확률을 계산할 수 있다. 예를 들어, 교통 안내 장치로부터 "야생 동물 출몰 지역"이라는 교통 안내 정보가 수신된 경우, 전자 장치(100)는 가상 위험 오브젝트로서 야생동물 오브젝트의 출현 확률이 높아지도록 가중치를 부가할 수 있으며, 교통 안내 장치로부터 "어린이 보호 구역"이라는 교통 안내 정보가 수신된 경우, 전자 장치(100)는 가상 위험 오브젝트로서 어린이 오브젝트의 출현 확률이 높아지도록 가중치를 부가할 수 있다.
또한, 전자 장치(100)는 도로 정보 및 지역 정보뿐만 아니라, 사용자의 운전 습관에 대한 히스토리 정보를 바탕으로 가상의 위험 오브젝트의 출현 확률을 계산할 수 있다. 예를 들어, 평소 A 지역(예를 들어, 어린이 보호 구역)에서 운전자의 평균 속도가 기설정된 값(예를 들어, 30km/h) 이상인 경우, 전자 장치(100)는 A 지역에서 위험 오브젝트의 출현 확률이 높아지도록 가중치를 부가할 수 있다.
그리고, 전자 장치(100)는 위험 오브젝트에 대한 정보를 제공한다(S550). 이때, 전자 장치(100)는 위험 오브젝트에 대응된 인디케이터를 생성하고, 생성된 인디케이터를 디스플레이(170)를 통해 출력할 수 있다. 이때, 위험 오브젝트에 대응되는 인디케이터는 위험 오브젝트의 유형에 대응되는 형상을 가지며, 위험 오브젝트가 출현할 확률이 높은 위치에 표시될 수 있다. 또는, 전자 장치(100)는 위험 오브젝트에 대응되는 안내 오디오를 스피커(180)를 통해 출력할 수 있다. 이때, 안내 오디오에는 위험 오브젝트에 대한 정보를 포함할 수 있다.
또한, 전자 장치(100)는 실제 오브젝트와 혼동되지 않도록 애니메이션화된 이미지를 위험 오브젝트에 대응되는 인디케이터로 제공할 수 있다. 뿐만 아니라, 전자 장치(100)는 위험 오브젝트를 안내하기 위하여 시각적 인디케이터와 함께 안내 오디오를 함께 제공할 수 있다.
이하에서는 도 6 내지 도 8을 참조하여 본 개시의 다양한 실시예에 따른, 전자 장치가 위험 오브젝트를 제공하는 방법을 설명하기로 한다.
도 6은 본 개시의 일 실시예에 따른, 위험 오브젝트로 어린이 오브젝트를 예측하여 제공하는 실시예를 설명하기 위한 도면이다.
우선, 도 6의 (a)에 도시된 바와 같이, 전자 장치(100)는 전자 장치(100)를 포함하는 운송 장치(10)의 위치 정보를 획득할 수 있다. 이때, 전자 장치(100)는 GPS(150)를 이용하여 운송 장치(10)의 위치 정보를 획득할 수 있다.
그리고, 도 6의 (b)에 도시된 바와 같이, 전자 장치(100)는 현재 위치에 대한 지역 정보를 획득할 수 있다. 이때, 전자 장치(100)는 현재 위치에 대한 지역 정보를 미리 획득하여 저장할 수 있다.
지역 정보는 빅 데이터를 통해 획득될 수 있다. 이때, 빅 데이터는 해당 지역에 대한 정보뿐만 아니라, 해당 지역의 도로와 유사한 도로로 등록된 다른 지역에 대한 정보를 함께 수집할 수 있다. 지역 정보는, 도 6의 (b)에 도시된 바와 같이, 안전 유의 인구(즉, 유아 인구 비율), 혼잡 시간, 어린이집 개수 및 수용인원, 중학교 개수 및 학생수, 교통 사고 비율, 유아 교통 사고 비율, 교통 사고 원인 등에 대한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다.
그리고, 도 6의 (c)에 도시된 바와 같이, 전자 장치(100)는 카메라(110)를 통해 운송 장치(10)의 전방 영역에 대한 이미지를 획득할 수 있다.
그리고, 도 6의 (d)에 도시된 바와 같이, 전자 장치(100)는 획득된 이미지로부터 복수의 오브젝트(610-1 내지 610-4)를 검출할 수 있다. 구체적으로, 전자 장치(100)는 획득된 이미지를 오브젝트를 추정하기 위해 학습된 인식 모델에 입력하여 복수의 오브젝트(610-1 내지 610-4)에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 복수의 오브젝트(610-1 내지 610-4)로 복수의 차량 오브젝트를 검출할 수 있다.
그리고, 도 6의 (e)에 도시된 바와 같이, 전자 장치(100)는 복수의 오브젝트(610-1 내지 610-4)에 대한 정보를 바탕으로 도로 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 획득된 오브젝트에 대한 정보를 도로 정보를 추정하기 위해 학습된 인식 모델에 입력하여 도로 정보를 획득할 수 있다. 이때, 전자 장치(100)는 도로 정보로서, 도 6의 (e)에 도시된 바와 같이, 제1 사각 지대 내지 제3 사각 지대(620-1 내지 620-3)를 검출할 수 있다. 즉, 전자 장치(100)는 추출된 차 오브젝트의 뒷 영역 혹은 추출된 차 오브젝트들 사이의 영역을 사각 지대로 검출할 수 있다.
그리고, 도 6의 (f)에 도시된 바와 같이, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 운송 장치(10)가 주행하는 도로에 출현할 가능성이 높은 가상의 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트가 출현할 확률을 산출할 수 있다.
본 발명의 일 실시예로, 위험 오브젝트가 출현할 확률(P)은 아래의 수학식에 의해 결정될 수 있다.
Figure 112017091037158-pat00001
α는 가중치이며, 가중치는 현재 시간 정보, 교통 안내 정보, 히스토리 정보 등에 의해 결정될 수 있다.
a는 해당 지역의 안전 유의 인구 비율이며, b는 해당 지역에서 발생하는 교통 사고 중 안전 유의 인구에서 발생한 교통사고 비율이며, c는 해당 도로에서 발생할 수 있는 사고 원인을 가지는 교통 사고 비율이다.
상술한 바와 같은 수학식에 의해 계산된 확률(P)이 기설정된 값 이상인 경우, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트에 대한 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 안전 유의 인구 및 현재 학교/학원의 비율을 바탕으로 현재 오브젝트의 유형 정보로 어린이 오브젝트를 결정할 수 있으며, 결정된 오브젝트 유형에 대응되는 이동 패턴 정보를 획득할 수 있으며, 사각 지대 정보를 통해 위험 오브젝트가 출현할 확률이 높은 위치에 대한 정보를 획득할 수 있다.
한편, 전자 장치(100)는 도로 정보 및 지역 정보를 위험 오브젝트를 추정하도록 학습된 위험 오브젝트 인식 모델에 입력하여 위험 오브젝트에 대한 정보를 획득할 수도 있다.
그리고, 전자 장치(100)는 획득된 위험 오브젝트에 대한 정보를 바탕으로 도 6의 (f)에 도시된 바와 같이, 위험 오브젝트에 대응되는 인디케이터(630)를 디스플레이(170)를 통해 제공할 수 있다. 이때, 인디케이터(630)는 위험 오브젝트로 예측된 어린이를 애니메이션화한 이미지일 수 있다. 한편, 전자 장치(100)는 인디케이터(630)를 표시할 수 있으나, 이와 동시에 위험 오브젝트를 안내하기 위한 안내 오디오 또는 진동 피드백을 제공할 수 있다.
또한, 오브젝트 발생 확률이 높을 경우, 전자 장치(100)는 운송 장치(10)의 주행을 제어하기 위한 제어 명령을 운송 장치(10)에 전송할 수 있다. 예를 들어, 전자 장치(100)는 "전방의 어린이 발생 확률이 많습니다. 속도를 줄이겠습니다."라는 안내 오디오와 함께, 감속 장치(470)를 제어하기 위한 제어 명령을 운송 장치(10)에 전송할 수 있다.
도 7은 본 개시의 일 실시예에 따른, 위험 오브젝트로 오토바이 오브젝트를 예측하여 제공하는 실시예를 설명하기 위한 도면이다.
우선, 도 7의 (a)에 도시된 바와 같이, 전자 장치(100)는 전자 장치(100)를 포함하는 운송 장치(10)의 위치 정보를 획득할 수 있다. 이때, 전자 장치(100)는 GPS(150)를 이용하여 운송 장치(10)의 위치 정보를 획득할 수 있다.
그리고, 도 7의 (b)에 도시된 바와 같이, 전자 장치(100)는 현재 위치에 대한 지역 정보를 획득할 수 있다. 이때, 전자 장치(100)는 현재 위치에 대한 지역 정보를 미리 획득하여 저장할 수 있다. 이때. 지역 정보는, 도 7의 (b)에 도시된 바와 같이, 오토바이 통행량, 오토바이 사고량, 혼잡 시간, 교통 사고량 등에 대한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다.
그리고, 도 7의 (c)에 도시된 바와 같이, 전자 장치(100)는 카메라(110)를 통해 운송 장치(10)의 전방 영역에 대한 이미지를 획득할 수 있다.
그리고, 도 7의 (d)에 도시된 바와 같이, 전자 장치(100)는 획득된 이미지로부터 복수의 오브젝트(710-1 및 710-2)를 검출할 수 있다. 구체적으로, 전자 장치(100)는 획득된 이미지를 오브젝트를 추정하기 위해 학습된 인식 모델에 입력하여 복수의 오브젝트(710-1 및 710-2)에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 복수의 오브젝트로 제1 및 제2 차량 오브젝트(710-1 및 710-2)를 검출할 수 있다.
그리고, 도 7의 (e)에 도시된 바와 같이, 전자 장치(100)는 복수의 오브젝트(710-1 및 710-2)에 대한 정보를 바탕으로 도로 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 획득된 오브젝트에 대한 정보를 도로 정보를 추정하기 위해 학습된 인식 모델에 입력하여 도로 정보를 획득할 수 있다. 이때, 전자 장치(100)는 도로 정보로서, 도 7의 (e)에 도시된 바와 같이, 사각 지대(720)를 검출할 수 있다. 즉, 전자 장치(100)는 운송 장치 및 제1, 2 차량 오브젝트 사이로 오토바이 또는 무단횡단을 하는 행인이 출현할 수 있는 영역을 사각 지대로 검출할 수 있다.
그리고, 도 7의 (f)에 도시된 바와 같이, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 운송 장치(10)가 주행하는 도로에 출현할 가능성이 높은 가상의 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트가 출현할 확률을 산출할 수 있다.
본 발명의 일 실시예로, 위험 오브젝트가 출현할 확률(P)은 아래의 수학식에 의해 결정될 수 있다.
Figure 112017091037158-pat00002
α는 가중치이며, 가중치는 현재 시간 정보, 교통 안내 정보, 히스토리 정보 등에 의해 결정될 수 있다.
a는 해당 지역의 오토바이 통행량 비율이며, b는 해당 지역의 오토바이 사고 비율일 수 있다.
상술한 바와 같은 수학식에 의해 계산된 확률(P)이 기설정된 값 이상인 경우, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트에 대한 정보를 획득할 수 있다.
한편, 전자 장치(100)는 도로 정보 및 지역 정보를 위험 오브젝트를 추정하도록 학습된 위험 오브젝트 인식 모델에 입력하여 위험 오브젝트에 대한 정보를 획득할 수도 있다.
그리고, 전자 장치(100)는 획득된 위험 오브젝트에 대한 정보를 바탕으로 도 7의 (f)에 도시된 바와 같이, 위험 오브젝트에 대응되는 인디케이터(730)를 디스플레이(170)를 통해 제공할 수 있다. 이때, 인디케이터(730)는 위험 오브젝트로 예측된 오토바이를 애니메이션화한 이미지일 수 있다.
도 8은 본 개시의 일 실시예에 따른, 위험 오브젝트로 야생동물 오브젝트를 예측하여 제공하는 실시예를 설명하기 위한 도면이다.
우선, 도 8의 (a)에 도시된 바와 같이, 전자 장치(100)는 전자 장치(100)를 포함하는 운송 장치(10)의 위치 정보를 획득할 수 있다. 이때, 전자 장치(100)는 GPS(150)를 이용하여 운송 장치(10)의 위치 정보를 획득할 수 있다.
그리고, 도 8의 (b)에 도시된 바와 같이, 전자 장치(100)는 현재 위치에 대한 지역 정보를 획득할 수 있다. 이때, 전자 장치(100)는 현재 위치에 대한 지역 정보를 미리 획득하여 저장할 수 있다. 이때. 지역 정보는, 도 8의 (b)에 도시된 바와 같이, 서식 야생 동물, 야생 동물 사고, 교통 사고 비율, 야생 동물 출몰 지역 지정 여부 등에 대한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다.
그리고, 도 8의 (c)에 도시된 바와 같이, 전자 장치(100)는 카메라(110)를 통해 운송 장치(10)의 전방 영역에 대한 이미지를 획득할 수 있다.
그리고, 도 8의 (d)에 도시된 바와 같이, 전자 장치(100)는 획득된 이미지로부터 도로 정보를 획득할 수 있다. 이때, 전자 장치(100)는 획득된 이미지를 도로 정보를 추정하기 위해 학습된 인식 모델에 입력하여 도로 정보를 획득할 수 있다. 이때, 도로 정보는 야생 동물이 출현할 가능성이 높은 지점에 대한 정보(810)일 수 있다.
그리고, 도 8의 (e)에 도시된 바와 같이, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 운송 장치(10)가 주행하는 도로에 출현할 가능성이 높은 가상의 위험 오브젝트에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트가 출현할 확률을 산출할 수 있다.
본 발명의 일 실시예로, 위험 오브젝트가 출현할 확률(P)은 아래의 수학식에 의해 결정될 수 있다.
Figure 112017091037158-pat00003
α는 가중치이며, 가중치는 현재 시간 정보, 교통 안내 정보, 히스토리 정보 등에 의해 결정될 수 있다.
a는 해당 지역의 야생 동물 서식 여부이며, b는 해당 지역의 야생 동물 사고 비율일 수 있다.
상술한 바와 같은 수학식에 의해 계산된 확률(P)이 기설정된 값 이상인 경우, 전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트에 대한 정보를 획득할 수 있다. 한편, 전자 장치(100)는 도로 정보 및 지역 정보를 위험 오브젝트를 추정하도록 학습된 위험 오브젝트 인식 모델에 입력하여 위험 오브젝트에 대한 정보를 획득할 수도 있다.
그리고, 전자 장치(100)는 획득된 위험 오브젝트에 대한 정보를 바탕으로 도 8의 (e)에 도시된 바와 같이, 위험 오브젝트에 대응되는 인디케이터(820)를 디스플레이(170)를 통해 제공할 수 있다. 이때, 인디케이터(820)는 위험 오브젝트로 예측된 사슴을 애니메이션화한 이미지일 수 있다.
상술한 바와 같은 본 개시의 실시예에 따라, 전자 장치(100)가 사용자가 현재 인지할 수 없는 가상의 위험 오브젝트에 대한 정보를 제공함으로써, 예측 불가능하게 발생할 수 있는 사고를 미연에 방지할 수 있게 된다.
한편, 본 발명의 일 실시예에 다른, 전자 장치(100)는 실제 오브젝트와의 혼동을 피하기 위하여, 위험 오브젝트로 예측된 대상을 애니메이션화한 이미지를 인디케이터로 제공할 수 있다. 이때, 인디케이터는 예로, 도 9에 도시된 바와 같이, 유아 오브젝트에 대응되는 인디케이터(910), 학생 오브젝트에 대응되는 인디케이터(920), 오토바이 오브젝트에 대응되는 인디케이터(930), 강아지 오브젝트에 대응되는 인디케이터(940) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 10a 내지 도 10d는 본 개시의 다양한 실시예에 따른, 전자 장치(100)가 위험 오브젝트에 대한 정보를 제공하는 실시예를 설명하기 위한 도면들이다.
본 개시의 일 실시예로, 전자 장치(100)는 도 10a에 도시된 바와 같이, 차량 전면 유리에 위치하는 헤드업 디스플레이(HUD)를 이용하여 위험 오브젝트에 대한 정보를 제공할 수 있다. 구체적으로, 전자 장치(100)는 위험 오브젝트에 대한 정보를 바탕으로 위험 오브젝트에 대응되는 인디케이터의 유형, 위치, 이동 속도 등을 판단할 수 있다. 그리고, 전자 장치(100)는 판단된 유형의 인디케이터를 도 10a에 도시된 바와 같이, 판단된 위치에 표시하며, 판단된 이동 속도에 따라 인디케이터를 이동시킬 수 있다.
또 다른 실시예로, 전자 장치(100)는 도 10b에 도시된 바와 같이, 차량의 클러스터 내에 위험 오브젝트에 대한 정보를 제공할 수 있다. 구체적으로, 전자 장치(100)는 도 10b에 도시된 바와 같이, 위험 오브젝트에 대한 정보를 포함하는 안내 메시지(1020)(예를 들어, "전방에 어린이가 나타날 수 있습니다. 조심하세요.")를 출력할 수 있다. 이때, 전자 장치(100)는 사용자에게 위험 경고를 잘 전달하기 위하여, 안내 메시지(1020)를 깜빡이면서 표시할 수 있으며, 스피커를 통해 안내음(예를 들어, 비프음)을 함께 제공할 수 있다.
한편, 상술한 실시예에서는 운송 장치(10)의 전방 영역을 촬영하여 획득된 이미지에 위험 오브젝트를 제공하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 도 10c에 도시된 바와 같이, 운송 장치(10)의 후방 영역을 촬영하여 획득된 이미지에 위험 오브젝트에 대응되는 인디케이터(1030)를 제공할 수 있으며, 도 10d에 도시된 바와 같이, 운송 장치(10)의 측방 영역을 촬영하여 획득된 이미지에 위험 오브젝트에 대응되는 인디케이터(1040)를 사이드 미러에 제공할 수 있다.
한편, 전자 장치(100)는 위험 오브젝트의 실제 출현 여부를 다른 운전자와 공유하기 위하여 위험 오브젝트의 실제 출현 여부를 판단할 수 있다. 위험 오브젝트가 실제로 출현한 경우, 전자 장치(100)는 실제로 출현한 위험 오브젝트에 대한 정보 및 현재 위치 정보를 다른 운전자와 공유할 수 있다. 이때, 전자 장치(100)는 실제로 출현한 위험 오브젝트에 대한 정보와 현재 위치 정보를 외부의 서버로 전송하고, 외부의 서버가 다른 운전자의 차량에 있는 전자 장치에 지역 정보로서 위험 오브젝트의 실제 출현 여부에 대한 정보를 전송할 수 있다.
한편, 상술한 실시예에서는 전자 장치(100)가 운송 장치(10)에 구비되어 운송 장치(10)와 별도로 구현되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)는 운송 장치의 일부로 구현될 수 있다. 구체적으로, 전자 장치(100)는 도 11에 도시된 바와 같은, 운송 장치(1100) 중 ADAS(1120), ECU(1130) 중 하나 또는 그 일부로 구현될 수 있다. 그리고, 상술한 전자 장치(100)로서 기능할 수 있는 ECU(1130) 또는 ADAS(1120)는 운송 장치의 각 구성을 직접 제어할 수 있다. 이때, 전자 장치(100)의 일부 구성(예를 들어, 디스플레이(170), 스피커(180)는 운송 장치(100)의 출력 장치(1190)로 구현될 수 있다. 도 11에 개시된 카메라(1105), 통신부(1110), ADAS(1120), ECU(1130), 도어제어부(1140), 도어(1145), 감지부(1150), 감속 장치(1160), 조향 장치(1170), 가속 장치(1180), 출력 장치(1190)는 도 2b 및 도 4에서 설명한 카메라(110), 통신부(410), ADAS(420), ECU(430), 도어제어부(440), 도어(445), 감지부(450), 감속 장치(460), 조향 장치(470), 가속 장치(480), 출력 장치(490)와 동일한 구성이므로, 중복되는 설명은 생략한다.
또한, 운송 장치(1100)의 구성 중 일부 구성은 운송 장치(1100)와 연결된 외부 장치에 의해 구현될 수 있다. 예를 들어, 출력 장치(1190)는 외부 장치(예를 들어, 네비게이션 장치)의 출력 장치로 구현될 수 있으며, 카메라(1190)는 외부 장치(예를 들어, 블랙박스)의 카메라로 구현될 수 있다.
도 12는 본 개시의 일 실시예에 따른, 인식 모델을 학습하고 이용하기 위한 전자 장치(특히, 프로세서)의 구성을 나타내는 블록도이다.
도 12를 참조하면, 프로세서(1200)는 학습부(1210) 및 인식부(1220) 중 적어도 하나를 포함할 수 있다. 도 12의 프로세서(1200)는 도 2a 및 도 2b의 전자 장치(100)의 프로세서(140) 또는 데이터 학습 서버(미도시)의 프로세서에 대응될 수 있다.
학습부(1210)는 소정의 상황 판단하거나 오브젝트를 인식하기 위한 기준을 갖는 인식 모델을 생성 또는 학습시킬 수 있다. 학습부(1210)는 수집된 학습 데이터를 이용하여 판단 기준을 갖는 인식 모델을 생성할 수 있다.
일 예로, 학습부(1210)는 오브젝트가 포함된 이미지를 학습 데이터로서 이용하여 이미지에 포함된 오브젝트를 추정하는 기준을 판단하기 위한 오브젝트 인식 모델을 생성, 학습 또는 갱신시킬 수 있다.
또 다른 예로, 학습부(1210)는 이미지로부터 검출된 오브젝트에 대한 정보 또는 이미지를 학습 데이터로서 이용하여 이미지에 포함된 운송 장치(10)가 주행하는 도로의 도로 정보를 추정하느느 기준을 판단하기 위한 도로 정보 인식 모델을 생성, 학습 또는 갱신시킬 수 있다.
또 다른 예로, 학습부(1210)는 도로 정보 및 지역 정보를 학습 데이터로서 이용하여 위험 오브젝트를 추정하는 기준을 판단하기 위한 위험 오브젝트 인식 모델을 생성, 학습 또는 갱신시킬 수 있다.
인식부(1220)는 소정의 데이터를 학습된 인식 모델의 입력 데이터로 사용하여, 소정의 데이터에 포함된 인식 대상 또는 상황을 추정할 수 있다.
일 예로, 인식부(1220)는 오브젝트가 포함된 이미지를 학습된 인식 모델의 입력 데이터로 사용하여 이미지에 포함된 오브젝트에 대한 정보를 획득(또는, 추정, 추론)할 수 있다.
다른 예로, 인식부(1220)는 오브젝트에 대한 정보 또는 이미지 중 적어도 하나를 학습된 인식 모델에 적용하여 도로 정보를 획득(또는, 결정, 추론)할 수 있다.
또 다른 예로, 인식부(1220)는 도로 정보 및 지역 정보를 학습된 인식 모델에 적용하여 전자 장치(100)를 구비하는 운송 장치(10)가 주행하는 도로에 출현할 가능성이 높은 위험 오브젝트에 대한 정보를 획득(또는, 추정, 예측)할 수 있다.
학습부(1210)의 적어도 일부 및 인식부(1220)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 학습부(1210) 및 인식부(1220) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치 또는 객체 인식 장치에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 학습부(1210) 및 인식부(1220)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
이 경우, 학습부(1210) 및 인식부(1220)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(1210) 및 인식부(1220) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 외부의 서버에 포함될 수 있다. 또한, 학습부(1210) 및 인식부(1220)는 유선 또는 무선으로 통하여, 학습부(1210)가 구축한 모델 정보를 인식부(1220)로 제공할 수도 있고, 학습부(1220)로 입력된 데이터가 추가 학습 데이터로서 학습부(1210)로 제공될 수도 있다.
도 13a는, 다양한 실시예에 따른 학습부(1210) 및 인식부(1220)의 블록도이다.
도 13a의 (a)를 참조하면, 일부 실시예에 따른 학습부(1210)는 학습 데이터 획득부(1210-1) 및 모델 학습부(1210-4)를 포함할 수 있다. 또한, 학습부(1210)는 학습 데이터 전처리부(1210-2), 학습 데이터 선택부(1210-3) 및 모델 평가부(1210-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
학습 데이터 획득부(1210-1)는 인식 대상을 추론하기 위한 인식 모델에 필요한 학습 데이터를 획득할 수 있다. 본 개시의 실시예로, 학습 데이터 획득부(1210-1)는 오브젝트를 포함하는 이미지, 오브젝트에 대한 정보, 도로 정보, 지역 정보 중 적어도 하나를 학습 데이터로서 획득할 수 있다. 학습 데이터는 학습부(1210) 또는 학습부(1210)의 제조사가 수집 또는 테스트한 데이터가 될 수도 있다.
모델 학습부(1210-4)는 학습 데이터를 이용하여, 인식 모델이 소정의 인식 대상을 어떻게 판단할지에 관한 판단 기준을 갖도록 학습시킬 수 있다. 예로, 모델 학습부(1210-4)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 인식 모델을 학습시킬 수 있다. 또는, 모델 학습부(1210-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 상황의 판단을 위한 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1210-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1210-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 인식 모델을 학습시킬 수 있다
또한, 모델 학습부(1210-4)는 입력 데이터를 이용하여 인식 대상을 추정하기 위하여 어떤 학습 데이터를 이용해야 하는지에 대한 선별 기준을 학습할 수도 있다.
모델 학습부(1210-4)는 미리 구축된 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 인식 모델을 학습할 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입별로 기 분류되어 있을 수 있으며, 인식 모델은 데이터의 타입별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
인식 모델이 학습되면, 모델 학습부(1210-4)는 학습된 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1210-4)는 학습된 인식 모델을 전자 장치(100)의 메모리(130)에 저장할 수 있다. 또는, 모델 학습부(1210-4)는 학습된 인식 모델을 전자 장치(100)와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
학습부(1210)는 인식 모델의 분석 결과를 향상시키거나, 인식 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 학습 데이터 전처리부(1210-2) 및 학습 데이터 선택부(1210-3)를 더 포함할 수도 있다.
학습 데이터 전처리부(1210-2)는 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 학습 데이터 전처리부(1210-2)는 모델 학습부(1210-4)가 상황 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1210-3)는 학습 데이터 획득부(1210-1)에서 획득된 데이터 또는 학습 데이터 전처리부(1210-2)에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(1210-4)에 제공될 수 있다. 학습 데이터 선택부(1210-3)는 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1210-3)는 모델 학습부(1210-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습 데이터를 선택할 수도 있다.
학습부(1210)는 데이터 인식 모델의 분석 결과를 향상시키기 위하여, 모델 평가부(1210-5)를 더 포함할 수도 있다.
모델 평가부(1210-5)는 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1210-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 인식 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
예를 들어, 모델 평가부(1210-5)는 평가 데이터에 대한 학습된 인식 모델의 분석 결과 중에서, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
한편, 학습된 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1210-5)는 각각의 학습된 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1210-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 인식 모델로서 결정할 수 있다.
도 13a의 (b)를 참조하면, 일부 실시예에 따른 데이터 분석부(1220)는 인식 데이터 획득부(1220-1) 및 인식 결과 제공부(1220-4)를 포함할 수 있다.
또한, 데이터 분석부(1220)는 인식 데이터 전처리부(1220-2), 인식 데이터 선택부(1220-3) 및 모델 갱신부(1220-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
인식 데이터 획득부(1220-1)는 상황 판단 또는 객체 인식에 필요한 데이터를 획득할 수 있다. 인식 결과 제공부(1220-4)는 인식 데이터 획득부(1220-1)에서 획득된 데이터를 입력 값으로 학습된 인식 모델에 적용하여 상황을 판단할 수 있다. 인식 결과 제공부(1220-4)는 데이터의 분석 목적에 따른 분석 결과를 제공할 수 있다. 인식 결과 제공부(1220-4)는 후술할 인식 데이터 전처리부(1220-2) 또는 인식 데이터 선택부(1220-3)에 의해 선택된 데이터를 입력 값으로 인식 모델에 적용하여 분석 결과를 획득할 수 있다. 분석 결과는 인식 모델에 의해 결정될 수 있다.
일 실시예로, 인식 결과 제공부(1220-4)는 인식 데이터 획득부(1220-1)에서 획득한 오브젝트를 포함하는 이미지 데이터를 학습된 인식 모델 적용하여 오브젝트에 대한 정보를 획득(또는, 추정)할 수 있다.
다른 실시예로, 인식 결과 제공부(1220-4)는 인식 데이터 획득부(1220-1)에서 획득한 이미지 데이터 및 오브젝트에 대한 정보 중 적어도 하나를 학습된 인식 모델에 적용하여 도로 정보를 획득(또는, 추정)할 수 있다
또 다른 실시예로, 인식 결과 제공부(1220-4)는 인식 데이터 획득부(1220-1)에서 획득한 도로 정보 및 지역 정보를 학습된 인식 모델에 적용하여 가상의 위험 오브젝트에 대한 정보를 획득(또는, 추정, 예측)할 수 있다.
데이터 분석부(1220)는 인식 모델의 분석 결과를 향상시키거나, 분석 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 인식 데이터 전처리부(1220-2) 및 인식 데이터 선택부(1220-3)를 더 포함할 수도 있다.
인식 데이터 전처리부(1220-2)는 상황 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 인식 데이터 전처리부(1220-2)는 인식 결과 제공부(1220-4)가 상황 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1220-3)는 인식 데이터 획득부(1220-1)에서 획득된 데이터 또는 인식 데이터 전처리부(1220-2)에서 전처리된 데이터 중에서 상황 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1220-4)에게 제공될 수 있다. 인식 데이터 선택부(1220-3)는 상황 판단을 위한 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1220-3)는 모델 학습부(1210-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(1220-5)는 인식 결과 제공부(1220-4)에 의해 제공되는 분석 결과에 대한 평가에 기초하여, 인식 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(1220-5)는 인식 결과 제공부(1220-4)에 의해 제공되는 분석 결과를 모델 학습부(1210-4)에게 제공함으로써, 모델 학습부(1210-4)가 인식 모델을 추가 학습 또는 갱신하도록 요청할 수 있다.
도 13b는, 일 실시예에 따른 전자 장치(100) 및 외부의 서버(50)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 13b를 참조하면, 외부의 서버(50)는 상황 판단을 위한 기준을 학습할 수 있으며, 전자 장치(100)는 서버(50)에 의한 학습 결과에 기초하여 상황을 판단할 수 있다.
이 경우, 서버(50)의 모델 학습부(1210-4)는 도 12에 도시된 학습부(1910)의 기능을 수행할 수 있다. 서버(50)의 모델 학습부(1210-4)는 소정의 상황을 판단하기 위하여 어떤 이미지, 오브젝트 정보, 도로 정보 또는 지역 정보를 이용할지, 상기 데이터를 이용하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다.
또한, 전자 장치(100)의 인식 결과 제공부(1220-4)는 인식 데이터 선택부(1220-3)에 의해 선택된 데이터를 서버(50)에 의해 생성된 인식 모델에 적용하여 오브젝트 정보, 도로 정보 또는 위험 오브젝트 정보를 판단할 수 있다. 또는, 전자 장치(100)의 인식 결과 제공부(1220-4)는 서버(50)에 의해 생성된 인식 모델을 서버(50)로부터 수신하고, 수신된 인식 모델을 이용하여 상황을 판단하거나 객체를 인식할 수 있다. 이 경우, 전자 장치(100)의 인식 결과 제공부(1220-4)는 인식 데이터 선택부(1220-3)에 의해 선택된 이미지를 서버(50)로부터 수신된 인식 모델에 적용하여, 이미지에 포함된 오브젝트 정보를 획득할 수 있다. 또는, 인식 결과 제공부(1220-4)는 이미지 또는 오브젝트에 대한 정보를 서버(50)로부터 수신된 인식 모델에 적용하여, 도로 정보를 획득할 수 있다. 또는, 인식 결과 제공부(1220-4)는 도로 정보 및 지역 정보를 서버(50)로부터 수신된 인식 모델에 적용하여, 위험 오브젝트에 대한 정보를 획득할 수 있다.
도 14는 본 개시의 일 실시예에 따른, 전자 장치와 서버를 포함하는 시스템이 위험 오브젝트를 제공하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 현재 위치 정보를 획득할 수 있다(S1410). 이때, 현재 위치 정보는 GPS 정보를 이용하여 획득할 수 있으나, 이는 일 실시예에 불과할 뿐,외부 장치(예를 들어, 스마트 폰 등) 또는 거리의 교통 안내 장치를 통해 현재 위치 정보를 획득할 수 있다.
전자 장치(100)는 현재 위치 정보를 바탕으로 서버(1400)에게 지역 정보를 요청할 수 있다(S1420). 다른 실시예에 의하면, 네비게이션 장치를 통해 경로를 설정한 경우, 전자 장치(100)는 현재 위치 정보 및 경로 정보를 서버(1400)에게 전송할 수 있다.
서버(1400)는 현재 위치 정보를 바탕으로 지역 정보를 전자 장치(100)로 전송할 수 있다(S1430). 이때, 지역 정보는 현재 위치를 기준으로 기설정된 거리 이내의 지역에 대한 정보일 수도 있으며, 현재 위치와 동일한 행정 구역을 가지는 지역에 대한 정보일 수 있으나, 이에 한정되는 것은 아니다. 또한, 지역 정보는 설정된 경로 주변의 지역에 대한 정보일 수 있다.
전자 장치(100)는 운송 장치가 주행하는 도로를 촬영하여 이미지를 획득할 수 있다(S1440).
전자 장치(100)는 획득된 이미지를 분석하고(S1450), 분석 결과를 바탕으로 도로에 대한 정보를 획득할 수 있다(S1460). 이때, 전자 장치(100)는 획득된 이미지를 입력 데이터로서 오브젝트 인식 모델에 입력하여 이미지에 포함된 오브젝트를 인식하고, 인식된 오브젝트 및 이미지를 도로 정보 인식 모델에 입력하여 도로 정보를 획득할 수 있다.
전자 장치(100)는 지역 정보 및 도로 정보를 바탕으로 위험 오브젝트에 대한 정보를 획득할 수 있다(S1470). 이때, 전자 장치(100)는 도로 정보 및 지역 정보를 입력 데이터로 위험 오브젝트 인식 모델에 입력하여 가상의 위험 오브젝트에 대한 정보를 획득할 수 있다.
전자 장치(100)는 획득된 오브젝트에 대한 정보를 제공할 수 있다(S1480). 이때, 전자 장치(100)는 다양한 출력 장치를 통해 오브젝트에 대한 정보를 시각적 피드백, 청각적 피드백 및 촉각적 피드백 중 적어도 하나의 형태로 제공할 수 있다.
도 15는 본 개시의 일 실시예에 따른, 인식 모델의 학습 시나리오를 설명하기 위한 흐름도이다. 이때, 본 개시의 일 실시예에 따른, 인식 모델은 전자 장치(100)에 의해 학습될 수 있으나, 이는 일 실시예에 불과할 뿐, 서버와 같은 다양한 전자 장치가 인식 모델을 학습할 수 있다.
우선, 전자 장치(100)는 이미지를 학습 데이터로 오브젝트 인식 모델에 입력할 수 있다(S1510). 이때, 이미지는 차량에 위치한 카메라에 의해 찍힌 이미지일 수 있으나, 이는 일 실시예에 불과할 뿐, 도로에 위치한 카메라, 자전거에 위치한 카메라, 거리에 위치한 CCTV에 의해 찍힌 이미지 등과 같은 다양한 이미지일 수 있다.
전자 장치(100)는 입력된 이미지를 학습 데이터로 오브젝트 인식 모델을 학습한다(S1520). 이때, 전자 장치(100)는 입력된 이미지에 포함된 오브젝트(예를 들어, 자동차, 신호등, 표지판, 간판, 학교 등)를 인식할 수 있도록 오브젝트 인식 모델을 학습할 수 있다. 전자 장치(100)는 오브젝트 및 이미지를 학습 데이터로 도로 정보 인식 모델에 입력할 수 있다(S1530).
전자 장치(100)는 오브젝트 및 이미지를 학습 데이터로 도로 정보 인식 모델을 학습할 수 있다(S1540). 구체적으로, 전자 장치(100)는 오브젝트 및 이미지를 도로 정보 인식 모델에 입력하여 이미지 속에 오브젝트들과의 관계 또는 오브젝트의 컨텍스트를 판단하여 도로 정보(예를 들어, 오브젝트의 배치 정보, 오브젝트의 이동 정보, 도로에 포함된 사각지대 정보 및 도로의 상태 정보)를 획득할 수 있도록 도로 정보 인식 모델을 학습할 수 있다.
전자 장치(100)는 도로 정보 및 지역 정보를 학습 데이터로 위험 오브젝트 인식 모델을 입력할 수 있다(S1550).
전자 장치(100)는 도로 정보 및 지역 정보를 학습 데이터로 위험 오브젝트 인식 모델을 학습할 수 있다(S1560). 구체적으로, 전자 장치(100)는 도로 정보 및 지역 정보를 학습 데이터로 위험 오브젝트 인식 모델에 입력하여 가상의 위험 오브젝트가 출현할 지 여부를 확인하고, 출현 가능한 오브젝트에 대한 정보를 획득하도록 위험 오브젝트 인식 모델을 학습할 수 있다.
특히, 전자 장치(100)는 상술한 바와 같은 인식 모델을 학습하기 위하여, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등과 같은 다양한 인식 모델을 이용할 수 있다.
한편, 상술한 실시예에서는 오브젝트 인식 모델, 도로 정보 인식 모델, 위험 오브젝트 인식 모델을 학습하는 것으로 설명하였으나, 세 모델 중 하나 또는 두 개의 모델만을 학습할 수 있다. 구체적으로, 이미지를 학습 데이터로 도로 정보를 획득하도록 도로 정보 인식 모델을 학습할 수 있고, 이미지 및 지역 정보를 학습 데이터로 가상의 위험 오브젝트에 대한 정보를 획득하도록 위험 오브젝트 인식 모델을 학습할 수 있다.
도 16 내지 도 19는 본 개시의 다양한 실시예에 따른, 인식 모델을 이용하는 네트워크 시스템의 흐름도들이다.
도 16 내지 도 19에서, 인식 모델을 이용하는 네트워크 시스템은 제1 구성 요소(1601,1701,1801,1901) 및 제2 구성 요소(1602,1702,1802,1902)를 포함할 수 있다.
여기서, 제1 구성 요소(1601,1701,1801,1901)는 전자 장치(100)이고, 제2 구성 요소(1602,1702,1802,1902)는 인식 모델이 저장된 서버(S)가 될 수 있다. 또는, 제1 구성 요소(1601,1701,1801,1901)는 범용 프로세서이고, 제2 구성 요소(1602,1702,1802,1902)는 인공 지능 전용 프로세서가 될 수 있다. 또는, 제1 구성 요소(1601,1701,1801,1901)는 적어도 하나의 어플리케이션이 될 수 있고, 제2 구성 요소(1602,1702,1802,1902)는 운영 체제(operating system, OS)가 될 수 있다. 즉, 제2 구성 요소(1602,1702,1802,1902)는 제1 구성 요소(1601,1701,1801,1901)보다 더 집적화되거나, 전용화되거나, 딜레이(delay)가 작거나, 성능이 우세하거나 또는 많은 리소스를 가진 구성 요소로서 데이터 인식 모델의 생성, 갱신 또는 적용 시에 요구되는 많은 연산을 제1 구성 요소(1601,1701,1801,1901)보다 신속하고 효과적으로 처리 가능한 구성 요소가 될 수 있다.
이 경우, 제1 구성 요소(1601,1701,1801,1901) 및 제2 구성 요소(1602,1702,1802,1902) 간에 데이터를 송/수신하기 위한 인터페이스가 정의될 수 있다.
예로, 인식 모델에 적용할 학습 데이터를 인자 값(또는, 매개 값 또는 전달 값)으로 갖는 API(application program interface)가 정의될 수 있다. API는 어느 하나의 프로토콜(예로, 전자 장치(100)에서 정의된 프로토콜)에서 다른 프로토콜(예로, 서버(S)에서 정의된 프로토콜)의 어떤 처리를 위해 호출할 수 있는 서브 루틴 또는 함수의 집합으로 정의될 수 있다. 즉, API를 통하여 어느 하나의 프로토콜에서 다른 프로토콜의 동작이 수행될 수 있는 환경을 제공될 수 있다.
일 실시예로, 도 16에서, 먼저, 제1 구성 요소(1601)는 지역 정보를 획득할 수 있다(S1610). 이때, 지역 정보는 제1 구성 요소(1601)를 포함하는 차량이 위치한 지역 또는 차량의 경로 주변 지역에 대한 정보일 수 있다.
제1 구성 요소(1601)는 카메라를 이용하여 도로를 촬영하여 이미지를 획득할 수 있다(S1620).
제1 구성 요소(1601)는 획득된 이미지 및 도로 정보를 제2 구성 요소(1602)로 전송할 수 있다(S1630).
제2 구성 요소(1602)는 이미지를 오브젝트 인식 모델에 입력하여 오브젝트를 인식할 수 있다(S1640). 이때, 제2 구성 요소(1602)는 오브젝트에 대한 정보를 획득할 수 있다.
또한, 제2 구성 요소(1602)는 인식된 오브젝트 및 이미지를 도로 정보 인식 모델에 입력하여 도로 정보를 획득할 수 있다(S1650). 이때, 도로 정보는 오브젝트의 배치 정보, 오브젝트의 이동 정보, 도로에 포함된 사각지대 정보 및 도로의 상태 정보 등일 수 있다.
또한, 제2 구성 요소(1602)는 도로 정보 및 지역 정보를 위험 오브젝트 인식 모델에 입력하여 위험 오브젝트를 추정할 수 있다(S1660). 위험 오브젝트가 출현할 확률이 기설정된 값보다 높은 경우, 제2 구성 요소(1602)는 가상의 위험 오브젝트에 대한 정보를 획득할 수 있다.
제2 구성 요소(1602)는 위험 오브젝트에 대한 정보를 제1 구성 요소(1601)로 전송할 수 있다(S1670).
제1 구성 요소(1601)는 위험 오브젝트에 대한 정보를 제공한다(S1680). 이때, 제1 구성 요소(1601)는 위험 오브젝트에 대한 정보를 시각적, 청각적, 촉각적 피드백 중 적어도 하나의 형태로 제공할 수 있다.
다른 실시예로, 도 17에서, 제1 구성 요소(1701)는 지역 정보를 획득할 수 있다(S1710). 이때, 지역 정보는 제1 구성 요소(1701)를 포함하는 차량이 위치한 지역 또는 차량의 경로 주변 지역에 대한 정보일 수 있다.
제1 구성 요소(1701)는 카메라를 이용하여 도로를 촬영하여 이미지를 획득할 수 있다(S1720).
제1 구성 요소(1701)는 획득된 이미지 및 도로 정보를 제2 구성 요소(1702)로 전송할 수 있다(S1730).
제2 구성 요소(1702)는 이미지를 도로 정보 인식 모델에 입력하여 도로 정보를 획득할 수 있다(S1740). 이때, 도로 정보 인식 모델은 이미지를 입력 데이터로서 이미지에 포함된 오브젝트를 인식하고, 인식된 오브젝트와의 관계, 인식된 오브젝트의 컨텍스트를 인식하도록 학습된 인식 모델일 수 있다. 즉, 제2 구성 요소(1702)는 이미지를 별도의 오브젝트 인식 모델에 입력하지 않고, 바로 도로 정보 인식 모델에 입력하여 도로 정보를 획득할 수 있다.
또한, 제2 구성 요소(1702)는 도로 정보 및 지역 정보를 위험 오브젝트 인식 모델에 입력하여 위험 오브젝트를 추정할 수 있다(S1750). 제2 구성 요소(1702)는 위험 오브젝트에 대한 정보를 제1 구성 요소(1701)로 전송할 수 있다(S1760).
제1 구성 요소(1701)는 위험 오브젝트에 대한 정보를 제공한다(S1770). 이때, 제1 구성 요소(1701)는 위험 오브젝트에 대한 정보를 시각적, 청각적, 촉각적 피드백 중 적어도 하나의 형태로 제공할 수 있다.
다른 실시예로, 도 18에서, 제1 구성 요소(1801)는 지역 정보를 획득할 수 있다(S1810). 이때, 지역 정보는 제1 구성 요소(1801)를 포함하는 차량이 위치한 지역 또는 차량의 경로 주변 지역에 대한 정보일 수 있다.
제1 구성 요소(1801)는 카메라를 이용하여 도로를 촬영하여 이미지를 획득할 수 있다(S1820).
제1 구성 요소(1801)는 획득된 이미지 및 도로 정보를 제2 구성 요소(1802)로 전송할 수 있다(S1830).
제2 구성 요소(1802)는 이미지 및 도로 정보를 위험 오브젝트 인식 모델에 입력하여 위험 오브젝트를 추정할 수 있다(S1840). 이때, 위험 오브젝트 인식 모델은 이미지 및 도로 정보를 입력 데이터로 위험 오브젝트 인식 모델에 입력하여 오브젝트를 인식하고, 오브젝트와의 관계, 오브젝트의 컨텍스트 및 도로 정보를 바탕으로 가상의 위험 오브젝트를 추정하도록 학습된 모델일 수 있다. 따라서, 제2 구성 요소(1802)는 별도의 오브젝트 인식 모델, 도로 정보 인식 모델을 거치지 않고, 바로 위험 오브젝트 인식 모델에 이미지 및 도로 정보를 입력하여 위험 오브젝트에 대한 정보를 추정할 수 있다.
제2 구성 요소(1802)는 위험 오브젝트에 대한 정보를 제1 구성 요소(1801)로 전송할 수 있다(S1850).
제1 구성 요소(1801)는 위험 오브젝트에 대한 정보를 제공한다(S1860). 이때, 제1 구성 요소(1801)는 위험 오브젝트에 대한 정보를 시각적, 청각적, 촉각적 피드백 중 적어도 하나의 형태로 제공할 수 있다.
다른 실시예로, 도 19에서, 제1 구성 요소(1901)는 지역 정보를 획득할 수 있다(S1910). 이때, 지역 정보는 제1 구성 요소(1901)를 포함하는 차량이 위치한 지역 또는 차량의 경로 주변 지역에 대한 정보일 수 있다.
제1 구성 요소(1901)는 카메라를 이용하여 도로를 촬영하여 이미지를 획득할 수 있다(S1920).
제1 구성 요소(1901)는 획득된 이미지를 제2 구성 요소(1902)로 전송할 수 있다(S1930).
제2 구성 요소(1902)는 수신된 이미지를 도로 정보 인식 모델에 입력하여 도로 정보를 획득할 수 있다(S1940). 이때, 도로 정보 인식 모델은 이미지를 입력 데이터로서 이미지에 포함된 오브젝트를 인식하고, 인식된 오브젝트와의 관계, 인식된 오브젝트의 컨텍스트를 인식하도록 학습된 인식 모델일 수 있다.
제2 구성 요소(1902)는 도로 정보를 제1 구성 요소(1901)로 전송할 수 있다(S1950).
제1 구성 요소(1901)는 도로 정보 및 지역 정보를 바탕으로 위험 오브젝트를 추정할 수 있다(S1960). 구체적으로, 제1 구성 요소(1901)는 위험 오브젝트 평가 모듈(340)을 이용하여 위험 오브젝트가 출현할 가능성을 예측하고, 위험 오브젝트에 대한 정보를 획득할 수 있다.
제1 구성 요소(1901)는 위험 오브젝트에 대한 정보를 제공한다(S1970). 이때, 제1 구성 요소(1901)는 위험 오브젝트에 대한 정보를 시각적, 청각적, 촉각적 피드백 중 적어도 하나의 형태로 제공할 수 있다.
본 개시에서 사용된 용어 "모듈"은 소프트웨어로서 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함할 수 있다. 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 개시에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
110: 카메라 120: 통신부
130: 메모리 140: 프로세서
150: GPS 160: 센서
170: 디스플레이 180: 스피커

Claims (21)

  1. 운송 장치에 구비된 전자 장치의 제어 방법에 있어서,
    상기 운송 장치의 경로 주변에 위치한 지역에서 발생한 교통 사고에 대한 정보를 포함하는 지역 정보를 획득하는 단계;
    카메라를 통해 상기 운송 장치가 주행하는 도로를 촬영하여 전방 이미지, 상기 운송 장치가 주행하는 도로의 좌측 주변부와 우측 주변부를 촬영한 측면 이미지 및 상기 운송 장치가 지나온 도로를 촬영한 후방 이미지를 획득하는 단계;
    상기 획득된 전방 이미지, 측면 이미지 및 후방 이미지에 포함된 적어도 하나의 오브젝트에 기초하여, 적어도 하나의 사각지대 정보를 포함하는 상기 운송 장치가 주행하는 도로에 대한 도로 정보 및 상기 운송 장치가 주행하는 도로의 주변부에 대한 주변부 정보를 획득하는 단계;
    상기 지역 정보, 상기 도로 정보 및 상기 주변부 정보를 바탕으로 상기 적어도 하나의 사각지대로부터 상기 운송 장치가 주행하는 도로에 출현할 수 있는 상기 획득된 이미지에 포함된 오브젝트 전부와 상이한 가상의 위험 오브젝트의 유형 및 상기 가상의 위험 오브젝트의 출현 방향에 대한 정보를 획득하는 단계; 및
    상기 가상의 위험 오브젝트의 유형 및 상기 가상의 위험 오브젝트의 출현 방향에 대응되는 이미지 인디케이터를 제공하는 단계;를 포함하고,
    상기 가상의 위험 오브젝트에 대한 정보는,
    상기 가상의 위험 오브젝트가 도로에 출현할 확률에 기초하여 획득되는, 제어 방법.
  2. 제1항에 있어서,
    상기 도로 정보를 획득하는 단계는,
    도로 정보를 추정하도록 학습된 인식 모델에 상기 이미지를 입력하여 상기 운송 장치가 주행하는 도로에 포함된 오브젝트의 배치 정보, 오브젝트의 이동 정보 및 상기 도로의 상태 정보 중 적어도 하나를 획득하는 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 지역 정보는,
    상기 지역의 인구 구성 정보, 상기 지역의 학교/학원에 대한 정보, 상기 지역의 야생 동물 출현 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 가상의 위험 오브젝트에 대한 정보는,
    위험 오브젝트를 추정하도록 학습된 인식 모델에 상기 도로 정보 및 상기 지역 정보를 적용하여 획득된 정보인 것을 특징으로 하는 제어 방법.
  5. 제4항에 있어서,
    상기 가상의 위험 오브젝트에 대한 정보는,
    상기 가상의 위험 오브젝트에 대한 유형 정보, 상기 가상의 위험 오브젝트가 출현할 위치에 대한 정보 및 상기 가상의 위험 오브젝트의 이동 패턴 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 위험 오브젝트에 대한 정보를 획득하는 단계는,
    현재 시간 정보 및 상기 도로와 유사한 형태로 등록된 유사 도로에 대한 추가 정보 중 적어도 하나를 함께 이용하여 상기 위험 오브젝트에 대한 정보를 획득하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 운송 장치가 주행하는 도로에 위치한 교통 안내 장치로부터 상기 도로에 대한 교통 안내 정보를 획득하는 단계;를 더 포함하고,
    상기 위험 오브젝트에 대한 정보를 획득하는 단계는,
    상기 교통 안내 정보를 함께 이용하여 상기 위험 오브젝트에 대한 정보를 획득하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 전자 장치는,
    사용자의 운전 습관에 대한 히스토리 정보를 저장하며,
    상기 위험 오브젝트에 대한 정보를 획득하는 단계는,
    상기 히스토리 정보를 함께 이용하여 상기 위험 오브젝트에 대한 정보를 획득하는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 운송 장치에 구비된 스피커를 통해 상기 위험 오브젝트에 대한 정보를 출력하거나 상기 운송 장치에 구비된 디스플레이를 통해 상기 위험 오브젝트를 표시하는 것을 특징으로 하는 제어 방법.
  10. 제1항에 있어서,
    상기 위험 오브젝트에 대한 정보를 바탕으로 상기 운송 장치의 주행을 제어하는 단계;를 포함하는 제어 방법.
  11. 운송 장치에 구비된 전자 장치에 있어서,
    카메라;
    통신부;
    상기 카메라 및 상기 통신부와 전기적으로 연결된 프로세서; 및
    상기 프로세서에 전기적으로 연결된 메모리;를 포함하며,
    상기 프로세서는,
    상기 운송 장치의 경로 주변에 위치한 지역에서 발생한 교통 사고에 대한 정보를 포함하는 지역 정보를 획득하여 상기 메모리에 저장하며,
    상기 카메라를 통해 상기 운송 장치가 주행하는 도로를 촬영하여 전방 이미지, 상기 운송 장치가 주행하는 도로의 좌측 주변부와 우측 주변부를 촬영한 측면 이미지 및 상기 운송 장치가 지나온 도로를 촬영한 후방 이미지를 획득하고,
    상기 획득된 전방 이미지, 측면 이미지 및 후방 이미지에 포함된 적어도 하나의 오브젝트에 기초하여, 적어도 하나의 사각지대 정보를 포함하는 상기 운송 장치가 주행하는 도로에 대한 도로 정보 및 상기 운송 장치가 주행하는 도로의 주변부에 대한 주변부 정보를 획득하며,
    상기 지역 정보, 상기 도로 정보 및 상기 주변부 정보를 바탕으로 상기 적어도 하나의 사각지대로부터 상기 운송 장치가 주행하는 도로에 출현할 수 있는 상기 획득된 이미지에 포함된 오브젝트 전부와 상이한 가상의 위험 오브젝트의 유형 및 상기 가상의 위험 오브젝트의 출현 방향에 대한 정보를 획득하고,
    상기 가상의 위험 오브젝트의 유형 및 상기 가상의 위험 오브젝트의 출현 방향에 대응되는 이미지 인디케이터를 제공하고,,
    상기 가상의 위험 오브젝트에 대한 정보는,
    상기 가상의 위험 오브젝트가 도로에 출현할 확률에 기초하여 획득되는 것을 특징으로 하는 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    도로 정보를 추정하도록 학습된 인식 모델에 상기 이미지를 입력하여 상기 운송 장치가 주행하는 도로에 포함된 오브젝트의 배치 정보, 오브젝트의 이동 정보 및 상기 도로의 상태 정보 중 적어도 하나를 획득하는 것을 특징으로 하는 전자 장치.
  13. 제11항에 있어서,
    상기 지역 정보는,
    상기 지역의 인구 구성 정보, 상기 지역의 학교/학원에 대한 정보, 상기 지역의 야생 동물 출현 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  14. 제11항에 있어서,
    상기 가상의 위험 오브젝트에 대한 정보는,
    위험 오브젝트를 추정하도록 학습된 인식 모델에 상기 도로 정보 및 상기 지역 정보를 적용하여 획득된 정보인 것을 특징으로 하는 전자 장치.
  15. 제14항에 있어서,
    상기 가상의 위험 오브젝트에 대한 정보는,
    상기 가상의 위험 오브젝트에 대한 유형 정보, 상기 가상의 위험 오브젝트가 출현할 위치에 대한 정보 및 상기 가상의 위험 오브젝트의 이동 패턴 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  16. 제11항에 있어서,
    상기 프로세서는,
    현재 시간 정보 및 상기 도로와 유사한 형태로 등록된 유사 도로에 대한 추가 정보 중 적어도 하나를 함께 이용하여 상기 위험 오브젝트에 대한 정보를 획득하는 것을 특징으로 하는 전자 장치.
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 통신부를 통해 상기 운송 장치가 주행하는 도로에 위치한 교통 안내 장치로부터 상기 도로에 대한 교통 안내 정보를 수신하며,
    상기 교통 안내 정보를 함께 이용하여 상기 위험 오브젝트에 대한 정보를 획득하는 것을 특징으로 하는 전자 장치.
  18. 제11항에 있어서,
    상기 메모리는,
    사용자의 운전 습관에 대한 히스토리 정보를 저장하며,
    상기 프로세서는,
    상기 히스토리 정보를 함께 이용하여 상기 위험 오브젝트에 대한 정보를 획득하는 것을 특징으로 하는 전자 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 운송 장치에 구비된 스피커를 통해 상기 위험 오브젝트에 대한 정보를 출력하거나 상기 운송 장치에 구비된 디스플레이를 통해 상기 위험 오브젝트를 표시하도록 상기 운송 장치에 제어 명령을 출력하는 것을 특징으로 하는 전자 장치.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 위험 오브젝트에 대한 정보를 바탕으로 상기 운송 장치의 주행을 제어하기 위한 제어 명령을 상기 운송 장치에 출력하는 것을 특징으로 하는 전자 장치.
  21. 운송 장치에 구비된 전자 장치에 있어서,
    카메라;
    통신부;
    상기 카메라 및 상기 통신부와 전기적으로 연결된 프로세서; 및
    상기 프로세서에 전기적으로 연결되며, 상기 카메라에 의해 촬영된 이미지를 이용하여 도로 정보를 추정하기 위해 학습된 도로 정보 인식 모델 및 도로 정보와 지역 정보를 이용하여 가상의 위험 오브젝트를 추정하기 위해 학습된 위험 오브젝트 인식 모델을 저장하는 메모리;를 포함하며,
    상기 프로세서는,
    상기 운송 장치의 경로 주변에 위치한 지역에서 발생한 교통 사고에 대한 정보를 포함하는 지역 정보를 획득하여 상기 메모리에 저장하며,
    상기 카메라를 통해 상기 운송 장치가 주행하는 도로를 촬영하여 전방 이미지, 상기 운송 장치가 주행하는 도로의 좌측 주변부와 우측 주변부를 촬영한 측면 이미지 및 상기 운송 장치가 지나온 도로를 촬영한 후방 이미지를 획득하고,
    상기 획득된 전방 이미지, 측면 이미지 및 후방 이미지를 상기 도로 정보 인식 모델에 입력하여 적어도 하나의 사각지대 정보를 포함하는 상기 운송 장치가 주행하는 도로에 대한 도로 정보 및 상기 운송 장치가 주행하는 도로의 주변부에 대한 주변부 정보를 획득하며,
    상기 지역 정보, 상기 도로 정보 및 상기 주변부 정보를 상기 위험 오브젝트 인식 모델에 입력하여 상기 운송 장치가 주행하는 도로에 출현할 수 있는 상기 획득된 이미지에 포함된 오브젝트 전부와 상이한 가상의 위험 오브젝트의 유형 및 상기 가상의 위험 오브젝트의 출현 방향에 대한 정보를 획득하고,
    상기 가상의 위험 오브젝트의 유형 및 상기 가상의 위험 오브젝트의 출현 방향에 대응되는 이미지 인디케이터를 제공하고,상기 가상의 위험 오브젝트에 대한 정보는,
    상기 가상의 위험 오브젝트가 도로에 출현할 확률에 기초하여 획득되는, 전자 장치.
KR1020170120279A 2017-09-19 2017-09-19 운송 장치에 구비된 전자 장치 및 이의 제어 방법 KR102436962B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170120279A KR102436962B1 (ko) 2017-09-19 2017-09-19 운송 장치에 구비된 전자 장치 및 이의 제어 방법
US16/134,501 US11055544B2 (en) 2017-09-19 2018-09-18 Electronic device and control method thereof
PCT/KR2018/011015 WO2019059622A1 (en) 2017-09-19 2018-09-19 ELECTRONIC DEVICE AND CONTROL METHOD THEREOF

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170120279A KR102436962B1 (ko) 2017-09-19 2017-09-19 운송 장치에 구비된 전자 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190031951A KR20190031951A (ko) 2019-03-27
KR102436962B1 true KR102436962B1 (ko) 2022-08-29

Family

ID=65720383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170120279A KR102436962B1 (ko) 2017-09-19 2017-09-19 운송 장치에 구비된 전자 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US11055544B2 (ko)
KR (1) KR102436962B1 (ko)
WO (1) WO2019059622A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014107305A1 (de) * 2014-05-23 2015-11-26 Valeo Schalter Und Sensoren Gmbh Parkassistenzvorrichtung für ein Kraftfahrzeug
WO2019098124A1 (ja) * 2017-11-14 2019-05-23 パイオニア株式会社 危険箇所識別装置、地図データ、危険箇所識別方法及びプログラム
US10937310B2 (en) * 2017-12-29 2021-03-02 Intel IP Corporation Control device and method for controlling a vehicle
US10683004B2 (en) * 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US11038895B2 (en) 2018-09-28 2021-06-15 Intel Corporation Trust management mechanisms
JP7263733B2 (ja) * 2018-10-26 2023-04-25 トヨタ自動車株式会社 車両用障害物報知装置
CN109747657A (zh) * 2018-12-17 2019-05-14 北京百度网讯科技有限公司 自动驾驶汽车远程控制方法和装置
CN110366107A (zh) * 2019-07-09 2019-10-22 三星电子（中国）研发中心 车辆通信方法及使用该方法的装置
US20220348217A1 (en) * 2019-08-23 2022-11-03 Lg Electronics Inc. Electronic apparatus for vehicles and operation method thereof
KR102316309B1 (ko) * 2019-10-25 2021-10-22 주식회사 도넛 Ai 사진 분석 모듈을 포함하는 서버가 사진을 분석하는 방법
KR102311000B1 (ko) * 2020-03-03 2021-10-08 전북대학교산학협력단 야생동물 및 운전자 안전용 도로교통통합제어시스템
KR102426591B1 (ko) * 2020-03-11 2022-07-28 성균관대학교산학협력단 머신러닝 모델을 이용한 객체 인식 방법 및 시스템
CN113408320A (zh) * 2020-03-16 2021-09-17 上海博泰悦臻网络技术服务有限公司 用于车辆避撞的方法、电子设备和计算机存储介质
US11820403B2 (en) * 2020-03-30 2023-11-21 Wipro Limited Method and system of determining trajectory for an autonomous vehicle
KR102414307B1 (ko) * 2020-06-29 2022-06-29 (주)뉴빌리티 3d 맵의 변경 구역 업데이트 시스템 및 그 방법
KR102281891B1 (ko) * 2020-10-06 2021-07-23 전남대학교산학협력단 도로 결빙 현상 알림을 제공하는 차량 제어 시스템 및 그것의 제어방법
KR102429301B1 (ko) * 2020-11-24 2022-08-05 한밭대학교 산학협력단 블랙박스 및 사각지대 알림 시스템
KR20230105786A (ko) * 2022-01-05 2023-07-12 금오공과대학교 산학협력단 드론을 이용하여 야생동물 추적 및 도로진입을 차단할 수 있는 로드킬 방지 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152304A1 (ja) * 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
US20160061625A1 (en) * 2014-12-02 2016-03-03 Kevin Sunlin Wang Method and system for avoidance of accidents
WO2017030493A1 (en) * 2015-08-20 2017-02-23 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980029649A (ko) * 1996-10-26 1998-07-25 김광호 차량용 교통 안내 시스템의 위험 예지 방법
US8696464B2 (en) 2005-08-19 2014-04-15 Nintendo Co., Ltd. Enhanced method and apparatus for selecting and rendering performance data
KR101283965B1 (ko) 2010-12-23 2013-07-09 전자부품연구원 적응적 사고 검출 시스템 및 사고 검출 방법
US9401041B2 (en) 2011-10-26 2016-07-26 The Regents Of The University Of California Multi view synthesis method and display devices with spatial and inter-view consistency
US20140317560A1 (en) * 2012-01-05 2014-10-23 Mitsubishi Electric Corporation Map display control device and navigation device using the same
US9437002B2 (en) 2014-09-25 2016-09-06 Elwha Llc Systems and methods for a dual modality sensor system
JP6028766B2 (ja) 2014-05-20 2016-11-16 株式会社デンソー 運転支援表示装置
KR102239992B1 (ko) 2014-12-26 2021-04-14 주식회사 만도 차량 충돌 경고 방법 및 장치
KR101735080B1 (ko) 2014-12-29 2017-05-12 재단법인대구경북과학기술원 주행 구간 내 위험 정보 알람 시스템 및 방법
KR101661163B1 (ko) 2015-05-27 2016-09-29 일마일 주식회사 영상 분석을 통한 운전자 안전 운전 보조와 지도 ｄｂ의 실시간 갱신을 처리하기 위한 안전 운전 시스템
US10373378B2 (en) 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
KR20170040604A (ko) 2015-10-05 2017-04-13 자동차부품연구원 네비게이션 정보를 이용한 충돌 회피 장치 및 방법
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
KR101767507B1 (ko) 2016-02-17 2017-08-11 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
US20170294139A1 (en) * 2016-04-08 2017-10-12 Truemotion, Inc. Systems and methods for individualized driver prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152304A1 (ja) * 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
US20160061625A1 (en) * 2014-12-02 2016-03-03 Kevin Sunlin Wang Method and system for avoidance of accidents
WO2017030493A1 (en) * 2015-08-20 2017-02-23 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法

Also Published As

Publication number Publication date
US11055544B2 (en) 2021-07-06
US20190087668A1 (en) 2019-03-21
WO2019059622A1 (en) 2019-03-28
KR20190031951A (ko) 2019-03-27

Similar Documents

Publication Publication Date Title
KR102436962B1 (ko) 운송 장치에 구비된 전자 장치 및 이의 제어 방법
US11801861B2 (en) Using image augmentation with simulated objects for training machine learning models in autonomous driving applications
CN113056749B (zh) 用于自主机器应用的未来对象轨迹预测
JP7153071B2 (ja) 自律型車両のための歩行者行動予測
KR102070527B1 (ko) 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
US10745009B2 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
EP3441909B1 (en) Lane detection method and apparatus
CN114631117A (zh) 使用机器学习的用于自主机器应用的传感器融合
CN111587197A (zh) 利用驾驶模式识别来调节电动车辆的动力总成
JP2021513484A (ja) ブロッキング静止車両の検出
KR102471072B1 (ko) 전자 장치 및 그 동작 방법
US10336252B2 (en) Long term driving danger prediction system
CN111133448A (zh) 使用安全到达时间控制自动驾驶车辆
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
KR102458664B1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
US20220324490A1 (en) System and method for providing an rnn-based human trust model
US20230351807A1 (en) Data set generation and augmentation for machine learning models
JP2013242615A (ja) 運転シーン遷移予測装置および車両用推奨運転操作提示装置
US20210082283A1 (en) Systems and methods for providing future object localization
US20240001957A1 (en) Using image augmentation with simulated objects for training machine learning models in autonomous driving applications
CN116767245A (zh) 使用自主***和应用的神经网络的地图信息对象数据管理
CN115909237A (zh) 在自主机器应用程序中使用深度学习的能见度距离估计
CN114127810A (zh) 车辆自主级功能
US20210078608A1 (en) System and method for providing adaptive trust calibration in driving automation
EP3674972A1 (en) Methods and systems for generating training data for neural network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant