KR102360181B1 - 차량의 동작을 제어하는 전자 장치 및 방법 - Google Patents

차량의 동작을 제어하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102360181B1
KR102360181B1 KR1020170097814A KR20170097814A KR102360181B1 KR 102360181 B1 KR102360181 B1 KR 102360181B1 KR 1020170097814 A KR1020170097814 A KR 1020170097814A KR 20170097814 A KR20170097814 A KR 20170097814A KR 102360181 B1 KR102360181 B1 KR 102360181B1
Authority
KR
South Korea
Prior art keywords
notification message
frames
event
learning model
vehicle
Prior art date
Application number
KR1020170097814A
Other languages
English (en)
Other versions
KR20180125858A (ko
Inventor
반대현
장서우
박언규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/964,779 priority Critical patent/US10769453B2/en
Priority to PCT/KR2018/006982 priority patent/WO2019027141A1/en
Priority to CN201880050369.XA priority patent/CN110997415A/zh
Priority to EP18842256.2A priority patent/EP3634812A4/en
Publication of KR20180125858A publication Critical patent/KR20180125858A/ko
Application granted granted Critical
Publication of KR102360181B1 publication Critical patent/KR102360181B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량에 설치된 카메라로부터 복수의 프레임들을 포함하는 비디오 시퀀스를 획득하는 단계; 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출하는 단계; 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득하는 단계; 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계; 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성하는 단계; 및 생성된 알림 메시지를 출력하는 단계를 포함하며, 객체를 검출하는 단계, 위치 정보들을 획득하는 단계, 이벤트가 발생하였는지를 결정하는 단계, 및 알림 메시지를 생성하는 단계는 복수의 학습 모델들을 이용하여 수행되는 것인, 차량의 동작을 제어하는 방법이 개시된다.

Description

차량의 동작을 제어하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING OPERATION OF VEHICLE}
본 개시는 차량의 동작을 제어하는 전자 장치 및 방법에 관한 것으로서, 보다 상세하게는, 복수의 프레임들 내의 객체의 위치에 따라, 차량의 주행에 관련된 이벤트의 발생을 알리는 알림 메시지를 제공하는 전자 장치 및 방법에 관한 것이다.
멀티 미디어 기술 및 네트워크 기술이 발전함에 따라, 사용자는 전자 장치를 이용하여 다양한 서비스를 제공받을 수 있게 되었다. 차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 주행에 관련된 이벤트가 발생하였는지를 인식하는 다양한 방법들이 개발되고 있다.
한편, 빠르고 정확한 인지기능을 필요로 하는 자율주행 기술분야에서는 제한된 데이터의 양으로 보다 정확하게 차량의 주행에 관련된 이벤트가 발생하였는지를 판단하여, 사용자에게 알림 메시지를 제공하는 기술에 대한 수요가 증가하고 있다.
일 실시예는, 복수의 학습 모델들을 이용하여 복수의 프레임들 내의 객체의 위치에 따라 차량의 주행에 관련된 이벤트의 발생을 알리는 알림 메시지를 제공하는 전자 장치 및 방법을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은 적어도 하나의 프로그램이 저장되는 메모리; 상대 전자 장치로부터의 통화 요청을 수신하는 통신부; 및 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로그램은, 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계; 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출하는 단계; 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득하는 단계; 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계; 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성하는 단계; 및 생성된 알림 메시지를 출력하는 단계:를 실행하는 명령어들을 포함하며, 객체를 검출하는 단계, 위치 정보들을 획득하는 단계, 이벤트가 발생하였는지를 결정하는 단계, 및 알림 메시지를 생성하는 단계는 복수의 학습 모델들을 이용하여 수행되는 것인, 전자 장치를 제공할 수 있다.
또한, 본 개시의 제 2 측면은, 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계; 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출하는 단계; 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득하는 단계; 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계; 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성하는 단계; 및 생성된 알림 메시지를 출력하는 단계:를 포함하며, 객체를 검출하는 단계, 위치 정보들을 획득하는 단계, 이벤트가 발생하였는지를 결정하는 단계, 및 알림 메시지를 생성하는 단계는 복수의 학습 모델들을 이용하여 수행되는 것인, 차량의 동작을 제어하는 방법을 제공할 수 있다.
또한, 본 개시의 제 3 측면은, 제 2 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 일 실시예에 따른 전자 장치가 차량의 동작을 제어하는 예시를 나타내는 도면이다.
도 2는 일 실시예에 따른, 전자 장치가 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른, 전자 장치가 학습 모델을 이용하여 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 학습 모델을 이용하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.
도 5는 일 실시예에 따른, 알림 메시지의 내용이 어떻게 결정되는 지를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.
도 7은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.
도 8 및 도 9는 일부 실시예에 따른 전자 장치를 나타내는 블록도이다.
도 10은 일 실시예에 따른 제어부를 나타내는 블록도이다.
도 11은 일 실시예에 따른 데이터 학습부를 나타내는 블록도이다.
도 12는 일 실시예에 따른 데이터 인식부를 나타내는 블록도이다.
도 13은 일 실시예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 전자 장치(1000)가 차량의 동작을 제어하는 예시를 나타내는 도면이다.
도 1을 참조하면, 전자 장치(1000)는 차량에 설치된 장치일 수 있으며, 전자 장치(1000)는 차량에 설치된 카메라로부터 비디오 시퀀스를 수신하여, 다양한 이벤트의 발생을 알리는 알림 메시지를 사용자에게 제공할 수 있다.
앞서, 전자 장치(1000)는 차량에 설치된 카메라로부터 비디오 시퀀스를 수신한다고 설명했는데 이에 제한되지 않으며, 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 차량의 주변은, 예를 들어, 차량의 전방, 측방, 후방을 포함할 수 있다.
일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 따라 다른 내용을 포함하는 알림 메시지를 제공할 수 있다. 예를 들어, 이벤트의 종류 및 주행의 위험도에 기초하여, 단순히 이벤트를 알리는 것보다 이벤트에 대응하는 행동 지침을 제공하는 것이 좋다고 판단되면, 이벤트 및 이벤트에 대응하는 행동 지침을 포함하는 내용의 알림 메시지를 사용자에게 제공할 수 있다. 예를 들어, 이벤트에 대응하는 행동 지침은 주행의 위험도를 감소시키기 위한 방법을 포함할 수 있다.
일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여 차량에 설치된 모듈의 동작을 제어하는 것이 좋다고 판단되면, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 예를 들어, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 출력함과 동시에 차량에 설치된 모듈의 동작을 제어하도록 할 수 있다. 또는, 전자 장치(1000)는 알림 메시지를 출력한 이후 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 또는, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지는 출력하지 않고, 차량에 설치된 모듈의 동작을 제어하도록 할 수 있다.
전자 장치(1000)는, 차량 내의 헤드유닛, 임베디드 보드, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 차량, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 전자 장치(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 전자 장치일 수 있다. 그러나, 이에 제한되지 않으며, 전자 장치(1000)는 카메라로부터 이미지(예를 들어, 동영상(video) 및 정지 영상(still image))를 획득하고, 획득된 이미지에 기초하여 사용자에게 알림 메시지를 제공할 수 있는 모든 종류의 기기를 포함할 수 있다.
일 실시예에서, 전자 장치(1000)는 차량에 설치된 모듈로서, 차량의 동작을 제어할 수 있으며, 소정의 네트워크를 통하여 차량에 설치된 다른 모듈과 통신할 수 있다.
일 실시예에서, 전자 장치(1000)는 스마트폰과 같은 차량과 별개의 장치일 수 있으며, 이 경우 전자 장치(1000)는 전자 장치(1000)의 카메라로부터 이용하여 비디오 시퀀스를 획득할 수 있으며, 소정의 네트워크를 통하여 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 차량에 포함된 모듈과 통신할 수 있다. 예를 들어, 전자 장치(1000)는 전자 장치(100)의 카메라를 이용하여 비디오 시퀀스를 획득할 수 있으며, 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 또한, 전자 장치(1000)는 차량과 별개의 장치인 경우, 차량의 동작을 제어하기 위해, 차량에 설치된 모듈과 통신할 수 있다.
차량(vehicle)은, 통신 기능, 데이터 프로세싱 기능, 및 운송 기능을 구비한 자동차, 버스, 트럭, 기차, 자전거, 오토바이 등의 교통 수단일 수 있다.
또한, 전자 장치(1000)는 비디오 시퀀스를 수신하고, 알림 메시지를 전송하고, 다른 전자 장치(미도시)의 동작을 제어하기 위한 명령을 전송하기 위하여, 소정의 네트워크를 통하여 서버(2000) 및 다른 전자 장치(미도시)와 통신할 수 있다. 이 경우, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
도 2는 일 실시예에 따른, 전자 장치(1000)가 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.
동작 S210에서 전자 장치(1000)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 소정의 네트워크를 통하여 차량에 설치된 카메라와 통신함으로써, 비디오 시퀀스를 수신할 수 있다. 예를 들어, 비디오 시퀀스는 차량의 블랙박스(blackbox) 영상일 수 있고, 또는 차량의 스테레오 카메라로부터 수신한 영상일 수 있다. 일 실시예에서, 전자 장치(1000)는 카메라를 구비하여, 전자 장치(1000)에 포함된 카메라로부터 비디오 시퀀스를 획득할 수도 있다.
비디오 시퀀스는 일련의 정지 영상(still image)들로 구성될 수 있다. 정지 영상들 각각은 픽처(picture) 또는 프레임(frame)을 의미할 수 있다.
동작 S220에서 전자 장치(1000)는 비디오 시퀀스에 포함된 복수의 프레임들로부터 복수의 프레임 내에 포함된 객체를 검출할 수 있다. 일 실시예에서, 전자 장치(1000)는 비디오 시퀀스에 포함된 하나의 프레임으로부터 하나 이상의 객체를 검출할 수 있다. 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서도 검출될 수 있다. 또는, 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서는 검출되지 않을 수 있다. 예를 들어, 제1 프레임에서는 차도, 인도, 제1 자동차, 제2 자동차, 제3 자동차, 교통 표지판이 검출되었는데, 제1 프레임과 동일한 비디오 시퀀스 내의 제2 프레임에서는 차도, 인도, 제1 자동차, 제3 자동차만이 검출되고, 제2 자동차 및 교통 표지판이 검출되지 않을 수 있다. 또한, 제2 프레임에서는 제1 프레임에서 검출되지 않았던 오토바이가 검출될 수 있다.
일 실시예에서, 전자 장치(1000)는 객체의 종류(type)를 판단할 수 있다.
객체의 종류는, 차도(road), 인도(sidewalk), 빌딩(building), 벽(wall), 울타리(fence), 기둥(pole), 신호등(traffic light), 교통 표지판(traffic sign), 식물(vegetation), 지형(terrain), 하늘(sky), 사람(person), 운전자(rider), 자동차(car), 트럭(truck), 버스(bus), 기차(train), 오토바이(motorcycle), 및 자전거(bicycle) 등일 수 있다.
예를 들어, 전자 장치(1000)는 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다. 또한, 전자 장치(1000)는 복수의 객체들 중 일부의 종류가 동일하더라도, 동일한 종류의 객체들을 구별할 수 있다. 예를 들어, 하나의 프레임에서 3개의 자동차가 검출되었다면, 전자 장치(1000)는 3개의 자동차를 각각 제1 자동차, 제2 자동차, 및 제3 자동차로 구별할 수 있다.
일 실시예에서, 전자 장치(1000)는 프레임 내에 포함된 객체를 검출하기 위해, 제1 학습 모델을 이용할 수 있다. 비디오 시퀀스로부터 획득된 프레임들이 제1 학습 모델에 입력되면, 프레임들로부터 검출된 객체에 관한 정보가 제1 학습 모델로부터 출력될 수 있다. 제1 학습 모델을 이용하여 객체를 검출하는 동작에 대해서는 도 3에서 후술하기로 한다.
동작 S230에서 전자 장치(1000)는 비디오 시퀀스에 포함된 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득할 수 있다.
일 실시예에서, 전자 장치(1000)는 객체의 위치 정보들을 획득하기 위해, 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단할 수 있다. 예를 들어, 전자 장치(1000)는 하나의 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 예를 들어, 전자 장치(1000)는 다른 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 또한, 예를 들어, 전자 장치(1000)는 하나의 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 예를 들어, 전자 장치(1000)는 다른 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 따라서, 전자 장치(1000)는 복수의 프레임들 각각에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다.
일 실시예에서, 전자 장치(1000)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 픽셀들 중에서, 객체를 나타내는 픽셀들을 결정할 수 있다. 예를 들어, 하나의 프레임이 복수의 객체들을 포함하는 경우, 전자 장치(1000)는 복수의 객체들 각각을 나타내는 픽셀들을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 임의의 픽셀이 검출된 객체들 중 어떤 객체를 나타내는지를 결정할 수 있다.
전자 장치(1000)가 객체의 위치 정보들을 바운딩 박스(bounding box)가 아닌 픽셀 단위로 정교하게 획득하는 방식은 정확한 인지기능을 필요로 하는 기술 분야에 적용될 수 있다. 예를 들어, 전자 장치(1000)는 객체의 위치 정보들을 픽셀 단위로 획득함으로써, 객체의 시계열적 위치 변화를 분석하여, 빠르고 정확한 인지기능이 요구되는 자율주행 기술에 이용할 수 있다.
일 실시예에서, 전자 장치(1000)는 객체의 위치 정보들을 획득하기 위해, 제1 학습 모델을 이용할 수 있다. 제1 학습 모델에 복수의 프레임들을 입력하면, 픽셀 정보가 출력될 수 있다. 픽셀 정보는, 프레임을 구성하는 픽셀들이 각각 어떤 객체들을 나타내는지에 관한 정보일 수 있다. 앞서, 동작 S220 및 동작 S230을 별개의 동작으로 설명하였지만, 이에 제한되지 않는다. 예를 들어, 제1 학습 모델에 복수의 프레임들을 입력하면, 프레임들로부터 검출된 객체에 관한 정보 및 픽셀 정보가 함께 출력될 수 있다. 또는, 예를 들어, 픽셀 정보만이 출력될 수 있다. 제1 학습 모델을 이용하여 객체의 위치 정보들을 획득하는 동작에 대해서는 도 3에서 후술하기로 한다.
동작 S240에서 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다.
일 실시예예서, 전자 장치(1000)는 비디오 시퀀스의 재생 순서(display order)에 따라, 이전 프레임에서 다음 프레임으로의 객체의 위치 변화를 분석할 수 있다. 예를 들어, 전자 장치(1000)는 재생 순서가 앞인 제1 프레임에 포함된 객체의 위치 정보와 재생 순서가 뒤인 제2 프레임에 포함된 동일한 객체의 위치 정보를 비교함으로써, 객체의 위치 변화를 분석할 수 있다. 예를 들어, 전자 장치(1000)는 시간의 흐름에 따라, 복수의 객체들 각각의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다. 따라서, 전자 장치(1000)가 ROI(Region of Interest)에 관한 바운딩 박스(bounding box)를 트래킹(tracking)하는 것이 아닌, 픽셀 단위로 결정된 복수의 객체들의 위치들의 변화를 복합적으로 인식함으로써, 보다 정확하게 이벤트의 발생 여부를 결정할 수 있다. 예를 들어, 제1 자동차 및 제2 자동차가 전방에 멈추어 있고, 제3 자동차, 제4 자동차, 및 제5 자동차가 연속하여 차선을 오른쪽으로 변경하면, 전자 장치(1000)는 전방에 사고 차량들이 있다는 이벤트가 발생하였음을 결정할 수 있다. 또한, 전방에 사고 차량들이 있으므로, 오른쪽으로 차선을 변경하는 것이 좋다는 이벤트에 대응하는 행동 지침이 결정될 수 있다.
일 실시예에서, 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 이벤트의 종류(type)를 결정할 수 있다.
차량의 주행에 관련된 이벤트의 종류는, 교통 신호가 변경됨, 사고가 예상됨, 도로 상황이 변경됨, 및 지형이 변경됨 등을 포함할 수 있으나, 이에 제한되지 않는다. 교통 신호가 변경되는 예시로는, 신호등이 녹색에서 빨간색으로 변경되거나, 빨간색에서 녹색으로 변경되는 것이 있을 수 있다. 사고가 예상되는 예시로는, 앞 차량 및/또는 뒤 차량과의 안전거리 미확보, 예상치 못한 인물의 등장 등이 있을 수 있다. 도로 상황이 변경되는 예시로는, 전방에 사고 차량이 있어 길이 막힌다는 것이 있을 수 있다. 지형이 변경되는 예시로는, 전방에 구불구불한 길이 있다거나, 전방에 언덕이 있다는 것 등이 있을 수 있다.
일 실시예에서, 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 주행의 위험도를 결정할 수 있다.
예를 들어, 주행의 위험도는 수치로 표현될 수 있으며, 수치가 높을수록 위험도가 높음을 의미할 수 있다. 예를 들어, 위험도는 1 이상 100 이하의 정수로 나타내어질 수 있으며, 전자 장치(1000)는 위험도가 임계값 이상인 경우에는 알림 메시지에 주행의 위험도를 포함하도록 설정되어 있을 수 있다. 또한, 예를 들어, 주행의 위험도는 상, 중 및 하로 나타내어질 수도 있다.
일 실시예에서, 전자 장치(1000)는 이벤트가 발생하였는지를 결정하기 위해, 제2 학습 모델을 이용할 수 있다. 제2 학습 모델에 제1 학습모델에서 출력된 픽셀 정보를 입력하면, 이벤트의 발생 여부가 출력될 수 있다. 제2 학습 모델을 이용하여 이벤트가 발생하였는지를 결정하는 동작에 대해서는 도 3에서 후술하기로 한다.
동작 S260에서 전자 장치(1000)는 이벤트의 발생의 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다.
일 실시예에서, 객체의 종류, 객체의 시계열적 위치들의 변화 및 이벤트의 발생 여부 등에 따라 상이한 알림 메시지가 생성될 수 있다.
동작 S250에서 이벤트가 발생되었다고 결정하면, 동작 S260에서, 전자 장치(1000)는 이벤트를 알리는 알림 메시지를 생성할 수 있다. 또한, 동작 S250에서 이벤트가 발생되지 않았다고 결정하면, 동작 S260에서, 전자 장치(1000)는 이벤트를 알리는 알림 메시지를 생성하지 않을 수 있다. 일 실시예에서, 전자 장치(1000)가 이벤트를 알리는 알림 메시지를 생성하지 않기로 결정한 경우, 전자 장치(1000)는 알림 메시지를 아예 생성하지 않을 수도 있고, 또는 이벤트를 알리는 내용을 포함하지 않는 기 설정된 알림 메시지를 생성할 수도 있다. 예를 들어, 전자 장치(1000)는 현재 온도, 차량의 rpm 값, 차량의 전진 방향, 교통 상황, 및 주행의 위험도 중 적어도 하나를 포함하는 알림 메시지를 생성할 수 있다. 일 실시예에서, 이벤트를 알리는 내용을 포함하지 않는 알림 메시지는 전자 장치(1000)에서 기본(default) 값으로 설정 되어있을 수 있다.
일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 생성할 수 있다. 전자 장치가 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지의 내용이 어떻게 결정되는 지에 대해서는 도 5에서 후술하기로 한다.
일 실시예에 따른 알림 메시지는 텍스트 메시지 또는 음성 메시지로 생성될 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 텍스트 형태로 생성된 메시지를 TSS(Text to Speech) 변환함으로써 음성 형태의 알림 메시지를 획득할 수 있다.
제2 학습 모델에 제1 학습모델에서 출력된 픽셀 정보를 입력하면, 알림 메시지가 출력될 수 있다. 동작 S250 및 동작 S260을 별개의 동작으로 설명하였지만, 이에 제한되지 않는다. 예를 들어, 제1 학습 모델에 픽셀 정보를 입력하면, 이벤트의 발생 여부 및 알림 메시지가 함께 출력될 수 있다. 또는, 예를 들어, 알림 메시지만이 출력될 수 있다. 제2 학습 모델을 이용하여 알림 메시지를 생성하는 동작에 대해서는 도 3에서 후술하기로 한다.
일 실시예에서, 객체를 검출하는 동작, 객체의 위치 정보들을 획득하는 동작, 이벤트가 발생하였는지를 결정하는 동작, 및 알림 메시지를 생성하는 동작은 복수의 학습 모델들을 이용하여 수행될 수 있다.
동작 S270에서 전자 장치(1000)는 생성된 알림 메시지를 출력할 수 있다.
일 실시예에서, 알림 메시지는 소리(sound), 텍스트(text), 이미지(image), 및/또는 진동(vibration) 형태로 출력될 수 있다.
일 실시예에서, 전자 장치(1000)는 알림 메시지를 차량의 HUD(Head up display) 또는 대시보드(Dashboard)에 디스플레이할 수 있다.
일 실시예에서, 전자 장치(1000)는 알림 메시지가 음성 형태인 경우, 차량의 스피커를 통해 출력할 수 있다. 예를 들어, 전자 장치(1000)는 음성 형태의 알림 메시지를 출력하도록 차량의 스피커를 제어하는 명령을 차량의 스피커에 전송할 수 있다.
일 실시예에서, 이벤트의 종류 및 주행의 위험도에 따라, 차량에 설치된 모듈의 동작을 제어하기 위한 명령이 해당 모듈에게 전송될 수 있다. 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여 차량에 설치된 모듈의 동작을 제어하는 것이 좋다고 판단되면, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 예를 들어, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 출력함과 동시에 차량에 설치된 모듈의 동작을 제어하도록 할 수 있다. 또는, 전자 장치(1000)는 알림 메시지를 출력한 이후 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 또는, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지는 출력하지 않고, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
일 실시예에 따른 사용자 입력은, 스텝 온(step on) 입력, 스티어링(steering) 입력, 음성 입력, 키 입력, 터치 입력, 벤딩 입력, 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 스텝 온(step on) 입력은, 사용자가 차량의 브레이크(brake)를 제어하기 위해 브레이크를 밟는 입력을 의미할 수 있다. 스티어링(steering) 입력은, 사용자가 차량의 스티어링 휠(steering wheel)을 제어하기 위해 스티어링 휠을 회전시키는 입력을 의미할 수 있다.
도 3은 일 실시예에 따른, 전자 장치(1000)가 학습 모델을 이용하여 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.
동작 S310에서 전자 장치(1000)는 제1 학습 모델에 입력하기 위해, 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용할 수 있다.
제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 객체의 종류(type)를 판단하는 기준 및 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성될 수 있다.
일 실시예에서, 전자 장치(1000)는 RGB 채널로 이루어진 프레임을 Lab(Luminance-Chromatic) 채널로 변환할 수 있다. 변환된 Lab 채널의 L 값은 영상의 휘도(Luminance) 값으로, 색 정보를 제외한 영상의 밝기를 나타내는 값이다. 전자 장치(1000)는 제1 학습 모델에 입력하기 전에, 비디오 시퀀스에 포함된 복수의 프레임들에게 복수의 프레임들의 L 값을 평탄화하기 위한 중간 값 필터(median filter)를 적용하는 전처리를 수행할 수 있다. 전처리를 수행함으로써, 어두울 때나 비가 올 때에도 보다 용이하게 객체가 검출될 수 있고, 복수의 객체들이 서로 구별될 수 있다.
동작 S320에서 전자 장치(1000)는 제1 학습 모델을 이용하여, 복수의 프레임들 내에 포함된 객체의 종류를 판단할 수 있다.
예를 들어, 전자 장치(1000)는 제1 학습 모델을 이용하여, 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다. 예를 들어, 제1 학습 모델에 하나의 프레임을 입력하면, 하나의 프레임에 포함된 객체의 종류에 따라 다른 값이 출력될 수 있다. 예를 들어, 제1 학습 모델에는 하늘은 12, 식물은 10, 차도는 4, 인도는 3, 자동차는 6, 사람은 8 등으로 설정되어 있을 수 있다. 예를 들어, 입력 프레임에 식물, 차도, 자동차, 사람이 포함되어 있으면, 제1 학습 모델의 출력에는 4, 6, 8, 및 10이 포함될 수 있다. 따라서, 제1 학습 모델을 이용하여, 프레임 내에 어떠한 객체가 포함되어 있는지를 검출할 수 있다. 또한, 예를 들어, 프레임을 제1 학습 모델에 입력하면, 객체의 종류에 대응하는 값은 출력되지 않고, 프레임을 구성하는 픽셀들이 각각 어떤 객체들을 나타내는지에 관한 픽셀 정보가 출력될 수 있다. 픽셀 정보는 객체의 종류에 대응하는 값이 객체의 프레임 내 위치에 매칭되는 매트릭스(matrix) 일 수 있다.
동작 S330에서 전자 장치(1000)는 제1 학습 모델을 이용하여, 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단할 수 있다.
일 실시예에서, 전자 장치(1000)는 제1 학습 모델을 이용하여, 객체의 종류뿐만 아니라, 객체의 프레임 내 위치들을 판단할 수 있다. 예를 들어, 전자 장치(1000)는 제1 학습 모델을 이용하여, 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 픽셀들이 어떤 객체를 나타내는지를 결정할 수 있으므로, 제1 학습 모델에 프레임을 입력하면, 객체의 종류에 대응하는 값이 객체의 프레임 내 위치에 매칭되는 매트릭스가 출력될 수 있다. 픽셀 단위로 객체의 위치들을 결정하므로, 예를 들어, 프레임의 크기가 512 x 256이면, 매트릭스의 크기도 512 x 256일 수 있다. 즉, 프레임의 입력에 대한 제1 학습 모델의 출력으로 객체의 종류 정보 및 객체의 위치 정보들을 포함하는 매트릭스(matrix)를 획득할 수 있다.
동작 S340에서 전자 장치(1000)는 제2 학습 모델에 입력하기 위해, 제1 학습 모델의 출력의 차원(dimension)을 감소시킬 수 있다.
제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성되는 것일 수 있다.
일 실시예에서, 제1 학습 모델의 출력은 제2 학습 모델의 입력으로 이용될 수 있다. 다른 실시예에서, 전자 장치(1000)는 이벤트가 발생하였는지를 결정하고 알림 메시지를 생성하기 위한 제2 학습 모델의 연산량을 감소시키기 위해, 제1 학습 모델에서 출력된 매트릭스의 차원을 감소시킨 매트릭스를 제2 학습 모델의 입력으로 이용할 수 있다. 예를 들어, 매트릭스의 차원을 감소시키기 위해, 확장 컨볼루션(dilated convolution)을 이용할 수 있다.
또한, 일 실시예에서, 제1 학습 모델의 연산량을 감소시키기 위해, 전자 장치(1000)는 제1 학습 모델에 포함된 레이어의 출력에 1x1 컨볼루션 필터링을 수행하여, 제1 학습 모델에 포함된 레이어들 간에 차원(dimension)을 매칭(matching)시킬 수 있다.
동작 S350에서 전자 장치(1000)는 제2 학습 모델을 이용하여, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다.
일 실시예에서, 제1 자동차 및 제2 자동차가 전방에 멈추어 있고, 제3 자동차, 제4 자동차, 및 제5 자동차가 연속하여 차선을 오른쪽으로 변경하면, 전자 장치(1000)는 전방에 사고 차량들이 있다는 이벤트가 발생하였음을 결정할 수 있다. 또한, 전방에 사고 차량들이 있으므로, 오른쪽으로 차선을 변경하는 것이 좋다는, 이벤트에 대응하는 행동 지침을 결정할 수 있다.
앞서 살펴본 바와 같이, 전자 장치(1000)는 제1 학습 모델을 이용하여, 적은 연산량으로 화면 전체의 객체의 종류 정보 및 객체의 위치 정보들을 획득할 수 있으므로, 객체를 트래킹(tracking)하는 방식에서와 같이, ROI(Region of Interest)를 설정하지 않고도 빠르고 정확하게 객체의 위치들의 시계열적 변화를 분석할 수 있다.
따라서, 전자 장치(1000)는 제2 학습 모델을 이용하여, 차량의 주행에 관련된 이벤트 이외에도 객체의 시계열적 위치 변화를 분석함으로써 탐지할 수 있는 이벤트의 발생을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제2 학습 모델을 이용하여, 영화의 재생 중에 실시간으로 자막을 생성할 수 있다.
동작 S360에서 전자 장치(1000)는 제2 학습 모델을 이용하여, 알림 메시지를 생성할 수 있다.
일 실시예에서, 제1 학습 모델의 출력을 연산량을 감소시키도록 처리하여 제2 학습 모델에 입력하면, 알림 메시지가 출력될 수 있다. 또는, 이벤트에 대응하는 제어 동작이 출력되거나, 알림 메시지와 함께 이벤트에 대응하는 제어 동작이 출력될 수 있다.
일 실시예에서, 제2 학습 모델을 이용하여 생성되는 알림 메시지는, 이벤트의 종류 및 주행의 위험도에 따라 상이할 수 있다. 예를 들어, 이벤트의 종류 및 주행의 위험도에 따라 알림 메시지에 포함된 내용이 상이할 수 있다. 예를 들어, 알림 메시지에 포함된 내용은, 이벤트를 알리는 내용, 이벤트에 대응하는 행동 지침, 경보음 등이 있을 수 있다. 예를 들어, 전방에 사고 차량들이 있는 경우, 전자 장치(1000)는 이벤트를 알리는 내용 및 이벤트에 대응하는 행동 지침을 포함하여, "전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오."라는 알림 메시지를 생성할 수 있다.
알림 메시지에 포함된 내용에 대해서는 도 5를 참조하여 후술하기로 한다.
도 4는 일 실시예에 따른 학습 모델을 이용하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.
CNN(Convolutional Neural Network)은 이미지 데이터의 클래스(class)를 분류하기 위해, 뒷 부분의 레이어에 완전 연결 레이어(fully connected layer)를 포함하는데, 완전 연결 레이어를 통과하면, 입력된 이미지에 포함된 객체의 위치 정보가 사라지게 되는 문제가 있다. 이러한 문제점을 개선하기 위해, FCN(Fully Convolutional Network)는 CNN의 완전 연결 레이어를 1x1 컨볼루션으로 간주하여, 위치 정보를 유지할 수 있게 하였다.
일 실시예에서, 전자 장치(1000)는 명도를 평탄화하는 전처리를 수행한 비디오 시퀀스(410)를 제1 학습 모델에 입력할 수 있다. 제1 학습 모델은 FCN을 이용하기 때문에, 전자 장치(1000)는 제1 학습 모델에 비디오 시퀀스(410)를 입력하면, 객체의 종류 정보 및 객체의 위치 정보들을 포함하는 일련의 매트릭스가 출력될 수 있다. 일 실시예에 따라, 제1 학습 모델에 입력하기 위해 전처리가 수행된 비디오 시퀀스(410)는 재생 순서대로 제1 학습 모델에 입력될 수 있다. 제1 학습 모델에서 출력되는 매트릭스의 출력 순서는, 제1 학습 모델에 입력된 비디오 시퀀스의 입력 순서와 동일할 수 있다.
제1 학습 모델에서 출력된 일련의 매트릭스를 이미지화하면, 비디오 시퀀스(410)에 포함된 객체의 종류 별로 다른 색으로 표현된 비디오 시퀀스(420)가 획득될 수 있다. 비디오 시퀀스(420)를 픽셀 단위로 분할한 비디오 시퀀스(430)에서 확장 컨볼루션을 수행하면, 제1 학습 모델에서 출력된 매트릭스의 차원을 감소시킨 매트릭스(440)를 획득할 수 있다. 확장 컨볼루션은, 비디오 시퀀스(430)에 포함된 픽셀들 중 일부 픽셀만을 이용하여 컨볼루션을 수행하는 방식이다. 예를 들어, 하나 이상의 픽셀 단위로 건너뛰고 컨볼루션을 수행함으로써, RF(receptive field)의 크기를 확장시켜 매트릭스의 차원 및 연산량을 감소시킬 수 있다.
일 실시예에서, 매트릭스(440)를 제2 학습 모델에 입력하면, 알림 메시지(460)가 출력될 수 있다. 제2 학습 모델은, RNN을 이용한 것인데, 서로 다른 시간 구간에서 노드들 간에 재귀적(recurrent)인 연결이 있는 신경망을 RNN(Recurrent Neural Network)이라고 한다. 일 실시예에 따른 RNN은, 순차적 데이터(sequential data)를 인식할 수 있다. 순차적 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 필적 데이터(handwriting data) 등과 같이 시간성 내지 순서를 가지는 데이터이다. 예를 들어, RNN의 인식 모델은 입력된 영상 데이터가 어떠한 패턴에 따라 변화하는지를 인식할 수 있다.
학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 지도 학습(supervised learning)을 통해 RNN을 학습시킬 수 있다. 예를 들어, RNN은 델타 규칙(delta rule)과 오류 역전파 학습(backpropagation learning) 등을 통해 뉴런들 사이의 연결 가중치를 업데이트할 수 있다.
RNN은 LSTM(long short-term memory) 네트워크(450)를 포함하는 구조일 수 있다. LSTM 네트워크(450)는 장기 의존성(long-term dependency) 학습을 할 수 있는 RNN의 한 종류이다. LSTM 네트워크(450)를 포함하지 않는 RNN은 이전 정보를 현재 작업으로 연결할 수 있으나, 시간적으로 멀리 떨어진 이전 작업의 정보를 현재 작업으로 연결시키기는 어렵다는 단점이 있다. LSTM 네트워크(450)는 이러한 장기 의존성 문제를 피하도록 설계된 구조일 수 있다. LSTM 네트워크(450)는 입력 데이터에서 시간에 따라 변화하는 상대적 변화량을 특징 값으로 추출할 수 있어, 시계열적인 객체의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다.
제2 학습 모델은 LSTM 네트워크(450)를 포함하는 RNN을 이용하기 때문에, 이전 시간 스텝, 현재 시간 스텝, 및 다음 시간 스텝 모두에 대한 구조를 학습에 이용하고, 현재 단계의 정보는 다음 단계에 전달되어 출력 값에 영향을 줄 수 있다.
일 실시예에 따라, 제1 학습 모델의 출력의 차원을 감소시킨 매트릭스(440)는 제1 학습 모델에서 출력된 순서대로 제2 학습 모델에 입력될 수 있다. 제2 학습 모델은 이벤트의 발생 여부, 이벤트의 종류 및 주행의 위험도 등을 고려하여, 알림 메시지를 생성할 수 있다.
설명의 편의를 위해, 제1 학습 모델과 제2 학습 모델을 나누어서 설명하였으나, 제1 학습 모델 및 제2 학습 모델 그 기능 및 역할에 따라, 복수의 학습 모델들로 존재할 수 있고, 하나의 학습 모델로 통합되어 존재할 수 있다.
도 5는 일 실시예에 따른, 알림 메시지의 내용이 어떻게 결정되는 지를 설명하기 위한 도면이다.
도 5를 참조하면, 테이블(500)은 이벤트의 종류 및 주행 위험도에 따라, 알림 메시지의 내용이 어떻게 결정되는 지를 나타낸다. 일 실시예에 따른 테이블(500)은 일례에 불과할 뿐이며, 복수의 학습 모델들은 계속하여 업데이트될 수 있다. 따라서, 복수의 학습 모델들에의 입력 값에 따른 출력 값은 계속하여 갱신될 수 있다. 전자 장치(1000)는 제2 학습 모델을 이용함으로써 이벤트의 종류 및 주행의 위험도에 따라 상이한 알림 메시지가 출력되도록 할 수 있다. 도 5에 도시된 바와 같이, 예를 들어, 이벤트의 종류가 앞 차량과의 안전거리 미확보로 인해 사고가 예상되는 것이고, 주행 위험도가 상이면, 전자 장치(1000)는 알림 메시지에 경보음과 함께 이벤트에 대응하는 행동 지침인 “지금 즉시 브레이크를 밟으십시오.”라는 내용을 포함하는 알림 메시지를 생성할 수 있다. 또한, 일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행 위험도에 기초하여, 행동 지침을 수행하기 위한 사용자 입력이 수신될 수 있는 시간을 결정할 수 있다. 예를 들어, 사용자 입력이 수신될 수 있는 시간은 주행의 위험도에 기초하여 결정될 수 있다. 또한, 예를 들어, 어떤 데이터를 이용하여 사용자 입력이 수신될 수 있는 시간을 판단할 지는 기 설정된 기준에 따른 학습에 기초하여 설정되고 변경될 수 있다. 예를 들어, 주행의 위험도가 상이라고 결정된 경우, 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
예를 들어, 이벤트의 종류가 전방에 구불구불한 길이 있는 지형으로 변경되는 것이고, 주행 위험도가 중이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “전방에 구불구불한 길이 있으니 주의하십시오.”라는 알림 메시지를 생성할 수 있다.
예를 들어, 이벤트의 종류가 전방에 사고 차량이 있으므로 도로 상황이 변경되었다는 것이고, 주행 위험도가 하이면, 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오.”라는 알림 메시지를 생성할 수 있다.
예를 들어, 이벤트의 종류가 신호등이 녹색에서 빨간색으로 변경되었으므로 교통 신호에 변화가 있다는 것이고, 주행 위험도가 상이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “교통 신호가 변경되었으니, 멈춰주시기 바랍니다.”라는 알림 메시지를 생성할 수 있다.
예를 들어, 이벤트의 종류가 신호등이 빨간색에서 녹색으로 변경되었으므로 교통 신호에 변화가 있다는 것이고, 주행 위험도가 하이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “교통 신호가 변경되었으니, 출발해 주시기 바랍니다.”라는 알림 메시지를 생성할 수 있다.
도 6은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.
일 실시예에서, 전자 장치(1000)는 알림 메시지를 차량의 HUD(Head up display) 에 디스플레이할 수 있다.
예를 들어, 전자 장치(1000)가 앞 차량(610)과의 안전거리 미확보로 인해 사고가 예상되는 이벤트가 발생하였고, 주행 위험도(630)가 35라고 결정하면, 전자 장치(1000)는 주행 위험도(630) 및 안전거리 확보를 위한 가상 이미지(620)를 포함하는 알림 메시지를 차량의 HUD에 디스플레이하도록 제어할 수 있다. 또한, 경보음과 함께 이벤트에 대응하는 행동 지침인 “지금 즉시 브레이크를 밟으십시오.”라는 내용을 포함하는 알림 메시지를 음성 형태로 출력할 수 있다. 또한, 예를 들어, 알림 메시지를 출력한 이후 기 설정된 시간 내에 브레이크를 밟는 스텝 온(step on) 입력이 사용자로부터 수신되지 않으면, 전자 장치(1000)가 브레이크의 동작을 제어하기 위한 명령을 브레이크에게 전송할 수 있다. 예를 들어, 기 설정된 시간은 학습에 의해 설정될 수 있으며, 위험도(630)에 따라 상이할 수 있다. 예를 들어, 위험도(630)가 높을수록 기 설정된 시간 간격이 적도록 설정될 수 있다. 예를 들어, 앞 차량(610)과 사용자의 차량 간의 거리가 너무 짧아서, 당장 브레이크를 밟지 않으면 사고가 예상되는 경우에는, 알림 메시지가 출력됨과 동시에 브레이크의 동작을 제어하기 위한 명령이 브레이크에게 전송될 수 있다.
도 7은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.
일 실시예에서, 전자 장치(1000)는 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
예를 들어, 전자 장치(1000)가 전방의 사고 차량들로 인해 해당 차선으로 주행할 수 없다는 도로 상황 변경에 관한 이벤트가 발생하였다고 결정하면, 전자 장치(1000)는 이벤트를 알리는 내용을 포함하지 않는 기 설정된 알림 메시지를 차량의 HUD에 디스플레이하도록 제어할 수 있다. 예를 들어, 전자 장치(1000)는 현재 온도, 차량의 rpm 값, 차량의 전진 방향, 교통 상황, 및 주행의 위험도 중 적어도 하나를 포함하는 알림 메시지를 HUD에 디스플레이할 수 있다. 또한, “전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오.” 알림 메시지를 음성 형태로 출력할 수 있다. 또한, 예를 들어, 음성 형태의 알림 메시지를 출력한 이후 기 설정된 시간 내에 스티어링 휠(710)을 회전시키는 스티어링 입력이 사용자로부터 수신되지 않으면, 스티어링 휠(710)을 회전시키기 위한 명령이 스티어링 휠에게 전송될 수 있다. 따라서, 전자 장치(1000)가 스티어링 휠(710)을 조정하도록 사용자를 유도하거나, 조정하도록 하는 명령을 스티어링 휠(710)에게 전송함으로써, 자율적으로 주행 경로를 조정할 수 있다.
도 8 및 도 9는 일부 실시예에 따른 전자 장치(1000)를 나타내는 블록도이다.
도 8에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700)를 포함할 수 있다. 그러나, 도 8에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 8에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 8에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
예를 들어, 도 9에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 제어부(1300), 통신부(1500), 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 및 A/V 입력부(1600)를 더 포함할 수도 있다.
예를 들어, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700)를 차량용 보드일 수 있고, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 및 A/V 입력부(1600) 중 적어도 하나를 더 포함하는 차량일 수 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 차량에 설치된 모듈의 동작을 제어하는 사용자 입력하기 위한 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다. 일 실시예에서, 출력부(1200)는 오디오, 비디오, 및/또는 진동 형태로 알림 메시지를 출력할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 차량의 HUD(Head up display)에 알림 메시지를 디스플레이할 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 예를 들어, 음향 출력부(1220)는 이벤트가 발생하였음을 알리기 위한 경보음을 출력할 수 있다.
제어부(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 또한, 제어부(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 13에 기재된 전자 장치(1000)의 기능을 수행할 수 있다. 제어부(1300)는 적어도 하나의 프로세서를 구비할 수 있다. 제어부(1300)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 제어부(1300)는 메모리(1700)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에서, 제어부(1300)는 통신부(1500)를 통하여 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득할 수 있다. 일 실시예에서, 제어부(1300)는 통신부(1500)를 통하여 이벤트의 종류 및 주행의 위험도에 기초하여, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
일 실시예에서, 제어부(1300)는 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득할 수 있다. 제어부(1300)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 이벤트의 종류 및 주행의 위험도를 결정할 수 있다. 일 실시예에서, 제어부(1300)는 이벤트가 발생하였는지의 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다. 일 실시예에서, 제어부(1300)는 이벤트의 종류 및 주행의 위험도에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다. 일 실시예에서, 제어부(1300)는 생성된 알림 메시지를 출력부(1200)를 통하여 출력하도록 제어할 수 있다. 일 실시예에서, 제어부(1300)는 생성된 알림 메시지를 디스플레이부(1210)를 통하여 디스플레이하도록 제어할 수 있다. 일 실시예에서, 제어부(1300)는 객체의 검출 및 객체의 위치 정보 획득과 이벤트의 발생 여부 결정 및 알림 메시지의 생성은 상이한 학습 모델을 이용하여 수행할 수 있다.
일 실시예에서 제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 객체의 종류(type)를 판단하는 기준 및 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성될 수 있으며, 제어부(1300)는 제1 학습 모델을 이용하여 객체의 종류를 판단할 수 있고, 객체의 복수의 프레임들 내 위치들을 판단할 수 있다.
일 실시예에서 제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성될 수 있으며, 제어부(1300)는 제2 학습 모델을 이용하여 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있고, 알림 메시지의 내용을 결정할 수 있다.
일 실시예에서 제어부(1300)는, 제1 학습 모델에 입력하기 위해, 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용할 수 있고, 제2 학습 모델에 입력하기 위해, 제1 학습 모델의 출력의 차원을 감소시킬 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태, 사용자의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(RGB sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 전자 장치(1000)가 다른 전자 장치(미도시) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 전자 장치(미도시)는 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 다른 전자 장치는, 전자 장치(1000)와 같이 차량에 포함된 모듈일 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
일 실시예에서, 통신부(1500)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 수신할 수 있다. 일 실시예에서, 통신부(1500)는 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 예를 들어, 카메라(1610)에 의해 촬영된 이미지는 이벤트가 발생하였는지를 결정하기 위한 정보로 활용될 수 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 전자 장치 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(1730)은 이벤트의 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 10은 일 실시예에 따른 프로세서(1300)를 나타내는 블록도이다.
도 10을 참조하면, 일 실시예에 따른 프로세서(1300)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.
데이터 학습부(1310)는 픽셀 정보를 획득하고, 알림 메시지를 생성하기 위한 기준을 학습할 수 있다. 데이터 학습부(1310)는 픽셀 정보를 획득하고, 알림 메시지를 생성하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 어떻게 픽셀 정보를 획득하고, 어떻게 알림 메시지를 생성할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 픽셀 정보를 획득하고, 알림 메시지를 생성하기 위한 기준을 학습할 수 있다.
도 1 내지 도 9에서는, 객체를 검출, 객체의 위치 정보들을 획득, 객체의 종류를 판단, 객체의 위치를 판단, 이벤트가 발생하였는지를 결정, 이벤트의 종류를 결정, 주행의 위험도를 결정, 알림 메시지를 생성, 알림 메시지의 내용을 결정하기 위한 동작 등이 각각의 동작으로 수행되는 것으로 설명되었지만, 이에 제한되지 않는다. 객체를 검출, 객체의 위치 정보들을 획득, 객체의 종류를 판단, 객체의 위치를 판단, 이벤트가 발생하였는지를 결정, 이벤트의 종류를 결정, 주행의 위험도를 결정, 알림 메시지를 생성, 알림 메시지의 내용을 결정하기 위한 동작의 수행 중 적어도 둘 이상이, 기 설정된 기준에 따른 학습에 기초하여 수행될 수 있다.
데이터 인식부(1320)는 데이터에 기초하여 픽셀 정보를 획득하고, 알림 메시지를 생성할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 픽셀 정보를 및 알림 메시지를 인식할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초하여 픽셀 정보를 어떻게 획득하고 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.
한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 11는 일 실시예에 따른 데이터 학습부(1310)를 나타내는 블록도이다.
도 11를 참조하면, 일부 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.
데이터 획득부(1310-1)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단에 필요한 데이터를 획득할 수 있다. 데이터 획득부(1310-1)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습을 위하여 필요한 데이터를 획득할 수 있다.
예를 들어, 데이터 획득부(1310-1)는 음성 데이터, 영상 데이터, 텍스트 데이터 또는 생체 신호 데이터 등을 획득할 수 있다. 일 예로, 데이터 획득부(1310-1)는 전자 장치(1000)의 입력 기기(예: 마이크로폰, 카메라 또는 센서 등)를 통해 데이터를 입력 받을 수 있다. 또는, 데이터 획득부(1310-1)는 전자 장치(1000)와 통신하는 다른 전자 장치를 통해 데이터를 획득할 수 있다. 또는, 데이터 획득부(1310-1)는 전자 장치(1000)와 통신하는 서버를 통해 데이터를 획득할 수 있다.
예를 들어, 데이터 획득부(1310-1)는 차량에 설치된 카메라로부터 비디오 시퀀스를 수신할 수 있다. 또한, 예를 들어, 데이터 획득부(1310-1)는 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수 있다. 또한, 예를 들어, 데이터 획득부(1310-1)는 전자 장치(1000)에 구비된 카메라로부터 비디오 시퀀스를 획득할 수 있다.
전처리부(1310-2)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(1310-2)는 비디오 시퀀스에 포함된 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용하는 전처리를 수행할 수 있다.
학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(1310-4)는 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.
또한, 모델 학습부(1310-4)는 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 차량의 블랙박스 영상 등)을 입력 받아 미리 구축된 모델일 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), FCN(Fully Convolutional Network) BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(1310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.
또한, 모델 학습부(1310-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도 없이 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지에 대한 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 전자 장치(1000)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 전자 장치(1000)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 전자 장치(1000)와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치(1000)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 애플리케이션 프로그래밍 인터페이스(API) 및/또는 애플리케이션 프로그램(또는 "애플리케이션") 등을 포함할 수 있다.
모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.
한편, 데이터 학습부(1310) 내의 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 12은 일 실시예에 따른 데이터 인식부(1320)의 블록도이다.
도 12을 참조하면, 일 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.
데이터 획득부(1320-1)는 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지의 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에게 제공될 수 있다. 인식 데이터 선택부(1320-3)는 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.
모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 13는 일 실시예에 따른 전자 장치(1000) 및 서버(2000)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.
도 13를 참조하면, 서버(2000)는 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 위한 기준을 학습할 수 있다. 전자 장치(1000)는 서버(2000)에 의한 학습 결과에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다.
이 경우, 서버(2000)의 모델 학습부(2340)는 도 11에 도시된 데이터 학습부(1310)의 기능을 수행할 수 있다. 서버(2000)의 모델 학습부(2340)는 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단하기 위하여 어떤 데이터를 이용할 지, 소정의 데이터를 이용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단을 위한 기준을 학습할 수 있다.
또한, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 의해 생성된 데이터 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에게 전송하고, 서버(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단해 줄 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버(2000)에 의해 판단된 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지에 관한 정보를 서버(2000)로부터 수신할 수 있다.
또는, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 생성된 인식 모델을 서버(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 이 경우, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)로부터 수신된 데이터 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 차량의 동작을 제어하는 전자 장치에 있어서,
    적어도 하나의 프로그램이 저장되는 메모리;
    상기 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로그램은,
    상기 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계;
    상기 복수의 프레임들로부터 상기 복수의 프레임들 내에 포함된 객체를 검출하는 단계;
    상기 복수의 프레임들 각각에 대한 상기 객체의 위치 정보들을 획득하는 단계;
    상기 복수의 프레임들 내의 상기 객체의 위치들의 시계열적 변화를 분석함으로써, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계;
    상기 결정에 기초하여, 상기 이벤트를 알리는 알림 메시지를 생성하는 단계; 및
    상기 생성된 알림 메시지를 출력하는 단계;
    를 실행하는 명령어들을 포함하며,
    상기 객체를 검출하는 단계 및 상기 위치 정보들을 획득하는 단계는 제1 학습 모델을 이용하여 수행되고, 상기 이벤트가 발생하였는지를 결정하는 단계 및 상기 알림 메시지를 생성하는 단계는 제2 학습 모델을 이용하여 수행되는, 전자 장치.
  2. 제 1 항에 있어서,
    상기 제1 학습 모델에서 출력되는 상기 객체의 위치 정보들이 상기 제2 학습 모델에 입력되는, 전자 장치.
  3. 제 1 항에 있어서,
    상기 이벤트가 발생하였는지를 결정하는 단계는,
    상기 이벤트의 종류를 결정하는 단계; 및
    상기 주행의 위험도를 결정하는 단계;
    를 포함하고,
    상기 알림 메시지를 생성하는 단계는,
    상기 이벤트의 종류 및 상기 주행의 위험도에 기초하여, 상기 알림 메시지를 생성하는 단계를 포함하는, 전자 장치.
  4. 제 3 항에 있어서,
    상기 이벤트의 종류 및 상기 주행의 위험도에 따라, 상기 차량에 설치된 모듈의 동작을 제어하기 위한 명령이 상기 모듈에게 전송되는 것인, 전자 장치.
  5. 제 1 항에 있어서,
    상기 알림 메시지를 출력하는 단계는,
    상기 알림 메시지를 상기 차량의 HUD(Head up display)에 디스플레이하는 단계를 포함하는, 전자 장치.
  6. 제 1 항에 있어서,
    상기 객체의 위치 정보들을 획득하는 단계는,
    상기 객체의 위치들을 상기 복수의 프레임으로부터 픽셀(pixel) 단위로 결정하는 단계를 포함하는, 전자 장치.
  7. 제 1 항에 있어서,
    상기 제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 상기 객체의 종류(type)를 판단하는 기준 및 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성되며,
    상기 객체를 검출하는 단계는, 상기 제1 학습 모델을 이용하여 상기 객체의 종류를 판단하는 것이고,
    상기 객체의 위치 정보들을 획득하는 단계는, 상기 제1 학습 모델을 이용하여 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 것인, 전자 장치.
  8. 제 1항에 있어서,
    상기 제2 학습 모델의 입력은, 상기 제1 학습 모델의 출력의 차원(dimension)을 감소시킨 것인, 전자 장치.
  9. 제 1 항에 있어서,
    상기 제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 상기 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성되며,
    상기 이벤트가 발생하였는지를 결정하는 단계는, 상기 제2 학습 모델을 이용하여 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하며,
    상기 알림 메시지를 생성하는 단계는, 상기 제2 학습 모델을 이용하여, 상기 알림 메시지의 내용을 결정하는 것인, 전자 장치.
  10. 제 1 항에 있어서,
    상기 적어도 하나의 프로그램은,
    상기 제1 학습 모델에 입력하기 위해, 상기 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 상기 복수의 프레임들에게 적용하는 단계를 실행하는 명령어들을 더 포함하는, 전자 장치.
  11. 차량의 동작을 제어하는 방법에 있어서,
    상기 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계;
    상기 복수의 프레임들로부터 상기 복수의 프레임들 내에 포함된 객체를 검출하는 단계;
    상기 복수의 프레임들 각각에 대한 상기 객체의 위치 정보들을 획득하는 단계;
    상기 복수의 프레임들 내의 상기 객체의 위치들의 시계열적 변화를 분석함으로써, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계;
    상기 결정에 기초하여, 상기 이벤트를 알리는 알림 메시지를 생성하는 단계; 및
    상기 생성된 알림 메시지를 출력하는 단계;
    를 포함하며,
    상기 객체를 검출하는 단계 및 상기 위치 정보들을 획득하는 단계는 제1 학습 모델을 이용하여 수행되고, 상기 이벤트가 발생하였는지를 결정하는 단계 및 상기 알림 메시지를 생성하는 단계는 제2 학습 모델을 이용하여 수행되는, 방법.
  12. 제 11 항에 있어서,
    상기 제1 학습 모델에서 출력되는 상기 객체의 위치 정보들이 상기 제2 학습 모델에 입력되는, 방법.
  13. 제 11 항에 있어서,
    상기 이벤트가 발생하였는지를 결정하는 단계는,
    상기 이벤트의 종류를 결정하는 단계; 및
    상기 주행의 위험도를 결정하는 단계;
    를 포함하고,
    상기 알림 메시지를 생성하는 단계는,
    상기 이벤트의 종류 및 상기 주행의 위험도에 기초하여, 상기 알림 메시지를 생성하는 단계를 포함하는, 방법.
  14. 제 13 항에 있어서,
    상기 이벤트의 종류 및 상기 주행의 위험도에 따라, 상기 차량에 설치된 모듈의 동작을 제어하기 위한 명령이 상기 모듈에게 전송되는 것인, 방법.
  15. 제 11 항에 있어서,
    상기 객체의 위치 정보들을 획득하는 단계는,
    상기 객체의 위치들을 상기 복수의 프레임으로부터 픽셀(pixel) 단위로 결정하는 단계를 포함하는, 방법.
  16. 제 11 항에 있어서,
    상기 제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 상기 객체의 종류(type)를 판단하는 기준 및 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성되며,
    상기 객체를 검출하는 단계는, 상기 제1 학습 모델을 이용하여 상기 객체의 종류를 판단하는 것이고,
    상기 객체의 위치 정보들을 획득하는 단계는, 상기 제1 학습 모델을 이용하여 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 것인, 방법.
  17. 제 11항에 있어서,
    상기 제2 학습 모델의 입력은, 상기 제1 학습 모델의 출력의 차원(dimension)을 감소시킨 것인, 방법.
  18. 제 11 항에 있어서,
    상기 제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 상기 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성되며,
    상기 이벤트가 발생하였는지를 결정하는 단계는, 상기 제2 학습 모델을 이용하여 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하며,
    상기 알림 메시지를 생성하는 단계는, 상기 제2 학습 모델을 이용하여, 상기 알림 메시지의 내용을 결정하는 것인, 방법.
  19. 제 11 항에 있어서,
    상기 제1 학습 모델에 입력하기 위해, 상기 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 상기 복수의 프레임들에게 적용하는 단계를 더 포함하는, 방법.
  20. 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170097814A 2017-05-16 2017-08-01 차량의 동작을 제어하는 전자 장치 및 방법 KR102360181B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/964,779 US10769453B2 (en) 2017-05-16 2018-04-27 Electronic device and method of controlling operation of vehicle
PCT/KR2018/006982 WO2019027141A1 (en) 2017-05-16 2018-06-20 ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
CN201880050369.XA CN110997415A (zh) 2017-08-01 2018-06-20 控制车辆的操作的电子设备和方法
EP18842256.2A EP3634812A4 (en) 2017-05-16 2018-06-20 ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762506732P 2017-05-16 2017-05-16
US62/506,732 2017-05-16

Publications (2)

Publication Number Publication Date
KR20180125858A KR20180125858A (ko) 2018-11-26
KR102360181B1 true KR102360181B1 (ko) 2022-02-08

Family

ID=80252442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170097814A KR102360181B1 (ko) 2017-05-16 2017-08-01 차량의 동작을 제어하는 전자 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102360181B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595787B1 (ko) 2018-02-27 2023-11-24 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2020154973A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
US11372404B2 (en) * 2019-02-22 2022-06-28 Qualcomm Incorporated Systems and methods for adaptive model processing
US20220348217A1 (en) * 2019-08-23 2022-11-03 Lg Electronics Inc. Electronic apparatus for vehicles and operation method thereof
KR102246706B1 (ko) * 2020-03-16 2021-04-30 포티투닷 주식회사 자율 주행 장치 및 이상 도로 상황에서 자율 주행 장치 운용 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281093A1 (en) 2009-06-30 2012-11-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US20130250113A1 (en) 2010-02-26 2013-09-26 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20150169627A1 (en) 2012-12-05 2015-06-18 Google Inc. Geotagged hashtags

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344683B1 (en) * 2012-11-28 2016-05-17 Lytx, Inc. Capturing driving risk based on vehicle state and automatic detection of a state of a location
US9681270B2 (en) * 2014-06-20 2017-06-13 Opentv, Inc. Device localization based on a learning model
KR102164635B1 (ko) * 2014-12-12 2020-10-12 현대자동차주식회사 차량의 자율 주행을 위한 전자 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281093A1 (en) 2009-06-30 2012-11-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US20130250113A1 (en) 2010-02-26 2013-09-26 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20150169627A1 (en) 2012-12-05 2015-06-18 Google Inc. Geotagged hashtags

Also Published As

Publication number Publication date
KR20180125858A (ko) 2018-11-26

Similar Documents

Publication Publication Date Title
KR102060662B1 (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
US10803323B2 (en) Electronic device and method of detecting driving event of vehicle
US10769453B2 (en) Electronic device and method of controlling operation of vehicle
KR102360181B1 (ko) 차량의 동작을 제어하는 전자 장치 및 방법
KR102428920B1 (ko) 전자 장치 및 그 동작 방법
KR102480416B1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
KR102298541B1 (ko) 이미지 데이터에서 사용자를 인식하는 인공 지능 장치 및 그 방법
US11138453B2 (en) Driving guide method and apparatus for vehicle
US11592825B2 (en) Electronic device and operation method therefor
CN111465960A (zh) 图像获取装置及控制图像获取装置的方法
KR20180051367A (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11931906B2 (en) Mobile robot device and method for providing service to user
KR20210030466A (ko) 이미지 획득 장치 및 그의 제어 방법
US11328396B2 (en) Image acquisition device and method of controlling the same
KR102420567B1 (ko) 음성 인식 장치 및 방법
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
KR102458664B1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
KR20200028168A (ko) 컨볼루셔널 뉴럴 네트워크를 이용하는 컴퓨팅 장치 및 그 동작 방법
JP2023036778A (ja) 映像処理装置及びその方法
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
EP3879449A1 (en) Electronic device for recognizing object in image, and operation method thereof
KR20200084428A (ko) 동영상을 제작하는 방법 및 그에 따른 장치
CN110997415A (zh) 控制车辆的操作的电子设备和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant