KR102360181B1 - Electronic device and method for controlling operation of vehicle - Google Patents

Electronic device and method for controlling operation of vehicle Download PDF

Info

Publication number
KR102360181B1
KR102360181B1 KR1020170097814A KR20170097814A KR102360181B1 KR 102360181 B1 KR102360181 B1 KR 102360181B1 KR 1020170097814 A KR1020170097814 A KR 1020170097814A KR 20170097814 A KR20170097814 A KR 20170097814A KR 102360181 B1 KR102360181 B1 KR 102360181B1
Authority
KR
South Korea
Prior art keywords
notification message
frames
event
learning model
vehicle
Prior art date
Application number
KR1020170097814A
Other languages
Korean (ko)
Other versions
KR20180125858A (en
Inventor
반대현
장서우
박언규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/964,779 priority Critical patent/US10769453B2/en
Priority to PCT/KR2018/006982 priority patent/WO2019027141A1/en
Priority to EP18842256.2A priority patent/EP3634812A4/en
Priority to CN201880050369.XA priority patent/CN110997415A/en
Publication of KR20180125858A publication Critical patent/KR20180125858A/en
Application granted granted Critical
Publication of KR102360181B1 publication Critical patent/KR102360181B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량에 설치된 카메라로부터 복수의 프레임들을 포함하는 비디오 시퀀스를 획득하는 단계; 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출하는 단계; 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득하는 단계; 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계; 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성하는 단계; 및 생성된 알림 메시지를 출력하는 단계를 포함하며, 객체를 검출하는 단계, 위치 정보들을 획득하는 단계, 이벤트가 발생하였는지를 결정하는 단계, 및 알림 메시지를 생성하는 단계는 복수의 학습 모델들을 이용하여 수행되는 것인, 차량의 동작을 제어하는 방법이 개시된다.obtaining a video sequence including a plurality of frames from a camera installed in the vehicle; detecting an object included in the plurality of frames from the plurality of frames; obtaining location information of an object for each of a plurality of frames; determining whether an event related to driving of a vehicle has occurred by analyzing time-series changes of positions of objects in a plurality of frames; based on the determination, generating a notification message informing of the event; and outputting the generated notification message, wherein detecting the object, obtaining location information, determining whether an event has occurred, and generating the notification message are performed using a plurality of learning models A method for controlling the operation of a vehicle is disclosed.

Description

차량의 동작을 제어하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING OPERATION OF VEHICLE}ELECTRONIC DEVICE AND METHOD FOR CONTROLLING OPERATION OF VEHICLE

본 개시는 차량의 동작을 제어하는 전자 장치 및 방법에 관한 것으로서, 보다 상세하게는, 복수의 프레임들 내의 객체의 위치에 따라, 차량의 주행에 관련된 이벤트의 발생을 알리는 알림 메시지를 제공하는 전자 장치 및 방법에 관한 것이다.The present disclosure relates to an electronic device and method for controlling an operation of a vehicle, and more particularly, to an electronic device that provides a notification message for notifying occurrence of an event related to driving of a vehicle according to a location of an object in a plurality of frames and methods.

멀티 미디어 기술 및 네트워크 기술이 발전함에 따라, 사용자는 전자 장치를 이용하여 다양한 서비스를 제공받을 수 있게 되었다. 차량(vehicle)에 적용되는 기술들이 발전함에 따라, 차량의 주행에 관련된 이벤트가 발생하였는지를 인식하는 다양한 방법들이 개발되고 있다.As multimedia technology and network technology develop, users can receive various services using electronic devices. As technologies applied to vehicles develop, various methods for recognizing whether an event related to driving of a vehicle has occurred have been developed.

한편, 빠르고 정확한 인지기능을 필요로 하는 자율주행 기술분야에서는 제한된 데이터의 양으로 보다 정확하게 차량의 주행에 관련된 이벤트가 발생하였는지를 판단하여, 사용자에게 알림 메시지를 제공하는 기술에 대한 수요가 증가하고 있다.On the other hand, in the field of autonomous driving technology that requires a fast and accurate cognitive function, the demand for a technology that provides a notification message to a user by determining whether an event related to vehicle driving has occurred more accurately with a limited amount of data is increasing.

일 실시예는, 복수의 학습 모델들을 이용하여 복수의 프레임들 내의 객체의 위치에 따라 차량의 주행에 관련된 이벤트의 발생을 알리는 알림 메시지를 제공하는 전자 장치 및 방법을 제공하고자 한다.SUMMARY One embodiment is to provide an electronic device and method for providing a notification message for notifying occurrence of an event related to driving of a vehicle according to the location of an object in a plurality of frames using a plurality of learning models.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은 적어도 하나의 프로그램이 저장되는 메모리; 상대 전자 장치로부터의 통화 요청을 수신하는 통신부; 및 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로그램은, 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계; 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출하는 단계; 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득하는 단계; 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계; 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성하는 단계; 및 생성된 알림 메시지를 출력하는 단계:를 실행하는 명령어들을 포함하며, 객체를 검출하는 단계, 위치 정보들을 획득하는 단계, 이벤트가 발생하였는지를 결정하는 단계, 및 알림 메시지를 생성하는 단계는 복수의 학습 모델들을 이용하여 수행되는 것인, 전자 장치를 제공할 수 있다.As a technical means for achieving the above technical problem, a first aspect of the present disclosure is a memory in which at least one program is stored; a communication unit for receiving a call request from a counterpart electronic device; and at least one processor configured to provide a notification message by executing at least one program, the at least one program comprising: acquiring a video sequence including a plurality of frames from a camera installed in the vehicle; detecting an object included in the plurality of frames from the plurality of frames; obtaining location information of an object for each of a plurality of frames; determining whether an event related to driving of the vehicle has occurred by analyzing a time-series change of the position of the object in the plurality of frames; based on the determination, generating a notification message informing of the event; and outputting the generated notification message: including instructions for executing: detecting an object, obtaining location information, determining whether an event has occurred, and generating a notification message includes a plurality of learning It is possible to provide an electronic device, which is performed using the models.

또한, 본 개시의 제 2 측면은, 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계; 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출하는 단계; 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득하는 단계; 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계; 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성하는 단계; 및 생성된 알림 메시지를 출력하는 단계:를 포함하며, 객체를 검출하는 단계, 위치 정보들을 획득하는 단계, 이벤트가 발생하였는지를 결정하는 단계, 및 알림 메시지를 생성하는 단계는 복수의 학습 모델들을 이용하여 수행되는 것인, 차량의 동작을 제어하는 방법을 제공할 수 있다.In addition, a second aspect of the present disclosure includes: obtaining a video sequence including a plurality of frames from a camera installed in a vehicle; detecting an object included in the plurality of frames from the plurality of frames; obtaining location information of an object for each of a plurality of frames; determining whether an event related to driving of the vehicle has occurred by analyzing a time-series change of the position of the object in the plurality of frames; based on the determination, generating a notification message informing of the event; and outputting the generated notification message, wherein the detecting an object, obtaining location information, determining whether an event has occurred, and generating the notification message are performed using a plurality of learning models. may provide a method of controlling the operation of a vehicle, which is performed.

또한, 본 개시의 제 3 측면은, 제 2 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.In addition, a third aspect of the present disclosure may provide a computer-readable recording medium in which a program for executing the method of the second aspect is recorded on a computer.

도 1은 일 실시예에 따른 전자 장치가 차량의 동작을 제어하는 예시를 나타내는 도면이다.
도 2는 일 실시예에 따른, 전자 장치가 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른, 전자 장치가 학습 모델을 이용하여 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 학습 모델을 이용하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.
도 5는 일 실시예에 따른, 알림 메시지의 내용이 어떻게 결정되는 지를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.
도 7은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.
도 8 및 도 9는 일부 실시예에 따른 전자 장치를 나타내는 블록도이다.
도 10은 일 실시예에 따른 제어부를 나타내는 블록도이다.
도 11은 일 실시예에 따른 데이터 학습부를 나타내는 블록도이다.
도 12는 일 실시예에 따른 데이터 인식부를 나타내는 블록도이다.
도 13은 일 실시예에 따른 전자 장치 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.1 is a diagram illustrating an example in which an electronic device controls an operation of a vehicle according to an exemplary embodiment.
2 is a flowchart illustrating a method for an electronic device to provide a notification message to a user, according to an embodiment.
3 is a flowchart illustrating a method in which an electronic device provides a notification message to a user by using a learning model, according to an exemplary embodiment.
4 is a diagram illustrating an example of generating a notification message using a learning model according to an embodiment.
5 is a diagram for explaining how content of a notification message is determined, according to an embodiment.
6 is a diagram illustrating an example of outputting a notification message, according to an embodiment.
7 is a diagram illustrating an example of outputting a notification message, according to an embodiment.
8 and 9 are block diagrams illustrating an electronic device according to some exemplary embodiments.
10 is a block diagram illustrating a control unit according to an exemplary embodiment.
11 is a block diagram illustrating a data learning unit according to an exemplary embodiment.
12 is a block diagram illustrating a data recognition unit according to an exemplary embodiment.
13 is a diagram illustrating an example of learning and recognizing data by interworking with an electronic device and a server according to an embodiment.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 전자 장치(1000)가 차량의 동작을 제어하는 예시를 나타내는 도면이다.1 is a diagram illustrating an example in which an electronic device 1000 controls an operation of a vehicle according to an exemplary embodiment.

도 1을 참조하면, 전자 장치(1000)는 차량에 설치된 장치일 수 있으며, 전자 장치(1000)는 차량에 설치된 카메라로부터 비디오 시퀀스를 수신하여, 다양한 이벤트의 발생을 알리는 알림 메시지를 사용자에게 제공할 수 있다. Referring to FIG. 1 , the electronic device 1000 may be a device installed in a vehicle, and the electronic device 1000 may receive a video sequence from a camera installed in the vehicle and provide a user with a notification message notifying the occurrence of various events. can

앞서, 전자 장치(1000)는 차량에 설치된 카메라로부터 비디오 시퀀스를 수신한다고 설명했는데 이에 제한되지 않으며, 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 차량의 주변은, 예를 들어, 차량의 전방, 측방, 후방을 포함할 수 있다.Previously, it has been described that the electronic device 1000 receives a video sequence from a camera installed in a vehicle, but the present invention is not limited thereto. The electronic device 1000 may also receive a video sequence from a camera capable of photographing the surroundings of the vehicle. The perimeter of the vehicle may include, for example, the front, sides, and rear of the vehicle.

일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 따라 다른 내용을 포함하는 알림 메시지를 제공할 수 있다. 예를 들어, 이벤트의 종류 및 주행의 위험도에 기초하여, 단순히 이벤트를 알리는 것보다 이벤트에 대응하는 행동 지침을 제공하는 것이 좋다고 판단되면, 이벤트 및 이벤트에 대응하는 행동 지침을 포함하는 내용의 알림 메시지를 사용자에게 제공할 수 있다. 예를 들어, 이벤트에 대응하는 행동 지침은 주행의 위험도를 감소시키기 위한 방법을 포함할 수 있다.According to an embodiment, the electronic device 1000 may provide a notification message including different contents according to the type of event and the degree of risk of driving. For example, if it is determined that it is better to provide action instructions in response to the event rather than simply notifying the event based on the type of event and the risk of driving, a notification message containing the event and action instructions in response to the event can be provided to users. For example, the action instruction corresponding to the event may include a method for reducing the risk of driving.

일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여 차량에 설치된 모듈의 동작을 제어하는 것이 좋다고 판단되면, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 예를 들어, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 출력함과 동시에 차량에 설치된 모듈의 동작을 제어하도록 할 수 있다. 또는, 전자 장치(1000)는 알림 메시지를 출력한 이후 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 또는, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지는 출력하지 않고, 차량에 설치된 모듈의 동작을 제어하도록 할 수 있다.In an embodiment, if it is determined that it is desirable to control the operation of the module installed in the vehicle based on the type of event and the degree of risk of driving, the electronic device 1000 may transmit a command for controlling the operation of the module installed in the vehicle installed in the vehicle. can be sent to the module. For example, the electronic device 1000 may output a notification message and simultaneously control the operation of a module installed in the vehicle, based on the type of event and the driving risk. Alternatively, if the electronic device 1000 does not receive a user input for controlling the operation of the module installed in the vehicle within a preset time after outputting the notification message, the electronic device 1000 controls the operation of the module installed in the vehicle. Commands can be sent to modules installed in the vehicle. Alternatively, the electronic device 1000 may control the operation of a module installed in the vehicle without outputting a notification message, based on the type of event and the driving risk.

전자 장치(1000)는, 차량 내의 헤드유닛, 임베디드 보드, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 차량, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 전자 장치(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 전자 장치일 수 있다. 그러나, 이에 제한되지 않으며, 전자 장치(1000)는 카메라로부터 이미지(예를 들어, 동영상(video) 및 정지 영상(still image))를 획득하고, 획득된 이미지에 기초하여 사용자에게 알림 메시지를 제공할 수 있는 모든 종류의 기기를 포함할 수 있다. The electronic device 1000 is a head unit in a vehicle, an embedded board, a smart phone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a vehicle, a media player, a micro server, a global positioning system (GPS) ) devices, e-book terminals, digital broadcast terminals, navigation devices, kiosks, MP3 players, digital cameras, home appliances, and other mobile or non-mobile computing devices, but is not limited thereto. Also, the electronic device 1000 may be a wearable electronic device such as a watch, glasses, a hair band, and a ring having a communication function and a data processing function. However, the present invention is not limited thereto, and the electronic device 1000 may obtain an image (eg, a video and a still image) from a camera and provide a notification message to the user based on the obtained image. It can include all possible types of devices.

일 실시예에서, 전자 장치(1000)는 차량에 설치된 모듈로서, 차량의 동작을 제어할 수 있으며, 소정의 네트워크를 통하여 차량에 설치된 다른 모듈과 통신할 수 있다. In an embodiment, the electronic device 1000 is a module installed in a vehicle, and may control an operation of the vehicle, and may communicate with other modules installed in the vehicle through a predetermined network.

일 실시예에서, 전자 장치(1000)는 스마트폰과 같은 차량과 별개의 장치일 수 있으며, 이 경우 전자 장치(1000)는 전자 장치(1000)의 카메라로부터 이용하여 비디오 시퀀스를 획득할 수 있으며, 소정의 네트워크를 통하여 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 차량에 포함된 모듈과 통신할 수 있다. 예를 들어, 전자 장치(1000)는 전자 장치(100)의 카메라를 이용하여 비디오 시퀀스를 획득할 수 있으며, 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수도 있다. 또한, 전자 장치(1000)는 차량과 별개의 장치인 경우, 차량의 동작을 제어하기 위해, 차량에 설치된 모듈과 통신할 수 있다. In an embodiment, the electronic device 1000 may be a device separate from the vehicle, such as a smartphone, and in this case, the electronic device 1000 may obtain a video sequence by using it from the camera of the electronic device 1000, A video sequence may be received from a camera capable of photographing the surroundings of the vehicle through a predetermined network. It can communicate with a module included in the vehicle. For example, the electronic device 1000 may obtain a video sequence by using the camera of the electronic device 100 , and may receive the video sequence from a camera capable of photographing the surroundings of the vehicle. Also, when the electronic device 1000 is a device separate from the vehicle, it may communicate with a module installed in the vehicle to control the operation of the vehicle.

차량(vehicle)은, 통신 기능, 데이터 프로세싱 기능, 및 운송 기능을 구비한 자동차, 버스, 트럭, 기차, 자전거, 오토바이 등의 교통 수단일 수 있다. A vehicle may be a means of transportation, such as a car, bus, truck, train, bicycle, motorcycle, etc., having a communication function, a data processing function, and a transportation function.

또한, 전자 장치(1000)는 비디오 시퀀스를 수신하고, 알림 메시지를 전송하고, 다른 전자 장치(미도시)의 동작을 제어하기 위한 명령을 전송하기 위하여, 소정의 네트워크를 통하여 서버(2000) 및 다른 전자 장치(미도시)와 통신할 수 있다. 이 경우, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함하며, 각 네트워크 구성 주체가 서로 원활하게 통신을 할 수 있도록 하는 포괄적인 의미의 데이터 통신망이며, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망을 포함할 수 있다. 무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.In addition, the electronic device 1000 receives a video sequence, transmits a notification message, and transmits a command for controlling an operation of another electronic device (not shown), through a predetermined network to the server 2000 and other devices. It can communicate with an electronic device (not shown). In this case, the network includes a local area network (LAN), a wide area network (WAN), a value added network (VAN), a mobile radio communication network, a satellite communication network, and their mutual It is a data communication network in a comprehensive sense that includes a combination and enables each network constituent entity to communicate smoothly with each other, and may include a wired Internet, a wireless Internet, and a mobile wireless communication network. Wireless communication is, for example, wireless LAN (Wi-Fi), Bluetooth, Bluetooth low energy, Zigbee, WFD (Wi-Fi Direct), UWB (ultra wideband), infrared communication (IrDA, infrared Data Association) ), NFC (Near Field Communication), etc. may be there, but is not limited thereto.

도 2는 일 실시예에 따른, 전자 장치(1000)가 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.2 is a flowchart illustrating a method for the electronic device 1000 to provide a notification message to a user, according to an embodiment.

동작 S210에서 전자 장치(1000)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 소정의 네트워크를 통하여 차량에 설치된 카메라와 통신함으로써, 비디오 시퀀스를 수신할 수 있다. 예를 들어, 비디오 시퀀스는 차량의 블랙박스(blackbox) 영상일 수 있고, 또는 차량의 스테레오 카메라로부터 수신한 영상일 수 있다. 일 실시예에서, 전자 장치(1000)는 카메라를 구비하여, 전자 장치(1000)에 포함된 카메라로부터 비디오 시퀀스를 획득할 수도 있다.In operation S210, the electronic device 1000 may obtain a video sequence including a plurality of frames from a camera installed in the vehicle. In an embodiment, the electronic device 1000 may receive a video sequence by communicating with a camera installed in a vehicle through a predetermined network. For example, the video sequence may be a blackbox image of a vehicle, or may be an image received from a stereo camera of the vehicle. In an embodiment, the electronic device 1000 may include a camera to obtain a video sequence from a camera included in the electronic device 1000 .

비디오 시퀀스는 일련의 정지 영상(still image)들로 구성될 수 있다. 정지 영상들 각각은 픽처(picture) 또는 프레임(frame)을 의미할 수 있다.A video sequence may consist of a series of still images. Each of the still images may mean a picture or a frame.

동작 S220에서 전자 장치(1000)는 비디오 시퀀스에 포함된 복수의 프레임들로부터 복수의 프레임 내에 포함된 객체를 검출할 수 있다. 일 실시예에서, 전자 장치(1000)는 비디오 시퀀스에 포함된 하나의 프레임으로부터 하나 이상의 객체를 검출할 수 있다. 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서도 검출될 수 있다. 또는, 하나의 프레임으로부터 검출된 하나 이상의 객체는, 동일한 비디오 시퀀스에 포함된 다른 프레임에서는 검출되지 않을 수 있다. 예를 들어, 제1 프레임에서는 차도, 인도, 제1 자동차, 제2 자동차, 제3 자동차, 교통 표지판이 검출되었는데, 제1 프레임과 동일한 비디오 시퀀스 내의 제2 프레임에서는 차도, 인도, 제1 자동차, 제3 자동차만이 검출되고, 제2 자동차 및 교통 표지판이 검출되지 않을 수 있다. 또한, 제2 프레임에서는 제1 프레임에서 검출되지 않았던 오토바이가 검출될 수 있다.In operation S220, the electronic device 1000 may detect an object included in the plurality of frames from the plurality of frames included in the video sequence. In an embodiment, the electronic device 1000 may detect one or more objects from one frame included in a video sequence. One or more objects detected from one frame may also be detected from other frames included in the same video sequence. Alternatively, one or more objects detected from one frame may not be detected from other frames included in the same video sequence. For example, in the first frame, roadway, sidewalk, first car, second car, third car, traffic sign were detected, and in a second frame within the same video sequence as the first frame, driveway, sidewalk, first car, Only the third car may be detected, and the second car and the traffic sign may not be detected. Also, in the second frame, a motorcycle that was not detected in the first frame may be detected.

일 실시예에서, 전자 장치(1000)는 객체의 종류(type)를 판단할 수 있다. In an embodiment, the electronic device 1000 may determine the type of the object.

객체의 종류는, 차도(road), 인도(sidewalk), 빌딩(building), 벽(wall), 울타리(fence), 기둥(pole), 신호등(traffic light), 교통 표지판(traffic sign), 식물(vegetation), 지형(terrain), 하늘(sky), 사람(person), 운전자(rider), 자동차(car), 트럭(truck), 버스(bus), 기차(train), 오토바이(motorcycle), 및 자전거(bicycle) 등일 수 있다.The types of objects are road, sidewalk, building, wall, fence, pole, traffic light, traffic sign, plant ( vegetation, terrain, sky, person, rider, car, truck, bus, train, motorcycle, and bicycle (bicycle) and the like.

예를 들어, 전자 장치(1000)는 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다. 또한, 전자 장치(1000)는 복수의 객체들 중 일부의 종류가 동일하더라도, 동일한 종류의 객체들을 구별할 수 있다. 예를 들어, 하나의 프레임에서 3개의 자동차가 검출되었다면, 전자 장치(1000)는 3개의 자동차를 각각 제1 자동차, 제2 자동차, 및 제3 자동차로 구별할 수 있다.For example, the electronic device 1000 may detect a plurality of objects from one frame and determine the type of each of the plurality of objects. Also, even if some of the plurality of objects have the same type, the electronic device 1000 may distinguish the same type of objects. For example, if three cars are detected in one frame, the electronic device 1000 may distinguish the three cars into a first car, a second car, and a third car, respectively.

일 실시예에서, 전자 장치(1000)는 프레임 내에 포함된 객체를 검출하기 위해, 제1 학습 모델을 이용할 수 있다. 비디오 시퀀스로부터 획득된 프레임들이 제1 학습 모델에 입력되면, 프레임들로부터 검출된 객체에 관한 정보가 제1 학습 모델로부터 출력될 수 있다. 제1 학습 모델을 이용하여 객체를 검출하는 동작에 대해서는 도 3에서 후술하기로 한다.In an embodiment, the electronic device 1000 may use the first learning model to detect an object included in the frame. When frames obtained from the video sequence are input to the first learning model, information about an object detected from the frames may be output from the first learning model. An operation of detecting an object using the first learning model will be described later with reference to FIG. 3 .

동작 S230에서 전자 장치(1000)는 비디오 시퀀스에 포함된 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득할 수 있다.In operation S230, the electronic device 1000 may obtain location information of an object for each of a plurality of frames included in the video sequence.

일 실시예에서, 전자 장치(1000)는 객체의 위치 정보들을 획득하기 위해, 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단할 수 있다. 예를 들어, 전자 장치(1000)는 하나의 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 예를 들어, 전자 장치(1000)는 다른 프레임에 대해 객체가 프레임 내에서 어떤 위치에 위치하는지를 판단할 수 있다. 또한, 예를 들어, 전자 장치(1000)는 하나의 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 예를 들어, 전자 장치(1000)는 다른 프레임에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다. 따라서, 전자 장치(1000)는 복수의 프레임들 각각에 대해 복수의 객체들이 각각 프레임 내에서 어떤 위치들에 위치하는지를 판단할 수 있다.In an embodiment, the electronic device 1000 may determine the positions of the object in the plurality of frames for each of the plurality of frames in order to obtain location information of the object. For example, with respect to one frame, the electronic device 1000 may determine at which position the object is located within the frame. For example, the electronic device 1000 may determine at which position the object is located within the frame with respect to another frame. Also, for example, for one frame, the electronic device 1000 may determine at which positions a plurality of objects are located within each frame. For example, the electronic device 1000 may determine at which positions a plurality of objects are located in each frame with respect to another frame. Accordingly, for each of the plurality of frames, the electronic device 1000 may determine at which positions the plurality of objects are located within each frame.

일 실시예에서, 전자 장치(1000)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 픽셀들 중에서, 객체를 나타내는 픽셀들을 결정할 수 있다. 예를 들어, 하나의 프레임이 복수의 객체들을 포함하는 경우, 전자 장치(1000)는 복수의 객체들 각각을 나타내는 픽셀들을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 임의의 픽셀이 검출된 객체들 중 어떤 객체를 나타내는지를 결정할 수 있다.In an embodiment, the electronic device 1000 may determine the positions of the object in units of pixels. For example, the electronic device 1000 may determine pixels representing an object from among pixels constituting the frame. For example, when one frame includes a plurality of objects, the electronic device 1000 may determine pixels representing each of the plurality of objects. For example, the electronic device 1000 may determine which of the detected objects a random pixel constituting the frame represents.

전자 장치(1000)가 객체의 위치 정보들을 바운딩 박스(bounding box)가 아닌 픽셀 단위로 정교하게 획득하는 방식은 정확한 인지기능을 필요로 하는 기술 분야에 적용될 수 있다. 예를 들어, 전자 장치(1000)는 객체의 위치 정보들을 픽셀 단위로 획득함으로써, 객체의 시계열적 위치 변화를 분석하여, 빠르고 정확한 인지기능이 요구되는 자율주행 기술에 이용할 수 있다.A method in which the electronic device 1000 precisely acquires object location information in units of pixels instead of a bounding box may be applied to a technical field requiring an accurate recognition function. For example, the electronic device 1000 may obtain location information of an object in units of pixels, analyze a time-series location change of the object, and use it for autonomous driving technology requiring a fast and accurate recognition function.

일 실시예에서, 전자 장치(1000)는 객체의 위치 정보들을 획득하기 위해, 제1 학습 모델을 이용할 수 있다. 제1 학습 모델에 복수의 프레임들을 입력하면, 픽셀 정보가 출력될 수 있다. 픽셀 정보는, 프레임을 구성하는 픽셀들이 각각 어떤 객체들을 나타내는지에 관한 정보일 수 있다. 앞서, 동작 S220 및 동작 S230을 별개의 동작으로 설명하였지만, 이에 제한되지 않는다. 예를 들어, 제1 학습 모델에 복수의 프레임들을 입력하면, 프레임들로부터 검출된 객체에 관한 정보 및 픽셀 정보가 함께 출력될 수 있다. 또는, 예를 들어, 픽셀 정보만이 출력될 수 있다. 제1 학습 모델을 이용하여 객체의 위치 정보들을 획득하는 동작에 대해서는 도 3에서 후술하기로 한다.In an embodiment, the electronic device 1000 may use the first learning model to acquire location information of the object. When a plurality of frames are input to the first learning model, pixel information may be output. The pixel information may be information regarding which objects each pixel constituting a frame represents. Previously, although the operation S220 and the operation S230 were described as separate operations, the present invention is not limited thereto. For example, when a plurality of frames are input to the first learning model, information about an object detected from the frames and pixel information may be output together. Or, for example, only pixel information may be output. An operation of acquiring location information of an object using the first learning model will be described later with reference to FIG. 3 .

동작 S240에서 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다.In operation S240 , the electronic device 1000 may determine whether an event related to driving of a vehicle has occurred by analyzing a time-series change of positions of objects in a plurality of frames.

일 실시예예서, 전자 장치(1000)는 비디오 시퀀스의 재생 순서(display order)에 따라, 이전 프레임에서 다음 프레임으로의 객체의 위치 변화를 분석할 수 있다. 예를 들어, 전자 장치(1000)는 재생 순서가 앞인 제1 프레임에 포함된 객체의 위치 정보와 재생 순서가 뒤인 제2 프레임에 포함된 동일한 객체의 위치 정보를 비교함으로써, 객체의 위치 변화를 분석할 수 있다. 예를 들어, 전자 장치(1000)는 시간의 흐름에 따라, 복수의 객체들 각각의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다. 따라서, 전자 장치(1000)가 ROI(Region of Interest)에 관한 바운딩 박스(bounding box)를 트래킹(tracking)하는 것이 아닌, 픽셀 단위로 결정된 복수의 객체들의 위치들의 변화를 복합적으로 인식함으로써, 보다 정확하게 이벤트의 발생 여부를 결정할 수 있다. 예를 들어, 제1 자동차 및 제2 자동차가 전방에 멈추어 있고, 제3 자동차, 제4 자동차, 및 제5 자동차가 연속하여 차선을 오른쪽으로 변경하면, 전자 장치(1000)는 전방에 사고 차량들이 있다는 이벤트가 발생하였음을 결정할 수 있다. 또한, 전방에 사고 차량들이 있으므로, 오른쪽으로 차선을 변경하는 것이 좋다는 이벤트에 대응하는 행동 지침이 결정될 수 있다.According to an embodiment, the electronic device 1000 may analyze a change in the position of an object from a previous frame to a next frame according to a display order of a video sequence. For example, the electronic device 1000 analyzes a change in the position of an object by comparing the position information of the object included in a first frame having a playback order earlier with position information of the same object included in a second frame having a later playback order. can do. For example, the electronic device 1000 may determine whether an event has occurred by analyzing a change in the position of each of the plurality of objects over time. Accordingly, the electronic device 1000 does not track a bounding box related to a region of interest (ROI), but rather recognizes a change in positions of a plurality of objects determined in units of pixels to be more accurately You can decide whether an event has occurred or not. For example, if the first car and the second car are stopped in front, and the third car, the fourth car, and the fifth car continuously change lanes to the right, the electronic device 1000 may cause the accidental vehicles in front It can be determined that an event has occurred. In addition, since there are accident vehicles ahead, an action guideline corresponding to the event that it is advisable to change the lane to the right can be determined.

일 실시예에서, 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 이벤트의 종류(type)를 결정할 수 있다.In an embodiment, the electronic device 1000 may determine an event type by analyzing a time-series change of positions of objects in a plurality of frames.

차량의 주행에 관련된 이벤트의 종류는, 교통 신호가 변경됨, 사고가 예상됨, 도로 상황이 변경됨, 및 지형이 변경됨 등을 포함할 수 있으나, 이에 제한되지 않는다. 교통 신호가 변경되는 예시로는, 신호등이 녹색에서 빨간색으로 변경되거나, 빨간색에서 녹색으로 변경되는 것이 있을 수 있다. 사고가 예상되는 예시로는, 앞 차량 및/또는 뒤 차량과의 안전거리 미확보, 예상치 못한 인물의 등장 등이 있을 수 있다. 도로 상황이 변경되는 예시로는, 전방에 사고 차량이 있어 길이 막힌다는 것이 있을 수 있다. 지형이 변경되는 예시로는, 전방에 구불구불한 길이 있다거나, 전방에 언덕이 있다는 것 등이 있을 수 있다.The type of event related to the driving of the vehicle may include, but is not limited to, a traffic signal change, an accident expected, a road condition change, a terrain change, and the like. As an example in which the traffic signal is changed, a traffic light may be changed from green to red or from red to green. Examples of the expected accident may include not securing a safe distance from the vehicle in front and/or the vehicle behind, and the appearance of an unexpected person. As an example in which the road condition is changed, there may be an accident vehicle ahead and the road being blocked. As an example in which the terrain is changed, there may be a winding road in front, a hill in front, and the like.

일 실시예에서, 전자 장치(1000)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 주행의 위험도를 결정할 수 있다.In an embodiment, the electronic device 1000 may determine the risk of driving by analyzing a time-series change of positions of objects in a plurality of frames.

예를 들어, 주행의 위험도는 수치로 표현될 수 있으며, 수치가 높을수록 위험도가 높음을 의미할 수 있다. 예를 들어, 위험도는 1 이상 100 이하의 정수로 나타내어질 수 있으며, 전자 장치(1000)는 위험도가 임계값 이상인 경우에는 알림 메시지에 주행의 위험도를 포함하도록 설정되어 있을 수 있다. 또한, 예를 들어, 주행의 위험도는 상, 중 및 하로 나타내어질 수도 있다.For example, the risk of driving may be expressed as a numerical value, and a higher numerical value may mean a higher risk. For example, the risk level may be expressed as an integer of 1 or more and 100 or less, and when the risk level is greater than or equal to a threshold value, the electronic device 1000 may be set to include the driving risk in the notification message. Also, for example, the degree of risk of driving may be expressed as high, medium, and low.

일 실시예에서, 전자 장치(1000)는 이벤트가 발생하였는지를 결정하기 위해, 제2 학습 모델을 이용할 수 있다. 제2 학습 모델에 제1 학습모델에서 출력된 픽셀 정보를 입력하면, 이벤트의 발생 여부가 출력될 수 있다. 제2 학습 모델을 이용하여 이벤트가 발생하였는지를 결정하는 동작에 대해서는 도 3에서 후술하기로 한다.In an embodiment, the electronic device 1000 may use the second learning model to determine whether an event has occurred. When pixel information output from the first learning model is input to the second learning model, whether an event has occurred may be output. An operation of determining whether an event has occurred using the second learning model will be described later with reference to FIG. 3 .

동작 S260에서 전자 장치(1000)는 이벤트의 발생의 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다. In operation S260, the electronic device 1000 may generate a notification message informing of the event based on the determination of the occurrence of the event.

일 실시예에서, 객체의 종류, 객체의 시계열적 위치들의 변화 및 이벤트의 발생 여부 등에 따라 상이한 알림 메시지가 생성될 수 있다. In an embodiment, different notification messages may be generated according to the type of object, changes in time-series positions of the object, and whether an event occurs.

동작 S250에서 이벤트가 발생되었다고 결정하면, 동작 S260에서, 전자 장치(1000)는 이벤트를 알리는 알림 메시지를 생성할 수 있다. 또한, 동작 S250에서 이벤트가 발생되지 않았다고 결정하면, 동작 S260에서, 전자 장치(1000)는 이벤트를 알리는 알림 메시지를 생성하지 않을 수 있다. 일 실시예에서, 전자 장치(1000)가 이벤트를 알리는 알림 메시지를 생성하지 않기로 결정한 경우, 전자 장치(1000)는 알림 메시지를 아예 생성하지 않을 수도 있고, 또는 이벤트를 알리는 내용을 포함하지 않는 기 설정된 알림 메시지를 생성할 수도 있다. 예를 들어, 전자 장치(1000)는 현재 온도, 차량의 rpm 값, 차량의 전진 방향, 교통 상황, 및 주행의 위험도 중 적어도 하나를 포함하는 알림 메시지를 생성할 수 있다. 일 실시예에서, 이벤트를 알리는 내용을 포함하지 않는 알림 메시지는 전자 장치(1000)에서 기본(default) 값으로 설정 되어있을 수 있다. If it is determined in operation S250 that an event has occurred, in operation S260 , the electronic device 1000 may generate a notification message notifying the event. Also, if it is determined that the event has not occurred in operation S250 , in operation S260 , the electronic device 1000 may not generate a notification message for notifying the event. In an embodiment, when the electronic device 1000 determines not to generate a notification message for notifying an event, the electronic device 1000 may not generate the notification message at all, or a preset content that does not include event notification. You can also create notification messages. For example, the electronic device 1000 may generate a notification message including at least one of a current temperature, an rpm value of the vehicle, a forward direction of the vehicle, a traffic situation, and a driving risk. In an embodiment, the notification message that does not include the event notification content may be set as a default value in the electronic device 1000 .

일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 생성할 수 있다. 전자 장치가 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지의 내용이 어떻게 결정되는 지에 대해서는 도 5에서 후술하기로 한다. In an embodiment, the electronic device 1000 may generate a notification message based on the type of event and the driving risk. How the electronic device determines the content of the notification message based on the type of event and the driving risk will be described later with reference to FIG. 5 .

일 실시예에 따른 알림 메시지는 텍스트 메시지 또는 음성 메시지로 생성될 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 텍스트 형태로 생성된 메시지를 TSS(Text to Speech) 변환함으로써 음성 형태의 알림 메시지를 획득할 수 있다. The notification message according to an embodiment may be generated as a text message or a voice message, but is not limited thereto. Also, for example, a notification message in a voice format may be obtained by converting a text-to-speech (TSS) message generated in a text format.

제2 학습 모델에 제1 학습모델에서 출력된 픽셀 정보를 입력하면, 알림 메시지가 출력될 수 있다. 동작 S250 및 동작 S260을 별개의 동작으로 설명하였지만, 이에 제한되지 않는다. 예를 들어, 제1 학습 모델에 픽셀 정보를 입력하면, 이벤트의 발생 여부 및 알림 메시지가 함께 출력될 수 있다. 또는, 예를 들어, 알림 메시지만이 출력될 수 있다. 제2 학습 모델을 이용하여 알림 메시지를 생성하는 동작에 대해서는 도 3에서 후술하기로 한다.When pixel information output from the first learning model is input to the second learning model, a notification message may be output. Although operation S250 and operation S260 have been described as separate operations, the present invention is not limited thereto. For example, when pixel information is input to the first learning model, whether an event has occurred and a notification message may be output together. Or, for example, only a notification message may be output. An operation of generating a notification message using the second learning model will be described later with reference to FIG. 3 .

일 실시예에서, 객체를 검출하는 동작, 객체의 위치 정보들을 획득하는 동작, 이벤트가 발생하였는지를 결정하는 동작, 및 알림 메시지를 생성하는 동작은 복수의 학습 모델들을 이용하여 수행될 수 있다. In an embodiment, the operation of detecting the object, the operation of acquiring location information of the object, the operation of determining whether an event has occurred, and the operation of generating a notification message may be performed using a plurality of learning models.

동작 S270에서 전자 장치(1000)는 생성된 알림 메시지를 출력할 수 있다. In operation S270, the electronic device 1000 may output the generated notification message.

일 실시예에서, 알림 메시지는 소리(sound), 텍스트(text), 이미지(image), 및/또는 진동(vibration) 형태로 출력될 수 있다.In an embodiment, the notification message may be output in the form of sound, text, image, and/or vibration.

일 실시예에서, 전자 장치(1000)는 알림 메시지를 차량의 HUD(Head up display) 또는 대시보드(Dashboard)에 디스플레이할 수 있다.In an embodiment, the electronic device 1000 may display a notification message on a head up display (HUD) or dashboard of the vehicle.

일 실시예에서, 전자 장치(1000)는 알림 메시지가 음성 형태인 경우, 차량의 스피커를 통해 출력할 수 있다. 예를 들어, 전자 장치(1000)는 음성 형태의 알림 메시지를 출력하도록 차량의 스피커를 제어하는 명령을 차량의 스피커에 전송할 수 있다.In an embodiment, when the notification message is in the form of a voice, the electronic device 1000 may output it through a speaker of the vehicle. For example, the electronic device 1000 may transmit a command for controlling the speaker of the vehicle to output a notification message in the form of a voice to the speaker of the vehicle.

일 실시예에서, 이벤트의 종류 및 주행의 위험도에 따라, 차량에 설치된 모듈의 동작을 제어하기 위한 명령이 해당 모듈에게 전송될 수 있다. 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여 차량에 설치된 모듈의 동작을 제어하는 것이 좋다고 판단되면, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 예를 들어, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지를 출력함과 동시에 차량에 설치된 모듈의 동작을 제어하도록 할 수 있다. 또는, 전자 장치(1000)는 알림 메시지를 출력한 이후 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. 또는, 전자 장치(1000)는 이벤트의 종류 및 주행의 위험도에 기초하여, 알림 메시지는 출력하지 않고, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.In an embodiment, a command for controlling the operation of a module installed in the vehicle may be transmitted to the corresponding module according to the type of event and the degree of risk of driving. If it is determined that it is desirable to control the operation of the module installed in the vehicle based on the type of event and the driving risk, the electronic device 1000 may transmit a command for controlling the operation of the module installed in the vehicle to the module installed in the vehicle. . For example, the electronic device 1000 may output a notification message and simultaneously control the operation of a module installed in the vehicle, based on the type of event and the driving risk. Alternatively, if the electronic device 1000 does not receive a user input for controlling the operation of the module installed in the vehicle within a preset time after outputting the notification message, the electronic device 1000 controls the operation of the module installed in the vehicle. Commands can be sent to modules installed in the vehicle. Alternatively, the electronic device 1000 may transmit a command for controlling the operation of the module installed in the vehicle to the module installed in the vehicle, without outputting a notification message, based on the type of event and the driving risk.

일 실시예에 따른 사용자 입력은, 스텝 온(step on) 입력, 스티어링(steering) 입력, 음성 입력, 키 입력, 터치 입력, 벤딩 입력, 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 스텝 온(step on) 입력은, 사용자가 차량의 브레이크(brake)를 제어하기 위해 브레이크를 밟는 입력을 의미할 수 있다. 스티어링(steering) 입력은, 사용자가 차량의 스티어링 휠(steering wheel)을 제어하기 위해 스티어링 휠을 회전시키는 입력을 의미할 수 있다. The user input according to an embodiment may include at least one of a step on input, a steering input, a voice input, a key input, a touch input, a bending input, and a multimodal input, The present invention is not limited thereto. A step on input may mean an input in which a user applies a brake to control a brake of the vehicle. A steering input may mean an input in which a user rotates a steering wheel to control a steering wheel of a vehicle.

도 3은 일 실시예에 따른, 전자 장치(1000)가 학습 모델을 이용하여 사용자에게 알림 메시지를 제공하는 방법을 나타내는 흐름도이다.3 is a flowchart illustrating a method in which the electronic device 1000 provides a notification message to a user using a learning model, according to an embodiment.

동작 S310에서 전자 장치(1000)는 제1 학습 모델에 입력하기 위해, 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용할 수 있다.In operation S310 , the electronic device 1000 may apply a filter for flattening the brightness of the plurality of frames to the plurality of frames to input to the first learning model.

제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 객체의 종류(type)를 판단하는 기준 및 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성될 수 있다. The first learning model is to be created by learning a criterion for judging the type of an object using a Fully Convolutional Network (FCN) and a criterion for judging positions within a plurality of frames of the object for each of a plurality of frames. can

일 실시예에서, 전자 장치(1000)는 RGB 채널로 이루어진 프레임을 Lab(Luminance-Chromatic) 채널로 변환할 수 있다. 변환된 Lab 채널의 L 값은 영상의 휘도(Luminance) 값으로, 색 정보를 제외한 영상의 밝기를 나타내는 값이다. 전자 장치(1000)는 제1 학습 모델에 입력하기 전에, 비디오 시퀀스에 포함된 복수의 프레임들에게 복수의 프레임들의 L 값을 평탄화하기 위한 중간 값 필터(median filter)를 적용하는 전처리를 수행할 수 있다. 전처리를 수행함으로써, 어두울 때나 비가 올 때에도 보다 용이하게 객체가 검출될 수 있고, 복수의 객체들이 서로 구별될 수 있다.In an embodiment, the electronic device 1000 may convert a frame made of an RGB channel into a Luminance-Chromatic (Lab) channel. The L value of the converted Lab channel is the luminance value of the image and represents the brightness of the image excluding color information. Before input to the first learning model, the electronic device 1000 may perform preprocessing of applying a median filter for flattening the L values of the plurality of frames to the plurality of frames included in the video sequence. have. By performing the pre-processing, an object can be more easily detected even when it is dark or raining, and a plurality of objects can be distinguished from each other.

동작 S320에서 전자 장치(1000)는 제1 학습 모델을 이용하여, 복수의 프레임들 내에 포함된 객체의 종류를 판단할 수 있다.In operation S320, the electronic device 1000 may determine the type of object included in the plurality of frames by using the first learning model.

예를 들어, 전자 장치(1000)는 제1 학습 모델을 이용하여, 하나의 프레임으로부터 복수의 객체들을 검출하고, 복수의 객체들 각각의 종류가 무엇인지 판단할 수 있다. 예를 들어, 제1 학습 모델에 하나의 프레임을 입력하면, 하나의 프레임에 포함된 객체의 종류에 따라 다른 값이 출력될 수 있다. 예를 들어, 제1 학습 모델에는 하늘은 12, 식물은 10, 차도는 4, 인도는 3, 자동차는 6, 사람은 8 등으로 설정되어 있을 수 있다. 예를 들어, 입력 프레임에 식물, 차도, 자동차, 사람이 포함되어 있으면, 제1 학습 모델의 출력에는 4, 6, 8, 및 10이 포함될 수 있다. 따라서, 제1 학습 모델을 이용하여, 프레임 내에 어떠한 객체가 포함되어 있는지를 검출할 수 있다. 또한, 예를 들어, 프레임을 제1 학습 모델에 입력하면, 객체의 종류에 대응하는 값은 출력되지 않고, 프레임을 구성하는 픽셀들이 각각 어떤 객체들을 나타내는지에 관한 픽셀 정보가 출력될 수 있다. 픽셀 정보는 객체의 종류에 대응하는 값이 객체의 프레임 내 위치에 매칭되는 매트릭스(matrix) 일 수 있다.For example, the electronic device 1000 may detect a plurality of objects from one frame by using the first learning model and determine the type of each of the plurality of objects. For example, when one frame is input to the first learning model, different values may be output according to the type of object included in one frame. For example, in the first learning model, the sky may be set to 12, the plant to 10, the roadway to 4, the sidewalk to 3, the car to 6, the person to 8, and the like. For example, if plants, roads, cars, and people are included in the input frame, 4, 6, 8, and 10 may be included in the output of the first learning model. Accordingly, it is possible to detect which object is included in the frame by using the first learning model. Also, for example, when a frame is input to the first learning model, a value corresponding to the type of object may not be output, but pixel information regarding which objects the pixels constituting the frame represent may be output. The pixel information may be a matrix in which a value corresponding to a type of an object is matched with a position within a frame of the object.

동작 S330에서 전자 장치(1000)는 제1 학습 모델을 이용하여, 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단할 수 있다.In operation S330 , the electronic device 1000 may determine the positions of the object in the plurality of frames for each of the plurality of frames by using the first learning model.

일 실시예에서, 전자 장치(1000)는 제1 학습 모델을 이용하여, 객체의 종류뿐만 아니라, 객체의 프레임 내 위치들을 판단할 수 있다. 예를 들어, 전자 장치(1000)는 제1 학습 모델을 이용하여, 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 프레임을 구성하는 픽셀들이 어떤 객체를 나타내는지를 결정할 수 있으므로, 제1 학습 모델에 프레임을 입력하면, 객체의 종류에 대응하는 값이 객체의 프레임 내 위치에 매칭되는 매트릭스가 출력될 수 있다. 픽셀 단위로 객체의 위치들을 결정하므로, 예를 들어, 프레임의 크기가 512 x 256이면, 매트릭스의 크기도 512 x 256일 수 있다. 즉, 프레임의 입력에 대한 제1 학습 모델의 출력으로 객체의 종류 정보 및 객체의 위치 정보들을 포함하는 매트릭스(matrix)를 획득할 수 있다.In an embodiment, the electronic device 1000 may determine not only the type of the object but also the positions of the object in the frame by using the first learning model. For example, the electronic device 1000 may determine the positions of the objects in units of pixels by using the first learning model. For example, since the electronic device 1000 may determine which object pixels constituting the frame represent, when a frame is input to the first learning model, a value corresponding to the type of the object is matched with a position within the frame of the object. A matrix can be output. Since the positions of the objects are determined in units of pixels, for example, if the size of the frame is 512 x 256, the size of the matrix may also be 512 x 256. That is, as an output of the first learning model with respect to the input of the frame, a matrix including type information of the object and location information of the object may be obtained.

동작 S340에서 전자 장치(1000)는 제2 학습 모델에 입력하기 위해, 제1 학습 모델의 출력의 차원(dimension)을 감소시킬 수 있다.In operation S340 , the electronic device 1000 may reduce the dimension of the output of the first learning model to be input to the second learning model.

제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성되는 것일 수 있다.The second learning model uses a Recurrent Neural Network (RNN) to analyze the time-series change of the position of the object in a plurality of frames, thereby determining whether an event related to vehicle driving has occurred and the content of the notification message. It may be generated by learning the determining criteria.

일 실시예에서, 제1 학습 모델의 출력은 제2 학습 모델의 입력으로 이용될 수 있다. 다른 실시예에서, 전자 장치(1000)는 이벤트가 발생하였는지를 결정하고 알림 메시지를 생성하기 위한 제2 학습 모델의 연산량을 감소시키기 위해, 제1 학습 모델에서 출력된 매트릭스의 차원을 감소시킨 매트릭스를 제2 학습 모델의 입력으로 이용할 수 있다. 예를 들어, 매트릭스의 차원을 감소시키기 위해, 확장 컨볼루션(dilated convolution)을 이용할 수 있다.In one embodiment, the output of the first learning model may be used as an input of the second learning model. In another embodiment, the electronic device 1000 generates a matrix in which the dimension of the matrix output from the first learning model is reduced in order to reduce the amount of computation of the second learning model for determining whether an event has occurred and generating a notification message. 2 can be used as input to the learning model. For example, to reduce the dimension of a matrix, dilated convolution can be used.

또한, 일 실시예에서, 제1 학습 모델의 연산량을 감소시키기 위해, 전자 장치(1000)는 제1 학습 모델에 포함된 레이어의 출력에 1x1 컨볼루션 필터링을 수행하여, 제1 학습 모델에 포함된 레이어들 간에 차원(dimension)을 매칭(matching)시킬 수 있다.Also, in an embodiment, in order to reduce the amount of computation of the first learning model, the electronic device 1000 performs 1x1 convolutional filtering on the output of the layer included in the first learning model, and includes Dimensions may be matched between layers.

동작 S350에서 전자 장치(1000)는 제2 학습 모델을 이용하여, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다.In operation S350, the electronic device 1000 may determine whether an event related to driving of a vehicle has occurred using the second learning model.

일 실시예에서, 제1 자동차 및 제2 자동차가 전방에 멈추어 있고, 제3 자동차, 제4 자동차, 및 제5 자동차가 연속하여 차선을 오른쪽으로 변경하면, 전자 장치(1000)는 전방에 사고 차량들이 있다는 이벤트가 발생하였음을 결정할 수 있다. 또한, 전방에 사고 차량들이 있으므로, 오른쪽으로 차선을 변경하는 것이 좋다는, 이벤트에 대응하는 행동 지침을 결정할 수 있다.In an embodiment, when the first car and the second car are stopped in front, and the third car, the fourth car, and the fifth car successively change lanes to the right, the electronic device 1000 may display the accident vehicle in front. It can be determined that an event has occurred. Also, it is possible to determine an action guideline corresponding to the event that it is better to change the lane to the right because there are accident vehicles ahead.

앞서 살펴본 바와 같이, 전자 장치(1000)는 제1 학습 모델을 이용하여, 적은 연산량으로 화면 전체의 객체의 종류 정보 및 객체의 위치 정보들을 획득할 수 있으므로, 객체를 트래킹(tracking)하는 방식에서와 같이, ROI(Region of Interest)를 설정하지 않고도 빠르고 정확하게 객체의 위치들의 시계열적 변화를 분석할 수 있다.As described above, since the electronic device 1000 can acquire object type information and object location information on the entire screen with a small amount of computation by using the first learning model, in a method of tracking an object, Likewise, it is possible to quickly and accurately analyze time-series changes in the positions of objects without setting an ROI (Region of Interest).

따라서, 전자 장치(1000)는 제2 학습 모델을 이용하여, 차량의 주행에 관련된 이벤트 이외에도 객체의 시계열적 위치 변화를 분석함으로써 탐지할 수 있는 이벤트의 발생을 결정할 수 있다. 예를 들어, 전자 장치(1000)는 제2 학습 모델을 이용하여, 영화의 재생 중에 실시간으로 자막을 생성할 수 있다.Accordingly, the electronic device 1000 may determine the occurrence of an event that can be detected by analyzing a time-series location change of an object in addition to an event related to driving of the vehicle by using the second learning model. For example, the electronic device 1000 may use the second learning model to generate subtitles in real time while a movie is being played.

동작 S360에서 전자 장치(1000)는 제2 학습 모델을 이용하여, 알림 메시지를 생성할 수 있다.In operation S360, the electronic device 1000 may generate a notification message by using the second learning model.

일 실시예에서, 제1 학습 모델의 출력을 연산량을 감소시키도록 처리하여 제2 학습 모델에 입력하면, 알림 메시지가 출력될 수 있다. 또는, 이벤트에 대응하는 제어 동작이 출력되거나, 알림 메시지와 함께 이벤트에 대응하는 제어 동작이 출력될 수 있다. In an embodiment, when the output of the first learning model is processed to reduce the amount of computation and input to the second learning model, a notification message may be output. Alternatively, a control operation corresponding to the event may be output, or a control operation corresponding to the event may be output together with a notification message.

일 실시예에서, 제2 학습 모델을 이용하여 생성되는 알림 메시지는, 이벤트의 종류 및 주행의 위험도에 따라 상이할 수 있다. 예를 들어, 이벤트의 종류 및 주행의 위험도에 따라 알림 메시지에 포함된 내용이 상이할 수 있다. 예를 들어, 알림 메시지에 포함된 내용은, 이벤트를 알리는 내용, 이벤트에 대응하는 행동 지침, 경보음 등이 있을 수 있다. 예를 들어, 전방에 사고 차량들이 있는 경우, 전자 장치(1000)는 이벤트를 알리는 내용 및 이벤트에 대응하는 행동 지침을 포함하여, "전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오."라는 알림 메시지를 생성할 수 있다. In an embodiment, the notification message generated using the second learning model may be different according to the type of event and the degree of risk of driving. For example, content included in the notification message may be different depending on the type of event and the degree of risk of driving. For example, the content included in the notification message may include content for notifying an event, an action guide corresponding to the event, and an alarm sound. For example, when there are accident vehicles in front, the electronic device 1000 includes a notification of the event and action instructions in response to the event, and a notification of “Please change the lane to the right because there is an accident vehicle ahead.” You can create messages.

알림 메시지에 포함된 내용에 대해서는 도 5를 참조하여 후술하기로 한다.The content included in the notification message will be described later with reference to FIG. 5 .

도 4는 일 실시예에 따른 학습 모델을 이용하여 알림 메시지를 생성하는 예시를 나타내는 도면이다.4 is a diagram illustrating an example of generating a notification message using a learning model according to an embodiment.

CNN(Convolutional Neural Network)은 이미지 데이터의 클래스(class)를 분류하기 위해, 뒷 부분의 레이어에 완전 연결 레이어(fully connected layer)를 포함하는데, 완전 연결 레이어를 통과하면, 입력된 이미지에 포함된 객체의 위치 정보가 사라지게 되는 문제가 있다. 이러한 문제점을 개선하기 위해, FCN(Fully Convolutional Network)는 CNN의 완전 연결 레이어를 1x1 컨볼루션으로 간주하여, 위치 정보를 유지할 수 있게 하였다. Convolutional Neural Network (CNN) includes a fully connected layer in the rear layer to classify the class of image data. There is a problem that the location information of the disappears. In order to improve this problem, FCN (Fully Convolutional Network) considers the fully connected layer of CNN as a 1x1 convolution, allowing location information to be maintained.

일 실시예에서, 전자 장치(1000)는 명도를 평탄화하는 전처리를 수행한 비디오 시퀀스(410)를 제1 학습 모델에 입력할 수 있다. 제1 학습 모델은 FCN을 이용하기 때문에, 전자 장치(1000)는 제1 학습 모델에 비디오 시퀀스(410)를 입력하면, 객체의 종류 정보 및 객체의 위치 정보들을 포함하는 일련의 매트릭스가 출력될 수 있다. 일 실시예에 따라, 제1 학습 모델에 입력하기 위해 전처리가 수행된 비디오 시퀀스(410)는 재생 순서대로 제1 학습 모델에 입력될 수 있다. 제1 학습 모델에서 출력되는 매트릭스의 출력 순서는, 제1 학습 모델에 입력된 비디오 시퀀스의 입력 순서와 동일할 수 있다.In an embodiment, the electronic device 1000 may input the video sequence 410 that has been preprocessed for flattening the brightness into the first learning model. Since the first learning model uses FCN, when the electronic device 1000 inputs the video sequence 410 to the first learning model, a series of matrices including object type information and object location information may be output. have. According to an embodiment, the video sequence 410 on which preprocessing has been performed to be input to the first learning model may be input to the first learning model in the order of reproduction. An output order of a matrix output from the first learning model may be the same as an input order of a video sequence input to the first learning model.

제1 학습 모델에서 출력된 일련의 매트릭스를 이미지화하면, 비디오 시퀀스(410)에 포함된 객체의 종류 별로 다른 색으로 표현된 비디오 시퀀스(420)가 획득될 수 있다. 비디오 시퀀스(420)를 픽셀 단위로 분할한 비디오 시퀀스(430)에서 확장 컨볼루션을 수행하면, 제1 학습 모델에서 출력된 매트릭스의 차원을 감소시킨 매트릭스(440)를 획득할 수 있다. 확장 컨볼루션은, 비디오 시퀀스(430)에 포함된 픽셀들 중 일부 픽셀만을 이용하여 컨볼루션을 수행하는 방식이다. 예를 들어, 하나 이상의 픽셀 단위로 건너뛰고 컨볼루션을 수행함으로써, RF(receptive field)의 크기를 확장시켜 매트릭스의 차원 및 연산량을 감소시킬 수 있다.When a series of matrices output from the first learning model are imaged, a video sequence 420 expressed in a different color for each type of object included in the video sequence 410 may be obtained. If extended convolution is performed on the video sequence 430 in which the video sequence 420 is divided into pixel units, a matrix 440 in which the dimension of the matrix output from the first learning model is reduced can be obtained. The extended convolution is a method of performing convolution using only some pixels among pixels included in the video sequence 430 . For example, by performing convolution and skipping in units of one or more pixels, the size of a receptive field (RF) may be expanded to reduce the dimension and amount of computation of a matrix.

일 실시예에서, 매트릭스(440)를 제2 학습 모델에 입력하면, 알림 메시지(460)가 출력될 수 있다. 제2 학습 모델은, RNN을 이용한 것인데, 서로 다른 시간 구간에서 노드들 간에 재귀적(recurrent)인 연결이 있는 신경망을 RNN(Recurrent Neural Network)이라고 한다. 일 실시예에 따른 RNN은, 순차적 데이터(sequential data)를 인식할 수 있다. 순차적 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 필적 데이터(handwriting data) 등과 같이 시간성 내지 순서를 가지는 데이터이다. 예를 들어, RNN의 인식 모델은 입력된 영상 데이터가 어떠한 패턴에 따라 변화하는지를 인식할 수 있다.In an embodiment, when the matrix 440 is input to the second learning model, a notification message 460 may be output. The second learning model, which uses RNN, is called a Recurrent Neural Network (RNN), which is a neural network with recurrent connections between nodes in different time intervals. The RNN according to an embodiment may recognize sequential data. The sequential data is data having temporality or order, such as audio data, image data, biometric data, handwriting data, and the like. For example, the recognition model of the RNN may recognize what pattern the input image data changes according to.

학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 지도 학습(supervised learning)을 통해 RNN을 학습시킬 수 있다. 예를 들어, RNN은 델타 규칙(delta rule)과 오류 역전파 학습(backpropagation learning) 등을 통해 뉴런들 사이의 연결 가중치를 업데이트할 수 있다.The RNN may be trained through supervised learning in which the training data and the corresponding output data are input together into the neural network, and the connection weights of the connecting lines are updated so that the output data corresponding to the training data is output. For example, the RNN may update connection weights between neurons through a delta rule and error backpropagation learning.

RNN은 LSTM(long short-term memory) 네트워크(450)를 포함하는 구조일 수 있다. LSTM 네트워크(450)는 장기 의존성(long-term dependency) 학습을 할 수 있는 RNN의 한 종류이다. LSTM 네트워크(450)를 포함하지 않는 RNN은 이전 정보를 현재 작업으로 연결할 수 있으나, 시간적으로 멀리 떨어진 이전 작업의 정보를 현재 작업으로 연결시키기는 어렵다는 단점이 있다. LSTM 네트워크(450)는 이러한 장기 의존성 문제를 피하도록 설계된 구조일 수 있다. LSTM 네트워크(450)는 입력 데이터에서 시간에 따라 변화하는 상대적 변화량을 특징 값으로 추출할 수 있어, 시계열적인 객체의 위치 변화를 분석함으로써, 이벤트가 발생하였는지를 결정할 수 있다.The RNN may have a structure including a long short-term memory (LSTM) network 450 . The LSTM network 450 is a type of RNN capable of long-term dependency learning. The RNN that does not include the LSTM network 450 can connect previous information to the current task, but has a disadvantage in that it is difficult to connect the temporally distant information of the previous task to the current task. The LSTM network 450 may be a structure designed to avoid this long-term dependency problem. The LSTM network 450 may extract a relative change amount that changes with time from the input data as a feature value, and may determine whether an event has occurred by analyzing the time-series change in the position of the object.

제2 학습 모델은 LSTM 네트워크(450)를 포함하는 RNN을 이용하기 때문에, 이전 시간 스텝, 현재 시간 스텝, 및 다음 시간 스텝 모두에 대한 구조를 학습에 이용하고, 현재 단계의 정보는 다음 단계에 전달되어 출력 값에 영향을 줄 수 있다.Since the second learning model uses the RNN including the LSTM network 450, the structure for all of the previous time step, the current time step, and the next time step is used for learning, and the information of the current step is passed to the next step. This may affect the output value.

일 실시예에 따라, 제1 학습 모델의 출력의 차원을 감소시킨 매트릭스(440)는 제1 학습 모델에서 출력된 순서대로 제2 학습 모델에 입력될 수 있다. 제2 학습 모델은 이벤트의 발생 여부, 이벤트의 종류 및 주행의 위험도 등을 고려하여, 알림 메시지를 생성할 수 있다. According to an embodiment, the matrix 440 in which the dimension of the output of the first learning model is reduced may be input to the second learning model in the order outputted from the first learning model. The second learning model may generate a notification message in consideration of whether an event has occurred, the type of the event, and the risk of driving.

설명의 편의를 위해, 제1 학습 모델과 제2 학습 모델을 나누어서 설명하였으나, 제1 학습 모델 및 제2 학습 모델 그 기능 및 역할에 따라, 복수의 학습 모델들로 존재할 수 있고, 하나의 학습 모델로 통합되어 존재할 수 있다. For convenience of explanation, the first learning model and the second learning model have been described separately, but depending on the functions and roles of the first learning model and the second learning model, a plurality of learning models may exist, and one learning model may be integrated into

도 5는 일 실시예에 따른, 알림 메시지의 내용이 어떻게 결정되는 지를 설명하기 위한 도면이다.5 is a diagram for explaining how content of a notification message is determined, according to an embodiment.

도 5를 참조하면, 테이블(500)은 이벤트의 종류 및 주행 위험도에 따라, 알림 메시지의 내용이 어떻게 결정되는 지를 나타낸다. 일 실시예에 따른 테이블(500)은 일례에 불과할 뿐이며, 복수의 학습 모델들은 계속하여 업데이트될 수 있다. 따라서, 복수의 학습 모델들에의 입력 값에 따른 출력 값은 계속하여 갱신될 수 있다. 전자 장치(1000)는 제2 학습 모델을 이용함으로써 이벤트의 종류 및 주행의 위험도에 따라 상이한 알림 메시지가 출력되도록 할 수 있다. 도 5에 도시된 바와 같이, 예를 들어, 이벤트의 종류가 앞 차량과의 안전거리 미확보로 인해 사고가 예상되는 것이고, 주행 위험도가 상이면, 전자 장치(1000)는 알림 메시지에 경보음과 함께 이벤트에 대응하는 행동 지침인 “지금 즉시 브레이크를 밟으십시오.”라는 내용을 포함하는 알림 메시지를 생성할 수 있다. 또한, 일 실시예에서, 전자 장치(1000)는 이벤트의 종류 및 주행 위험도에 기초하여, 행동 지침을 수행하기 위한 사용자 입력이 수신될 수 있는 시간을 결정할 수 있다. 예를 들어, 사용자 입력이 수신될 수 있는 시간은 주행의 위험도에 기초하여 결정될 수 있다. 또한, 예를 들어, 어떤 데이터를 이용하여 사용자 입력이 수신될 수 있는 시간을 판단할 지는 기 설정된 기준에 따른 학습에 기초하여 설정되고 변경될 수 있다. 예를 들어, 주행의 위험도가 상이라고 결정된 경우, 기 설정된 시간 내에 차량에 설치된 모듈의 동작을 제어하는 사용자 입력이 수신되지 않으면, 전자 장치(1000)가 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. Referring to FIG. 5 , the table 500 shows how the content of the notification message is determined according to the type of event and the driving risk. The table 500 according to an embodiment is only an example, and the plurality of learning models may be continuously updated. Accordingly, an output value according to an input value to the plurality of learning models may be continuously updated. The electronic device 1000 may output different notification messages according to the type of event and the driving risk by using the second learning model. As shown in FIG. 5 , for example, if the type of event is that an accident is expected due to not securing a safe distance from the vehicle in front, and the driving risk is higher, the electronic device 1000 displays the event together with an alarm sound in the notification message. You can create a notification message that includes "Stop the brake immediately", which is an action guide to respond to. Also, according to an embodiment, the electronic device 1000 may determine a time during which a user input for performing an action guide may be received, based on the type of event and the driving risk. For example, the time during which the user input may be received may be determined based on the degree of risk of driving. Also, for example, which data to use to determine a time for which a user input can be received may be set and changed based on learning according to a preset criterion. For example, when it is determined that the driving risk is higher, if a user input for controlling an operation of a module installed in the vehicle is not received within a preset time, a command for the electronic device 1000 to control an operation of a module installed in the vehicle can be transmitted to a module installed in the vehicle.

예를 들어, 이벤트의 종류가 전방에 구불구불한 길이 있는 지형으로 변경되는 것이고, 주행 위험도가 중이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “전방에 구불구불한 길이 있으니 주의하십시오.”라는 알림 메시지를 생성할 수 있다. For example, if the type of event is changed to a terrain with a winding road ahead and the driving risk is high, the electronic device 1000 includes the event notification and action instructions corresponding to the event in the notification message If possible, you can create a notification message that reads, “Be careful, there is a winding road ahead.”

예를 들어, 이벤트의 종류가 전방에 사고 차량이 있으므로 도로 상황이 변경되었다는 것이고, 주행 위험도가 하이면, 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오.”라는 알림 메시지를 생성할 수 있다. For example, if the type of event is that the road conditions have changed because there is an accident vehicle ahead, and the driving risk is high, the notification message includes information to notify the event and action instructions to respond to the event, “ Please change lanes to the right.”

예를 들어, 이벤트의 종류가 신호등이 녹색에서 빨간색으로 변경되었으므로 교통 신호에 변화가 있다는 것이고, 주행 위험도가 상이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “교통 신호가 변경되었으니, 멈춰주시기 바랍니다.”라는 알림 메시지를 생성할 수 있다. For example, if the type of event indicates that there is a change in the traffic signal because the traffic light is changed from green to red, and the driving risk is different, the electronic device 1000 displays an event notification and an action guide corresponding to the event as a notification message To be included in the , you can create a notification message that reads, “The traffic signal has changed, please stop.”

예를 들어, 이벤트의 종류가 신호등이 빨간색에서 녹색으로 변경되었으므로 교통 신호에 변화가 있다는 것이고, 주행 위험도가 하이면, 전자 장치(1000)는 이벤트를 알리는 내용과 함께 이벤트에 대응하는 행동 지침이 알림 메시지에 포함되도록, “교통 신호가 변경되었으니, 출발해 주시기 바랍니다.”라는 알림 메시지를 생성할 수 있다. For example, if the type of event indicates that there is a change in the traffic signal because the traffic light is changed from red to green, and the driving risk is high, the electronic device 1000 displays the event notification and action instructions corresponding to the event as a notification message To be included in the , you can create a notification message that reads, “Traffic signal has changed, please leave.”

도 6은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.6 is a diagram illustrating an example of outputting a notification message, according to an embodiment.

일 실시예에서, 전자 장치(1000)는 알림 메시지를 차량의 HUD(Head up display) 에 디스플레이할 수 있다.In an embodiment, the electronic device 1000 may display a notification message on a head up display (HUD) of the vehicle.

예를 들어, 전자 장치(1000)가 앞 차량(610)과의 안전거리 미확보로 인해 사고가 예상되는 이벤트가 발생하였고, 주행 위험도(630)가 35라고 결정하면, 전자 장치(1000)는 주행 위험도(630) 및 안전거리 확보를 위한 가상 이미지(620)를 포함하는 알림 메시지를 차량의 HUD에 디스플레이하도록 제어할 수 있다. 또한, 경보음과 함께 이벤트에 대응하는 행동 지침인 “지금 즉시 브레이크를 밟으십시오.”라는 내용을 포함하는 알림 메시지를 음성 형태로 출력할 수 있다. 또한, 예를 들어, 알림 메시지를 출력한 이후 기 설정된 시간 내에 브레이크를 밟는 스텝 온(step on) 입력이 사용자로부터 수신되지 않으면, 전자 장치(1000)가 브레이크의 동작을 제어하기 위한 명령을 브레이크에게 전송할 수 있다. 예를 들어, 기 설정된 시간은 학습에 의해 설정될 수 있으며, 위험도(630)에 따라 상이할 수 있다. 예를 들어, 위험도(630)가 높을수록 기 설정된 시간 간격이 적도록 설정될 수 있다. 예를 들어, 앞 차량(610)과 사용자의 차량 간의 거리가 너무 짧아서, 당장 브레이크를 밟지 않으면 사고가 예상되는 경우에는, 알림 메시지가 출력됨과 동시에 브레이크의 동작을 제어하기 위한 명령이 브레이크에게 전송될 수 있다.For example, when the electronic device 1000 determines that an accident is expected due to not securing a safe distance from the vehicle 610 in front and the driving risk 630 is 35, the electronic device 1000 sets the driving risk level A notification message including a 630 and a virtual image 620 for securing a safe distance may be controlled to be displayed on the HUD of the vehicle. In addition, it is possible to output a notification message in the form of a voice along with an alarm sound and the contents of "Stop the brake immediately," which is an action guideline for responding to an event. Also, for example, if a step on input for stepping on the brake is not received from the user within a preset time after outputting the notification message, the electronic device 1000 sends a command for controlling the operation of the brake to the brake. can be transmitted For example, the preset time may be set by learning, and may be different according to the degree of risk 630 . For example, the higher the risk 630, the smaller the preset time interval may be set. For example, if the distance between the front vehicle 610 and the user's vehicle is too short and an accident is expected if the brake is not applied immediately, a notification message is output and a command for controlling the operation of the brake is transmitted to the brake. can

도 7은 일 실시예에 따른, 알림 메시지를 출력하는 예시를 나타내는 도면이다.7 is a diagram illustrating an example of outputting a notification message, according to an embodiment.

일 실시예에서, 전자 장치(1000)는 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다.In an embodiment, the electronic device 1000 may transmit a command for controlling the operation of the module installed in the vehicle to the module installed in the vehicle.

예를 들어, 전자 장치(1000)가 전방의 사고 차량들로 인해 해당 차선으로 주행할 수 없다는 도로 상황 변경에 관한 이벤트가 발생하였다고 결정하면, 전자 장치(1000)는 이벤트를 알리는 내용을 포함하지 않는 기 설정된 알림 메시지를 차량의 HUD에 디스플레이하도록 제어할 수 있다. 예를 들어, 전자 장치(1000)는 현재 온도, 차량의 rpm 값, 차량의 전진 방향, 교통 상황, 및 주행의 위험도 중 적어도 하나를 포함하는 알림 메시지를 HUD에 디스플레이할 수 있다. 또한, “전방에 사고 차량이 있으니 오른쪽으로 차선을 변경하십시오.” 알림 메시지를 음성 형태로 출력할 수 있다. 또한, 예를 들어, 음성 형태의 알림 메시지를 출력한 이후 기 설정된 시간 내에 스티어링 휠(710)을 회전시키는 스티어링 입력이 사용자로부터 수신되지 않으면, 스티어링 휠(710)을 회전시키기 위한 명령이 스티어링 휠에게 전송될 수 있다. 따라서, 전자 장치(1000)가 스티어링 휠(710)을 조정하도록 사용자를 유도하거나, 조정하도록 하는 명령을 스티어링 휠(710)에게 전송함으로써, 자율적으로 주행 경로를 조정할 수 있다.For example, if the electronic device 1000 determines that an event related to a change in road conditions that a vehicle cannot be driven in a corresponding lane due to accidents in front has occurred, the electronic device 1000 does not include information notifying the event. It is possible to control to display a preset notification message on the HUD of the vehicle. For example, the electronic device 1000 may display a notification message including at least one of a current temperature, an rpm value of the vehicle, a forward direction of the vehicle, a traffic situation, and a driving risk on the HUD. Also, “Change lanes to the right as there is an accident vehicle ahead.” Notification messages can be output in voice form. Also, for example, if a steering input for rotating the steering wheel 710 is not received from the user within a preset time after outputting a notification message in the form of a voice, a command for rotating the steering wheel 710 is sent to the steering wheel can be transmitted. Accordingly, the electronic device 1000 may autonomously adjust the driving route by inducing the user to adjust the steering wheel 710 or transmitting a command to adjust the steering wheel 710 to the steering wheel 710 .

도 8 및 도 9는 일부 실시예에 따른 전자 장치(1000)를 나타내는 블록도이다. 8 and 9 are block diagrams illustrating an electronic device 1000 according to some exemplary embodiments.

도 8에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700)를 포함할 수 있다. 그러나, 도 8에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 8에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 8에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.As shown in FIG. 8 , the electronic device 1000 according to an embodiment may include a control unit 1300 , a communication unit 1500 , and a memory 1700 . However, not all of the components illustrated in FIG. 8 are essential components of the electronic device 1000 . The electronic device 1000 may be implemented by more components than those illustrated in FIG. 8 , or the electronic device 1000 may be implemented by fewer components than those illustrated in FIG. 8 .

예를 들어, 도 9에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 제어부(1300), 통신부(1500), 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 및 A/V 입력부(1600)를 더 포함할 수도 있다. For example, as shown in FIG. 9 , the electronic device 1000 according to an embodiment includes a user input unit 1100 and an output unit 1200 in addition to the control unit 1300 , the communication unit 1500 , and the memory 1700 . ), a sensing unit 1400 , and an A/V input unit 1600 may be further included.

예를 들어, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700)를 차량용 보드일 수 있고, 일 실시예에 따른 전자 장치(1000)는 제어부(1300), 통신부(1500), 및 메모리(1700) 이외에 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 및 A/V 입력부(1600) 중 적어도 하나를 더 포함하는 차량일 수 있다.For example, the electronic device 1000 according to an embodiment may include the control unit 1300 , the communication unit 1500 , and the memory 1700 as a vehicle board, and the electronic device 1000 according to an embodiment includes the control unit ( 1300), the communication unit 1500, and the memory 1700 in addition to the user input unit 1100, the output unit 1200, the sensing unit 1400, and the A/V input unit 1600 can be a vehicle further including at least one have.

사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The user input unit 1100 means a means for a user to input data for controlling the electronic device 1000 . For example, the user input unit 1100 includes a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). There may be a tension measurement method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.

사용자 입력부(1100)는, 차량에 설치된 모듈의 동작을 제어하는 사용자 입력하기 위한 사용자 입력을 수신할 수 있다.The user input unit 1100 may receive a user input for controlling an operation of a module installed in the vehicle.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다. 일 실시예에서, 출력부(1200)는 오디오, 비디오, 및/또는 진동 형태로 알림 메시지를 출력할 수 있다.The output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210 , a sound output unit 1220 , and a vibration motor 1230 . have. In an embodiment, the output unit 1200 may output a notification message in the form of audio, video, and/or vibration.

디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 차량의 HUD(Head up display)에 알림 메시지를 디스플레이할 수 있다.The display unit 1210 displays and outputs information processed by the electronic device 1000 . For example, the display unit 1210 may display a notification message on a head up display (HUD) of the vehicle.

음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 예를 들어, 음향 출력부(1220)는 이벤트가 발생하였음을 알리기 위한 경보음을 출력할 수 있다.The sound output unit 1220 outputs audio data received from the communication unit 1500 or stored in the memory 1700 . Also, the sound output unit 1220 outputs a sound signal related to a function (eg, a call signal reception sound, a message reception sound, and a notification sound) performed by the electronic device 1000 . For example, the sound output unit 1220 may output an alarm sound to notify that an event has occurred.

제어부(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 또한, 제어부(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 13에 기재된 전자 장치(1000)의 기능을 수행할 수 있다. 제어부(1300)는 적어도 하나의 프로세서를 구비할 수 있다. 제어부(1300)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 제어부(1300)는 메모리(1700)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.The controller 1300 generally controls the overall operation of the electronic device 1000 . For example, the control unit 1300 executes programs stored in the memory 1700 , and thus the user input unit 1100 , the output unit 1200 , the sensing unit 1400 , the communication unit 1500 , and the A/V input unit 1600 . ) can be controlled in general. Also, the controller 1300 may execute the programs stored in the memory 1700 to perform the functions of the electronic device 1000 described in FIGS. 1 to 13 . The controller 1300 may include at least one processor. The control unit 1300 may include a plurality of processors or a single processor in an integrated form according to functions and roles thereof. In an embodiment, the controller 1300 may include at least one processor that provides a notification message by executing at least one program stored in the memory 1700 .

일 실시예에서, 제어부(1300)는 통신부(1500)를 통하여 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득할 수 있다. 일 실시예에서, 제어부(1300)는 통신부(1500)를 통하여 이벤트의 종류 및 주행의 위험도에 기초하여, 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. In an embodiment, the controller 1300 may obtain a video sequence including a plurality of frames from a camera installed in a vehicle through the communication unit 1500 . In an embodiment, the controller 1300 may transmit a command for controlling the operation of the module installed in the vehicle to the module installed in the vehicle, based on the type of event and the degree of risk of driving through the communication unit 1500 .

일 실시예에서, 제어부(1300)는 복수의 프레임들로부터 복수의 프레임들 내에 포함된 객체를 검출할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 각각에 대한 객체의 위치 정보들을 획득할 수 있다. 제어부(1300)는 객체의 위치들을 픽셀(pixel) 단위로 결정할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있다. 일 실시예에서, 제어부(1300)는 복수의 프레임들 내의 객체의 위치들의 시계열적 변화를 분석함으로써, 이벤트의 종류 및 주행의 위험도를 결정할 수 있다. 일 실시예에서, 제어부(1300)는 이벤트가 발생하였는지의 결정에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다. 일 실시예에서, 제어부(1300)는 이벤트의 종류 및 주행의 위험도에 기초하여, 이벤트를 알리는 알림 메시지를 생성할 수 있다. 일 실시예에서, 제어부(1300)는 생성된 알림 메시지를 출력부(1200)를 통하여 출력하도록 제어할 수 있다. 일 실시예에서, 제어부(1300)는 생성된 알림 메시지를 디스플레이부(1210)를 통하여 디스플레이하도록 제어할 수 있다. 일 실시예에서, 제어부(1300)는 객체의 검출 및 객체의 위치 정보 획득과 이벤트의 발생 여부 결정 및 알림 메시지의 생성은 상이한 학습 모델을 이용하여 수행할 수 있다.In an embodiment, the controller 1300 may detect an object included in the plurality of frames from the plurality of frames. In an embodiment, the controller 1300 may obtain location information of an object for each of a plurality of frames. The controller 1300 may determine the positions of the objects in units of pixels. In an embodiment, the controller 1300 may determine whether an event related to driving of a vehicle has occurred by analyzing a time-series change of positions of objects in a plurality of frames. In an embodiment, the controller 1300 may determine the type of event and the risk of driving by analyzing time-series changes of positions of objects in a plurality of frames. In an embodiment, the controller 1300 may generate a notification message informing of an event based on a determination of whether an event has occurred. In an embodiment, the controller 1300 may generate a notification message informing of an event based on the type of event and the degree of risk of driving. In an embodiment, the controller 1300 may control to output the generated notification message through the output unit 1200 . In an embodiment, the controller 1300 may control to display the generated notification message through the display unit 1210 . In an embodiment, the controller 1300 may perform detection of an object, acquisition of location information of an object, determination of whether an event occurs, and generation of a notification message using different learning models.

일 실시예에서 제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 객체의 종류(type)를 판단하는 기준 및 복수의 프레임들 각각에 대해 객체의 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성될 수 있으며, 제어부(1300)는 제1 학습 모델을 이용하여 객체의 종류를 판단할 수 있고, 객체의 복수의 프레임들 내 위치들을 판단할 수 있다.In an embodiment, the first learning model uses a Fully Convolutional Network (FCN) to determine a reference for determining the type of an object and a reference for determining positions within a plurality of frames of the object for each of a plurality of frames. It may be generated by learning, and the controller 1300 may determine the type of the object using the first learning model, and may determine positions within a plurality of frames of the object.

일 실시예에서 제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 복수의 프레임들 내의 객체의 위치의 시계열적 변화를 분석함으로써, 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성될 수 있으며, 제어부(1300)는 제2 학습 모델을 이용하여 차량의 주행에 관련된 이벤트가 발생하였는지를 결정할 수 있고, 알림 메시지의 내용을 결정할 수 있다.In an embodiment, the second learning model uses a Recurrent Neural Network (RNN) to analyze a time-series change of a position of an object in a plurality of frames, thereby determining whether an event related to driving of a vehicle has occurred. The message may be generated by learning the criteria for determining the content of the message, and the controller 1300 may determine whether an event related to driving of the vehicle has occurred using the second learning model, and may determine the content of the notification message.

일 실시예에서 제어부(1300)는, 제1 학습 모델에 입력하기 위해, 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용할 수 있고, 제2 학습 모델에 입력하기 위해, 제1 학습 모델의 출력의 차원을 감소시킬 수 있다.In one embodiment, the controller 1300 may apply a filter for flattening the brightness of the plurality of frames to the plurality of frames to input to the first learning model, and perform the second learning For input to the model, the dimensionality of the output of the first learning model may be reduced.

센싱부(1400)는, 전자 장치(1000)의 상태, 사용자의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다. The sensing unit 1400 may detect a state of the electronic device 1000 , a user state, or a state around the electronic device 1000 , and transmit the sensed information to the controller 1300 .

센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(RGB sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The sensing unit 1400 includes a magnetic sensor 1410 , an acceleration sensor 1420 , a temperature/humidity sensor 1430 , an infrared sensor 1440 , a gyroscope sensor 1450 , and a position sensor. (eg, GPS) 1460 , a barometric pressure sensor 1470 , a proximity sensor 1480 , and at least one of an RGB sensor 1490 , but is not limited thereto. Since a function of each sensor can be intuitively inferred from the name of a person skilled in the art, a detailed description thereof will be omitted.

통신부(1500)는, 전자 장치(1000)가 다른 전자 장치(미도시) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 전자 장치(미도시)는 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 다른 전자 장치는, 전자 장치(1000)와 같이 차량에 포함된 모듈일 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다. The communication unit 1500 may include one or more components that allow the electronic device 1000 to communicate with another electronic device (not shown) and the server 2000 . Another electronic device (not shown) may be a computing device or a sensing device, but is not limited thereto. Also, for example, the other electronic device may be a module included in a vehicle, such as the electronic device 1000 . For example, the communication unit 1500 may include a short-distance communication unit 1510 , a mobile communication unit 1520 , and a broadcast receiving unit 1530 .

근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. Short-range wireless communication unit 1510, Bluetooth communication unit, BLE (Bluetooth Low Energy) communication unit, short-range wireless communication unit (Near Field Communication unit), WLAN (Wi-Fi) communication unit, Zigbee (Zigbee) communication unit, infrared ( It may include an IrDA, infrared Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like, but is not limited thereto.

이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 1520 transmits/receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call signal, or a text/multimedia message.

방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.The broadcast receiver 1530 receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. According to an implementation example, the electronic device 1000 may not include the broadcast receiver 1530 .

일 실시예에서, 통신부(1500)는 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 수신할 수 있다. 일 실시예에서, 통신부(1500)는 차량에 설치된 모듈의 동작을 제어하기 위한 명령을 차량에 설치된 모듈에게 전송할 수 있다. In an embodiment, the communication unit 1500 may receive a video sequence including a plurality of frames from a camera installed in a vehicle. In an embodiment, the communication unit 1500 may transmit a command for controlling the operation of the module installed in the vehicle to the module installed in the vehicle.

A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 예를 들어, 카메라(1610)에 의해 촬영된 이미지는 이벤트가 발생하였는지를 결정하기 위한 정보로 활용될 수 있다.The A/V (Audio/Video) input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 , a microphone 1620 , and the like. The camera 1610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a shooting mode. The image captured through the image sensor may be processed through the controller 1300 or a separate image processing unit (not shown). For example, an image captured by the camera 1610 may be used as information for determining whether an event has occurred.

마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 전자 장치 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. The microphone 1620 receives an external sound signal and processes it as electrical voice data. For example, the microphone 1620 may receive an acoustic signal from an external electronic device or a user. The microphone 1620 may use various noise removal algorithms for removing noise generated in the process of receiving an external sound signal.

메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. The memory 1700 may store a program for processing and control of the controller 1300 , and may also store data input to or output from the electronic device 1000 .

메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), and a RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , may include at least one type of storage medium among optical disks.

메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다. Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions, for example, may be classified into a UI module 1710 , a touch screen module 1720 , a notification module 1730 , and the like. .

UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.The UI module 1710 may provide a specialized UI, GUI, etc. interworking with the electronic device 1000 for each application. The touch screen module 1720 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the controller 1300 . The touch screen module 1720 according to an embodiment may recognize and analyze a touch code. The touch screen module 1720 may be configured as separate hardware including a controller.

알림 모듈(1730)은 이벤트의 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다. The notification module 1730 may generate a signal for notifying the occurrence of an event. The notification module 1730 may output a notification signal in the form of a video signal through the display unit 1210 , may output a notification signal in the form of an audio signal through the sound output unit 1220 , and the vibration motor 1230 . It is also possible to output a notification signal in the form of a vibration signal through

도 10은 일 실시예에 따른 프로세서(1300)를 나타내는 블록도이다. 10 is a block diagram illustrating a processor 1300 according to an embodiment.

도 10을 참조하면, 일 실시예에 따른 프로세서(1300)는 데이터 학습부(1310) 및 데이터 인식부(1320)를 포함할 수 있다.Referring to FIG. 10 , a processor 1300 according to an embodiment may include a data learning unit 1310 and a data recognition unit 1320 .

데이터 학습부(1310)는 픽셀 정보를 획득하고, 알림 메시지를 생성하기 위한 기준을 학습할 수 있다. 데이터 학습부(1310)는 픽셀 정보를 획득하고, 알림 메시지를 생성하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 어떻게 픽셀 정보를 획득하고, 어떻게 알림 메시지를 생성할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 픽셀 정보를 획득하고, 알림 메시지를 생성하기 위한 기준을 학습할 수 있다.The data learning unit 1310 may acquire pixel information and learn a criterion for generating a notification message. The data learning unit 1310 obtains pixel information and learns criteria for which data to use to generate a notification message, how to obtain pixel information using the data, and how to generate a notification message. . The data learner 1310 acquires data to be used for learning, and applies the acquired data to a data recognition model to be described later, thereby acquiring pixel information and learning a criterion for generating a notification message.

도 1 내지 도 9에서는, 객체를 검출, 객체의 위치 정보들을 획득, 객체의 종류를 판단, 객체의 위치를 판단, 이벤트가 발생하였는지를 결정, 이벤트의 종류를 결정, 주행의 위험도를 결정, 알림 메시지를 생성, 알림 메시지의 내용을 결정하기 위한 동작 등이 각각의 동작으로 수행되는 것으로 설명되었지만, 이에 제한되지 않는다. 객체를 검출, 객체의 위치 정보들을 획득, 객체의 종류를 판단, 객체의 위치를 판단, 이벤트가 발생하였는지를 결정, 이벤트의 종류를 결정, 주행의 위험도를 결정, 알림 메시지를 생성, 알림 메시지의 내용을 결정하기 위한 동작의 수행 중 적어도 둘 이상이, 기 설정된 기준에 따른 학습에 기초하여 수행될 수 있다.1 to 9, detecting an object, obtaining location information of the object, determining the type of object, determining the location of the object, determining whether an event has occurred, determining the type of event, determining the risk of driving, notification message Although it has been described that an operation for generating a , and an operation for determining the content of the notification message is performed as each operation, the present invention is not limited thereto. Detect object, obtain object location information, determine the type of object, determine the location of the object, determine whether an event has occurred, determine the type of event, determine the risk of driving, generate a notification message, content of the notification message At least two or more of performing the operation for determining , may be performed based on learning according to a preset criterion.

데이터 인식부(1320)는 데이터에 기초하여 픽셀 정보를 획득하고, 알림 메시지를 생성할 수 있다. 데이터 인식부(1320)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 픽셀 정보를 및 알림 메시지를 인식할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초하여 픽셀 정보를 어떻게 획득하고 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.The data recognition unit 1320 may obtain pixel information based on data and generate a notification message. The data recognition unit 1320 may recognize pixel information and a notification message from predetermined data by using the learned data recognition model. The data recognition unit 1320 acquires predetermined data according to a preset criterion by learning, and uses the data recognition model using the acquired data as an input value, thereby acquiring and notifying how pixel information is obtained based on the predetermined data. You can decide how to create a message. In addition, a result value output by the data recognition model using the obtained data as an input value may be used to update the data recognition model.

데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.At least one of the data learning unit 1310 and the data recognition unit 1320 may be manufactured in the form of at least one hardware chip and mounted in an electronic device. For example, at least one of the data learning unit 1310 and the data recognition unit 1320 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or a conventional general-purpose processor (eg, CPU) Alternatively, it may be manufactured as a part of an application processor) or a graphics-only processor (eg, GPU) and mounted on the various electronic devices described above.

이 경우, 데이터 학습부(1310) 및 데이터 인식부(1320)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1310) 및 데이터 인식부(1320)는 유선 또는 무선으로 통하여, 데이터 학습부(1310)가 구축한 모델 정보를 데이터 인식부(1320)로 제공할 수도 있고, 데이터 인식부(1320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1310)로 제공될 수도 있다.In this case, the data learning unit 1310 and the data recognition unit 1320 may be mounted on one electronic device or may be mounted on separate electronic devices, respectively. For example, one of the data learning unit 1310 and the data recognition unit 1320 may be included in the electronic device, and the other one may be included in the server. In addition, the data learning unit 1310 and the data recognition unit 1320 may provide the model information constructed by the data learning unit 1310 to the data recognition unit 1320 through wired or wireless communication, and the data recognition unit ( Data input to 1320 may be provided to the data learning unit 1310 as additional learning data.

한편, 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1310) 및 데이터 인식부(1320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다. Meanwhile, at least one of the data learning unit 1310 and the data recognition unit 1320 may be implemented as a software module. When at least one of the data learning unit 1310 and the data recognition unit 1320 is implemented as a software module (or a program module including instructions), the software module is a computer-readable non-transitory readable It may be stored in a recording medium (non-transitory computer readable media). Also, in this case, at least one software module may be provided by an operating system (OS) or may be provided by a predetermined application. Alternatively, a part of the at least one software module may be provided by an operating system (OS), and the other part may be provided by a predetermined application.

도 11는 일 실시예에 따른 데이터 학습부(1310)를 나타내는 블록도이다.11 is a block diagram illustrating a data learning unit 1310 according to an exemplary embodiment.

도 11를 참조하면, 일부 실시예에 따른 데이터 학습부(1310)는 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)를 포함할 수 있다.Referring to FIG. 11 , the data learning unit 1310 according to an exemplary embodiment includes a data acquiring unit 1310-1, a preprocessing unit 1310-2, a training data selection unit 1310-3, and a model learning unit 1310. -4) and a model evaluation unit 1310-5.

데이터 획득부(1310-1)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단에 필요한 데이터를 획득할 수 있다. 데이터 획득부(1310-1)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습을 위하여 필요한 데이터를 획득할 수 있다.The data acquisition unit 1310-1 may acquire data necessary for determining how to acquire pixel information and how to generate a notification message. The data acquisition unit 1310-1 may acquire data necessary for learning for determining how to acquire pixel information and how to generate a notification message.

예를 들어, 데이터 획득부(1310-1)는 음성 데이터, 영상 데이터, 텍스트 데이터 또는 생체 신호 데이터 등을 획득할 수 있다. 일 예로, 데이터 획득부(1310-1)는 전자 장치(1000)의 입력 기기(예: 마이크로폰, 카메라 또는 센서 등)를 통해 데이터를 입력 받을 수 있다. 또는, 데이터 획득부(1310-1)는 전자 장치(1000)와 통신하는 다른 전자 장치를 통해 데이터를 획득할 수 있다. 또는, 데이터 획득부(1310-1)는 전자 장치(1000)와 통신하는 서버를 통해 데이터를 획득할 수 있다.For example, the data acquisition unit 1310-1 may acquire voice data, image data, text data, or biosignal data. For example, the data acquisition unit 1310-1 may receive data through an input device (eg, a microphone, a camera, or a sensor) of the electronic device 1000 . Alternatively, the data acquisition unit 1310-1 may acquire data through another electronic device that communicates with the electronic device 1000 . Alternatively, the data acquisition unit 1310-1 may acquire data through a server that communicates with the electronic device 1000 .

예를 들어, 데이터 획득부(1310-1)는 차량에 설치된 카메라로부터 비디오 시퀀스를 수신할 수 있다. 또한, 예를 들어, 데이터 획득부(1310-1)는 차량의 주변을 촬영할 수 있는 카메라로부터 비디오 시퀀스를 수신할 수 있다. 또한, 예를 들어, 데이터 획득부(1310-1)는 전자 장치(1000)에 구비된 카메라로부터 비디오 시퀀스를 획득할 수 있다. For example, the data acquisition unit 1310-1 may receive a video sequence from a camera installed in a vehicle. Also, for example, the data acquisition unit 1310-1 may receive a video sequence from a camera capable of photographing the surroundings of the vehicle. Also, for example, the data acquisition unit 1310-1 may acquire a video sequence from a camera included in the electronic device 1000 .

전처리부(1310-2)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1310-2)는 후술할 모델 학습부(1310-4)가 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(1310-2)는 비디오 시퀀스에 포함된 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 복수의 프레임들에게 적용하는 전처리를 수행할 수 있다.The preprocessor 1310 - 2 may preprocess the acquired data so that the acquired data can be used for learning for determining how to acquire pixel information and how to generate a notification message. The preprocessor 1310-2 obtains the data obtained so that the model learning unit 1310-4, which will be described later, uses the acquired data for learning to determine how to acquire pixel information and how to generate a notification message. data can be processed into a preset format. For example, the preprocessor 1310 - 2 may perform preprocessing by applying a filter for flattening the brightness of the plurality of frames included in the video sequence to the plurality of frames.

학습 데이터 선택부(1310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(1310-4)에 제공될 수 있다. 학습 데이터 선택부(1310-3)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(1310-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.The learning data selection unit 1310 - 3 may select data necessary for learning from among the pre-processed data. The selected data may be provided to the model learning unit 1310 - 4 . The learning data selector 1310 - 3 may select data required for learning from among preprocessed data according to preset criteria for determining how to obtain pixel information and how to generate a notification message. In addition, the training data selection unit 1310 - 3 may select data according to a preset criterion by learning by the model learning unit 1310 - 4 to be described later.

모델 학습부(1310-4)는 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(1310-4)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.The model learning unit 1310 - 4 may learn a criterion for how to acquire pixel information and how to generate a notification message based on the training data. Also, the model learning unit 1310 - 4 may learn a criterion for which training data to use to determine how to acquire pixel information and how to generate a notification message.

또한, 모델 학습부(1310-4)는 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단에 이용되는 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 데이터 인식 모델은 미리 구축된 모델일 수 있다. 예를 들어, 데이터 인식 모델은 기본 학습 데이터(예를 들어, 차량의 블랙박스 영상 등)을 입력 받아 미리 구축된 모델일 수 있다.Also, the model learning unit 1310 - 4 may train a data recognition model used for determining how to acquire pixel information and how to generate a notification message based on the training data, using the training data. In this case, the data recognition model may be a pre-built model. For example, the data recognition model may be a model built in advance by receiving basic learning data (eg, an image of a black box of a vehicle, etc.).

데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), FCN(Fully Convolutional Network) BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.The data recognition model may be constructed in consideration of the field of application of the recognition model, the purpose of learning, or the computer performance of the device. The data recognition model may be, for example, a model based on a neural network. For example, a model such as a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Fully Convolutional Network (FCN), or a Bidirectional Recurrent Deep Neural Network (BRDNN) may be used as the data recognition model, but is not limited thereto.

다양한 실시예에 따르면, 모델 학습부(1310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다. According to various embodiments, when a plurality of pre-built data recognition models exist, the model learning unit 1310 - 4 uses a data recognition model that has a high correlation between the input training data and the basic learning data as a data recognition model to learn. can decide In this case, the basic learning data may be pre-classified for each type of data, and the data recognition model may be previously built for each type of data. For example, the basic learning data may be pre-classified according to various criteria such as a region where the learning data is generated, a time when the training data is generated, a size of the training data, a genre of the training data, a generator of the training data, and the like.

또한, 모델 학습부(1310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.Also, the model learning unit 1310 - 4 may train the data recognition model using, for example, a learning algorithm including error back-propagation or gradient descent. .

또한, 모델 학습부(1310-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 별다른 지도 없이 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(1310-4)는, 예를 들어, 학습에 따른 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지에 대한 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.Also, the model learning unit 1310 - 4 may train the data recognition model through, for example, supervised learning using learning data as an input value. In addition, the model learning unit 1310-4 learns, for example, the type of data necessary for determining how to acquire pixel information and how to generate a notification message based on the training data without any guidance. By doing so, it is possible to train the data recognition model through unsupervised learning to find a criterion for determining how to obtain pixel information and how to generate a notification message based on the training data. In addition, the model learning unit 1310-4, for example, based on the training data according to the learning, how to obtain the pixel information and how to generate the notification message feedback on whether the result of the determination is correct A data recognition model can be trained through reinforcement learning that is used.

또한, 데이터 인식 모델이 학습되면, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 데이터 인식부(1320)를 포함하는 전자 장치(1000)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1320)를 포함하는 전자 장치(1000)의 메모리에 저장할 수 있다. 또는, 모델 학습부(1310-4)는 학습된 데이터 인식 모델을 전자 장치(1000)와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.Also, when the data recognition model is learned, the model learning unit 1310 - 4 may store the learned data recognition model. In this case, the model learning unit 1310 - 4 may store the learned data recognition model in the memory of the electronic device 1000 including the data recognition unit 1320 . Alternatively, the model learning unit 1310 - 4 may store the learned data recognition model in the memory of the electronic device 1000 including the data recognition unit 1320 to be described later. Alternatively, the model learning unit 1310 - 4 may store the learned data recognition model in a memory of a server connected to the electronic device 1000 through a wired or wireless network.

이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 전자 장치(1000)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 애플리케이션 프로그래밍 인터페이스(API) 및/또는 애플리케이션 프로그램(또는 "애플리케이션") 등을 포함할 수 있다.In this case, the memory in which the learned data recognition model is stored may also store, for example, commands or data related to at least one other component of the electronic device 1000 . The memory may also store software and/or programs. A program may include, for example, a kernel, middleware, an application programming interface (API) and/or an application program (or "application"), and the like.

모델 평가부(1310-5)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1310-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다. The model evaluation unit 1310-5 may input evaluation data into the data recognition model, and when the recognition result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 1310-4 may be trained again. have. In this case, the evaluation data may be preset data for evaluating the data recognition model.

예를 들어, 모델 평가부(1310-5)는 평가 데이터에 대한 학습된 데이터 인식 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 데이터 인식 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(1310-5)는 학습된 데이터 인식 모델이 적합하지 않은 것으로 평가할 수 있다.For example, the model evaluator 1310-5 sets a predetermined criterion when the number or ratio of evaluation data for which the recognition result is not accurate among the recognition results of the learned data recognition model for the evaluation data exceeds a preset threshold. It can be evaluated as unsatisfactory. For example, when the predetermined criterion is defined as a ratio of 2%, when the learned data recognition model outputs an erroneous recognition result for more than 20 evaluation data out of a total of 1000 evaluation data, the model evaluation unit 1310-5 can be evaluated that the trained data recognition model is not suitable.

한편, 학습된 데이터 인식 모델이 복수 개가 존재하는 경우, 모델 평가부(1310-5)는 각각의 학습된 데이터 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 데이터 인식 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(1310-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 데이터 인식 모델로서 결정할 수 있다.On the other hand, when there are a plurality of learned data recognition models, the model evaluation unit 1310 - 5 evaluates whether each learned data recognition model satisfies a predetermined criterion, and recognizes a model that satisfies the predetermined criterion as final data It can be determined as a model. In this case, when there are a plurality of models that satisfy the predetermined criteria, the model evaluator 1310 - 5 may determine any one or a predetermined number of models preset in the order of the highest evaluation score as the final data recognition model.

한편, 데이터 학습부(1310) 내의 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.On the other hand, in the data learning unit 1310, the data acquisition unit 1310-1, the preprocessor 1310-2, the training data selection unit 1310-3, the model learning unit 1310-4, and the model evaluation unit 1310 At least one of -5) may be manufactured in the form of at least one hardware chip and mounted in an electronic device. For example, at least one of the data acquisition unit 1310-1, the preprocessor 1310-2, the training data selection unit 1310-3, the model learning unit 1310-4, and the model evaluation unit 1310-5 One may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or it may be manufactured as part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU) as described above. It may be mounted on various electronic devices.

또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the data acquisition unit 1310-1, the preprocessor 1310-2, the training data selection unit 1310-3, the model learning unit 1310-4, and the model evaluation unit 1310-5 are one electronic unit. It may be mounted on the device, or may be respectively mounted on separate electronic devices. For example, some of the data acquisition unit 1310-1, the preprocessor 1310-2, the training data selection unit 1310-3, the model learning unit 1310-4, and the model evaluation unit 1310-5 may be included in the electronic device, and the remaining part may be included in the server.

또한, 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1310-1), 전처리부(1310-2), 학습 데이터 선택부(1310-3), 모델 학습부(1310-4) 및 모델 평가부(1310-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the data acquisition unit 1310-1, the preprocessor 1310-2, the training data selection unit 1310-3, the model learning unit 1310-4, and the model evaluation unit 1310-5 is It may be implemented as a software module. At least one of the data acquisition unit 1310-1, the preprocessor 1310-2, the training data selection unit 1310-3, the model learning unit 1310-4, and the model evaluation unit 1310-5 is a software module When implemented as (or, a program module including instructions), the software module may be stored in a computer-readable non-transitory computer readable medium. Also, in this case, at least one software module may be provided by an operating system (OS) or may be provided by a predetermined application. Alternatively, a part of the at least one software module may be provided by an operating system (OS), and the other part may be provided by a predetermined application.

도 12은 일 실시예에 따른 데이터 인식부(1320)의 블록도이다.12 is a block diagram of a data recognition unit 1320 according to an exemplary embodiment.

도 12을 참조하면, 일 실시예에 따른 데이터 인식부(1320)는 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)를 포함할 수 있다.Referring to FIG. 12 , the data recognition unit 1320 according to an embodiment includes a data acquisition unit 1320-1, a preprocessor 1320-2, a recognition data selection unit 1320-3, and a recognition result providing unit ( 1320-4) and a model update unit 1320-5.

데이터 획득부(1320-1)는 학습 데이터에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(1320-2)는 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(1320-2)는 후술할 인식 결과 제공부(1320-4)가 어떻게 픽셀 정보를 획득할 지, 및 어떻게 알림 메시지를 생성할 지의 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. The data acquisition unit 1320-1 may acquire data necessary for determining how to acquire pixel information and how to generate a notification message based on the training data, and the pre-processing unit 1320-2 determines how the pixel information is to be generated. The acquired data may be pre-processed so that the acquired data can be used for determining whether to acquire information and how to generate a notification message. The preprocessor 1320-2 is configured to use the acquired data to determine how the recognition result providing unit 1320-4, which will be described later, acquires pixel information and how to generate a notification message. can be processed in a preset format.

인식 데이터 선택부(1320-3)는 전처리된 데이터 중에서 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지의 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(1320-4)에게 제공될 수 있다. 인식 데이터 선택부(1320-3)는 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(1320-3)는 후술할 모델 학습부(1310-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.The recognition data selection unit 1320 - 3 may select data necessary for determining how to acquire pixel information and how to generate a notification message from among the preprocessed data. The selected data may be provided to the recognition result providing unit 1320 - 4 . The recognition data selection unit 1320 - 3 may select some or all of the preprocessed data according to preset criteria for how to obtain pixel information and how to generate a notification message. Also, the recognition data selection unit 1320 - 3 may select data according to a preset criterion by learning by the model learning unit 1310 - 4 to be described later.

인식 결과 제공부(1320-4)는 선택된 데이터를 데이터 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 인식 결과 제공부(1320-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 데이터 인식 모델에 적용할 수 있다. 또한, 인식 결과는 데이터 인식 모델에 의해 결정될 수 있다.The recognition result providing unit 1320 - 4 may determine how to obtain pixel information and how to generate a notification message by applying the selected data to the data recognition model. The recognition result providing unit 1320 - 4 may provide a recognition result according to the purpose of data recognition. The recognition result providing unit 1320-4 may apply the selected data to the data recognition model by using the data selected by the recognition data selection unit 1320-3 as an input value. Also, the recognition result may be determined by a data recognition model.

모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(1320-5)는 인식 결과 제공부(1320-4)에 의해 제공되는 인식 결과를 모델 학습부(1310-4)에게 제공함으로써, 모델 학습부(1310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.The model updater 1320 - 5 may update the data recognition model based on the evaluation of the recognition result provided by the recognition result providing unit 1320 - 4 . For example, the model updating unit 1320-5 provides the recognition result provided by the recognition result providing unit 1320-4 to the model learning unit 1310-4, so that the model learning unit 1310-4 is The data recognition model can be updated.

한편, 데이터 인식부(1320) 내의 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.On the other hand, in the data recognition unit 1320, the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selection unit 1320-3, the recognition result providing unit 1320-4, and the model update unit ( 1320-5) may be manufactured in the form of at least one hardware chip and mounted in an electronic device. For example, among the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selection unit 1320-3, the recognition result provision unit 1320-4, and the model update unit 1320-5 At least one may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU). It may be mounted on one various electronic devices.

또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.In addition, the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selection unit 1320-3, the recognition result providing unit 1320-4, and the model update unit 1320-5 are one It may be mounted on an electronic device, or may be respectively mounted on separate electronic devices. For example, among the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selection unit 1320-3, the recognition result provision unit 1320-4, and the model update unit 1320-5 Some may be included in the electronic device, and some may be included in the server.

또한, 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1320-1), 전처리부(1320-2), 인식 데이터 선택부(1320-3), 인식 결과 제공부(1320-4) 및 모델 갱신부(1320-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.In addition, at least one of the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selection unit 1320-3, the recognition result providing unit 1320-4, and the model update unit 1320-5 may be implemented as a software module. At least one of the data acquisition unit 1320-1, the preprocessor 1320-2, the recognition data selection unit 1320-3, the recognition result providing unit 1320-4, and the model update unit 1320-5 is software. When implemented as a module (or a program module including instructions), the software module may be stored in a computer-readable non-transitory computer readable medium. Also, in this case, at least one software module may be provided by an operating system (OS) or may be provided by a predetermined application. Alternatively, a part of the at least one software module may be provided by an operating system (OS), and the other part may be provided by a predetermined application.

도 13는 일 실시예에 따른 전자 장치(1000) 및 서버(2000)가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.13 is a diagram illustrating an example of learning and recognizing data by interworking with the electronic device 1000 and the server 2000 according to an embodiment.

도 13를 참조하면, 서버(2000)는 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 위한 기준을 학습할 수 있다. 전자 장치(1000)는 서버(2000)에 의한 학습 결과에 기초하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다.Referring to FIG. 13 , the server 2000 may learn criteria for how to obtain pixel information and how to generate a notification message. The electronic device 1000 may determine how to acquire pixel information and how to generate a notification message based on the learning result by the server 2000 .

이 경우, 서버(2000)의 모델 학습부(2340)는 도 11에 도시된 데이터 학습부(1310)의 기능을 수행할 수 있다. 서버(2000)의 모델 학습부(2340)는 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단하기 위하여 어떤 데이터를 이용할 지, 소정의 데이터를 이용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지에 관한 기준을 학습할 수 있다. 모델 학습부(2340)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단을 위한 기준을 학습할 수 있다.In this case, the model learning unit 2340 of the server 2000 may perform the function of the data learning unit 1310 illustrated in FIG. 11 . The model learning unit 2340 of the server 2000 determines which data to use to determine how to obtain pixel information and how to generate a notification message, and how to obtain pixel information using predetermined data. , and a criterion for how to generate a notification message may be learned. The model learning unit 2340 acquires data to be used for learning, and applies the acquired data to a data recognition model to be described later, thereby determining how to acquire pixel information and how to generate a notification message. can learn

또한, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에 의해 생성된 데이터 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 예를 들어, 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)에게 전송하고, 서버(2000)가 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단해 줄 것을 요청할 수 있다. 또한, 인식 결과 제공부(1320-4)는 서버(2000)에 의해 판단된 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지에 관한 정보를 서버(2000)로부터 수신할 수 있다. In addition, the recognition result providing unit 1320 - 4 of the electronic device 1000 applies the data selected by the recognition data selection unit 1320 - 3 to the data recognition model generated by the server 2000 to obtain pixel information. It is possible to determine whether to obtain it, and how to generate a notification message. For example, the recognition result providing unit 1320-4 transmits the data selected by the recognition data selection unit 1320-3 to the server 2000, and the server 2000 performs the recognition data selection unit 1320-3 It may be requested to determine how to obtain pixel information and how to generate a notification message by applying the data selected by the to the recognition model. Also, the recognition result providing unit 1320 - 4 may receive from the server 2000 information on how to obtain pixel information and how to generate a notification message determined by the server 2000 .

또는, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 생성된 인식 모델을 서버(2000)로부터 수신하고, 수신된 인식 모델을 이용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. 이 경우, 전자 장치(1000)의 인식 결과 제공부(1320-4)는 인식 데이터 선택부(1320-3)에 의해 선택된 데이터를 서버(2000)로부터 수신된 데이터 인식 모델에 적용하여 어떻게 픽셀 정보를 획득할 지, 및 알림 메시지를 어떻게 생성할 지를 판단할 수 있다. Alternatively, the recognition result providing unit 1320 - 4 of the electronic device 1000 receives the recognition model generated by the server 2000 from the server 2000, and uses the received recognition model to obtain pixel information. and how to generate a notification message. In this case, the recognition result providing unit 1320 - 4 of the electronic device 1000 applies the data selected by the recognition data selection unit 1320 - 3 to the data recognition model received from the server 2000 to obtain pixel information. It is possible to determine whether to obtain it, and how to generate a notification message.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. Some embodiments may also be implemented in the form of a recording medium containing instructions executable by a computer, such as program modules to be executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Also, in this specification, “unit” may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

Claims (20)

차량의 동작을 제어하는 전자 장치에 있어서,
적어도 하나의 프로그램이 저장되는 메모리;
상기 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로그램은,
상기 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계;
상기 복수의 프레임들로부터 상기 복수의 프레임들 내에 포함된 객체를 검출하는 단계;
상기 복수의 프레임들 각각에 대한 상기 객체의 위치 정보들을 획득하는 단계;
상기 복수의 프레임들 내의 상기 객체의 위치들의 시계열적 변화를 분석함으로써, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계;
상기 결정에 기초하여, 상기 이벤트를 알리는 알림 메시지를 생성하는 단계; 및
상기 생성된 알림 메시지를 출력하는 단계;
를 실행하는 명령어들을 포함하며,
상기 객체를 검출하는 단계 및 상기 위치 정보들을 획득하는 단계는 제1 학습 모델을 이용하여 수행되고, 상기 이벤트가 발생하였는지를 결정하는 단계 및 상기 알림 메시지를 생성하는 단계는 제2 학습 모델을 이용하여 수행되는, 전자 장치.
An electronic device for controlling the operation of a vehicle, comprising:
a memory in which at least one program is stored;
At least one processor configured to provide a notification message by executing the at least one program,
the at least one program,
obtaining a video sequence including a plurality of frames from a camera installed in the vehicle;
detecting an object included in the plurality of frames from the plurality of frames;
obtaining location information of the object for each of the plurality of frames;
determining whether an event related to driving of the vehicle has occurred by analyzing a time-series change of positions of the object in the plurality of frames;
generating a notification message informing of the event based on the determination; and
outputting the generated notification message;
Includes commands that execute
Detecting the object and acquiring the location information are performed using a first learning model, and determining whether the event has occurred and generating the notification message are performed using a second learning model being an electronic device.
 제 1 항에 있어서,
상기 제1 학습 모델에서 출력되는 상기 객체의 위치 정보들이 상기 제2 학습 모델에 입력되는, 전자 장치.
The method of claim 1,
The electronic device, wherein the location information of the object output from the first learning model is input to the second learning model.
 제 1 항에 있어서,
상기 이벤트가 발생하였는지를 결정하는 단계는,
상기 이벤트의 종류를 결정하는 단계; 및
상기 주행의 위험도를 결정하는 단계;
를 포함하고,
상기 알림 메시지를 생성하는 단계는,
상기 이벤트의 종류 및 상기 주행의 위험도에 기초하여, 상기 알림 메시지를 생성하는 단계를 포함하는, 전자 장치.
The method of claim 1,
The step of determining whether the event has occurred,
determining the type of the event; and
determining the degree of risk of the driving;
including,
The step of generating the notification message is,
and generating the notification message based on the type of the event and the driving risk.
 제 3 항에 있어서,
상기 이벤트의 종류 및 상기 주행의 위험도에 따라, 상기 차량에 설치된 모듈의 동작을 제어하기 위한 명령이 상기 모듈에게 전송되는 것인, 전자 장치.
4. The method of claim 3,
According to the type of the event and the degree of risk of driving, a command for controlling an operation of a module installed in the vehicle is transmitted to the module.
 제 1 항에 있어서,
상기 알림 메시지를 출력하는 단계는,
상기 알림 메시지를 상기 차량의 HUD(Head up display)에 디스플레이하는 단계를 포함하는, 전자 장치.
The method of claim 1,
The step of outputting the notification message is,
and displaying the notification message on a head up display (HUD) of the vehicle.
 제 1 항에 있어서,
상기 객체의 위치 정보들을 획득하는 단계는,
상기 객체의 위치들을 상기 복수의 프레임으로부터 픽셀(pixel) 단위로 결정하는 단계를 포함하는, 전자 장치.
The method of claim 1,
Obtaining the location information of the object comprises:
and determining the positions of the object in units of pixels from the plurality of frames.
 제 1 항에 있어서,
상기 제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 상기 객체의 종류(type)를 판단하는 기준 및 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성되며,
상기 객체를 검출하는 단계는, 상기 제1 학습 모델을 이용하여 상기 객체의 종류를 판단하는 것이고,
상기 객체의 위치 정보들을 획득하는 단계는, 상기 제1 학습 모델을 이용하여 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 것인, 전자 장치.
The method of claim 1,
The first learning model is a criterion for determining the type of the object using a Fully Convolutional Network (FCN), and a criterion for determining the positions of the object in the plurality of frames for each of the plurality of frames is created by learning
The step of detecting the object is to determine the type of the object using the first learning model,
The obtaining of the location information of the object may include determining positions of the object within the plurality of frames for each of the plurality of frames by using the first learning model.
 제 1항에 있어서,
상기 제2 학습 모델의 입력은, 상기 제1 학습 모델의 출력의 차원(dimension)을 감소시킨 것인, 전자 장치.
The method of claim 1,
The input of the second learning model, the electronic device of which the dimension (dimension) of the output of the first learning model is reduced.
 제 1 항에 있어서,
상기 제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 상기 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성되며,
상기 이벤트가 발생하였는지를 결정하는 단계는, 상기 제2 학습 모델을 이용하여 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하며,
상기 알림 메시지를 생성하는 단계는, 상기 제2 학습 모델을 이용하여, 상기 알림 메시지의 내용을 결정하는 것인, 전자 장치.
The method of claim 1,
The second learning model is generated by learning a criterion for determining whether an event related to driving of the vehicle has occurred and a criterion for determining the content of the notification message using a Recurrent Neural Network (RNN),
The step of determining whether the event has occurred determines whether an event related to driving of the vehicle has occurred using the second learning model,
The generating of the notification message may include determining content of the notification message by using the second learning model.
 제 1 항에 있어서,
상기 적어도 하나의 프로그램은,
상기 제1 학습 모델에 입력하기 위해, 상기 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 상기 복수의 프레임들에게 적용하는 단계를 실행하는 명령어들을 더 포함하는, 전자 장치.
The method of claim 1,
the at least one program,
and applying to the plurality of frames a filter for flattening a lightening degree of the plurality of frames to be input to the first learning model.
 차량의 동작을 제어하는 방법에 있어서,
상기 차량에 설치된 카메라로부터 복수의 프레임(frame)들을 포함하는 비디오 시퀀스를 획득하는 단계;
상기 복수의 프레임들로부터 상기 복수의 프레임들 내에 포함된 객체를 검출하는 단계;
상기 복수의 프레임들 각각에 대한 상기 객체의 위치 정보들을 획득하는 단계;
상기 복수의 프레임들 내의 상기 객체의 위치들의 시계열적 변화를 분석함으로써, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 단계;
상기 결정에 기초하여, 상기 이벤트를 알리는 알림 메시지를 생성하는 단계; 및
상기 생성된 알림 메시지를 출력하는 단계;
를 포함하며,
상기 객체를 검출하는 단계 및 상기 위치 정보들을 획득하는 단계는 제1 학습 모델을 이용하여 수행되고, 상기 이벤트가 발생하였는지를 결정하는 단계 및 상기 알림 메시지를 생성하는 단계는 제2 학습 모델을 이용하여 수행되는, 방법.
A method for controlling the operation of a vehicle, the method comprising:
obtaining a video sequence including a plurality of frames from a camera installed in the vehicle;
detecting an object included in the plurality of frames from the plurality of frames;
obtaining location information of the object for each of the plurality of frames;
determining whether an event related to driving of the vehicle has occurred by analyzing a time-series change of positions of the object in the plurality of frames;
generating a notification message informing of the event based on the determination; and
outputting the generated notification message;
includes,
Detecting the object and acquiring the location information are performed using a first learning model, and determining whether the event has occurred and generating the notification message are performed using a second learning model How to become.
 제 11 항에 있어서,
상기 제1 학습 모델에서 출력되는 상기 객체의 위치 정보들이 상기 제2 학습 모델에 입력되는, 방법.
12. The method of claim 11,
The method, wherein the position information of the object output from the first learning model is input to the second learning model.
 제 11 항에 있어서,
상기 이벤트가 발생하였는지를 결정하는 단계는,
상기 이벤트의 종류를 결정하는 단계; 및
상기 주행의 위험도를 결정하는 단계;
를 포함하고,
상기 알림 메시지를 생성하는 단계는,
상기 이벤트의 종류 및 상기 주행의 위험도에 기초하여, 상기 알림 메시지를 생성하는 단계를 포함하는, 방법.
12. The method of claim 11,
The step of determining whether the event has occurred,
determining the type of the event; and
determining the degree of risk of the driving;
including,
The step of generating the notification message is,
and generating the notification message based on the type of the event and the degree of risk of driving.
 제 13 항에 있어서,
상기 이벤트의 종류 및 상기 주행의 위험도에 따라, 상기 차량에 설치된 모듈의 동작을 제어하기 위한 명령이 상기 모듈에게 전송되는 것인, 방법.
14. The method of claim 13,
According to the type of the event and the degree of risk of driving, a command for controlling an operation of a module installed in the vehicle is transmitted to the module.
 제 11 항에 있어서,
상기 객체의 위치 정보들을 획득하는 단계는,
상기 객체의 위치들을 상기 복수의 프레임으로부터 픽셀(pixel) 단위로 결정하는 단계를 포함하는, 방법.
12. The method of claim 11,
Obtaining the location information of the object comprises:
and determining the positions of the object in units of pixels from the plurality of frames.
 제 11 항에 있어서,
상기 제1 학습 모델은, FCN(Fully Convolutional Network)을 이용하여 상기 객체의 종류(type)를 판단하는 기준 및 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 기준을 학습함으로써 생성되며,
상기 객체를 검출하는 단계는, 상기 제1 학습 모델을 이용하여 상기 객체의 종류를 판단하는 것이고,
상기 객체의 위치 정보들을 획득하는 단계는, 상기 제1 학습 모델을 이용하여 상기 복수의 프레임들 각각에 대해 상기 객체의 상기 복수의 프레임들 내 위치들을 판단하는 것인, 방법.
12. The method of claim 11,
The first learning model is a criterion for determining the type of the object using a Fully Convolutional Network (FCN), and a criterion for determining the positions of the object in the plurality of frames for each of the plurality of frames is created by learning
The step of detecting the object is to determine the type of the object using the first learning model,
The obtaining of the location information of the object may include determining positions within the plurality of frames of the object for each of the plurality of frames by using the first learning model.
 제 11항에 있어서,
상기 제2 학습 모델의 입력은, 상기 제1 학습 모델의 출력의 차원(dimension)을 감소시킨 것인, 방법.
12. The method of claim 11,
The method of claim 1, wherein the input of the second learning model is reduced in dimension of the output of the first learning model.
 제 11 항에 있어서,
상기 제2 학습 모델은, RNN(Recurrent Neural Network)을 이용하여, 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하는 기준 및 상기 알림 메시지의 내용을 결정하는 기준을 학습함으로써 생성되며,
상기 이벤트가 발생하였는지를 결정하는 단계는, 상기 제2 학습 모델을 이용하여 상기 차량의 주행에 관련된 이벤트가 발생하였는지를 결정하며,
상기 알림 메시지를 생성하는 단계는, 상기 제2 학습 모델을 이용하여, 상기 알림 메시지의 내용을 결정하는 것인, 방법.
12. The method of claim 11,
The second learning model is generated by learning a criterion for determining whether an event related to driving of the vehicle has occurred and a criterion for determining the content of the notification message using a Recurrent Neural Network (RNN),
The step of determining whether the event has occurred determines whether an event related to driving of the vehicle has occurred using the second learning model,
In the generating of the notification message, the content of the notification message is determined by using the second learning model.
 제 11 항에 있어서,
상기 제1 학습 모델에 입력하기 위해, 상기 복수의 프레임들의 명도(lightening degree)를 평탄화(flattening)하기 위한 필터를 상기 복수의 프레임들에게 적용하는 단계를 더 포함하는, 방법.
12. The method of claim 11,
and applying to the plurality of frames a filter for flattening a lightening degree of the plurality of frames for input to the first learning model.
 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium in which a program for executing the method of claim 11 in a computer is recorded.
KR1020170097814A 2017-05-16 2017-08-01 Electronic device and method for controlling operation of vehicle KR102360181B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/964,779 US10769453B2 (en) 2017-05-16 2018-04-27 Electronic device and method of controlling operation of vehicle
PCT/KR2018/006982 WO2019027141A1 (en) 2017-05-16 2018-06-20 Electronic device and method of controlling operation of vehicle
EP18842256.2A EP3634812A4 (en) 2017-05-16 2018-06-20 Electronic device and method of controlling operation of vehicle
CN201880050369.XA CN110997415A (en) 2017-08-01 2018-06-20 Electronic device and method of controlling operation of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762506732P 2017-05-16 2017-05-16
US62/506,732 2017-05-16

Publications (2)

Publication Number Publication Date
KR20180125858A KR20180125858A (en) 2018-11-26
KR102360181B1 true KR102360181B1 (en) 2022-02-08

Family

ID=80252442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170097814A KR102360181B1 (en) 2017-05-16 2017-08-01 Electronic device and method for controlling operation of vehicle

Country Status (1)

Country Link
KR (1) KR102360181B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595787B1 (en) 2018-02-27 2023-11-24 삼성전자주식회사 Electronic device and control method thereof
JP7256758B2 (en) * 2019-01-30 2023-04-12 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド LIDAR positioning with time smoothing using RNN and LSTM in autonomous vehicles
US11372404B2 (en) * 2019-02-22 2022-06-28 Qualcomm Incorporated Systems and methods for adaptive model processing
US20220348217A1 (en) * 2019-08-23 2022-11-03 Lg Electronics Inc. Electronic apparatus for vehicles and operation method thereof
KR102246706B1 (en) * 2020-03-16 2021-04-30 포티투닷 주식회사 Autonomous driving device and method for operating autonomous driving device in anomaly situation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281093A1 (en) 2009-06-30 2012-11-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US20130250113A1 (en) 2010-02-26 2013-09-26 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20150169627A1 (en) 2012-12-05 2015-06-18 Google Inc. Geotagged hashtags

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344683B1 (en) * 2012-11-28 2016-05-17 Lytx, Inc. Capturing driving risk based on vehicle state and automatic detection of a state of a location
US9681270B2 (en) * 2014-06-20 2017-06-13 Opentv, Inc. Device localization based on a learning model
KR102164635B1 (en) * 2014-12-12 2020-10-12 현대자동차주식회사 Device and Method for Self Driving of Vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281093A1 (en) 2009-06-30 2012-11-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US20130250113A1 (en) 2010-02-26 2013-09-26 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20150169627A1 (en) 2012-12-05 2015-06-18 Google Inc. Geotagged hashtags

Also Published As

Publication number Publication date
KR20180125858A (en) 2018-11-26

Similar Documents

Publication Publication Date Title
KR102060662B1 (en) Electronic device and method for detecting a driving event of vehicle
US10803323B2 (en) Electronic device and method of detecting driving event of vehicle
US10769453B2 (en) Electronic device and method of controlling operation of vehicle
KR102360181B1 (en) Electronic device and method for controlling operation of vehicle
KR102428920B1 (en) Image display device and operating method for the same
KR102480416B1 (en) Device and method for estimating information about a lane
KR102298541B1 (en) Artificial intelligence apparatus for recognizing user from image data and method for the same
US11138453B2 (en) Driving guide method and apparatus for vehicle
US11592825B2 (en) Electronic device and operation method therefor
CN111465960A (en) Image acquisition apparatus and method of controlling image acquisition apparatus
KR20180051367A (en) method and device for adjusting an image
KR20210030466A (en) Image acquisition device and control method thereof
KR102420567B1 (en) Method and device for voice recognition
US11688195B2 (en) Electronic device and method for assisting with driving of vehicle
US11931906B2 (en) Mobile robot device and method for providing service to user
KR102458664B1 (en) Electronic apparatus and method for assisting driving of a vehicle
KR20200028168A (en) Computing apparatus using convolutional neural network and operating method for the same
JP2023036778A (en) Image processing apparatus and image processing method
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
CN111095208A (en) Device and method for providing a response to a device usage query
EP3879449A1 (en) Electronic device for recognizing object in image, and operation method thereof
KR20200084428A (en) Method for generating video and device thereof
CN110997415A (en) Electronic device and method of controlling operation of vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant