KR102269053B1

KR102269053B1 - Electronic apparatus and controlling method thereof

Info

Publication number: KR102269053B1
Application number: KR1020190134855A
Authority: KR
Inventors: 변동남; 김혜원; 여해동
Original assignee: 삼성전자주식회사
Priority date: 2019-07-09
Filing date: 2019-10-28
Publication date: 2021-06-24
Also published as: KR20210006826A

Abstract

전자 장치가 개시된다. 본 전자 장치는 센서, 카메라, 객체를 식별하도록 학습된 제1 인공 지능 모델(Artificial Intelligence Model) 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 저장하는 스토리지, 센서 및 스토리지와 연결되는 제1 프로세서 및 카메라, 스토리지 및 제1 프로세서와 연결되는 제2 프로세서를 포함하고, 제2 프로세서는, 스토리지에서 제1 및 제2 인공 지능 모델을 로드하고, 카메라를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하여 이미지에서 객체를 식별하고, 카메라를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하여 이미지에서 객체에 의해 일부가 가려진 위험 객체를 식별하고, 식별된 객체에 대한 정보 및 식별된 위험 객체에 대한 정보를 제1 프로세서로 전송하고, 제1 프로세서는, 센서로부터 수신된 센싱 데이터에 기초하여 객체와 위험 객체 간의 거리를 판단하며, 판단된 거리에 기초하여 전자 장치가 객체의 주변을 주행하도록 전자 장치를 제어한다.An electronic device is disclosed. The electronic device includes a sensor, a camera, a storage for storing a first artificial intelligence model trained to identify an object, and a second artificial intelligence model trained to identify a dangerous object partially obscured by the object, a sensor and a first processor and a camera connected to the storage, a second processor connected to the storage and the first processor, wherein the second processor loads the first and second artificial intelligence models from the storage, and an image acquired through the camera input into the first artificial intelligence model to identify the object in the image, input the image acquired through the camera into the second artificial intelligence model to identify the dangerous object partially obscured by the object in the image, and The information and information on the identified dangerous object are transmitted to the first processor, and the first processor determines a distance between the object and the dangerous object based on sensing data received from the sensor, and based on the determined distance, the electronic device Controls the electronic device to travel around the object.

Description

전자 장치 및 그 제어 방법 {ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF

본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 위험 객체를 식별할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.The present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device capable of identifying a dangerous object and a control method thereof.

최근 전자 기술의 발달로 다양한 전자 장치가 개발되고 있다. 특히, 최근에는 전자 장치 주변의 객체를 식별하고, 객체를 회피하여 주행하는 전자 장치가 개발되고 있다. 일 예로, 최근에 개발된 로봇 청소기는 바닥에 놓인 컵을 식별하고, 컵과의 충돌을 방지하기 위해 컵을 회피하여 주행할 수 있다.Recently, with the development of electronic technology, various electronic devices have been developed. In particular, recently, an electronic device that identifies an object around the electronic device and drives while avoiding the object has been developed. For example, a recently developed robot cleaner may identify a cup placed on the floor, and drive while avoiding the cup in order to prevent collision with the cup.

한편, 경우에 따라 객체는 다른 객체에 의해 일부가 가려질 수 있다. 예를 들어, 테이블의 다리 등에 컵의 일부가 가려진 경우 등이다. 이 경우, 종래의 전자 장치는 컵을 식별하지 못하여, 컵과 충돌하는 문제가 있었다.Meanwhile, in some cases, an object may be partially covered by another object. For example, when a part of the cup is covered by the legs of a table, etc. In this case, there is a problem in that the conventional electronic device does not identify the cup and collides with the cup.

본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 다른 객체에 의해 일부가 가려진 위험 객체를 식별하고, 위험 객체를 회피하여 주행할 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.The present disclosure has been devised to solve the above problems, and an object of the present disclosure is to identify a dangerous object partially covered by another object, and to provide an electronic device capable of driving by avoiding the dangerous object and a control method thereof. have.

상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는, 센서, 카메라, 객체를 식별하도록 학습된 제1 인공 지능 모델(Artificial Intelligence Model) 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 저장하는 스토리지, 상기 센서 및 상기 스토리지와 연결되는 제1 프로세서 및 상기 카메라, 상기 스토리지 및 상기 제1 프로세서와 연결되는 제2 프로세서;를 포함하고, 상기 제2 프로세서는, 상기 스토리지에서 상기 제1 및 제2 인공 지능 모델을 로드하고, 상기 카메라를 통해 획득된 이미지를 상기 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하고, 상기 식별된 객체에 대한 정보 및 상기 식별된 위험 객체에 대한 정보를 상기 제1 프로세서로 전송하고, 상기 제1 프로세서는, 상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하며, 상기 판단된 거리에 기초하여 상기 전자 장치가 상기 객체의 주변을 주행하도록 상기 전자 장치를 제어할 수 있다.An electronic device according to an embodiment of the present disclosure for achieving the above object, a sensor, a camera, a first artificial intelligence model learned to identify an object, and a dangerous object partially obscured by the object A storage for storing the learned second artificial intelligence model, a first processor connected to the sensor and the storage, and a second processor connected to the camera, the storage, and the first processor, the second processor comprising: , load the first and second artificial intelligence models from the storage, input the image obtained through the camera into the first artificial intelligence model to identify an object in the image, and retrieve the image obtained through the camera input to the second artificial intelligence model to identify a dangerous object partially obscured by the object in the image, and transmit information about the identified object and information about the identified dangerous object to the first processor, The first processor determines a distance between the object and the dangerous object based on the sensed data received from the sensor, and operates the electronic device to drive the electronic device around the object based on the determined distance. can be controlled

그리고, 본 개시의 전자 장치는 구동부를 더 포함하고, 상기 제1 프로세서는, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어하고, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 구동부를 제어할 수 있다.The electronic device of the present disclosure further includes a driving unit, and the first processor controls the driving unit to drive the electronic device close to the object when the distance between the object and the dangerous object is equal to or greater than a preset value. and if the distance between the object and the dangerous object is less than a preset value, the electronic device may control the driving unit to drive in an area more than a preset distance away from the dangerous object located around the object.

그리고, 상기 제1 프로세서는, 상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어할 수 있다.In addition, the first processor is configured to, if the dangerous object is not identified in the image acquired through the camera while the electronic device is driving in an area more than the preset distance away from the dangerous object, the electronic device is connected to the object. The driving unit may be controlled to travel in proximity.

그리고, 상기 제1 프로세서는, 상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치 및 상기 객체 간의 제1 거리 및 상기 전자 장치 및 상기 위험 객체 간의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체 및 상기 위험 객체 간의 거리를 판단할 수 있다.In addition, the first processor determines a first distance between the electronic device and the object and a second distance between the electronic device and the dangerous object based on the sensing data received from the sensor, and the first and second It is possible to determine a distance between the object and the dangerous object based on the distance.

그리고, 상기스토리지는, 맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고, 상기 제1 프로세서는, 상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고, 상기 판단된 구역에 대한 정보를 상기 제2 프로세서로 전송하고, 상기 스토리지에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고, 상기 스토리지에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별할 수 있다.In addition, the storage stores the information on the map, and the first AI model for identification of an object and the second AI model for identification of a dangerous object corresponding to each of a plurality of zones included in the map. and, the first processor determines an area in which the electronic device is located among a plurality of areas included in the map based on the sensed data received from the sensor, and transmits information on the determined area to the second processor transmits the image to a first AI model corresponding to the determined area among a plurality of first AI models stored in the storage to identify the object, and a plurality of second AI models stored in the storage The dangerous object may be identified by inputting the image to a second artificial intelligence model corresponding to the determined area among models.

그리고, 상기 위험 객체는, 상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함할 수 있다.In addition, the dangerous object may include at least one of an object that may be damaged by collision with the electronic device, an object that may become stuck in an inlet of the electronic device, and animal excrement.

한편, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 카메라를 통해 이미지를 획득하는 단계, 상기 카메라를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하는 단계, 센서로부터 수신된 센싱 데이터에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하는 단계 및 상기 판단된 거리에 기초하여 상기 전자 장치가 상기 객체의 주변을 주행하도록 상기 전자 장치를 제어하는 단계;를 포함할 수 있다.On the other hand, the control method of the electronic device according to an embodiment of the present disclosure includes acquiring an image through a camera, inputting the image acquired through the camera into a first artificial intelligence model to identify an object in the image, inputting the image acquired through the camera into a second artificial intelligence model to identify a dangerous object partially covered by the object in the image; a distance between the object and the dangerous object based on sensing data received from a sensor and controlling the electronic device to drive the electronic device around the object based on the determined distance.

그리고, 상기 제어하는 단계는, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어하고, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 전자 장치를 제어할 수 있다.And, in the controlling, if the distance between the object and the dangerous object is equal to or greater than a preset value, controlling the electronic device to drive the electronic device close to the object, and the distance between the object and the dangerous object is If it is less than the preset value, the electronic device may control the electronic device to travel in an area more than a preset distance away from the dangerous object located around the object.

그리고, 상기 제어하는 단계는, 상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어할 수 있다.And, in the controlling, if the dangerous object is not identified in the image acquired through the camera while the electronic device is driving in an area more than the preset distance from the dangerous object, the electronic device is attached to the object The electronic device may be controlled to travel in proximity.

그리고, 상기 거리를 판단하는 단계는, 상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치 및 상기 객체 간의 제1 거리 및 상기 전자 장치 및 상기 위험 객체 간의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체 및 상기 위험 객체 간의 거리를 판단할 수 있다.The determining of the distance may include determining a first distance between the electronic device and the object and a second distance between the electronic device and the dangerous object based on the sensing data received from the sensor, and the first and A distance between the object and the dangerous object may be determined based on the second distance.

그리고, 상기 전자 장치는, 객체를 식별하도록 학습된 제1 인공지능 모델, 및 위험 객체 및 상기 객체에 의해 일부가 가려진 상기 위험 객체를 식별하도록 학습된 제2 인공지능 모델을 저장하고, 상기 식별하는 단계는, 상기 카메라를 통해 획득된 이미지를 상기 제1 인공지능 모델에 입력하여 상기 이미지에서 상기 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 상기 제2 인공지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 상기 위험 객체를 식별할 수 있다.And, the electronic device stores the first artificial intelligence model learned to identify the object, and the second artificial intelligence model learned to identify the dangerous object and the dangerous object partially obscured by the object, and the identification The step may include inputting an image acquired through the camera into the first artificial intelligence model to identify the object in the image, and inputting the image acquired through the camera into the second artificial intelligence model to obtain the image from the image. It is possible to identify the dangerous object partially obscured by the object.

그리고, 상기 전자 장치는, 맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고, 상기 식별하는 단계는, 상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고, 상기 전자 장치에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고, 상기 전자 장치에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별할 수 있다.And, the electronic device, the first artificial intelligence model for identification of the object and the second artificial intelligence model for identification of the dangerous object, corresponding to each of the plurality of regions included in the map and information on the map, The storing and identifying may include determining a region in which the electronic device is located among a plurality of regions included in the map based on the sensed data received from the sensor, and a plurality of first artificial intelligence stored in the electronic device A second artificial intelligence corresponding to the determined region among a plurality of second artificial intelligence models stored in the electronic device by inputting the image into a first artificial intelligence model corresponding to the determined region among models to identify the object The dangerous object can be identified by inputting the image into the model.

그리고, 상기 위험 객체는, 상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함할 수 있다. In addition, the dangerous object may include at least one of an object that may be damaged by collision with the electronic device, an object that may become stuck in an inlet of the electronic device, and animal excrement.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 위험 객체의 일부가 다른 객체에 의해 가려진 경우에도 위험 객체를 식별할 수 있고, 그 위험 객체를 회피하여 주행할 수 있는 전자 장치 및 그 제어 방법이 제공될 수 있다.According to various embodiments of the present disclosure as described above, an electronic device capable of identifying a dangerous object and driving while avoiding the dangerous object and a control method thereof are provided even when a part of the dangerous object is obscured by another object. can be

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 3a는 본 개시의 일 실시 예에 따른 전자 장치 주변에 객체가 위치하는 경우를 도시한 도면이다.
도 3b는 본 개시의 일 실시 예에 따른 전자 장치 주변에 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 4a는 본 개시의 일 실시 예에 따른 전자 장치 주변에 위험 객체가 위치하는 경우를 도시한 도면이다.
도 4b는 본 개시의 일 실시 예에 따른 전자 장치 주변에 위험 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 5a는 본 개시의 일 실시 예에 따른 객체에 근접하여 위험 객체가 위치하는 경우를 도시한 도면이다.
도 5b는 본 개시의 일 실시 예에 따른 객체에 근접하여 위험 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 5c는 본 개시의 일 실시 예에 따른 객체로부터 기설정된 거리 이상 떨어진 영역에 위험 객체가 위치하는 경우를 도시한 도면이다.
도 5d는 본 개시의 일 실시 예에 따른 객체로부터 기설정된 거리 이상 떨어진 영역에 위험 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 6a는 본 개시의 일 실시 예에 따른 제1 인공 지능 모델을 설명하기 위한 도면이다.
도 6b는 본 개시의 일 실시 예에 따른 제2 인공 지능 모델을 설명하기 위한 도면이다.
도 6c는 본 개시의 일 실시 예에 따른 제2 인공 지능 모델을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시 예에 따른 맵에 대한 정보를 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시 예에 따른 각 구역에 따라 구분되는 제1 및 제2 인공 지능 모델을 설명하기 위한 도면이다.
도 7c는 본 개시의 일 실시 예에 따른 제1 및 제2 인공 지능 모델을 이용하여 객체 및/또는 위험 객체를 식별하는 실시 예를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 블록도이다.
도 9a는 본 개시의 일 실시 예에 따른 전자 장치 및 외부 장치를 도시한 도면이다.
도 9b는 본 개시의 일 실시 예에 따른 인공 지능 모델의 업데이트를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.1 is a diagram schematically illustrating an operation of an electronic device according to an embodiment of the present disclosure.
2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
3A is a diagram illustrating a case in which an object is positioned around an electronic device according to an embodiment of the present disclosure;
3B is an example for explaining a driving operation of the electronic device when an object is located around the electronic device according to an embodiment of the present disclosure.
4A is a diagram illustrating a case in which a dangerous object is located around an electronic device according to an embodiment of the present disclosure.
4B is an example for explaining a driving operation of the electronic device when a dangerous object is located around the electronic device according to an embodiment of the present disclosure.
5A is a diagram illustrating a case in which a dangerous object is located close to an object according to an embodiment of the present disclosure.
5B is an example for explaining a driving operation of an electronic device when a dangerous object is located close to the object according to an embodiment of the present disclosure;
5C is a diagram illustrating a case in which a dangerous object is located in an area more than a predetermined distance away from the object according to an embodiment of the present disclosure.
5D is an example for explaining a driving operation of an electronic device when a dangerous object is located in an area more than a preset distance away from the object according to an embodiment of the present disclosure.
6A is a diagram for describing a first artificial intelligence model according to an embodiment of the present disclosure.
6B is a diagram for explaining a second artificial intelligence model according to an embodiment of the present disclosure.
6C is a diagram for explaining a second artificial intelligence model according to an embodiment of the present disclosure.
7A is a diagram for explaining information on a map according to an embodiment of the present disclosure.
7B is a diagram for explaining first and second artificial intelligence models divided according to each zone according to an embodiment of the present disclosure.
7C is a diagram for describing an embodiment of identifying an object and/or a dangerous object using first and second artificial intelligence models according to an embodiment of the present disclosure.
8 is a block diagram illustrating an electronic device 100 according to an embodiment of the present disclosure.
9A is a diagram illustrating an electronic device and an external device according to an embodiment of the present disclosure.
9B is a diagram for explaining an update of an artificial intelligence model according to an embodiment of the present disclosure.
10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다. First, the terms used in this specification and claims have been selected in consideration of the function of the present disclosure. However, these terms may vary depending on the intention, legal or technical interpretation of a person skilled in the art, and the emergence of new technology. Also, some terms are arbitrarily selected by the applicant. These terms may be interpreted in the meaning defined in the present specification, and if there is no specific term definition, it may be interpreted based on the general content of the present specification and common technical common sense in the art.

또한, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.In addition, in describing the present disclosure, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present disclosure, the detailed description thereof will be abbreviated or omitted.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.Further, an embodiment of the present disclosure will be described in detail below with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present disclosure is not limited or limited by the embodiments.

이하, 첨부된 도면을 참조하여 본 개시를 상세히 설명한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating an operation of an electronic device according to an embodiment of the present disclosure.

전자 장치(100)는 실내 공간을 주행하면서 전자 장치(100)에 구비된 카메라를 통해 이미지를 획득할 수 있다. 여기에서, 카메라를 통해 획득된 이미지에는 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 다양한 객체가 포함될 수 있다.The electronic device 100 may acquire an image through a camera provided in the electronic device 100 while driving in an indoor space. Here, the image acquired through the camera may include various objects such as a sofa, a TV, a bed, a table, a wardrobe, an air conditioner, and a refrigerator.

또한, 카메라를 통해 획득된 이미지에는 위험 객체가 포함될 수도 있다. 여기에서, 위험 객체란 전자 장치(100)와의 충돌에 의해 파손될 수 있는 객체로서 컵, 화분 등이 될 수 있다. 다만, 이는 일 실시 예로서, 위험 객체는 전자 장치(100)의 흡입구에 스턱을 될 수 있는 객체로서 양말, 이어폰, 전선 등이 될 수도 있고, 실내 공간을 오염시킬 수 있는 객체로서 동물의 배설물 등이 될 수도 있다.In addition, the image acquired through the camera may include a dangerous object. Here, the dangerous object is an object that can be damaged by collision with the electronic device 100 and may be a cup, a flowerpot, or the like. However, this is an embodiment, and the dangerous object is an object that can be stuck in the inlet of the electronic device 100 and may be socks, earphones, electric wires, etc., and may contaminate indoor space, such as animal excrement, etc. this could be

전자 장치(100)는 이미지에 포함된 객체 및/또는 위험 객체를 식별할 수 있다. The electronic device 100 may identify an object and/or a dangerous object included in the image.

구체적으로, 전자 장치(100)는 카메라를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있고, 카메라를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체를 식별할 수 있다. Specifically, the electronic device 100 may identify the object included in the image by inputting the image acquired through the camera into the first artificial intelligence model that performs object identification, and may use the image acquired through the camera as a risk By inputting into the second artificial intelligence model that performs object identification, it is possible to identify the dangerous object included in the image.

여기에서, 제1 인공 지능 모델은 이미지에 포함된 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 객체를 식별하기 위해 학습된 모델이고, 제2 인공 지능 모델은 이미지에 포함된 컵, 양말 등의 위험 객체를 식별하기 위해 학습된 모델로서 제1 및 제2 인공 지능 모델 각각은 CNN(Convolutional Neural Network)으로 구현될 수 있다.Here, the first artificial intelligence model is a model trained to identify objects such as sofa, TV, bed, table, wardrobe, air conditioner, refrigerator, etc. included in the image, and the second artificial intelligence model is a cup included in the image; Each of the first and second artificial intelligence models may be implemented as a Convolutional Neural Network (CNN) as a model trained to identify dangerous objects such as socks.

전자 장치(100)는 이미지에 객체 및/또는 위험 객체가 포함되어 있는지 여부에 기초하여, 전자 장치(100)의 주행을 제어할 수 있다.The electronic device 100 may control the driving of the electronic device 100 based on whether an object and/or a dangerous object are included in the image.

구체적으로, 전자 장치(100)는 이미지에 객체가 포함되어 있는 경우이면, 객체에 근접하여 주행할 수 있다. 여기에서, 근접하여 주행이란 객체로부터 제1 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다. 일 실시 예로, 제1 기설정된 거리가 1cm로 설정된 경우이면, 전자 장치(100)는 객체로부터 1cm만큼 떨어진 영역까지 객체에 근접하여 주행할 수 있다.Specifically, when an object is included in the image, the electronic device 100 may drive close to the object. Here, the proximity driving may be driving in an area separated by a first preset distance from the object. As an example, when the first preset distance is set to 1 cm, the electronic device 100 may travel close to the object up to an area separated by 1 cm from the object.

또는, 근접하여 주행이란 객체에 접촉할 때까지의 주행이 될 수도 있다. 일 실시 예로, 전자 장치(100)는 이미지에 객체가 포함되어 있는 경우, 객체에 접촉할 때까지 객체를 향해 주행하고, 객체와 접촉되면 주행 방향을 변경할 수 있다. Alternatively, driving in proximity may be driving until it comes into contact with an object. As an embodiment, when an object is included in the image, the electronic device 100 may drive toward the object until it comes into contact with the object, and when it comes into contact with the object, the electronic device 100 may change the traveling direction.

한편, 전자 장치(100)는 이미지에 위험 객체가 포함되어 있는 경우이면, 위험 객체를 회피하여 주행할 수 있다. 여기에서, 회피하여 주행이란 위험 객체로부터 제2 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다.Meanwhile, when a dangerous object is included in the image, the electronic device 100 may drive while avoiding the dangerous object. Here, avoiding driving may be driving in an area separated by a second preset distance from the dangerous object.

제2 기설정된 거리는 상술한 제1 기설정된 거리보다 클 수 있다. 일 실시 예로, 제2 기설정된 거리는 30cm로 설정될 수 있고, 이 경우 전자 장치(100)는 위험 객체로부터 30cm만큼 떨어진 영역까지 위험 객체에 근접하여 주행하고, 전자 장치(100) 및 위험 객체간의 거리가 제2 기설정된 거리에 도달하면, 전자 장치(100)의 주행 방향을 변경할 수 있다.The second preset distance may be greater than the above-described first preset distance. As an embodiment, the second preset distance may be set to 30 cm. In this case, the electronic device 100 travels close to the dangerous object to an area separated by 30 cm from the dangerous object, and the distance between the electronic device 100 and the dangerous object When ? reaches the second preset distance, the driving direction of the electronic device 100 may be changed.

이에 따라, 본 개시의 전자 장치는 이미지 상에서 소파 등의 객체가 식별된 경우이면, 소파에 근접하여 주행하고, 이미지 상에서 컵 등의 위험 객체가 식별되면, 컵을 회피하여 주행할 수 있다.Accordingly, when an object such as a sofa is identified on the image, the electronic device of the present disclosure may drive close to the sofa, and if a dangerous object such as a cup is identified on the image, the electronic device may drive while avoiding the cup.

한편, 경우에 따라 위험 객체는 객체에 의해 일부가 가려질 수 있다. 예를 들어, 도 1을 참조하면, 위험 객체인 컵(20)은 객체인 소파(10)에 의해 일부가 가려질 수 있다.On the other hand, in some cases, the dangerous object may be partially covered by the object. For example, referring to FIG. 1 , a cup 20 as a dangerous object may be partially covered by a sofa 10 as an object.

이 경우, 종래의 전자 장치는 객체에 의해 가려진 위험 객체를 식별하지 못하여, 객체에 근접하여 주행하는 문제가 있었다. 이에 따라, 종래의 전자 장치는 객체에 근접하여 주행하는 중에 위험 객체와 접촉 또는 충돌함으로써, 위험 객체를 파손하는 등의 문제를 발생하였다.In this case, there is a problem in that the conventional electronic device does not identify a dangerous object that is obscured by the object, and thus drives close to the object. Accordingly, the conventional electronic device comes into contact with or collides with a dangerous object while driving close to the object, thereby causing a problem such as damage to the dangerous object.

이와 같은 문제를 방지하기 위해서, 본 개시의 전자 장치는 객체에 의해 일부가 가려진 위험 객체를 식별하고, 그 위험 객체를 회피하여 주행하는 동작을 수행할 수 있다. 이하, 도 2를 참조하여 이에 대해 상세히 설명한다.In order to prevent such a problem, the electronic device of the present disclosure may identify a dangerous object partially covered by the object, and perform an operation of driving while avoiding the dangerous object. Hereinafter, this will be described in detail with reference to FIG. 2 .

도 2는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.

본 개시의 일 실시 예에 따른 전자 장치(100)는 이동 가능한 전자 장치가 될 수 있다. 일 예로, 전자 장치(100)는 가정 내 공간을 주행하면서 청소 작업을 수행할 수 있는 로봇 청소기, 사람을 대신해 운전을 수행하는 자동 주행 차량 또는 목적지까지 물품을 이동시킬 수 있는 자동 경로 차량(Automated Guided Vehicle) 중 하나가 될 수 있다.The electronic device 100 according to an embodiment of the present disclosure may be a movable electronic device. For example, the electronic device 100 may include a robot cleaner capable of performing a cleaning task while driving in a home space, an autonomous vehicle that drives on behalf of a person, or an automated guided vehicle capable of moving goods to a destination. Vehicle) can be one of them.

다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 건물 내 공간을 주행하면서 공기 정화 작업을 수행할 수 있는 로봇, 가정 내 공간을 주행하며 의류 정리, 설거지 등의 작업을 수행할 수 있는 가사 지원형 로봇 또는 빌딩 내 공간을 주행하며 경비를 수행할 수 있는 경비형 로봇 등과 같은 다양한 전자 장치로 구현될 수 있다. However, the present invention is not limited thereto, and the electronic device 100 is a robot capable of performing an air purification operation while driving in a space in a building, and a housekeeping support capable of performing tasks such as cleaning clothes and washing dishes while driving in a space in the home. It may be implemented as a variety of electronic devices, such as a robot-type robot or a security-type robot capable of performing security while traveling in a building space.

또한, 전자 장치(100)는 상술한 이동 가능한 전자 장치에 연결 또는 부착될 수 있는 디바이스로 구현될 수도 있다.In addition, the electronic device 100 may be implemented as a device that can be connected to or attached to the above-described movable electronic device.

도 2를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(110), 센서(120), 스토리지(130) 및 프로세서(140)를 포함한다. 여기에서, 프로세서(140)는 센서(120) 및 스토리지(130)와 연결되는 제1 프로세서(140-1) 및, 카메라(110), 스토리지(130) 및 제1 프로세서(140-1)와 연결되는 제2 프로세서(140-2)를 포함할 수 있다.Referring to FIG. 2 , the electronic device 100 according to an embodiment of the present disclosure includes a camera 110 , a sensor 120 , a storage 130 , and a processor 140 . Here, the processor 140 is connected to the first processor 140-1 connected to the sensor 120 and the storage 130, and the camera 110, the storage 130, and the first processor 140-1. It may include a second processor 140-2 that is

그리고, 제1 프로세서(140-1)는 CPU, AP 등과 같은 범용 프로세서 또는 GPU. VPU 등과 같은 그래픽 전용 프로세서가 될 수 있고, 제2 프로세서(140-2)는 NPU와 같은 인공지능 전용 프로세서일 수 있으나, 반드시 이에 한정되는 것은 아니다.In addition, the first processor 140-1 is a general-purpose processor or GPU such as a CPU or AP. It may be a graphics-only processor such as a VPU, and the second processor 140-2 may be an artificial intelligence-only processor such as an NPU, but is not necessarily limited thereto.

제2 프로세서(140-2)는 카메라(110)를 통해 이미지를 획득할 수 있다. 구체적으로, 제2 프로세서(140-2)는 촬영을 수행하도록 카메라(110)를 제어하고, 카메라(110)에 의해 촬영된 이미지를 카메라(110)로부터 획득할 수 있다. 여기에서, 촬영은 전자 장치(100)의 주행 중에 수행될 수 있음은 물론, 전자 장치(100)가 정지된 상태에서 수행될 수도 있다. 한편, 카메라(110)는 RGB 카메라로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니다.The second processor 140 - 2 may acquire an image through the camera 110 . Specifically, the second processor 140 - 2 may control the camera 110 to perform photographing, and obtain an image photographed by the camera 110 from the camera 110 . Here, photographing may be performed while the electronic device 100 is running, as well as being performed while the electronic device 100 is stopped. Meanwhile, the camera 110 may be implemented as an RGB camera, but is not necessarily limited thereto.

제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지에서 객체 및/또는 위험 객체를 식별할 수 있다.The second processor 140 - 2 may identify the object and/or the dangerous object in the image acquired through the camera 110 .

구체적으로, 제2 프로세서(140-2)는 스토리지(130)에 저장된 제1 및 제2 인공 지능 모델(132)을 제2 프로세서(140-2)의 휘발성 메모리(145)에 로드하고, 카메라(110)를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있고, 카메라(110)를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체를 식별할 수 있다. Specifically, the second processor 140-2 loads the first and second artificial intelligence models 132 stored in the storage 130 into the volatile memory 145 of the second processor 140-2, and the camera ( By inputting the image obtained through 110) into the first artificial intelligence model that performs object identification, the object included in the image can be identified, and the image obtained through the camera 110 is used to identify dangerous objects. By inputting the second artificial intelligence model, it is possible to identify the dangerous object included in the image.

여기에서, 제1 인공 지능 모델은 이미지에 포함된 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 객체를 식별하기 위해 학습된 모델이 될 수 있다. 일 예로, 제1 인공 지능 모델은 소파, TV, 침대, 테이블, 옷장, 에어컨 또는 냉장고 등을 포함하는 이미지가 입력되면, 이미지의 특징 정보를 추출하는 컨볼루션 레이어(Convolutional Layer) 및 추출된 특징 정보에 기초하여 이미지에 포함된 객체를 식별하도록 학습된 풀리-커넥티드 레이어(Fully-connected Layer)를 포함하는 CNN Convolutional Neural Network)이 될 수 있다.Here, the first artificial intelligence model may be a model trained to identify objects such as sofa, TV, bed, table, wardrobe, air conditioner, and refrigerator included in the image. For example, when an image including a sofa, TV, bed, table, wardrobe, air conditioner or refrigerator is input, the first artificial intelligence model includes a convolutional layer that extracts feature information of the image and the extracted feature information It can be a CNN Convolutional Neural Network including a fully-connected layer trained to identify an object included in an image based on .

그리고, 제2 인공 지능 모델은 이미지에 포함된 위험 객체(가령, 컵, 화분, 양말, 배설물 등)를 식별하기 위해 학습된 모델이 될 수 있다. 일 예로, 제2 인공 지능 모델은 위험 객체를 포함하는 이미지가 입력되면, 이미지의 특징 정보를 추출하는 컨볼루션 레이어 및 추출된 특징 정보에 기초하여 이미지에 포함된 위험 객체를 식별하도록 학습된 풀리-커넥티드 레이어를 포함하는 CNN이 될 수 있다.In addition, the second artificial intelligence model may be a model trained to identify dangerous objects (eg, cups, flowerpots, socks, excrement, etc.) included in the image. As an example, the second artificial intelligence model is a convolution layer that extracts feature information of an image when an image including a risk object is input, and a pulley trained to identify a risk object included in the image based on the extracted feature information It can be a CNN with a connected layer.

또한, 제2 인공 지능 모델은 객체에 의해 일부가 가려진 위험 객체를 식별하기 위해 학습된 모델이 될 수도 있다. 일 예로, 제2 인공 지능 모델은 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지가 입력되면, 이미지의 특징 정보를 추출하는 컨볼루션 레이어 및 추출된 특징 정보에 기초하여 이미지에 포함된, 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 풀리-커넥티드 레이어를 포함하는 CNN이 될 수 있다. 이와 관련된 보다 상세한 설명은 도 6a 내지 도 6c를 참조하여 후술한다.In addition, the second artificial intelligence model may be a model trained to identify a dangerous object partially obscured by the object. As an example, when an image including a dangerous object partially covered by the object is input, the second artificial intelligence model includes a convolution layer for extracting feature information of the image and the object included in the image based on the extracted feature information. It can be a CNN with a fully-connected layer trained to identify dangerous objects partially obscured by A more detailed description related thereto will be described later with reference to FIGS. 6A to 6C .

그리고, 제2 프로세서(140-2)는 식별된 객체에 대한 정보 및 식별된 위험 객체에 대한 정보를 제1 프로세서(140-1)로 전송할 수 있다.In addition, the second processor 140 - 2 may transmit information on the identified object and information on the identified dangerous object to the first processor 140 - 1 .

제1 프로세서(140-1)는 이미지에 객체 및/또는 위험 객체가 포함되어 있는지를 판단할 수 있다. 구체적으로, 제1 프로세서(140-1)는 제2 프로세서(140-2)로부터 객체에 대한 정보가 수신되면, 이미지에 객체가 포함된 것으로 판단하고, 제2 프로세서(140-2)로부터 위험 객체에 대한 정보가 수신되면, 이미지에 위험 객체가 포함된 것으로 판단할 수 있다.The first processor 140 - 1 may determine whether an object and/or a dangerous object is included in the image. Specifically, when information on an object is received from the second processor 140-2, the first processor 140-1 determines that the object is included in the image, and receives the dangerous object from the second processor 140-2. When the information on , it may be determined that a dangerous object is included in the image.

그리고, 제1 프로세서(140-1)는 이미지에 객체 및/또는 위험 객체가 포함되어 있는지 여부에 기초하여, 전자 장치(100)의 주행을 제어할 수 있다. In addition, the first processor 140 - 1 may control the driving of the electronic device 100 based on whether an object and/or a dangerous object are included in the image.

구체적으로, 제1 프로세서(140-1)는 이미지에 객체가 포함되어 있는 경우이면, 객체에 근접하여 주행하도록 전자 장치(100)의 구동부(미도시)를 제어할 수 있다. 여기에서, 구동부는 바퀴로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니고 구동부는 전자 장치(100)를 이동시킬 수 있는 체인 등 다양한 형태로 구현될 수 있다.Specifically, when an object is included in the image, the first processor 140 - 1 may control a driving unit (not shown) of the electronic device 100 to drive close to the object. Here, the driving unit may be implemented as a wheel, but is not limited thereto, and the driving unit may be implemented in various forms such as a chain capable of moving the electronic device 100 .

한편, 근접하여 주행이란 객체로부터 제1 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다. 일 실시 예로, 제1 기설정된 거리가 1cm로 설정된 경우이면, 제1 프로세서(140-1)는 전자 장치(100)가 객체로부터 1cm만큼 떨어진 영역까지 근접하여 주행하도록 구동부를 제어할 수 있다.Meanwhile, the proximity driving may be driving in an area separated by a first preset distance from the object. For example, when the first preset distance is set to 1 cm, the first processor 140 - 1 may control the driving unit to drive the electronic device 100 close to an area separated by 1 cm from the object.

또는, 근접하여 주행이란 객체에 접촉할 때까지의 주행이 될 수도 있다. 일 실시 예로, 제1 프로세서(140-1)는 이미지에 객체가 포함되어 있는 경우, 전자 장치(100)가 객체에 접촉할 때까지 객체를 향해 주행하도록 구동부를 제어하고, 객체와 접촉되면 전자 장치(100)의 주행 방향을 변경하도록 구동부를 제어할 수 있다.Alternatively, driving in proximity may be driving until it comes into contact with an object. For example, when an object is included in the image, the first processor 140-1 controls the driving unit to drive toward the object until the electronic device 100 comes into contact with the object, and when the object comes into contact, the first processor 140-1 controls the electronic device The driving unit may be controlled to change the driving direction of 100 .

한편, 제1 프로세서(140-1)는 이미지에 위험 객체가 포함되어 있는 경우이면, 전자 장치(100)가 위험 객체를 회피하여 주행하도록 구동부를 제어할 수 있다. 여기에서, 회피하여 주행이란 위험 객체로부터 제2 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다.Meanwhile, if the image includes a dangerous object, the first processor 140 - 1 may control the driving unit so that the electronic device 100 avoids the dangerous object and travels. Here, avoiding driving may be driving in an area separated by a second preset distance from the dangerous object.

제2 기설정된 거리는 상술한 제1 기설정된 거리보다 클 수 있다. 일 실시 예로, 제2 기설정된 거리는 30cm로 설정될 수 있고, 이 경우 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체로부터 30cm만큼 떨어진 영역까지 위험 객체에 근접하여 주행하도록 구동부를 제어하고, 전자 장치(100) 및 위험 객체간의 거리가 제2 기설정된 거리에 도달하면, 제1 프로세서(140-1)는 전자 장치(100)가 주행 방향을 변경하도록 구동부를 제어할 수 있다.The second preset distance may be greater than the above-described first preset distance. As an embodiment, the second preset distance may be set to 30 cm, and in this case, the first processor 140 - 1 controls the driving unit to drive the electronic device 100 close to the dangerous object to an area separated by 30 cm from the dangerous object. control, and when the distance between the electronic device 100 and the dangerous object reaches a second preset distance, the first processor 140 - 1 may control the driving unit to change the driving direction of the electronic device 100 .

한편, 상술한 바와 같이, 제2 인공 지능 모델은 객체에 의해 일부가 가려진 위험 객체를 식별하기 위해 학습된 모델이 될 수 있다.On the other hand, as described above, the second artificial intelligence model may be a model learned to identify a dangerous object partially obscured by the object.

따라서, 도 1과 같이 위험 객체(20)의 일부가 객체(10)에 의해 가려진 경우에도, 제2 프로세서(140-2)는 제2 인공 지능 모델을 이용하여 이미지에 포함된 위험 객체를 식별할 수 있다.Accordingly, even when a part of the dangerous object 20 is obscured by the object 10 as shown in FIG. 1 , the second processor 140 - 2 identifies the dangerous object included in the image using the second artificial intelligence model. can

이 경우, 제1 프로세서(140-1)는 객체(10) 및 위험 객체(20)간의 거리에 기초하여, 구동부를 제어할 수 있다. In this case, the first processor 140 - 1 may control the driving unit based on the distance between the object 10 and the dangerous object 20 .

구체적으로, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 이상이면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.Specifically, if the distance between the object 10 and the dangerous object 20 is greater than or equal to a preset value, the first processor 140 - 1 controls the driving unit to drive the electronic device 100 close to the object 10 . can

즉, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 먼 것으로 판단되면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.That is, when it is determined that the distance between the object 10 and the dangerous object 20 is long, the first processor 140 - 1 may control the driving unit to drive the electronic device 100 close to the object 10 . .

이는, 카메라(110)를 통해 획득된 이미지에 객체(10)에 의해 일부가 가려진 위험 객체(20)가 포함되어 있으나, 객체(10) 및 위험 객체(20) 간의 거리가 기설정된 값 이상인 경우이면, 객체(10)에 근접하여 주행하더라도, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉할 염려가 없음을 고려한 것이다. This is, if the image acquired through the camera 110 includes the dangerous object 20 partially covered by the object 10, but the distance between the object 10 and the dangerous object 20 is greater than or equal to a preset value , considering that there is no concern that the electronic device 100 will collide with or come into contact with the dangerous object 20 even when driving close to the object 10 .

일 예로, 기설정된 값이 50cm인 경우, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 70cm로 판단되면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.For example, when the preset value is 50 cm, the first processor 140 - 1 determines that the distance between the object 10 and the dangerous object 20 is 70 cm, the electronic device 100 approaches the object 10 to control the driving unit to drive.

이와 같이, 본 개시의 전자 장치(100)는 이미지 상에서 위험 객체(20)가 식별되더라도, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉할 염려가 없는 경우이면, 객체(10)에 근접하여 주행함로써, 객체(10) 주변의 오염 물질을 흡입할 수 있다.In this way, even if the electronic device 100 of the present disclosure identifies the dangerous object 20 on the image, if there is no fear that the electronic device 100 will collide with or come into contact with the dangerous object 20 , By driving close, pollutants around the object 10 may be sucked.

한편, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 미만이면, 전자 장치(100)가 객체(10) 주변에 위치한 위험 객체(20)로부터 기설정된 거리 떨어진 영역에서 주행하도록 구동부를 제어할 수 있다.On the other hand, if the distance between the object 10 and the dangerous object 20 is less than a preset value, the first processor 140 - 1 determines that the electronic device 100 receives information from the dangerous object 20 located in the vicinity of the object 10 . The driving unit may be controlled to travel in an area separated by a set distance.

즉, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 가까운 것으로 판단되면, 전자 장치(100)가 위험 객체(20)에 근접하지 않도록 구동부를 제어할 수 있다.That is, when it is determined that the distance between the object 10 and the dangerous object 20 is close, the first processor 140 - 1 may control the driving unit so that the electronic device 100 does not come close to the dangerous object 20 . .

이는, 객체(10) 및 객체(10)에 의해 일부가 가려진 위험 객체(20)가 가까이 붙어 있는 경우이면, 전자 장치(100)가 객체(10)에 근접하여 주행할 경우, 위험 객체(20)에 전자 장치(100)가 충돌 또는 접촉할 염려가 있음을 고려한 것이다. This is when the object 10 and the dangerous object 20 partially covered by the object 10 are close together, and when the electronic device 100 drives close to the object 10, the dangerous object 20 It is considered that there is a possibility that the electronic device 100 may collide or come into contact with each other.

일 예로, 기설정된 값이 50cm인 경우, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 40cm로 판단되면, 전자 장치(100)가 위험 객체(20)를 회피하여 주행하도록 구동부를 제어할 수 있다.For example, when the preset value is 50 cm, the first processor 140 - 1 determines that the distance between the object 10 and the dangerous object 20 is 40 cm, the electronic device 100 selects the dangerous object 20 . The driving unit may be controlled to avoid driving.

이에 따라, 본 개시는 객체(10)에 의해 일부가 가려진 위험 객체(20)도 식별할 수 있고, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉하지 않도록 전자 장치(100)를 주행할 수 있다.Accordingly, the present disclosure can also identify the dangerous object 20 partially covered by the object 10 , and drive the electronic device 100 so that the electronic device 100 does not collide with or contact the dangerous object 20 . can do.

한편, 제1 프로세서(140-1)는 상술한 객체(10) 및 위험 객체(20)간의 거리를 센서(120)로부터 수신한 센싱 데이터에 기초하여 판단할 수 있다.Meanwhile, the first processor 140 - 1 may determine the distance between the above-described object 10 and the dangerous object 20 based on the sensing data received from the sensor 120 .

여기에서, 센싱 데이터는 센서(120)의 종류에 따라 상이할 수 있다. 일 실시 예로, 센서(120)가 3D 카메라 또는 뎁스 카메라로 구현되는 경우, 제1 프로세서(140-1)는 센서(120)로부터 깊이 정보를 포함하는 이미지를 수신할 수 있다. 이 경우, 제1 프로세서(140-1)는 깊이 정보를 이용하여 전자 장치(100) 및 객체(10) 간의 제1 거리 및 전자 장치(100) 및 위험 객체(20) 간의 제2 거리를 판단하고, 제1 및 제2 거리의 차이를 객체(10) 및 위험 객체(20) 간의 거리로 판단할 수 있다.Here, the sensed data may be different according to the type of the sensor 120 . For example, when the sensor 120 is implemented as a 3D camera or a depth camera, the first processor 140 - 1 may receive an image including depth information from the sensor 120 . In this case, the first processor 140-1 determines a first distance between the electronic device 100 and the object 10 and a second distance between the electronic device 100 and the dangerous object 20 using the depth information, , the difference between the first and second distances may be determined as the distance between the object 10 and the dangerous object 20 .

또는, 센서(120)가 라이다 센서로 구현되는 경우, 센서(120)는 객체(10) 및 위험 객체(20)로 광을 조사하고, 그 광의 반사광이 수신된 시간에 기초하여 전자 장치(100) 및 객체(10) 간의 제1 거리 및 전자 장치(100) 및 위험 객체(20) 간의 제2 거리를 판단할 수 있다. 이 경우, 제1 프로세서(140-1)는 센서(120)로부터 제1 및 제2 거리에 관한 정보를 수신하고, 제1 및 제2 거리의 차이를 객체(10) 및 위험 객체(20) 간의 거리로 판단할 수 있다.Alternatively, when the sensor 120 is implemented as a lidar sensor, the sensor 120 irradiates light to the object 10 and the dangerous object 20, and the electronic device 100 based on the time when the reflected light of the light is received. ) and the first distance between the object 10 and the second distance between the electronic device 100 and the dangerous object 20 may be determined. In this case, the first processor 140 - 1 receives information about the first and second distances from the sensor 120 , and calculates the difference between the first and second distances between the object 10 and the dangerous object 20 . can be judged by distance.

한편, 상술한 센서(120)의 예는 일 실시 예로서, 본 개시는 거리를 산출할 수 있는 다양한 센서(가령, 이미지 센서)를 통해 객체(10) 및 위험 객체(20) 간의 거리를 판단할 수 있다고 볼 것이다.On the other hand, the example of the sensor 120 described above is an embodiment, and the present disclosure determines the distance between the object 10 and the dangerous object 20 through various sensors (eg, image sensors) capable of calculating the distance. you will see that you can

상술한 바와 같이, 본 개시의 전자 장치(100)는 카메라(110)를 통해 획득된 이미지에 객체(10)가 포함되어 있거나, 객체(10)로부터 기설정된 거리 이상 떨어진 위험 객체(20)가 포함된 경우이면 객체(10)에 근접하여 주행함으로서 청소 작업 등을 효율적으로 수행하고, 카메라(110)를 통해 획득된 이미지에 객체(10)로부터 기설정된 거리 미만으로 떨어진 위험 객체(20)가 포함된 경우이면, 객체(10)에 근접하지 않고, 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역에서 주행함으로서 위험 객체의 파손 등을 방지할 수 있다. As described above, in the electronic device 100 of the present disclosure, the object 10 is included in the image acquired through the camera 110 , or the dangerous object 20 that is more than a preset distance away from the object 10 is included. If it is, the cleaning operation is efficiently performed by driving close to the object 10, and the dangerous object 20 that is less than a preset distance from the object 10 is included in the image acquired through the camera 110. In this case, it is possible to prevent damage to the dangerous object by driving in an area that is not close to the object 10 and more than a predetermined distance away from the dangerous object 20 .

도 3a 및 도 3b는 본 개시의 일 실시 예에 따른 카메라를 통해 획득된 이미지에 객체가 포함된 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.3A and 3B are examples for explaining a driving operation of an electronic device when an object is included in an image acquired through a camera according to an embodiment of the present disclosure.

제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있다. 여기에서, 제1 인공 지능 모델은 이미지에 포함된 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 객체를 식별하기 위해 학습된 모델이 될 수 있다.The second processor 140 - 2 may identify the object included in the image by inputting the image acquired through the camera 110 into the first artificial intelligence model for performing object identification. Here, the first artificial intelligence model may be a model trained to identify objects such as sofa, TV, bed, table, wardrobe, air conditioner, and refrigerator included in the image.

예를 들어, 제2 프로세서(140-2)는 카메라(110)를 통해 획득된 도 3a에 도시된 바와 같은 이미지(300)를, 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체(10)를 식별할 수 있다.For example, the second processor 140-2 inputs the image 300 as shown in FIG. 3A acquired through the camera 110 into the first artificial intelligence model, and the object 10 included in the image can be identified.

이와 같이, 전자 장치(100) 주변에 객체(10)는 존재하나 위험 객체는 존재하지 않는 경우, 제1 프로세서(140-1)는 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다. As such, when the object 10 exists around the electronic device 100 but the dangerous object does not exist, the first processor 140 - 1 controls the driving unit to drive the electronic device 100 close to the object 10 . can control

구체적으로, 도 3b를 참조하면, 제1 프로세서(140-1)는 전자 장치(100)가 객체(10)로부터 제1 기설정된 거리만큼 떨어진 영역(도면 부호 30의 외부)에서 주행하도록 구동부를 제어할 수 있다.Specifically, referring to FIG. 3B , the first processor 140 - 1 controls the driving unit to drive the electronic device 100 in a region (outside of reference numeral 30 ) separated from the object 10 by a first preset distance. can do.

일 실시 예로, 제1 기설정된 거리가 1cm로 설정된 경우이면, 제1 프로세서(140-1)는 전자 장치(100)가 객체로부터 1cm만큼 떨어진 영역까지 근접하여 주행하도록 구동부(120)를 제어할 수 있다.For example, if the first preset distance is set to 1 cm, the first processor 140 - 1 may control the driving unit 120 to drive the electronic device 100 close to an area separated by 1 cm from the object. have.

또는, 제1 프로세서(140-1)는 전자 장치(100)가 객체에 접촉할 때까지 객체를 향해 주행하도록 구동부(120)를 제어하고, 전자 장치(100)와 객체가 접촉되면 전자 장치(100)의 주행 방향을 변경하도록 구동부(120)를 제어할 수도 있다.Alternatively, the first processor 140-1 controls the driving unit 120 to drive toward the object until the electronic device 100 comes into contact with the object, and when the electronic device 100 and the object come into contact with the electronic device 100, the electronic device 100 ) may control the driving unit 120 to change the driving direction.

도 4a 및 도 4b는 본 개시의 일 실시 예에 따른 카메라를 통해 획득된 이미지에 위험 객체가 포함된 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.4A and 4B are examples for explaining a driving operation of an electronic device when a dangerous object is included in an image acquired through a camera according to an embodiment of the present disclosure.

제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있다. 여기에서, 제2 인공 지능 모델은 이미지에 포함된 위험 객체(가령, 컵, 화분, 양말, 배설물 등)를 식별하기 위해 학습된 모델이 될 수 있다. The second processor 140 - 2 may identify the object included in the image by inputting the image acquired through the camera 110 into the second artificial intelligence model for performing dangerous object identification. Here, the second artificial intelligence model may be a model trained to identify dangerous objects (eg, cups, flowerpots, socks, excrement, etc.) included in the image.

예를 들어, 제2 프로세서(140-2)는 카메라(110)를 통해 획득된 도 4a에 도시된 바와 같은 이미지(400)를, 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체(20)를 식별할 수 있다.For example, the second processor 140-2 inputs the image 400 as shown in FIG. 4A acquired through the camera 110 into the second artificial intelligence model, so that the dangerous object 20 included in the image is ) can be identified.

이와 같이, 전자 장치(100) 주변에 위험 객체(20)가 존재하는 경우, 제1 프로세서(140-1)는 위험 객체를 회피하여 주행하도록 구동부를 제어할 수 있다. 여기에서, 회피하여 주행이란 위험 객체로부터 제2 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다. 그리고, 제2 기설정된 거리는 상술한 제1 기설정된 거리보다 클 수 있다.As such, when the dangerous object 20 exists around the electronic device 100 , the first processor 140 - 1 may control the driving unit to avoid the dangerous object and drive. Here, avoiding driving may be driving in an area separated by a second preset distance from the dangerous object. In addition, the second preset distance may be greater than the above-described first preset distance.

구체적으로, 도 4b를 참조하면, 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체(20)로부터 제2 기설정된 거리만큼 떨어진 영역(도면 부호 40의 외부)에서 주행하도록 구동부를 제어할 수 있다.Specifically, referring to FIG. 4B , the first processor 140 - 1 controls the driving unit to drive the electronic device 100 in a region (outside of reference numeral 40 ) separated by a second preset distance from the dangerous object 20 . can be controlled

일 실시 예로, 제2 기설정된 거리가 30cm로 설정된 경우이면, 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체로부터 30cm만큼 떨어진 영역까지 근접하여 주행하도록 구동부를 제어할 수 있다.For example, when the second preset distance is set to 30 cm, the first processor 140 - 1 may control the driving unit to drive the electronic device 100 close to an area separated by 30 cm from the dangerous object.

도 5a 내지 도 5d는 본 개시의 일 실시 예에 따른 카메라를 통해 획득된 이미지에 객체에 의해 일부가 가려진 위험 객체가 포함된 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.5A to 5D are examples for explaining a driving operation of an electronic device when a dangerous object partially covered by the object is included in an image acquired through a camera according to an embodiment of the present disclosure.

제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있고, 카메라(110)를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체를 식별할 수 있다. 여기에서, 제2 인공 지능 모델을 이용하여 식별한 위험 객체는, 객체에 의해 일부가 가려진 위험 객체가 될 수 있다.The second processor 140 - 2 may identify the object included in the image by inputting the image acquired through the camera 110 into the first artificial intelligence model for performing object identification, and through the camera 110 , By inputting the acquired image into the second artificial intelligence model that performs the dangerous object identification, it is possible to identify the dangerous object included in the image. Here, the dangerous object identified using the second artificial intelligence model may be a dangerous object partially covered by the object.

예를 들어, 제2 프로세서(140-2)는 카메라(110)를 통해 획득된 도 5a 및 도 5c에 도시된 바와 같은 이미지(510, 520)를, 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체(10)를 식별할 수 있고, 카메라(110)를 통해 획득된 이미지(510, 520)를, 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 객체(10)에 의해 일부가 가려진 위험 객체(20)를 식별할 수 있다.For example, the second processor 140-2 includes the images 510 and 520 as shown in FIGS. 5A and 5C acquired through the camera 110 by inputting them into the first artificial intelligence model. A dangerous object partially obscured by the object 10 included in the image by inputting the images 510 and 520 obtained through the camera 110 into the second artificial intelligence model. (20) can be identified.

이와 같이, 객체(10)에 의해 일부가 가려진 위험 객체(20)가 존재하는 경우, 제1 프로세서(140-1)는 객체(10) 및 위험 객체(20) 간의 거리를 센서(140)로부터 수신한 센싱 데이터에 기초하여 판단할 수 있다.As such, when the dangerous object 20 partially covered by the object 10 exists, the first processor 140 - 1 receives the distance between the object 10 and the dangerous object 20 from the sensor 140 . It can be determined based on one sensed data.

일 예로, 센서(120)가 3D 카메라 또는 뎁스 카메라로 구현되는 경우, 제1 프로세서(140-1)는 센서(120)로부터 깊이 정보를 포함하는 이미지를 수신할 수 있다. 그리고, 제1 프로세서(140-1)는 깊이 정보를 이용하여 전자 장치(100) 및 객체(10) 간의 제1 거리 및 전자 장치(100) 및 위험 객체(20) 간의 제2 거리를 판단하고, 제1 및 제2 거리의 차이를 객체(10) 및 위험 객체(20) 간의 거리로 판단할 수 있다. 한편, 이는 일 실시 예로서, 제1 프로세서(140-1)는 라이다 센서 등 다양한 센서를 이용하여 객체(10) 및 위험 객체(20) 간의 거리를 판단할 수 있다.For example, when the sensor 120 is implemented as a 3D camera or a depth camera, the first processor 140 - 1 may receive an image including depth information from the sensor 120 . Then, the first processor 140-1 determines a first distance between the electronic device 100 and the object 10 and a second distance between the electronic device 100 and the dangerous object 20 by using the depth information, The difference between the first and second distances may be determined as a distance between the object 10 and the dangerous object 20 . Meanwhile, this is an embodiment, and the first processor 140 - 1 may determine the distance between the object 10 and the dangerous object 20 using various sensors such as a lidar sensor.

제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 미만이면, 전자 장치(100)가 객체(10) 주변에 위치한 위험 객체(20)로부터 기설정된 거리 떨어진 영역에서 주행하도록 구동부를 제어할 수 있다. 여기에서, 기설정된 값은 50cm가 될 수 있으나, 반드시 이에 한정되는 것은 아니다.When the distance between the object 10 and the dangerous object 20 is less than a preset value, the first processor 140 - 1 determines that the electronic device 100 is a preset distance from the dangerous object 20 located around the object 10 . The driving unit can be controlled to travel in a remote area. Here, the preset value may be 50 cm, but is not necessarily limited thereto.

일 예로, 도 5a에 도시된 바와 같이, 객체(10) 및 위험 객체(20)간의 거리가 기설정된 값 미만이면, 제1 프로세서(140-1)는 도 5b에 도시된 바와 같이, 전자 장치(100)가 객체(10) 주변에 위치한 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역(도면 부호 40의 외부)에서 주행하도록 구동부를 제어할 수 있다.As an example, as shown in FIG. 5A , if the distance between the object 10 and the dangerous object 20 is less than a preset value, the first processor 140-1 is configured as shown in FIG. 5B , the electronic device ( The driving unit may be controlled so that the 100 ) travels in an area (outside of reference numeral 40 ) that is more than a preset distance away from the dangerous object 20 located around the object 10 .

이와 같이, 본 개시는 객체(10)에 의해 일부가 가려진 위험 객체(20)도 식별할 수 있고, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉하지 않도록 전자 장치(100)의 주행을 제어할 수 있다.As such, the present disclosure can identify the dangerous object 20 partially covered by the object 10 , and the electronic device 100 is driven so that the electronic device 100 does not collide with or contact the dangerous object 20 . can be controlled.

한편, 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역에서 주행하는 동안, 카메라(110)를 통해 획득된 이미지에서 위험 객체(20)가 더 이상 식별되지 않으면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.Meanwhile, the first processor 140-1 determines that the dangerous object 20 is detected in the image acquired through the camera 110 while the electronic device 100 is traveling in an area more than a preset distance away from the dangerous object 20 . If it is no longer identified, the driving unit may be controlled to drive the electronic device 100 close to the object 10 .

즉, 제1 프로세서(140-1)는 객체(10)를 기준으로 설정된 영역(30) 중에서, 위험 객체(20)를 기준으로 설정된 영역(40)과 겹치는 영역에서는, 전자 장치(100)가 위험 객체(20)를 기준으로 설정된 영역(40) 이상인 영역에서 주행하도록 구동부를 제어하고, 객체(10)를 기준으로 설정된 영역(30) 중에서, 위험 객체(20)를 기준으로 설정된 영역(40)과 겹쳐지지 않는 영역에서는, 전자 장치(100)가 객체(10)를 기준으로 설정된 영역(30)에 근접하여 주행하도록 구동부를 제어할 수 있다.That is, in the area overlapping the area 40 set based on the dangerous object 20 among the areas 30 set based on the object 10 , the first processor 140 - 1 determines that the electronic device 100 is dangerous. Controls the driving unit to drive in an area greater than or equal to the area 40 set based on the object 20, and among the areas 30 set based on the object 10, the area 40 set based on the dangerous object 20 and In the non-overlapping area, the driving unit may be controlled so that the electronic device 100 travels close to the area 30 set based on the object 10 .

이는, 카메라(110)를 통해 획득한 이미지에서 더 이상 위험 객체(20)가 식별되지 않는 경우이면, 객체(10)에 근접하여 주행하면서 청소 작업 등을 수행할 필요가 있기 때문이다.This is because, when the dangerous object 20 is no longer identified in the image acquired through the camera 110 , it is necessary to perform cleaning work while driving close to the object 10 .

한편, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 이상이면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.On the other hand, if the distance between the object 10 and the dangerous object 20 is greater than or equal to a preset value, the first processor 140 - 1 may control the driving unit to drive the electronic device 100 close to the object 10 . have.

일 예로, 도 5c에 도시된 바와 같이, 객체(10) 및 위험 객체(20) 간의 거리가 기설정된 값 이상이면, 제1 프로세서(140-1)는 전자 장치(100)가 객체(10)로부터 제1 기설정된 거리만큼 떨어진 영역(30)까지 근접하여 주행하도록 구동부를 제어할 수 있다.For example, as shown in FIG. 5C , when the distance between the object 10 and the dangerous object 20 is greater than or equal to a preset value, the first processor 140-1 determines that the electronic device 100 is moved from the object 10. The driving unit may be controlled to travel close to the region 30 separated by a first preset distance.

이는, 카메라(110)를 통해 획득된 이미지에 객체(10)에 의해 일부가 가려진 위험 객체(20)가 포함되어 있으나, 객체(10) 및 위험 객체(20) 간의 거리가 기설정된 값 이상인 경우이면, 객체(10)에 근접하여 주행하더라도, 위험 객체(20)에 전자 장치(100)가 충돌 또는 접촉할 염려가 없음을 고려한 것이다. This is, if the image acquired through the camera 110 includes the dangerous object 20 partially covered by the object 10, but the distance between the object 10 and the dangerous object 20 is greater than or equal to a preset value , considering that there is no fear that the electronic device 100 will collide or come into contact with the dangerous object 20 even when driving close to the object 10 .

이와 같이, 본 개시는 이미지 상에서 위험 객체(20)가 식별되더라도, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉할 염려가 없는 경우이면, 객체(10)에 근접하여 주행함으로써, 객체(10) 주변의 오염 물질을 흡입할 수 있다.As such, in the present disclosure, even if the dangerous object 20 is identified on the image, if the electronic device 100 does not have a fear of collide with or contact the dangerous object 20 , by driving close to the object 10 , the object (10) It can inhale surrounding pollutants.

도 6a 내지 도 6c는 본 개시의 일 실시 예에 따른 제1 및 제2 인공 지능 모델을 설명하기 위한 도면이다.6A to 6C are diagrams for explaining first and second artificial intelligence models according to an embodiment of the present disclosure.

본 개시의 일 실시 예에 따른 제1 및 제2 인공 지능 모델은 복수의 신경망 레이어들로 구성될 수 있다. 그리고, 각 레이어는 복수의 가중치(weight values)를 가지고 있으며, 이전(previous) 레이어의 연산 결과 및 복수의 가중치에 기초하여 연산을 수행할 수 있다. 일 실시 예로, 제1 및 제2 인공 지능 모델은, CNN (Convolutional Neural Network)이 될 수 있으나, 반드시 이에 한정되는 것은 아니고, DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 다양한 인공 지능 모델로 구현될 수 있다.The first and second artificial intelligence models according to an embodiment of the present disclosure may include a plurality of neural network layers. In addition, each layer has a plurality of weight values, and an operation may be performed based on an operation result of a previous layer and a plurality of weights. In an embodiment, the first and second artificial intelligence models may be a Convolutional Neural Network (CNN), but are not necessarily limited thereto, and a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), and Restricted Boltzmann (RBM). Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network), and deep Q-Networks can be implemented with various artificial intelligence models.

제1 및 제2 인공지능 모델은, 다양한 학습 알고리즘을 통해 전자 장치(100) 또는 별도의 서버/시스템을 통해 학습된 것일 수 있다. 학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)를 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 알고리즘이다. 본 개시의 일 실시 예에 따른 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 될 수 있으나, 반드시 이에 한정되는 것은 아니다.The first and second artificial intelligence models may be learned through the electronic device 100 or a separate server/system through various learning algorithms. The learning algorithm is an algorithm that trains a predetermined target device (eg, a robot) using a plurality of learning data so that the predetermined target device can make a decision or make a prediction by itself. Examples of the learning algorithm according to an embodiment of the present disclosure may be supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning. , but is not necessarily limited thereto.

제1 및 제2 인공지능 모델 각각은, 컨볼루션 레이어 및 컨볼루션 레이어를 통해 추출된 특징 정보에 기초하여 적어도 하나의 객체를 식별하도록 학습된 풀리-커넥티드 레이어를 포함할 수 있다.Each of the first and second AI models may include a convolutional layer and a fully-connected layer trained to identify at least one object based on feature information extracted through the convolutional layer.

여기에서, 컨볼루션 레이어는 제1 및 제2 인공지능 모델에 공통된 레이어이고, 풀리-커넥티드 레이어는 제1 및 제2 인공지능 모델 각각에 개별적으로 마련되는 레이어일 수 있다.Here, the convolutional layer may be a layer common to the first and second AI models, and the fully-connected layer may be a layer provided separately for each of the first and second AI models.

제1 및 제2 인공지능 모델 각각을 구성하는 풀리-커넥티드 레이어 각각은, 컨볼루션 레이어로부터 출력된 특징 정보로부터 적어도 하나의 객체를 식별하도록 학습된 레이어일 수 있다. 일 예로, 제1 인공 지능 모델의 풀리-커넥티드 레이어는 객체를 식별하도록 학습된 레이어가 될 수 있고, 제2 인공 지능 모델의 풀리-커넥티드 레이어는 위험 객체를 식별하도록 학습된 레이어가 될 수 있다.Each of the fully-connected layers constituting each of the first and second AI models may be a layer learned to identify at least one object from feature information output from the convolutional layer. As an example, the fully-connected layer of the first artificial intelligence model may be a layer learned to identify an object, and the fully-connected layer of the second artificial intelligence model may be a layer learned to identify a risk object. have.

예를 들어, 제1 인공 지능 모델은, 도 6a를 참조하면, 소파, 테이블, 침대 등의 이미지가 입력되면, 컨볼루션 레이어를 통해 이미지의 특징 정보를 추출하고, 컨볼루션 레이어로부터 출력된 특징 정보로부터 객체를 식별하도록 풀리-커넥티드 레이어의 복수의 가중치를 학습한 모델이 될 수 있다. For example, the first artificial intelligence model, referring to FIG. 6A , when an image of a sofa, table, bed, etc. is input, extracts feature information of the image through the convolution layer, and the feature information output from the convolution layer It can be a model that has learned a plurality of weights of a fully-connected layer to identify an object from

그리고, 제2 인공 지능 모델은, 도 6b를 참조하면, 컵, 양말, 강아지 배설물 등의 이미지가 입력되면, 컨볼루션 레이어를 통해 이미지의 특징 정보를 추출하고, 컨볼루션 레이어로부터 출력된 특징 정보로부터 위험 객체를 식별하도록 풀리-커넥티드 레이어의 복수의 가중치를 학습한 모델이 될 수 있다.And, the second artificial intelligence model, referring to FIG. 6B , when an image such as a cup, socks, dog excrement, etc. is input, extracts feature information of the image through the convolution layer, It can be a model that has learned multiple weights of a fully-connected layer to identify a risk object.

또한, 제2 인공 지능 모델은, 도 6c를 참조하면, 소파에 의해 일부가 가려진 컵을 포함하는 복수의 이미지가 입력되면, 컨볼루션 레이어를 통해 이미지의 특징 정보를 추출하고, 컨볼루션 레이어로부터 출력된 특징 정보로부터 위험 객체를 식별하도록 풀리-커넥티드 레이어의 복수의 가중치를 학습한 모델이 될 수 있다.In addition, as for the second artificial intelligence model, referring to FIG. 6C , when a plurality of images including a cup partially covered by a sofa are input, the feature information of the image is extracted through the convolution layer, and output from the convolution layer It may be a model that has learned a plurality of weights of a fully-connected layer to identify a risk object from the acquired characteristic information.

그리고, 풀리-커넥티드 레이어 각각은, 적어도 하나의 객체가 해당 이미지에 포함될 확률 값을 객체 별로 출력할 수도 있다.In addition, each of the fully-connected layers may output a probability value that at least one object is included in a corresponding image for each object.

한편, 여기서는 제2 인공 지능 모델이 위험 객체를 포함하는 이미지 및, 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지를 입력으로 학습을 수행하는 것으로 설명하였으나, 이는 일 실시 예일 뿐이다.Meanwhile, although it has been described herein that the second artificial intelligence model performs learning by inputting an image including a risk object and an image including a risk object partially covered by the object as input, this is only an example.

일 예로, 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지를 입력으로 학습을 수행하는 모델은, 제1 및 제2 인공 지능 모델과는 별개의 제3 인공 지능 모델이 될 수도 있다.For example, a model that performs learning by inputting an image including a dangerous object partially covered by the object as an input may be a third artificial intelligence model separate from the first and second artificial intelligence models.

이 경우, 제2 프로세서(140-2)는 제1 인공 지능 모델을 이용하여 이미지에서 객체를 식별하고, 제2 인공 지능 모델을 이용하여 이미지에서 위험 객체를 식별하며, 제3 인공 지능 모델을 이용하여, 이미지에서 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.In this case, the second processor 140-2 identifies the object in the image using the first artificial intelligence model, identifies the dangerous object in the image using the second artificial intelligence model, and uses the third artificial intelligence model. Thus, it is possible to identify a dangerous object partially obscured by the object in the image.

또한, 여기서는 복수의 인공 지능 모델을 이용하여, 객체 및 위험 객체를 식별하는 것으로 설명하였으나, 실시 예에 따라 본 개시는 하나의 인공 지능 모델을 이용하여 이미지에 포함된 객체 및 위험 객체를 식별할 수도 있다.In addition, although it has been described herein that the object and the dangerous object are identified using a plurality of artificial intelligence models, the present disclosure may use one artificial intelligence model to identify the object and the dangerous object included in the image. have.

이 경우, 인공 지능 모델은 객체를 포함하는 이미지, 위험 객체를 포함하는 이미지 및 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지를 입력 데이터로, 이미지에서 객체, 위험 객체 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다.In this case, the artificial intelligence model uses an image including an object, an image including a risk object, and an image including a risk object partially obscured by the object as input data, and an object, a risk object, and an image partially covered by the object in the image. It can be a model trained to identify hazardous objects.

전자 장치(100)가 컨볼루션 레이어 및 풀리-커넥티드 레이어를 포함하는 인공지능 모델을 이용하여 객체 인식을 수행하는 구체적인 예로, 제2 프로세서(140-2)는 컨볼루션 레이어에 카메라(110)를 통해 획득된 이미지를 입력할 수 있다. 그리고, 컨볼루션 레이어를 통해 출력된 특징 정보가 풀리-커넥티드 레이어에 입력되면, 제2 프로세서(140-2)는 풀리-커넥티드 레이어를 통해 출력되는 데이터를 이용하여 객체 또는 위험 객체가 이미지에 포함되는 확률을 획득할 수 있다. As a specific example in which the electronic device 100 performs object recognition using an artificial intelligence model including a convolutional layer and a fully-connected layer, the second processor 140-2 includes the camera 110 in the convolutional layer. You can input the image acquired through Then, when the feature information output through the convolutional layer is input to the fully-connected layer, the second processor 140-2 uses the data output through the fully-connected layer to add an object or a dangerous object to the image. The probability of being included can be obtained.

그리고, 제2 프로세서(140-2)는, 획득된 확률을 임계 값과 비교하여, 획득된 확률이 임계 값보다 큰 경우 입력된 이미지에 객체 또는 위험 객체가 포함되어 있다고 식별할 수 있다.In addition, the second processor 140 - 2 may compare the obtained probability with a threshold value and, when the obtained probability is greater than the threshold value, may identify that an object or a dangerous object is included in the input image.

한편, 상술한 객체를 식별하도록 학습된 제1 인공지능 모델 및, 위험 객체 및/또는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공지능 모델은 전자 장치(100)의 스토리지(130)에 기저장되어 있을 수 있음은 물론, 외부 장치(가령, 서버)와의 통신을 통해 외부 장치로부터 수신되어 스토리지(130)에 저장될 수도 있다.On the other hand, the first artificial intelligence model learned to identify the above-described object and the second artificial intelligence model learned to identify the dangerous object and/or the dangerous object partially covered by the object are stored in the storage 130 of the electronic device 100 . ), of course, may be received from an external device through communication with an external device (eg, a server) and stored in the storage 130 .

도 7a 내지 도 7c는 본 개시의 일 실시 예에 따른 전자 장치가 구역별로 상이한 인공 지능 모델을 이용하여 객체 및/또는 위험 객체를 식별하는 실시 예를 설명하기 위한 도면이다.7A to 7C are diagrams for explaining an embodiment in which an electronic device identifies an object and/or a dangerous object by using a different artificial intelligence model for each zone, according to an embodiment of the present disclosure.

전자 장치(100)의 스토리지(130)는 맵에 대한 정보(131)를 저장할 수 있다. 여기에서, 맵은 복수의 구역을 포함하고, 맵에 대한 정보는 복수의 구역 각각의 구조에 대한 정보를 포함할 수 있다. 일 예로, 도 7a를 참조하면, 맵은 거실(1-1), 침실(1-2) 및 주방(103)을 포함하고, 맵에 대한 정보는 거실(1-1)의 구조에 대한 정보, 침실(1-2)의 구조에 대한 정보 및 주방(103)의 구조에 대한 정보를 포함할 수 잇다. The storage 130 of the electronic device 100 may store the information 131 on the map. Here, the map may include a plurality of regions, and the information on the map may include information on the structure of each of the plurality of regions. For example, referring to FIG. 7A , the map includes a living room 1-1, a bedroom 1-2, and a kitchen 103, and the information on the map includes information on the structure of the living room 1-1, Information on the structure of the bedroom 1-2 and information on the structure of the kitchen 103 may be included.

여기에서, 각 구역의 구조에 대한 정보는, 각 구역의 모양, 형태, 크기 또는 해당 구역에 위치하는 가구의 모양, 배치 상태 등에 기초하여 결정될 수 있다. 일 예로, 거실(1-1)의 구조에 대한 정보는, 거실(1-1) 자체의 모양, 형태 또는 크기와 거실(1-1)에 위치한 TV, 소파 등의 모양 및 배치 상태 등에 기초하여 결정될 수 있다.Here, the information on the structure of each zone may be determined based on the shape, shape, and size of each zone, or the shape and arrangement of furniture located in the corresponding zone. For example, the information on the structure of the living room 1-1 is based on the shape, shape or size of the living room 1-1 itself and the shape and arrangement state of a TV, sofa, etc. located in the living room 1-1. can be decided.

제1 프로세서(140-1)는 센서(140)로부터 수신된 센싱 데이터를 기반으로 맵에 포함되는 복수의 구역 중 전자 장치(100)가 위치하는 구역을 판단할 수 있다. The first processor 140 - 1 may determine a region in which the electronic device 100 is located among a plurality of regions included in the map based on the sensed data received from the sensor 140 .

일 예로, 센서(120)가 라이다 센서인 경우, 제1 프로세서(140-1)는 센서(120)로부터 전자 장치(100)가 위치한 구역의 구조에 대한 정보를 포함하는 센싱 데이터를 수신할 수 있다. 그리고, 제1 프로세서(140-1)는 센싱 데이터에 포함된 구조에 대한 정보를, 스토리지(130)에 기저장된 각 구역의 구조에 대한 정보와 비교하고, 기저장된 복수의 구조에 대한 정보 중에서, 센싱 데이터에 포함된 구조에 대한 정보와 기설정된 임계 값 이상 일치하는 구조에 대한 정보를 판단할 수 있다. 그리고, 제1 프로세서(140-1)는 판단된 구조에 대한 정보에 매칭된 구역을, 전자 장치(100)가 위치하는 구역으로 판단할 수 있다.For example, when the sensor 120 is a lidar sensor, the first processor 140 - 1 may receive sensing data including information on the structure of the area in which the electronic device 100 is located from the sensor 120 . have. Then, the first processor 140-1 compares the information on the structure included in the sensed data with the information on the structure of each zone pre-stored in the storage 130, and among the pre-stored information on the plurality of structures, It is possible to determine information about a structure included in the sensing data and information about a structure that matches a predetermined threshold or more. In addition, the first processor 140 - 1 may determine the area matching the determined information on the structure as the area in which the electronic device 100 is located.

한편, 센서(120)가 3D 카메라 또는 뎁스 카메라로 구현되는 경우, 제1 프로세서(140-1)는 3D 카메라 또는 뎁스 카메라를 통해 획득된 이미지를 이용하여, 전자 장치(100)가 위치하는 구역을 판단할 수도 있다. 이 경우, 기저장된 맵에 대한 정보에는 복수의 구역 각각의 3D 이미지에 대한 정보가 포함될 수 있다. On the other hand, when the sensor 120 is implemented as a 3D camera or a depth camera, the first processor 140 - 1 uses an image obtained through the 3D camera or the depth camera to determine a region in which the electronic device 100 is located. may judge. In this case, the pre-stored information on the map may include information on the 3D image of each of the plurality of regions.

구체적으로, 제1 프로세서(140-1)는 센서(140)로부터 3D 이미지에 대한 정보를 포함하는 센싱 데이터를 수신할 수 있다. 그리고, 제1 프로세서(140-1)는 센싱 데이터에 포함된 3D 이미지에 대한 정보를, 스토리지에 기저장된 각 구역의 3D 이미지에 대한 정보와 비교하고, 기저장된 복수의 3D 이미지에 대한 정보 중에서, 센싱 데이터에 포함된 3D 이미지에 대한 정보와 기설정된 임계 값 이상 일치하는 3D 이미지에 대한 정보를 판단할 수 있다. 그리고, 제1 프로세서(140-1)는 판단된 3D 이미지에 대한 정보에 매칭된 구역을, 전자 장치(100)가 위치하는 구역으로 판단할 수 있다. Specifically, the first processor 140 - 1 may receive sensing data including information on the 3D image from the sensor 140 . Then, the first processor 140-1 compares the information on the 3D image included in the sensed data with the information on the 3D image of each zone pre-stored in the storage, and among the pre-stored information on the plurality of 3D images, It is possible to determine information on a 3D image included in the sensing data and information on a 3D image that matches a predetermined threshold or more. In addition, the first processor 140 - 1 may determine a region matching the determined information on the 3D image as a region in which the electronic device 100 is located.

한편, 상술한 실시 예는 일 실시 예일 뿐, 본 개시의 전자 장치(100)는 다양한 방법을 통해 전자 장치(100)가 위치하는 구역을 판단할 수 있다. 일 예로, 전자 장치(100)는 복수의 구역 별로, 각 구역에 위치하는 객체에 대한 정보를 저장하고, 제1 프로세서(140-1)는 카메라(110)를 통해 획득된 이미지에서 식별된 객체가 위치하는 구역에 기초하여, 전자 장치(100)의 위치를 판단할 수 있다. 예를 들어, 전자 장치(100)가 거실에는 소파에 대한 정보를 매칭하여 저장하고, 침실에는 침대에 대한 정보를 매칭하여 저장하는 경우, 제1 프로세서(140-1)는 카메라(110)를 통해 획득된 이미지에서 소파가 식별되면, 전자 장치(100)는 거실에 위치하는 것으로 판단할 수 있다. 그리고, 제1 프로세서(140-1)는 판단된 구역에 대한 정보를 제2 프로세서(140-2)로 전송할 수 있다.Meanwhile, the above-described embodiment is only one embodiment, and the electronic device 100 of the present disclosure may determine a region in which the electronic device 100 is located through various methods. For example, the electronic device 100 stores information on an object located in each zone for each of a plurality of zones, and the first processor 140 - 1 determines that the object identified in the image acquired through the camera 110 is The location of the electronic device 100 may be determined based on the location in which it is located. For example, when the electronic device 100 matches and stores information on a sofa in the living room and matches and stores information on a bed in the bedroom, the first processor 140 - 1 may use the camera 110 to When the sofa is identified in the acquired image, the electronic device 100 may determine that it is located in the living room. In addition, the first processor 140 - 1 may transmit information on the determined area to the second processor 140 - 2 .

한편, 도 7b를 참조하면, 전자 장치(100)는 복수의 구역 별로, 서로 다른 제1 인공 지능 모델(즉, 객체 인식 모델) 및 제2 인공 지능 모델(즉, 위험 객체 인식 모델)을 저장할 수 있다. Meanwhile, referring to FIG. 7B , the electronic device 100 may store different first artificial intelligence models (ie, object recognition models) and second artificial intelligence models (ie, dangerous object recognition models) for each of the plurality of zones. have.

여기에서, 제1 구역에 매칭된 제1 인공 지능 모델은 제1 구역에 위치할 수 있는 객체를 식별하도록 학습된 모델이고, 제1 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 제1 구역에 위치할 수 있는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 마찬가지로, 제2 구역에 매칭된 제1 인공 지능 모델은 제2 구역에 위치할 수 있는 객체를 식별하도록 학습된 모델이고, 제2 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 제2 구역에 위치할 수 있는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 그리고, 제3 구역에 매칭된 제1 인공 지능 모델은 위험 객체 및/또는 제3 구역에 위치할 수 있는 객체를 식별하도록 학습된 모델이고, 제3 구역에 매칭된 제2 인공 지능 모델은 제3 구역에 위치할 수 있는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다.Here, the first artificial intelligence model matched to the first area is a model trained to identify objects that can be located in the first area, and the second artificial intelligence model matched to the first area is a dangerous object and/or a second artificial intelligence model. It can be a model trained to identify hazardous objects partially obscured by objects that can be located in Zone 1. Similarly, the first artificial intelligence model matched to the second zone is a model trained to identify objects that may be located in the second zone, and the second artificial intelligence model matched to the second zone is a dangerous object and/or a second It can be a model trained to identify hazardous objects partially obscured by objects that may be located in the area. And, the first artificial intelligence model matched to the third area is a model trained to identify a dangerous object and/or an object that may be located in the third area, and the second artificial intelligence model matched to the third area is the third It can be a model trained to identify hazardous objects partially obscured by objects that may be located in the area.

일 예로, 제1 구역이 거실인 경우, 제1 구역에 매칭된 제1 인공 지능 모델은 거실에 위치할 수 있는 소파, TV, 에어컨 등의 객체를 식별하도록 학습된 모델이고, 제1 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 거실에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 그리고, 제2 구역이 침실인 경우, 제2 구역에 매칭된 제1 인공 지능 모델은 침실에 위치할 수 있는 침대, 옷장, 화장대 등의 객체를 식별하도록 학습된 모델이고, 제1 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 침실에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 그리고, 제3 구역이 주방인 경우, 제3 구역에 매칭된 제1 인공 지능 모델은 거실에 위치할 수 있는 식탁, 의자, 냉장고 등의 객체를 식별하도록 학습된 모델이고, 제3 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 주방에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 모델이 될 수 있다.For example, when the first zone is a living room, the first artificial intelligence model matched to the first zone is a model trained to identify objects such as sofa, TV, and air conditioner that may be located in the living room, and matches the first zone The second artificial intelligence model may be a model trained to identify dangerous objects, such as cups and socks, partially obscured by dangerous objects and/or objects that may be located in the living room. And, when the second zone is a bedroom, the first artificial intelligence model matched to the second zone is a model trained to identify objects such as a bed, a wardrobe, a dressing table, etc. that can be located in the bedroom, and is matched with the first zone. The second artificial intelligence model may be a model trained to identify dangerous objects, such as cups, socks, etc. partially obscured by dangerous objects and/or objects that may be located in the bedroom. And, when the third area is a kitchen, the first artificial intelligence model matched to the third area is a model trained to identify objects such as a dining table, a chair, a refrigerator, etc. that can be located in the living room, and is matched with the third area. The second artificial intelligence model may be a model trained to identify dangerous objects such as cups and socks partially obscured by dangerous objects and/or objects that may be located in the kitchen.

한편, 상술한 제1 내지 제3 구역은 일 실시 예로, 각 구역의 명칭은 실시 예에 따라 상이할 수 있고, 각 구역의 개수는 다양할 수 있다.Meanwhile, the above-described first to third zones are an example, and the name of each zone may be different depending on the embodiment, and the number of each zone may vary.

제2 프로세서(140-2)는 스토리지에 저장된 복수의 제1 인공 지능 모델 중에서, 전자 장치(100)가 위치하는 구역에 대응되는 제1 인공 지능 모델 및, 스토리지에 저장된 복수의 제2 인공 지능 모델 중에서, 전자 장치(100)가 위치하는 구역에 대응되는 제2 인공 지능 모델을 판단할 수 있다. The second processor 140 - 2 includes a first artificial intelligence model corresponding to a region in which the electronic device 100 is located, among a plurality of first artificial intelligence models stored in the storage, and a plurality of second artificial intelligence models stored in the storage. Among them, a second artificial intelligence model corresponding to a region in which the electronic device 100 is located may be determined.

일 예로, 제2 프로세서(140-2)는 전자 장치(100)가 거실(1-1)에 위치하는경우, 복수의 제1 인공 지능 모델 중에서 거실에 위치할 수 있는 소파, TV, 에어컨 등의 객체를 식별하도록 학습된 제1 인공 지능 모델 및, 복수의 제2 인공 지능 모델 중에서 위험 객체 및/또는 거실에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 판단할 수 있다.As an example, when the electronic device 100 is located in the living room 1-1, the second processor 140 - 2 may include a sofa, a TV, an air conditioner, etc. that may be located in the living room among the plurality of first artificial intelligence models. A first artificial intelligence model trained to identify an object, and a plurality of second artificial intelligence models trained to identify a dangerous object, such as a cup, a sock, etc. partially obscured by a dangerous object and/or an object that may be located in the living room A second artificial intelligence model may be determined.

그리고, 제2 프로세서(140-2)는 판단된 제1 인공 지능 모델에 카메라(110)를 통해 획득된 이미지를 입력하여, 이미지에 포함된 객체를 식별하고, 판단된 제2 인공지능 모델에 카메라(110)를 통해 획득된 이미지를 입력하여, 이미지에 포함된 위험 객체 및/또는 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.Then, the second processor 140-2 inputs the image obtained through the camera 110 to the determined first artificial intelligence model, identifies an object included in the image, and applies the camera to the determined second artificial intelligence model. By inputting the image acquired through 110 , it is possible to identify a dangerous object included in the image and/or a dangerous object partially obscured by the object.

일 예로, 도 7c를 참조하면, 제2 프로세서(140-2)는 전자 장치(100)가 거실(1-1)에 위치하는 것으로 판단되면, 복수의 제1 및 제2 인공 지능 모델 중에서 거실(1-1)에 대응되는 제1 및 제2 인공 지능 모델을 판단하고, 제1 인공 지능 모델을 이용하여 이미지에 포함된 객체를 식별하고, 제2 인공 지능 모델을 이용하여 이미지에 포함된 위험 객체 및/또는 또는 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.For example, referring to FIG. 7C , when it is determined that the electronic device 100 is located in the living room 1-1, the second processor 140-2 determines that the electronic device 100 is located in the living room 1-1 among the plurality of first and second artificial intelligence models. Determine the first and second artificial intelligence models corresponding to 1-1), identify the object included in the image using the first artificial intelligence model, and use the second artificial intelligence model to determine the dangerous object included in the image and/or identify a dangerous object partially obscured by the object.

이와 같이, 각 구역에 특화된 인공 지능 모델을 이용하여 객체 및/또는 위험 객체를 식별함으로써, 본 개시의 전자 장치(100)는 이미지에 포함된 객체 및/또는 위험 객체를 보다 정확하게 식별할 수 있다. 또한, 각 구역의 인공 지능모델은 각 구역에 위치할 수 있는 객체 또는 그 객체에 의해 일부가 가려질 수 있는 위험 객체를 식별하기 위해 학습된 모델로서, 장소와 상관 없이 모든 객체를 식별하도록 학습된 인공 지능 모델에 비하여 경량화 된 인공 지능 모델이 될 수 있고, 이에 따라 본 개시는 메모리 부담 및 프로세서의 연산 부담을 최소화 시킬 수 있다.As such, by identifying the object and/or the dangerous object using the artificial intelligence model specialized for each region, the electronic device 100 of the present disclosure may more accurately identify the object and/or the dangerous object included in the image. In addition, the artificial intelligence model of each zone is a model trained to identify an object that can be located in each zone or a dangerous object that can be partially obscured by the object, and is trained to identify all objects regardless of location. The artificial intelligence model may be lightweight compared to the artificial intelligence model, and accordingly, the present disclosure may minimize the memory burden and the computational load of the processor.

도 8은 본 개시의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 블록도이다.8 is a block diagram illustrating an electronic device 100 according to an embodiment of the present disclosure.

이상에서는, 프로세서(140)는 제1 프로세서(140-1) 및 제2 프로세서(140-2)를 포함하고, 제1 프로세서(140-1)는 전자 장치(100)가 위치하는 구역을 판단하는 등의 동작을 수행하고, 제2 프로세서(140-2)는 인공 지능 모델을 이용하여 객체 또는 위험 객체를 식별하는 등의 동작을 수행하는 것으로 설명하였다. 다만, 실시 예에 따라, 상술한 일련의 동작들은 하나의 프로세서(140)에 의해 수행될 수도 있다.In the above, the processor 140 includes a first processor 140-1 and a second processor 140-2, and the first processor 140-1 determines the region in which the electronic device 100 is located. and the like, and the second processor 140-2 has been described as performing an operation such as identifying an object or a dangerous object using the artificial intelligence model. However, according to an embodiment, the above-described series of operations may be performed by one processor 140 .

도 8을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(110), 센서(120), 스토리지(130), 구동부(150), 및 프로세서(140)를 포함할 수 있다 여기에서, 스토리지(130)는 장소 스캔 모듈, 모델 로딩 모듈, 객체 식별 모듈, 위험 객체 식별부, 객체 거리 계산 모듈 및 수행 동작 판단 모듈을 저장할 수 있다. 그리고, 각 모듈은 프로세서(140)에 의해 RAM(Random Access Memory)과 같은 비휘발성 메모리에 로딩될 수 있으며, 프로세서(140)는 로딩된 모듈에 대응하는 인스트럭션을 실행할 수 있다. Referring to FIG. 8 , the electronic device 100 according to an embodiment of the present disclosure may include a camera 110 , a sensor 120 , a storage 130 , a driving unit 150 , and a processor 140 . Here, the storage 130 may store a location scan module, a model loading module, an object identification module, a dangerous object identification unit, an object distance calculation module, and an action determination module. In addition, each module may be loaded into a non-volatile memory such as random access memory (RAM) by the processor 140 , and the processor 140 may execute an instruction corresponding to the loaded module.

프로세서(140)는 장소 스캔 모듈을 로딩하여, 전자 장치(100)가 위치하는 장소를 판단할 수 있다. 구체적으로, 프로세서(140)는 장소 스캔 모듈을 로딩하고, 장소 스캔 모듈에 대응하는 인스트럭션을 실행함으로써, 센서(120)로부터 센싱 데이터를 수신하고, 센싱 데이터에 기초하여 맵에 포함된 복수의 구역 중에서, 전자 장치(100)가 위치하는 구역을 판단할 수 있다. 여기에서, 센싱 데이터는 일 예로, 라이다 센서에 의해 획득된 데이터 2D 카메라에 의해 획득된 데이터 또는 3D 카메라에 의해 획득된 데이터가 될 수 있으나, 반드시 이에 한정되는 것은 아니다.The processor 140 may load a location scan module to determine a location where the electronic device 100 is located. Specifically, the processor 140 receives the sensing data from the sensor 120 by loading the place scan module and executing an instruction corresponding to the place scan module, and based on the sensed data, among a plurality of regions included in the map. , a region in which the electronic device 100 is located may be determined. Here, the sensing data may be, for example, data acquired by a lidar sensor, data acquired by a 2D camera, or data acquired by a 3D camera, but is not necessarily limited thereto.

프로세서(140)는 모델 로딩 모듈을 로딩하여, 전자 장치(100)가 위치하는 구역에 대응되는 인공 지능 모델을 로딩할 수 있다. 구체적으로, 프로세서(140)는 모델 로딩 모듈을 로딩하고, 모델 로딩 모듈에 대응하는 인스트럭션을 실행함으로써, 스토리지(130)에 저장된 복수의 제1 및 제2 인공 지능 모델 중에서, 전자 장치(100)가 위치하는 구역에 대응되는 제1 및 제2 인공 지능 모델을 로딩할 수 있다. 일 예로, 프로세서(140)는 전자 장치(100)가 거실에 위치하는 경우, 거실에 포함될 수 있는 객체를 식별하도록 학습된 제1 인공 지능 모델 및 그 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 로딩할 수 있다.The processor 140 may load the model loading module to load the artificial intelligence model corresponding to the region in which the electronic device 100 is located. Specifically, the processor 140 loads the model loading module and executes an instruction corresponding to the model loading module, so that among the plurality of first and second artificial intelligence models stored in the storage 130 , the electronic device 100 is It is possible to load the first and second artificial intelligence models corresponding to the region where they are located. For example, when the electronic device 100 is located in the living room, the processor 140 learns to identify the first artificial intelligence model trained to identify objects that may be included in the living room and the dangerous object partially covered by the object. The second artificial intelligence model can be loaded.

프로세서(140)는 객체 식별 모듈을 로딩하고, 객체 식별 모듈에 대응하는 인스트럭션을 실행함으로써, 카메라(110)를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하고, 이미지에 포함된 객체를 식별할 수 있다. 그리고, 프로세서(140)는 위험 객체 식별 모듈을 로딩하고, 위험 객체 식별 모듈에 대응하는 인스트럭션을 실행함으로써, 카메라(110)를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하고, 이미지에 포함된 위험 객체를 식별할 수 있다. 여기에서, 위험 객체는 객체에 의해 일부가 가려진 위험 객체가 될 수 있음은 물론, 객체에 의해 가려지지 않은 위험 객체가 될 수도 있다.The processor 140 loads the object identification module and executes an instruction corresponding to the object identification module to input the image acquired through the camera 110 into the first artificial intelligence model, and to identify the object included in the image. can Then, the processor 140 loads the dangerous object identification module and executes an instruction corresponding to the dangerous object identification module, thereby inputting the image obtained through the camera 110 into the second artificial intelligence model, and included in the image. Hazardous objects can be identified. Here, the dangerous object may be a dangerous object partially covered by the object, as well as a dangerous object not covered by the object.

프로세서(140)는 객체 거리 계산 모듈을 로딩하여, 객체 및 위험 객체간의 거리를 판단할 수 있다. 구체적으로, 프로세서(140)는 객체 거리 계산 모듈을 로딩하고, 객체 거리 계산 모듈에 대응하는 인스트럭션을 실행함으로써, 센서(120)로부터 센싱 데이터를 수신하고, 수신된 센싱 데이터에 기초하여, 객체 및 위험 객체간의 거리를 판단할 수 있다. 구체적으로, 프로세서(140)는 센서(120)로부터 전자 장치(100) 및 객체간의 제1 거리에 대한 정보 및 전자 장치(100) 및 위험 객체간의 제2 거리에 대한 정보를 수신하고, 제1 및 제2 거리 간의 차이를 계산할 수 있다. 그리고, 프로세서(140)는 그 차이를 객체 및 위험 객체간의 거리로 판단할 수 있다. 한편, 여기에서 센싱 데이터는 일 예로, 라이다 센서에 의해 획득된 데이터 또는 3D 카메라에 의해 획득된 데이터가 될 수 있으나, 반드시 이에 한정되는 것은 아니다.The processor 140 may load the object distance calculation module to determine the distance between the object and the dangerous object. Specifically, the processor 140 receives the sensing data from the sensor 120 by loading the object distance calculation module and executing an instruction corresponding to the object distance calculation module, and based on the received sensing data, the object and the risk The distance between objects can be determined. Specifically, the processor 140 receives from the sensor 120 information on a first distance between the electronic device 100 and the object and information on a second distance between the electronic device 100 and the dangerous object, and A difference between the second distances may be calculated. Then, the processor 140 may determine the difference as a distance between the object and the dangerous object. Meanwhile, the sensed data herein may be, for example, data acquired by a lidar sensor or data acquired by a 3D camera, but is not necessarily limited thereto.

프로세서(140)는 수행 동작 판단 모듈을 로딩하여, 구동부(150)를 제어할 수 있다. 구체적으로, 프로세서(140)는 수행 동작 판단 모듈을 로딩하고, 수행 동작 판단 모듈에 대응하는 인스트럭션을 실행함으로써, 전자 장치(100)의 주행을 제어할 수 있다. 일 예로, 프로세서(140)는 카메라(110)를 통해 획득된 이미지에 객체(10)가 포함되어 있거나, 객체(10)로부터 기설정된 거리 이상 떨어진 위치에 위험 객체(20)가 포함된 것으로 판단되면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부(150)를 제어할 수 있다. 또는, 프로세서(140)는 카메라(110)를 통해 획득된 이미지에 객체(10)로부터 기설정된 거리 미만으로 떨어진 위험 객체(20)가 포함된 것으로 판단되면, 전자 장치(100)가 객체(10)에 근접하지 않고, 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 구동부(150)를 제어할 수 있다.The processor 140 may control the driving unit 150 by loading the execution operation determination module. Specifically, the processor 140 may control the driving of the electronic device 100 by loading the execution action determination module and executing an instruction corresponding to the performed action determination module. For example, if the processor 140 determines that the object 10 is included in the image acquired through the camera 110 or that the dangerous object 20 is included at a location more than a preset distance from the object 10 , , the electronic device 100 may control the driving unit 150 to drive close to the object 10 . Alternatively, if the processor 140 determines that the dangerous object 20 that is less than a preset distance away from the object 10 is included in the image acquired through the camera 110 , the electronic device 100 displays the object 10 . The driving unit 150 may be controlled to travel in an area that is not close to the dangerous object 20 and is more than a preset distance away from the dangerous object 20 .

스토리지(130)는 전자 장치(100)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.The storage 130 may store an operating system (OS) for controlling overall operations of the components of the electronic device 100 and commands or data related to the components of the electronic device 100 .

이에 따라, 프로세서(140)는 스토리지(130)에 저장된 다양한 명령 또는 데이터 등을 이용하여 전자 장치(100)의 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.Accordingly, the processor 140 may control a plurality of hardware or software components of the electronic device 100 using various commands or data stored in the storage 130 , and receive from at least one of the other components. The command or data may be loaded into the volatile memory for processing, and various data may be stored in the non-volatile memory.

특히, 스토리지(130)는 제1 및 제2 인공 지능 모델을 저장할 수 있다. 전술한 바와 같이, 여기에서 제1 인공 지능 모델은 이미지에 포함된 객체를 식별하기 위한 모델이 될 수 있고, 제2 인공 지능 모델은 이미지에 포함된 위험 객체 및/또는 객체에 의해 일부가 가려진 위험 객체를 식별하기 위한 모델이 될 수 있다. 또한, 스토리지(130)는 복수의 구역 별로, 제1 및 제2 인공 지능 모델을 저장할 수도 있다. In particular, the storage 130 may store the first and second artificial intelligence models. As described above, here, the first artificial intelligence model may be a model for identifying an object included in the image, and the second artificial intelligence model is a risk object included in the image and/or a risk partially obscured by the object. It can be a model for identifying an object. Also, the storage 130 may store the first and second artificial intelligence models for each of the plurality of zones.

도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 인공 지능 모델의 업데이트를 설명하기 위한 도면이다. 9A and 9B are diagrams for explaining updating of an artificial intelligence model according to an embodiment of the present disclosure.

전자 장치(100)는 외부 장치(200)와 통신을 수행하여 다양한 데이터를 송수신할 수 있다. The electronic device 100 may transmit/receive various data by performing communication with the external device 200 .

이를 위해, 전자 장치(100)는 외부 장치(200)와 통신을 수행하기 위한 통신부를 더 포함할 수 있고, 여기에서 통신부는 블루투스 칩, 와이파이 칩 또는 무선 통신 칩으로 구현될 수 있다.To this end, the electronic device 100 may further include a communication unit for communicating with the external device 200 , wherein the communication unit may be implemented as a Bluetooth chip, a Wi-Fi chip, or a wireless communication chip.

한편, 외부 장치(200)는 도 9a에 도시된 바와 같이 스마트 폰이 될 수 있으나, 반드시 이에 한정되는 것은 아니고, PC, 노트북, 태블릿 등과 같이 디스플레이를 구비한 다양한 전자 장치로 구현될 수 있다.Meanwhile, the external device 200 may be a smart phone as shown in FIG. 9A , but is not limited thereto, and may be implemented as various electronic devices having a display, such as a PC, a notebook computer, a tablet, and the like.

프로세서(140)는 카메라(110)를 통해 획득된 이미지를 인공 지능 모델에 입력할 수 있다. 이 경우, 제1 인공 지능 모델은 이미지에 객체가 포함되어 있을 확률을 출력하고, 제2 인공 지능 모델은 이미지에 위험 객체가 포함되어 있을 확률을 출력할 수 있다.The processor 140 may input the image acquired through the camera 110 into the artificial intelligence model. In this case, the first artificial intelligence model may output a probability that an object is included in the image, and the second artificial intelligence model may output a probability that the image includes a dangerous object.

일 예로, 도 9b에 도시된 바와 같이, 전선을 포함하는 이미지(910)를 제2 인공 지능 모델에 입력할 경우, 제2 인공 지능 모델은 이미지에 전선이 포함되어 있을 확률을 출력할 수 있다.For example, as shown in FIG. 9B , when an image 910 including wires is input to the second artificial intelligence model, the second artificial intelligence model may output a probability that the image includes wires.

이 경우, 프로세서(140)는 인공 지능 모델에 의해 출력된 데이터를 통신부를 통해 외부 장치(200)로 전송할 수 있다. 여기에서, 외부 장치(200)로 전송되는 데이터는 인공 지능 모델에 의해 판단된, 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역에 대한 정보 및 이미지에 객체 및/또는 위험 객체가 포함되어 있을 확률에 대한 정보를 포함할 수 있다. 여기에서, 영역에 대한 정보는, 이미지 내의 객체 및/또는 위험 객체에 대응되는 바운딩 박스의 좌표에 대한 정보를 포함할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 영역에 대한 정보는 이미지 내의 객체 및/또는 위험 객체에 대응되는 세그먼테이션(segmentation) 정보를 포함할 수도 있다.In this case, the processor 140 may transmit the data output by the artificial intelligence model to the external device 200 through the communication unit. Here, the data transmitted to the external device 200 is information about the area in which the object and/or the dangerous object is located in the image, determined by the artificial intelligence model, and the object and/or the dangerous object is included in the image. It may contain information about probabilities. Here, the information on the area may include information on the coordinates of the bounding box corresponding to the object and/or the dangerous object in the image. However, the present invention is not necessarily limited thereto, and the information on the region may include segmentation information corresponding to an object in an image and/or a dangerous object.

외부 장치(200)는 전자 장치(100)로부터 수신한 데이터에 기초하여, 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역 및 이미지에 객체 및/또는 위험 객체가 포함되어 있을 확률을 디스플레이 할 수 있다.Based on the data received from the electronic device 100, the external device 200 may display an area in which the object and/or the dangerous object is located in the image and the probability that the object and/or the dangerous object are included in the image. have.

일 예로, 도 9b를 참조하면, 외부 장치(200)는 전자 장치(100)로부터 수신한 바운딩 박스의 좌표에 대한 정보에 기초하여, 이미지 내에서 전선이 위치하는 영역에 바운딩 박스를 디스플레이 하고, 해당 이미지에서 전선이 포함되어 있을 확률로 0.3을 디스플레이 할 수 있다.For example, referring to FIG. 9B , the external device 200 displays the bounding box in the area where the electric wire is located in the image based on the information on the coordinates of the bounding box received from the electronic device 100, The probability that the image contains a wire can display 0.3.

외부 장치(200)는 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역을 변경하기 위한 사용자 입력 또는 인공 지능 모델에 의해 판단된 객체 및/또는 위험 객체의 변경을 위한 사용자 입력을 수신할 수 있다.The external device 200 may receive a user input for changing an area in which an object and/or a dangerous object is located in the image or a user input for changing an object and/or a dangerous object determined by the artificial intelligence model. .

일 예로, 도 9b를 참조하면, 외부 장치(200)는 디스플레이 된 바운딩 박스의 사이즈 또는 위치를 변경하기 위한 사용자 입력(930)을 수신할 수 있다. 또는, 실제로 이미지에 전선이 아닌, 실이 포함된 경우이면, 외부 장치(200)는 전선을 실로 변경하기 위한 사용자 입력을 수신할 수도 있다.For example, referring to FIG. 9B , the external device 200 may receive a user input 930 for changing the size or location of the displayed bounding box. Alternatively, if the image includes a thread instead of a wire, the external device 200 may receive a user input for changing the wire to a thread.

외부 장치(200)는 사용자 입력에 따라 변경된, 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역에 대한 정보를 전자 장치(100)로 전송할 수 있다. 또한, 외부 장치(200)는 사용자 입력에 따라 변경된, 객체 및/또는 위험 객체에 대한 정보를 전자 장치(100)로 전송할 수도 있다. 물론, 외부 장치(200)는 변경된 영역에 대한 정보 및 변경된 객체 및/또는 위험 객체에 대한 정보를 함께 전자 장치(100)로 전송할 수도 있다.The external device 200 may transmit, to the electronic device 100 , information about an area in which an object and/or a dangerous object is located in an image, changed according to a user input. Also, the external device 200 may transmit information about the object and/or the dangerous object changed according to a user input to the electronic device 100 . Of course, the external device 200 may also transmit information on the changed area and information on the changed object and/or the dangerous object to the electronic device 100 together.

프로세서(140)는 외부 장치(200)로부터 수신한 변경된 영역에 대한 정보를 인공 지능 모델에 입력하여, 인공 지능 모델을 업데이트 할 수 있다. 이 경우, 인공 지능 모델은 이미지 내에서 변경된 영역에 객체 및/또는 위험 객체가 위치하는 것으로 판단하기 위해, 복수의 레이어의 가중치를 업데이트 할 수 있다. 또는, 프로세서(140)는 변경된 객체 및/또는 위험 객체에 대한 정보를 인공 지능 모델에 입력하여, 인공 지능 모델을 업데이트 할 수 있다. 이 경우, 인공 지능 모델은 이미지 내에는 변경된 객체 및/또는 위험 객체가 포함된 것으로 판단하기 위해, 복수의 레이어의 가중치를 업데이트 할 수 있다.The processor 140 may update the artificial intelligence model by inputting information on the changed region received from the external device 200 into the artificial intelligence model. In this case, the artificial intelligence model may update the weights of the plurality of layers in order to determine that the object and/or the dangerous object are located in the changed region in the image. Alternatively, the processor 140 may update the artificial intelligence model by inputting information on the changed object and/or the dangerous object into the artificial intelligence model. In this case, the artificial intelligence model may update the weights of the plurality of layers to determine that the changed object and/or the dangerous object are included in the image.

이에 따라, 본 개시의 전자 장치(100)는 보다 정확하게 객체 및/또는 위험 객체를 식별할 수 있다.Accordingly, the electronic device 100 of the present disclosure may more accurately identify an object and/or a dangerous object.

한편, 프로세서(140)는 이미지에 객체 및/또는 위험 객체가 포함되어 있을 확률이 기설정된 확률보다 낮은지를 판단하고, 기설정된 확률보다 낮은 경우 인공 지능 모델에 의해 출력된 데이터를 통신부를 통해 외부 장치(200)로 전송할 수도 있다.On the other hand, the processor 140 determines whether the probability that the object and/or the dangerous object is included in the image is lower than the preset probability, and when it is lower than the preset probability, the processor 140 transmits the data output by the artificial intelligence model to the external device through the communication unit. It can also be transmitted to (200).

여기에서, 기설정된 확률은 0.4가 될 수 있으나, 반드시 이에 한정되는 것은 아니고, 이는 다양하게 설정될 수 있다.Here, the preset probability may be 0.4, but is not necessarily limited thereto, and may be variously set.

일 예로, 프로세서(140)는 제2 인공 지능 모델에 의해, 이미지에는 전선이 포함될 확률이 0.3으로 출력된 경우이면, 상술한 바와 같이 제2 인공 지능 모델에 의해 출력된 데이터를 통신부를 통해 외부 장치(200)로 전송하고, 제2 인공 지능 모델에 의해, 이미지에는 전선이 포함될 확률이 0.5로 출력된 경우이면, 제2 인공 지능 모델에 의해 출력된 데이터를 외부 장치(200)로 전송하지 않을 수 있다. For example, if the processor 140 outputs by the second artificial intelligence model, the probability that the image includes a wire is 0.3, as described above, the processor 140 transmits the data output by the second artificial intelligence model to the external device through the communication unit. 200, and if the probability that the image contains a wire is output as 0.5 by the second artificial intelligence model, the data output by the second artificial intelligence model may not be transmitted to the external device 200 have.

이는, 충분히 높은 확률인 경우이면, 인공 지능 모델의 업데이트를 수행할 필요가 없음을 고려한 것으로서, 이에 따라 본 개시는 프로세서의 불필요한 연산을 방지할 수 있다.This is in consideration of no need to perform the update of the artificial intelligence model if the probability is high enough, and accordingly, the present disclosure can prevent unnecessary operation of the processor.

도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다. 10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.

전자 장치는, 카메라를 통해 획득된 이미지에서 객체 및 객체에 의해 일부가 가려진 위험 객체를 식별(S1010)할 수 있다. 구체적으로, 전자 장치는 카메라를 통해 획득된 이미지를 제1 인공지능 모델에 입력하여 이미지에서 객체를 식별하고, 카메라를 통해 획득된 이미지를 제2 인공지능 모델에 입력하여 이미지에서 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.The electronic device may identify the object and the dangerous object partially covered by the object in the image acquired through the camera ( S1010 ). Specifically, the electronic device inputs the image acquired through the camera into the first AI model to identify the object in the image, and inputs the image acquired through the camera into the second AI model so that a part of the image is generated by the object in the image. It is possible to identify hidden dangerous objects.

전자 장치는, 센서로부터 수신된 센싱 데이터에 기초하여 객체와 위험 객체 간의 거리를 판단(S1020)할 수 있다. 구체적으로, 전자 장치는 센서로부터 수신된 센싱 데이터에 기초하여 전자 장치 및 객체 간의 제1 거리 및 전자 장치 및 위험 객체 간의 제2 거리를 판단하고, 제1 및 제2 거리에 기초하여 객체 및 위험 객체 간의 거리를 판단할 수 있다.The electronic device may determine the distance between the object and the dangerous object based on the sensed data received from the sensor ( S1020 ). Specifically, the electronic device determines a first distance between the electronic device and the object and a second distance between the electronic device and the dangerous object based on sensing data received from the sensor, and based on the first and second distances, the object and the dangerous object distance between them can be determined.

전자 장치는, 판단된 거리에 기초하여 전자 장치가 객체의 주변을 주행하도록 전자 장치를 제어(S1030)할 수 있다. 구체적으로, 전자 장치는 객체와 위험 객체 간의 거리가 기설정된 값 이상이면, 전자 장치가 객체에 근접하여 주행하도록 전자 장치를 제어하고, 객체와 위험 객체 간의 거리가 기설정된 값 미만이면, 전자 장치가 객체 주변에 위치한 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 전자 장치를 제어할 수 있다.The electronic device may control the electronic device to travel around the object based on the determined distance ( S1030 ). Specifically, when the distance between the object and the dangerous object is greater than or equal to a preset value, the electronic device controls the electronic device to drive close to the object, and when the distance between the object and the dangerous object is less than the preset value, the electronic device The electronic device may be controlled to drive in an area more than a preset distance away from the dangerous object located around the object.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 소프트웨어 또는 어플리케이션 형태로 구현될 수 있다. Meanwhile, the above-described methods according to various embodiments of the present disclosure may be implemented in the form of software or applications that can be installed in an existing electronic device.

또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다. In addition, the above-described methods according to various embodiments of the present disclosure may be implemented only by software upgrade or hardware upgrade of an existing electronic device.

또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 외부의 서버를 통해 수행되는 것도 가능하다.In addition, various embodiments of the present disclosure described above may be performed through an embedded server provided in the electronic device or a server external to the electronic device.

한편, 본 개시에 따른 전자 장치의 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다. Meanwhile, a non-transitory computer readable medium in which a program for sequentially executing the method of controlling an electronic device according to the present disclosure is stored may be provided.

한편, 비일시적 판독 가능 매체란 레지스터, 캐시, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.On the other hand, the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시의 기술적 사상은 상술한 특정의 실시 예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present disclosure have been illustrated and described above, the technical spirit of the present disclosure is not limited to the specific embodiments described above, and various methods can be made by those of ordinary skill in the art to which the present invention pertains. Modifications are possible, of course, and these modifications should not be individually understood from the technical spirit or prospect of the present disclosure.

100: 전자 장치
110: 카메라
120: 구동부
120: 센서
140: 프로세서100: electronic device
110: camera
120: driving unit
120: sensor
140: processor

Claims

전자 장치에 있어서,
센서;
카메라;
구동부;
객체를 식별하도록 학습된 제1 인공 지능 모델(Artificial Intelligence Model) 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 저장하는 스토리지;
상기 센서 및 상기 스토리지와 연결되는 제1 프로세서; 및
상기 카메라, 상기 스토리지 및 상기 제1 프로세서와 연결되는 제2 프로세서;를 포함하고,
상기 제2 프로세서는,
상기 스토리지에서 상기 제1 및 제2 인공 지능 모델을 로드하고, 상기 카메라를 통해 획득된 이미지를 상기 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하고, 상기 식별된 객체에 대한 정보 및 상기 식별된 위험 객체에 대한 정보를 상기 제1 프로세서로 전송하고,
상기 제1 프로세서는,
상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치로부터 상기 객체까지의 제1 거리 및 상기 전자 장치로부터 상기 위험 객체까지의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하며, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어하고,
상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 구동부를 제어하는, 전자 장치.In an electronic device,
sensor;
camera;
drive unit;
a storage for storing a first artificial intelligence model trained to identify an object and a second artificial intelligence model trained to identify a risk object partially obscured by the object;
a first processor connected to the sensor and the storage; and
a second processor connected to the camera, the storage, and the first processor;
The second processor,
Load the first and second artificial intelligence models from the storage, input the image acquired through the camera into the first artificial intelligence model to identify an object in the image, and use the image acquired through the camera to Input to a second artificial intelligence model to identify a dangerous object partially obscured by the object in the image, and transmit information about the identified object and information about the identified dangerous object to the first processor,
The first processor,
A first distance from the electronic device to the object and a second distance from the electronic device to the dangerous object are determined based on the sensing data received from the sensor, and the object based on the first and second distances and a distance between the dangerous object is determined, and when the distance between the object and the dangerous object is equal to or greater than a preset value, the driving unit is controlled to drive the electronic device close to the object,
When the distance between the object and the dangerous object is less than a preset value, the electronic device controls the driving unit to drive the electronic device in an area more than a preset distance away from the dangerous object located around the object.

삭제delete

제1항에 있어서,
상기 제1 프로세서는,
상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어하는, 전자 장치.According to claim 1,
The first processor,
If the dangerous object is not identified in the image acquired through the camera while the electronic device is driving in an area more than the preset distance from the dangerous object, the electronic device controls the driving unit to drive close to the object which is an electronic device.

삭제delete

제1항에 있어서,
상기 스토리지는, 맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고,
상기 제1 프로세서는,
상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고, 상기 판단된 구역에 대한 정보를 상기 제2 프로세서로 전송하고,
상기 제2 프로세서는,
상기 스토리지에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고,
상기 스토리지에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별하는, 전자 장치.According to claim 1,
The storage stores information on the map, and the first artificial intelligence model for identification of objects and the second artificial intelligence model for identification of dangerous objects, corresponding to each of a plurality of regions included in the map,
The first processor,
determining a region in which the electronic device is located among a plurality of regions included in the map based on the sensing data received from the sensor, and transmitting information on the determined region to the second processor;
The second processor,
Input the image to a first artificial intelligence model corresponding to the determined area among a plurality of first artificial intelligence models stored in the storage to identify the object,
An electronic device for identifying the dangerous object by inputting the image into a second artificial intelligence model corresponding to the determined area among a plurality of second artificial intelligence models stored in the storage.

제1항에 있어서,
상기 위험 객체는,
상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함하는, 전자 장치.According to claim 1,
The dangerous object is
An electronic device comprising at least one of an object that can be damaged by collision with the electronic device, an object that can become stuck in an inlet of the electronic device, and animal excrement.

전자 장치의 제어 방법에 있어서,
카메라를 통해 이미지를 획득하는 단계;
상기 카메라를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하는 단계;
센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치로부터 상기 객체까지의 제1 거리 및 상기 전자 장치로부터 상기 위험 객체까지의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하는 단계; 및
상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어하고, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 전자 장치를 제어하는 단계;를 포함하는, 전자 장치의 제어 방법.A method for controlling an electronic device, comprising:
acquiring an image through a camera;
Input the image obtained through the camera into a first artificial intelligence model to identify an object in the image, and input the image obtained through the camera into a second artificial intelligence model to ensure that a part of the object is obscured by the object in the image identifying dangerous objects;
A first distance from the electronic device to the object and a second distance from the electronic device to the dangerous object are determined based on the sensing data received from the sensor, and based on the first and second distances, the object and determining a distance between the dangerous objects; and
When the distance between the object and the dangerous object is equal to or greater than a preset value, the electronic device controls the electronic device to travel close to the object, and when the distance between the object and the dangerous object is less than a preset value, the electronic device Controlling the electronic device so that the device drives in an area more than a preset distance away from the dangerous object located around the object;

삭제delete

제7항에 있어서,
상기 제어하는 단계는,
상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어하는, 전자 장치의 제어 방법.8. The method of claim 7,
The controlling step is
If the dangerous object is not identified in the image acquired through the camera while the electronic device is traveling in an area more than the preset distance from the dangerous object, the electronic device drives the electronic device to drive close to the object A method of controlling an electronic device.

삭제delete

제7항에 있어서,
상기 전자 장치는,
맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고,
상기 식별하는 단계는,
상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고,
상기 전자 장치에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고,
상기 전자 장치에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별하는, 전자 장치의 제어 방법.8. The method of claim 7,
The electronic device is
Storing the information on the map, and the first artificial intelligence model for identification of objects and the second artificial intelligence model for identification of dangerous objects, corresponding to each of a plurality of regions included in the map,
The identifying step is
determining a region in which the electronic device is located among a plurality of regions included in the map based on the sensing data received from the sensor;
Input the image to a first AI model corresponding to the determined area among a plurality of first AI models stored in the electronic device to identify the object;
A control method of an electronic device, wherein the dangerous object is identified by inputting the image into a second artificial intelligence model corresponding to the determined area among a plurality of second artificial intelligence models stored in the electronic device.

제7항에 있어서,
상기 위험 객체는,
상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함하는, 전자 장치의 제어 방법.8. The method of claim 7,
The dangerous object is
The method of controlling an electronic device, comprising at least one of an object that can be damaged by collision with the electronic device, an object that can become stuck in an inlet of the electronic device, and animal excrement.