KR102269053B1 - Electronic apparatus and controlling method thereof - Google Patents
Electronic apparatus and controlling method thereof Download PDFInfo
- Publication number
- KR102269053B1 KR102269053B1 KR1020190134855A KR20190134855A KR102269053B1 KR 102269053 B1 KR102269053 B1 KR 102269053B1 KR 1020190134855 A KR1020190134855 A KR 1020190134855A KR 20190134855 A KR20190134855 A KR 20190134855A KR 102269053 B1 KR102269053 B1 KR 102269053B1
- Authority
- KR
- South Korea
- Prior art keywords
- electronic device
- artificial intelligence
- dangerous
- image
- processor
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
전자 장치가 개시된다. 본 전자 장치는 센서, 카메라, 객체를 식별하도록 학습된 제1 인공 지능 모델(Artificial Intelligence Model) 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 저장하는 스토리지, 센서 및 스토리지와 연결되는 제1 프로세서 및 카메라, 스토리지 및 제1 프로세서와 연결되는 제2 프로세서를 포함하고, 제2 프로세서는, 스토리지에서 제1 및 제2 인공 지능 모델을 로드하고, 카메라를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하여 이미지에서 객체를 식별하고, 카메라를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하여 이미지에서 객체에 의해 일부가 가려진 위험 객체를 식별하고, 식별된 객체에 대한 정보 및 식별된 위험 객체에 대한 정보를 제1 프로세서로 전송하고, 제1 프로세서는, 센서로부터 수신된 센싱 데이터에 기초하여 객체와 위험 객체 간의 거리를 판단하며, 판단된 거리에 기초하여 전자 장치가 객체의 주변을 주행하도록 전자 장치를 제어한다.An electronic device is disclosed. The electronic device includes a sensor, a camera, a storage for storing a first artificial intelligence model trained to identify an object, and a second artificial intelligence model trained to identify a dangerous object partially obscured by the object, a sensor and a first processor and a camera connected to the storage, a second processor connected to the storage and the first processor, wherein the second processor loads the first and second artificial intelligence models from the storage, and an image acquired through the camera input into the first artificial intelligence model to identify the object in the image, input the image acquired through the camera into the second artificial intelligence model to identify the dangerous object partially obscured by the object in the image, and The information and information on the identified dangerous object are transmitted to the first processor, and the first processor determines a distance between the object and the dangerous object based on sensing data received from the sensor, and based on the determined distance, the electronic device Controls the electronic device to travel around the object.
Description
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 위험 객체를 식별할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.The present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device capable of identifying a dangerous object and a control method thereof.
최근 전자 기술의 발달로 다양한 전자 장치가 개발되고 있다. 특히, 최근에는 전자 장치 주변의 객체를 식별하고, 객체를 회피하여 주행하는 전자 장치가 개발되고 있다. 일 예로, 최근에 개발된 로봇 청소기는 바닥에 놓인 컵을 식별하고, 컵과의 충돌을 방지하기 위해 컵을 회피하여 주행할 수 있다.Recently, with the development of electronic technology, various electronic devices have been developed. In particular, recently, an electronic device that identifies an object around the electronic device and drives while avoiding the object has been developed. For example, a recently developed robot cleaner may identify a cup placed on the floor, and drive while avoiding the cup in order to prevent collision with the cup.
한편, 경우에 따라 객체는 다른 객체에 의해 일부가 가려질 수 있다. 예를 들어, 테이블의 다리 등에 컵의 일부가 가려진 경우 등이다. 이 경우, 종래의 전자 장치는 컵을 식별하지 못하여, 컵과 충돌하는 문제가 있었다.Meanwhile, in some cases, an object may be partially covered by another object. For example, when a part of the cup is covered by the legs of a table, etc. In this case, there is a problem in that the conventional electronic device does not identify the cup and collides with the cup.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 다른 객체에 의해 일부가 가려진 위험 객체를 식별하고, 위험 객체를 회피하여 주행할 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.The present disclosure has been devised to solve the above problems, and an object of the present disclosure is to identify a dangerous object partially covered by another object, and to provide an electronic device capable of driving by avoiding the dangerous object and a control method thereof. have.
상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는, 센서, 카메라, 객체를 식별하도록 학습된 제1 인공 지능 모델(Artificial Intelligence Model) 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 저장하는 스토리지, 상기 센서 및 상기 스토리지와 연결되는 제1 프로세서 및 상기 카메라, 상기 스토리지 및 상기 제1 프로세서와 연결되는 제2 프로세서;를 포함하고, 상기 제2 프로세서는, 상기 스토리지에서 상기 제1 및 제2 인공 지능 모델을 로드하고, 상기 카메라를 통해 획득된 이미지를 상기 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하고, 상기 식별된 객체에 대한 정보 및 상기 식별된 위험 객체에 대한 정보를 상기 제1 프로세서로 전송하고, 상기 제1 프로세서는, 상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하며, 상기 판단된 거리에 기초하여 상기 전자 장치가 상기 객체의 주변을 주행하도록 상기 전자 장치를 제어할 수 있다.An electronic device according to an embodiment of the present disclosure for achieving the above object, a sensor, a camera, a first artificial intelligence model learned to identify an object, and a dangerous object partially obscured by the object A storage for storing the learned second artificial intelligence model, a first processor connected to the sensor and the storage, and a second processor connected to the camera, the storage, and the first processor, the second processor comprising: , load the first and second artificial intelligence models from the storage, input the image obtained through the camera into the first artificial intelligence model to identify an object in the image, and retrieve the image obtained through the camera input to the second artificial intelligence model to identify a dangerous object partially obscured by the object in the image, and transmit information about the identified object and information about the identified dangerous object to the first processor, The first processor determines a distance between the object and the dangerous object based on the sensed data received from the sensor, and operates the electronic device to drive the electronic device around the object based on the determined distance. can be controlled
그리고, 본 개시의 전자 장치는 구동부를 더 포함하고, 상기 제1 프로세서는, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어하고, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 구동부를 제어할 수 있다.The electronic device of the present disclosure further includes a driving unit, and the first processor controls the driving unit to drive the electronic device close to the object when the distance between the object and the dangerous object is equal to or greater than a preset value. and if the distance between the object and the dangerous object is less than a preset value, the electronic device may control the driving unit to drive in an area more than a preset distance away from the dangerous object located around the object.
그리고, 상기 제1 프로세서는, 상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어할 수 있다.In addition, the first processor is configured to, if the dangerous object is not identified in the image acquired through the camera while the electronic device is driving in an area more than the preset distance away from the dangerous object, the electronic device is connected to the object. The driving unit may be controlled to travel in proximity.
그리고, 상기 제1 프로세서는, 상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치 및 상기 객체 간의 제1 거리 및 상기 전자 장치 및 상기 위험 객체 간의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체 및 상기 위험 객체 간의 거리를 판단할 수 있다.In addition, the first processor determines a first distance between the electronic device and the object and a second distance between the electronic device and the dangerous object based on the sensing data received from the sensor, and the first and second It is possible to determine a distance between the object and the dangerous object based on the distance.
그리고, 상기스토리지는, 맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고, 상기 제1 프로세서는, 상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고, 상기 판단된 구역에 대한 정보를 상기 제2 프로세서로 전송하고, 상기 스토리지에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고, 상기 스토리지에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별할 수 있다.In addition, the storage stores the information on the map, and the first AI model for identification of an object and the second AI model for identification of a dangerous object corresponding to each of a plurality of zones included in the map. and, the first processor determines an area in which the electronic device is located among a plurality of areas included in the map based on the sensed data received from the sensor, and transmits information on the determined area to the second processor transmits the image to a first AI model corresponding to the determined area among a plurality of first AI models stored in the storage to identify the object, and a plurality of second AI models stored in the storage The dangerous object may be identified by inputting the image to a second artificial intelligence model corresponding to the determined area among models.
그리고, 상기 위험 객체는, 상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함할 수 있다.In addition, the dangerous object may include at least one of an object that may be damaged by collision with the electronic device, an object that may become stuck in an inlet of the electronic device, and animal excrement.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 카메라를 통해 이미지를 획득하는 단계, 상기 카메라를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하는 단계, 센서로부터 수신된 센싱 데이터에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하는 단계 및 상기 판단된 거리에 기초하여 상기 전자 장치가 상기 객체의 주변을 주행하도록 상기 전자 장치를 제어하는 단계;를 포함할 수 있다.On the other hand, the control method of the electronic device according to an embodiment of the present disclosure includes acquiring an image through a camera, inputting the image acquired through the camera into a first artificial intelligence model to identify an object in the image, inputting the image acquired through the camera into a second artificial intelligence model to identify a dangerous object partially covered by the object in the image; a distance between the object and the dangerous object based on sensing data received from a sensor and controlling the electronic device to drive the electronic device around the object based on the determined distance.
그리고, 상기 제어하는 단계는, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어하고, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 전자 장치를 제어할 수 있다.And, in the controlling, if the distance between the object and the dangerous object is equal to or greater than a preset value, controlling the electronic device to drive the electronic device close to the object, and the distance between the object and the dangerous object is If it is less than the preset value, the electronic device may control the electronic device to travel in an area more than a preset distance away from the dangerous object located around the object.
그리고, 상기 제어하는 단계는, 상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어할 수 있다.And, in the controlling, if the dangerous object is not identified in the image acquired through the camera while the electronic device is driving in an area more than the preset distance from the dangerous object, the electronic device is attached to the object The electronic device may be controlled to travel in proximity.
그리고, 상기 거리를 판단하는 단계는, 상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치 및 상기 객체 간의 제1 거리 및 상기 전자 장치 및 상기 위험 객체 간의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체 및 상기 위험 객체 간의 거리를 판단할 수 있다.The determining of the distance may include determining a first distance between the electronic device and the object and a second distance between the electronic device and the dangerous object based on the sensing data received from the sensor, and the first and A distance between the object and the dangerous object may be determined based on the second distance.
그리고, 상기 전자 장치는, 객체를 식별하도록 학습된 제1 인공지능 모델, 및 위험 객체 및 상기 객체에 의해 일부가 가려진 상기 위험 객체를 식별하도록 학습된 제2 인공지능 모델을 저장하고, 상기 식별하는 단계는, 상기 카메라를 통해 획득된 이미지를 상기 제1 인공지능 모델에 입력하여 상기 이미지에서 상기 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 상기 제2 인공지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 상기 위험 객체를 식별할 수 있다.And, the electronic device stores the first artificial intelligence model learned to identify the object, and the second artificial intelligence model learned to identify the dangerous object and the dangerous object partially obscured by the object, and the identification The step may include inputting an image acquired through the camera into the first artificial intelligence model to identify the object in the image, and inputting the image acquired through the camera into the second artificial intelligence model to obtain the image from the image. It is possible to identify the dangerous object partially obscured by the object.
그리고, 상기 전자 장치는, 맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고, 상기 식별하는 단계는, 상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고, 상기 전자 장치에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고, 상기 전자 장치에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별할 수 있다.And, the electronic device, the first artificial intelligence model for identification of the object and the second artificial intelligence model for identification of the dangerous object, corresponding to each of the plurality of regions included in the map and information on the map, The storing and identifying may include determining a region in which the electronic device is located among a plurality of regions included in the map based on the sensed data received from the sensor, and a plurality of first artificial intelligence stored in the electronic device A second artificial intelligence corresponding to the determined region among a plurality of second artificial intelligence models stored in the electronic device by inputting the image into a first artificial intelligence model corresponding to the determined region among models to identify the object The dangerous object can be identified by inputting the image into the model.
그리고, 상기 위험 객체는, 상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함할 수 있다. In addition, the dangerous object may include at least one of an object that may be damaged by collision with the electronic device, an object that may become stuck in an inlet of the electronic device, and animal excrement.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 위험 객체의 일부가 다른 객체에 의해 가려진 경우에도 위험 객체를 식별할 수 있고, 그 위험 객체를 회피하여 주행할 수 있는 전자 장치 및 그 제어 방법이 제공될 수 있다.According to various embodiments of the present disclosure as described above, an electronic device capable of identifying a dangerous object and driving while avoiding the dangerous object and a control method thereof are provided even when a part of the dangerous object is obscured by another object. can be
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 3a는 본 개시의 일 실시 예에 따른 전자 장치 주변에 객체가 위치하는 경우를 도시한 도면이다.
도 3b는 본 개시의 일 실시 예에 따른 전자 장치 주변에 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 4a는 본 개시의 일 실시 예에 따른 전자 장치 주변에 위험 객체가 위치하는 경우를 도시한 도면이다.
도 4b는 본 개시의 일 실시 예에 따른 전자 장치 주변에 위험 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 5a는 본 개시의 일 실시 예에 따른 객체에 근접하여 위험 객체가 위치하는 경우를 도시한 도면이다.
도 5b는 본 개시의 일 실시 예에 따른 객체에 근접하여 위험 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 5c는 본 개시의 일 실시 예에 따른 객체로부터 기설정된 거리 이상 떨어진 영역에 위험 객체가 위치하는 경우를 도시한 도면이다.
도 5d는 본 개시의 일 실시 예에 따른 객체로부터 기설정된 거리 이상 떨어진 영역에 위험 객체가 위치하는 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.
도 6a는 본 개시의 일 실시 예에 따른 제1 인공 지능 모델을 설명하기 위한 도면이다.
도 6b는 본 개시의 일 실시 예에 따른 제2 인공 지능 모델을 설명하기 위한 도면이다.
도 6c는 본 개시의 일 실시 예에 따른 제2 인공 지능 모델을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시 예에 따른 맵에 대한 정보를 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시 예에 따른 각 구역에 따라 구분되는 제1 및 제2 인공 지능 모델을 설명하기 위한 도면이다.
도 7c는 본 개시의 일 실시 예에 따른 제1 및 제2 인공 지능 모델을 이용하여 객체 및/또는 위험 객체를 식별하는 실시 예를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 블록도이다.
도 9a는 본 개시의 일 실시 예에 따른 전자 장치 및 외부 장치를 도시한 도면이다.
도 9b는 본 개시의 일 실시 예에 따른 인공 지능 모델의 업데이트를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.1 is a diagram schematically illustrating an operation of an electronic device according to an embodiment of the present disclosure.
2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
3A is a diagram illustrating a case in which an object is positioned around an electronic device according to an embodiment of the present disclosure;
3B is an example for explaining a driving operation of the electronic device when an object is located around the electronic device according to an embodiment of the present disclosure.
4A is a diagram illustrating a case in which a dangerous object is located around an electronic device according to an embodiment of the present disclosure.
4B is an example for explaining a driving operation of the electronic device when a dangerous object is located around the electronic device according to an embodiment of the present disclosure.
5A is a diagram illustrating a case in which a dangerous object is located close to an object according to an embodiment of the present disclosure.
5B is an example for explaining a driving operation of an electronic device when a dangerous object is located close to the object according to an embodiment of the present disclosure;
5C is a diagram illustrating a case in which a dangerous object is located in an area more than a predetermined distance away from the object according to an embodiment of the present disclosure.
5D is an example for explaining a driving operation of an electronic device when a dangerous object is located in an area more than a preset distance away from the object according to an embodiment of the present disclosure.
6A is a diagram for describing a first artificial intelligence model according to an embodiment of the present disclosure.
6B is a diagram for explaining a second artificial intelligence model according to an embodiment of the present disclosure.
6C is a diagram for explaining a second artificial intelligence model according to an embodiment of the present disclosure.
7A is a diagram for explaining information on a map according to an embodiment of the present disclosure.
7B is a diagram for explaining first and second artificial intelligence models divided according to each zone according to an embodiment of the present disclosure.
7C is a diagram for describing an embodiment of identifying an object and/or a dangerous object using first and second artificial intelligence models according to an embodiment of the present disclosure.
8 is a block diagram illustrating an
9A is a diagram illustrating an electronic device and an external device according to an embodiment of the present disclosure.
9B is a diagram for explaining an update of an artificial intelligence model according to an embodiment of the present disclosure.
10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다. First, the terms used in this specification and claims have been selected in consideration of the function of the present disclosure. However, these terms may vary depending on the intention, legal or technical interpretation of a person skilled in the art, and the emergence of new technology. Also, some terms are arbitrarily selected by the applicant. These terms may be interpreted in the meaning defined in the present specification, and if there is no specific term definition, it may be interpreted based on the general content of the present specification and common technical common sense in the art.
또한, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.In addition, in describing the present disclosure, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present disclosure, the detailed description thereof will be abbreviated or omitted.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.Further, an embodiment of the present disclosure will be described in detail below with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present disclosure is not limited or limited by the embodiments.
이하, 첨부된 도면을 참조하여 본 개시를 상세히 설명한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating an operation of an electronic device according to an embodiment of the present disclosure.
전자 장치(100)는 실내 공간을 주행하면서 전자 장치(100)에 구비된 카메라를 통해 이미지를 획득할 수 있다. 여기에서, 카메라를 통해 획득된 이미지에는 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 다양한 객체가 포함될 수 있다.The
또한, 카메라를 통해 획득된 이미지에는 위험 객체가 포함될 수도 있다. 여기에서, 위험 객체란 전자 장치(100)와의 충돌에 의해 파손될 수 있는 객체로서 컵, 화분 등이 될 수 있다. 다만, 이는 일 실시 예로서, 위험 객체는 전자 장치(100)의 흡입구에 스턱을 될 수 있는 객체로서 양말, 이어폰, 전선 등이 될 수도 있고, 실내 공간을 오염시킬 수 있는 객체로서 동물의 배설물 등이 될 수도 있다.In addition, the image acquired through the camera may include a dangerous object. Here, the dangerous object is an object that can be damaged by collision with the
전자 장치(100)는 이미지에 포함된 객체 및/또는 위험 객체를 식별할 수 있다. The
구체적으로, 전자 장치(100)는 카메라를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있고, 카메라를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체를 식별할 수 있다. Specifically, the
여기에서, 제1 인공 지능 모델은 이미지에 포함된 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 객체를 식별하기 위해 학습된 모델이고, 제2 인공 지능 모델은 이미지에 포함된 컵, 양말 등의 위험 객체를 식별하기 위해 학습된 모델로서 제1 및 제2 인공 지능 모델 각각은 CNN(Convolutional Neural Network)으로 구현될 수 있다.Here, the first artificial intelligence model is a model trained to identify objects such as sofa, TV, bed, table, wardrobe, air conditioner, refrigerator, etc. included in the image, and the second artificial intelligence model is a cup included in the image; Each of the first and second artificial intelligence models may be implemented as a Convolutional Neural Network (CNN) as a model trained to identify dangerous objects such as socks.
전자 장치(100)는 이미지에 객체 및/또는 위험 객체가 포함되어 있는지 여부에 기초하여, 전자 장치(100)의 주행을 제어할 수 있다.The
구체적으로, 전자 장치(100)는 이미지에 객체가 포함되어 있는 경우이면, 객체에 근접하여 주행할 수 있다. 여기에서, 근접하여 주행이란 객체로부터 제1 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다. 일 실시 예로, 제1 기설정된 거리가 1cm로 설정된 경우이면, 전자 장치(100)는 객체로부터 1cm만큼 떨어진 영역까지 객체에 근접하여 주행할 수 있다.Specifically, when an object is included in the image, the
또는, 근접하여 주행이란 객체에 접촉할 때까지의 주행이 될 수도 있다. 일 실시 예로, 전자 장치(100)는 이미지에 객체가 포함되어 있는 경우, 객체에 접촉할 때까지 객체를 향해 주행하고, 객체와 접촉되면 주행 방향을 변경할 수 있다. Alternatively, driving in proximity may be driving until it comes into contact with an object. As an embodiment, when an object is included in the image, the
한편, 전자 장치(100)는 이미지에 위험 객체가 포함되어 있는 경우이면, 위험 객체를 회피하여 주행할 수 있다. 여기에서, 회피하여 주행이란 위험 객체로부터 제2 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다.Meanwhile, when a dangerous object is included in the image, the
제2 기설정된 거리는 상술한 제1 기설정된 거리보다 클 수 있다. 일 실시 예로, 제2 기설정된 거리는 30cm로 설정될 수 있고, 이 경우 전자 장치(100)는 위험 객체로부터 30cm만큼 떨어진 영역까지 위험 객체에 근접하여 주행하고, 전자 장치(100) 및 위험 객체간의 거리가 제2 기설정된 거리에 도달하면, 전자 장치(100)의 주행 방향을 변경할 수 있다.The second preset distance may be greater than the above-described first preset distance. As an embodiment, the second preset distance may be set to 30 cm. In this case, the
이에 따라, 본 개시의 전자 장치는 이미지 상에서 소파 등의 객체가 식별된 경우이면, 소파에 근접하여 주행하고, 이미지 상에서 컵 등의 위험 객체가 식별되면, 컵을 회피하여 주행할 수 있다.Accordingly, when an object such as a sofa is identified on the image, the electronic device of the present disclosure may drive close to the sofa, and if a dangerous object such as a cup is identified on the image, the electronic device may drive while avoiding the cup.
한편, 경우에 따라 위험 객체는 객체에 의해 일부가 가려질 수 있다. 예를 들어, 도 1을 참조하면, 위험 객체인 컵(20)은 객체인 소파(10)에 의해 일부가 가려질 수 있다.On the other hand, in some cases, the dangerous object may be partially covered by the object. For example, referring to FIG. 1 , a
이 경우, 종래의 전자 장치는 객체에 의해 가려진 위험 객체를 식별하지 못하여, 객체에 근접하여 주행하는 문제가 있었다. 이에 따라, 종래의 전자 장치는 객체에 근접하여 주행하는 중에 위험 객체와 접촉 또는 충돌함으로써, 위험 객체를 파손하는 등의 문제를 발생하였다.In this case, there is a problem in that the conventional electronic device does not identify a dangerous object that is obscured by the object, and thus drives close to the object. Accordingly, the conventional electronic device comes into contact with or collides with a dangerous object while driving close to the object, thereby causing a problem such as damage to the dangerous object.
이와 같은 문제를 방지하기 위해서, 본 개시의 전자 장치는 객체에 의해 일부가 가려진 위험 객체를 식별하고, 그 위험 객체를 회피하여 주행하는 동작을 수행할 수 있다. 이하, 도 2를 참조하여 이에 대해 상세히 설명한다.In order to prevent such a problem, the electronic device of the present disclosure may identify a dangerous object partially covered by the object, and perform an operation of driving while avoiding the dangerous object. Hereinafter, this will be described in detail with reference to FIG. 2 .
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
본 개시의 일 실시 예에 따른 전자 장치(100)는 이동 가능한 전자 장치가 될 수 있다. 일 예로, 전자 장치(100)는 가정 내 공간을 주행하면서 청소 작업을 수행할 수 있는 로봇 청소기, 사람을 대신해 운전을 수행하는 자동 주행 차량 또는 목적지까지 물품을 이동시킬 수 있는 자동 경로 차량(Automated Guided Vehicle) 중 하나가 될 수 있다.The
다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 건물 내 공간을 주행하면서 공기 정화 작업을 수행할 수 있는 로봇, 가정 내 공간을 주행하며 의류 정리, 설거지 등의 작업을 수행할 수 있는 가사 지원형 로봇 또는 빌딩 내 공간을 주행하며 경비를 수행할 수 있는 경비형 로봇 등과 같은 다양한 전자 장치로 구현될 수 있다. However, the present invention is not limited thereto, and the
또한, 전자 장치(100)는 상술한 이동 가능한 전자 장치에 연결 또는 부착될 수 있는 디바이스로 구현될 수도 있다.In addition, the
도 2를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(110), 센서(120), 스토리지(130) 및 프로세서(140)를 포함한다. 여기에서, 프로세서(140)는 센서(120) 및 스토리지(130)와 연결되는 제1 프로세서(140-1) 및, 카메라(110), 스토리지(130) 및 제1 프로세서(140-1)와 연결되는 제2 프로세서(140-2)를 포함할 수 있다.Referring to FIG. 2 , the
그리고, 제1 프로세서(140-1)는 CPU, AP 등과 같은 범용 프로세서 또는 GPU. VPU 등과 같은 그래픽 전용 프로세서가 될 수 있고, 제2 프로세서(140-2)는 NPU와 같은 인공지능 전용 프로세서일 수 있으나, 반드시 이에 한정되는 것은 아니다.In addition, the first processor 140-1 is a general-purpose processor or GPU such as a CPU or AP. It may be a graphics-only processor such as a VPU, and the second processor 140-2 may be an artificial intelligence-only processor such as an NPU, but is not necessarily limited thereto.
제2 프로세서(140-2)는 카메라(110)를 통해 이미지를 획득할 수 있다. 구체적으로, 제2 프로세서(140-2)는 촬영을 수행하도록 카메라(110)를 제어하고, 카메라(110)에 의해 촬영된 이미지를 카메라(110)로부터 획득할 수 있다. 여기에서, 촬영은 전자 장치(100)의 주행 중에 수행될 수 있음은 물론, 전자 장치(100)가 정지된 상태에서 수행될 수도 있다. 한편, 카메라(110)는 RGB 카메라로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니다.The second processor 140 - 2 may acquire an image through the
제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지에서 객체 및/또는 위험 객체를 식별할 수 있다.The second processor 140 - 2 may identify the object and/or the dangerous object in the image acquired through the
구체적으로, 제2 프로세서(140-2)는 스토리지(130)에 저장된 제1 및 제2 인공 지능 모델(132)을 제2 프로세서(140-2)의 휘발성 메모리(145)에 로드하고, 카메라(110)를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있고, 카메라(110)를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체를 식별할 수 있다. Specifically, the second processor 140-2 loads the first and second
여기에서, 제1 인공 지능 모델은 이미지에 포함된 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 객체를 식별하기 위해 학습된 모델이 될 수 있다. 일 예로, 제1 인공 지능 모델은 소파, TV, 침대, 테이블, 옷장, 에어컨 또는 냉장고 등을 포함하는 이미지가 입력되면, 이미지의 특징 정보를 추출하는 컨볼루션 레이어(Convolutional Layer) 및 추출된 특징 정보에 기초하여 이미지에 포함된 객체를 식별하도록 학습된 풀리-커넥티드 레이어(Fully-connected Layer)를 포함하는 CNN Convolutional Neural Network)이 될 수 있다.Here, the first artificial intelligence model may be a model trained to identify objects such as sofa, TV, bed, table, wardrobe, air conditioner, and refrigerator included in the image. For example, when an image including a sofa, TV, bed, table, wardrobe, air conditioner or refrigerator is input, the first artificial intelligence model includes a convolutional layer that extracts feature information of the image and the extracted feature information It can be a CNN Convolutional Neural Network including a fully-connected layer trained to identify an object included in an image based on .
그리고, 제2 인공 지능 모델은 이미지에 포함된 위험 객체(가령, 컵, 화분, 양말, 배설물 등)를 식별하기 위해 학습된 모델이 될 수 있다. 일 예로, 제2 인공 지능 모델은 위험 객체를 포함하는 이미지가 입력되면, 이미지의 특징 정보를 추출하는 컨볼루션 레이어 및 추출된 특징 정보에 기초하여 이미지에 포함된 위험 객체를 식별하도록 학습된 풀리-커넥티드 레이어를 포함하는 CNN이 될 수 있다.In addition, the second artificial intelligence model may be a model trained to identify dangerous objects (eg, cups, flowerpots, socks, excrement, etc.) included in the image. As an example, the second artificial intelligence model is a convolution layer that extracts feature information of an image when an image including a risk object is input, and a pulley trained to identify a risk object included in the image based on the extracted feature information It can be a CNN with a connected layer.
또한, 제2 인공 지능 모델은 객체에 의해 일부가 가려진 위험 객체를 식별하기 위해 학습된 모델이 될 수도 있다. 일 예로, 제2 인공 지능 모델은 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지가 입력되면, 이미지의 특징 정보를 추출하는 컨볼루션 레이어 및 추출된 특징 정보에 기초하여 이미지에 포함된, 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 풀리-커넥티드 레이어를 포함하는 CNN이 될 수 있다. 이와 관련된 보다 상세한 설명은 도 6a 내지 도 6c를 참조하여 후술한다.In addition, the second artificial intelligence model may be a model trained to identify a dangerous object partially obscured by the object. As an example, when an image including a dangerous object partially covered by the object is input, the second artificial intelligence model includes a convolution layer for extracting feature information of the image and the object included in the image based on the extracted feature information. It can be a CNN with a fully-connected layer trained to identify dangerous objects partially obscured by A more detailed description related thereto will be described later with reference to FIGS. 6A to 6C .
그리고, 제2 프로세서(140-2)는 식별된 객체에 대한 정보 및 식별된 위험 객체에 대한 정보를 제1 프로세서(140-1)로 전송할 수 있다.In addition, the second processor 140 - 2 may transmit information on the identified object and information on the identified dangerous object to the first processor 140 - 1 .
제1 프로세서(140-1)는 이미지에 객체 및/또는 위험 객체가 포함되어 있는지를 판단할 수 있다. 구체적으로, 제1 프로세서(140-1)는 제2 프로세서(140-2)로부터 객체에 대한 정보가 수신되면, 이미지에 객체가 포함된 것으로 판단하고, 제2 프로세서(140-2)로부터 위험 객체에 대한 정보가 수신되면, 이미지에 위험 객체가 포함된 것으로 판단할 수 있다.The first processor 140 - 1 may determine whether an object and/or a dangerous object is included in the image. Specifically, when information on an object is received from the second processor 140-2, the first processor 140-1 determines that the object is included in the image, and receives the dangerous object from the second processor 140-2. When the information on , it may be determined that a dangerous object is included in the image.
그리고, 제1 프로세서(140-1)는 이미지에 객체 및/또는 위험 객체가 포함되어 있는지 여부에 기초하여, 전자 장치(100)의 주행을 제어할 수 있다. In addition, the first processor 140 - 1 may control the driving of the
구체적으로, 제1 프로세서(140-1)는 이미지에 객체가 포함되어 있는 경우이면, 객체에 근접하여 주행하도록 전자 장치(100)의 구동부(미도시)를 제어할 수 있다. 여기에서, 구동부는 바퀴로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니고 구동부는 전자 장치(100)를 이동시킬 수 있는 체인 등 다양한 형태로 구현될 수 있다.Specifically, when an object is included in the image, the first processor 140 - 1 may control a driving unit (not shown) of the
한편, 근접하여 주행이란 객체로부터 제1 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다. 일 실시 예로, 제1 기설정된 거리가 1cm로 설정된 경우이면, 제1 프로세서(140-1)는 전자 장치(100)가 객체로부터 1cm만큼 떨어진 영역까지 근접하여 주행하도록 구동부를 제어할 수 있다.Meanwhile, the proximity driving may be driving in an area separated by a first preset distance from the object. For example, when the first preset distance is set to 1 cm, the first processor 140 - 1 may control the driving unit to drive the
또는, 근접하여 주행이란 객체에 접촉할 때까지의 주행이 될 수도 있다. 일 실시 예로, 제1 프로세서(140-1)는 이미지에 객체가 포함되어 있는 경우, 전자 장치(100)가 객체에 접촉할 때까지 객체를 향해 주행하도록 구동부를 제어하고, 객체와 접촉되면 전자 장치(100)의 주행 방향을 변경하도록 구동부를 제어할 수 있다.Alternatively, driving in proximity may be driving until it comes into contact with an object. For example, when an object is included in the image, the first processor 140-1 controls the driving unit to drive toward the object until the
한편, 제1 프로세서(140-1)는 이미지에 위험 객체가 포함되어 있는 경우이면, 전자 장치(100)가 위험 객체를 회피하여 주행하도록 구동부를 제어할 수 있다. 여기에서, 회피하여 주행이란 위험 객체로부터 제2 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다.Meanwhile, if the image includes a dangerous object, the first processor 140 - 1 may control the driving unit so that the
제2 기설정된 거리는 상술한 제1 기설정된 거리보다 클 수 있다. 일 실시 예로, 제2 기설정된 거리는 30cm로 설정될 수 있고, 이 경우 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체로부터 30cm만큼 떨어진 영역까지 위험 객체에 근접하여 주행하도록 구동부를 제어하고, 전자 장치(100) 및 위험 객체간의 거리가 제2 기설정된 거리에 도달하면, 제1 프로세서(140-1)는 전자 장치(100)가 주행 방향을 변경하도록 구동부를 제어할 수 있다.The second preset distance may be greater than the above-described first preset distance. As an embodiment, the second preset distance may be set to 30 cm, and in this case, the first processor 140 - 1 controls the driving unit to drive the
한편, 상술한 바와 같이, 제2 인공 지능 모델은 객체에 의해 일부가 가려진 위험 객체를 식별하기 위해 학습된 모델이 될 수 있다.On the other hand, as described above, the second artificial intelligence model may be a model learned to identify a dangerous object partially obscured by the object.
따라서, 도 1과 같이 위험 객체(20)의 일부가 객체(10)에 의해 가려진 경우에도, 제2 프로세서(140-2)는 제2 인공 지능 모델을 이용하여 이미지에 포함된 위험 객체를 식별할 수 있다.Accordingly, even when a part of the
이 경우, 제1 프로세서(140-1)는 객체(10) 및 위험 객체(20)간의 거리에 기초하여, 구동부를 제어할 수 있다. In this case, the first processor 140 - 1 may control the driving unit based on the distance between the
구체적으로, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 이상이면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.Specifically, if the distance between the
즉, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 먼 것으로 판단되면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.That is, when it is determined that the distance between the
이는, 카메라(110)를 통해 획득된 이미지에 객체(10)에 의해 일부가 가려진 위험 객체(20)가 포함되어 있으나, 객체(10) 및 위험 객체(20) 간의 거리가 기설정된 값 이상인 경우이면, 객체(10)에 근접하여 주행하더라도, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉할 염려가 없음을 고려한 것이다. This is, if the image acquired through the
일 예로, 기설정된 값이 50cm인 경우, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 70cm로 판단되면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.For example, when the preset value is 50 cm, the first processor 140 - 1 determines that the distance between the
이와 같이, 본 개시의 전자 장치(100)는 이미지 상에서 위험 객체(20)가 식별되더라도, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉할 염려가 없는 경우이면, 객체(10)에 근접하여 주행함로써, 객체(10) 주변의 오염 물질을 흡입할 수 있다.In this way, even if the
한편, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 미만이면, 전자 장치(100)가 객체(10) 주변에 위치한 위험 객체(20)로부터 기설정된 거리 떨어진 영역에서 주행하도록 구동부를 제어할 수 있다.On the other hand, if the distance between the
즉, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 가까운 것으로 판단되면, 전자 장치(100)가 위험 객체(20)에 근접하지 않도록 구동부를 제어할 수 있다.That is, when it is determined that the distance between the
이는, 객체(10) 및 객체(10)에 의해 일부가 가려진 위험 객체(20)가 가까이 붙어 있는 경우이면, 전자 장치(100)가 객체(10)에 근접하여 주행할 경우, 위험 객체(20)에 전자 장치(100)가 충돌 또는 접촉할 염려가 있음을 고려한 것이다. This is when the
일 예로, 기설정된 값이 50cm인 경우, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 40cm로 판단되면, 전자 장치(100)가 위험 객체(20)를 회피하여 주행하도록 구동부를 제어할 수 있다.For example, when the preset value is 50 cm, the first processor 140 - 1 determines that the distance between the
이에 따라, 본 개시는 객체(10)에 의해 일부가 가려진 위험 객체(20)도 식별할 수 있고, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉하지 않도록 전자 장치(100)를 주행할 수 있다.Accordingly, the present disclosure can also identify the
한편, 제1 프로세서(140-1)는 상술한 객체(10) 및 위험 객체(20)간의 거리를 센서(120)로부터 수신한 센싱 데이터에 기초하여 판단할 수 있다.Meanwhile, the first processor 140 - 1 may determine the distance between the above-described
여기에서, 센싱 데이터는 센서(120)의 종류에 따라 상이할 수 있다. 일 실시 예로, 센서(120)가 3D 카메라 또는 뎁스 카메라로 구현되는 경우, 제1 프로세서(140-1)는 센서(120)로부터 깊이 정보를 포함하는 이미지를 수신할 수 있다. 이 경우, 제1 프로세서(140-1)는 깊이 정보를 이용하여 전자 장치(100) 및 객체(10) 간의 제1 거리 및 전자 장치(100) 및 위험 객체(20) 간의 제2 거리를 판단하고, 제1 및 제2 거리의 차이를 객체(10) 및 위험 객체(20) 간의 거리로 판단할 수 있다.Here, the sensed data may be different according to the type of the
또는, 센서(120)가 라이다 센서로 구현되는 경우, 센서(120)는 객체(10) 및 위험 객체(20)로 광을 조사하고, 그 광의 반사광이 수신된 시간에 기초하여 전자 장치(100) 및 객체(10) 간의 제1 거리 및 전자 장치(100) 및 위험 객체(20) 간의 제2 거리를 판단할 수 있다. 이 경우, 제1 프로세서(140-1)는 센서(120)로부터 제1 및 제2 거리에 관한 정보를 수신하고, 제1 및 제2 거리의 차이를 객체(10) 및 위험 객체(20) 간의 거리로 판단할 수 있다.Alternatively, when the
한편, 상술한 센서(120)의 예는 일 실시 예로서, 본 개시는 거리를 산출할 수 있는 다양한 센서(가령, 이미지 센서)를 통해 객체(10) 및 위험 객체(20) 간의 거리를 판단할 수 있다고 볼 것이다.On the other hand, the example of the
상술한 바와 같이, 본 개시의 전자 장치(100)는 카메라(110)를 통해 획득된 이미지에 객체(10)가 포함되어 있거나, 객체(10)로부터 기설정된 거리 이상 떨어진 위험 객체(20)가 포함된 경우이면 객체(10)에 근접하여 주행함으로서 청소 작업 등을 효율적으로 수행하고, 카메라(110)를 통해 획득된 이미지에 객체(10)로부터 기설정된 거리 미만으로 떨어진 위험 객체(20)가 포함된 경우이면, 객체(10)에 근접하지 않고, 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역에서 주행함으로서 위험 객체의 파손 등을 방지할 수 있다. As described above, in the
도 3a 및 도 3b는 본 개시의 일 실시 예에 따른 카메라를 통해 획득된 이미지에 객체가 포함된 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.3A and 3B are examples for explaining a driving operation of an electronic device when an object is included in an image acquired through a camera according to an embodiment of the present disclosure.
제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있다. 여기에서, 제1 인공 지능 모델은 이미지에 포함된 소파, TV, 침대, 테이블, 옷장, 에어컨, 냉장고 등의 객체를 식별하기 위해 학습된 모델이 될 수 있다.The second processor 140 - 2 may identify the object included in the image by inputting the image acquired through the
예를 들어, 제2 프로세서(140-2)는 카메라(110)를 통해 획득된 도 3a에 도시된 바와 같은 이미지(300)를, 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체(10)를 식별할 수 있다.For example, the second processor 140-2 inputs the
이와 같이, 전자 장치(100) 주변에 객체(10)는 존재하나 위험 객체는 존재하지 않는 경우, 제1 프로세서(140-1)는 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다. As such, when the
구체적으로, 도 3b를 참조하면, 제1 프로세서(140-1)는 전자 장치(100)가 객체(10)로부터 제1 기설정된 거리만큼 떨어진 영역(도면 부호 30의 외부)에서 주행하도록 구동부를 제어할 수 있다.Specifically, referring to FIG. 3B , the first processor 140 - 1 controls the driving unit to drive the
일 실시 예로, 제1 기설정된 거리가 1cm로 설정된 경우이면, 제1 프로세서(140-1)는 전자 장치(100)가 객체로부터 1cm만큼 떨어진 영역까지 근접하여 주행하도록 구동부(120)를 제어할 수 있다.For example, if the first preset distance is set to 1 cm, the first processor 140 - 1 may control the driving
또는, 제1 프로세서(140-1)는 전자 장치(100)가 객체에 접촉할 때까지 객체를 향해 주행하도록 구동부(120)를 제어하고, 전자 장치(100)와 객체가 접촉되면 전자 장치(100)의 주행 방향을 변경하도록 구동부(120)를 제어할 수도 있다.Alternatively, the first processor 140-1 controls the driving
도 4a 및 도 4b는 본 개시의 일 실시 예에 따른 카메라를 통해 획득된 이미지에 위험 객체가 포함된 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.4A and 4B are examples for explaining a driving operation of an electronic device when a dangerous object is included in an image acquired through a camera according to an embodiment of the present disclosure.
제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있다. 여기에서, 제2 인공 지능 모델은 이미지에 포함된 위험 객체(가령, 컵, 화분, 양말, 배설물 등)를 식별하기 위해 학습된 모델이 될 수 있다. The second processor 140 - 2 may identify the object included in the image by inputting the image acquired through the
예를 들어, 제2 프로세서(140-2)는 카메라(110)를 통해 획득된 도 4a에 도시된 바와 같은 이미지(400)를, 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체(20)를 식별할 수 있다.For example, the second processor 140-2 inputs the
이와 같이, 전자 장치(100) 주변에 위험 객체(20)가 존재하는 경우, 제1 프로세서(140-1)는 위험 객체를 회피하여 주행하도록 구동부를 제어할 수 있다. 여기에서, 회피하여 주행이란 위험 객체로부터 제2 기설정된 거리만큼 떨어진 영역에서의 주행이 될 수 있다. 그리고, 제2 기설정된 거리는 상술한 제1 기설정된 거리보다 클 수 있다.As such, when the
구체적으로, 도 4b를 참조하면, 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체(20)로부터 제2 기설정된 거리만큼 떨어진 영역(도면 부호 40의 외부)에서 주행하도록 구동부를 제어할 수 있다.Specifically, referring to FIG. 4B , the first processor 140 - 1 controls the driving unit to drive the
일 실시 예로, 제2 기설정된 거리가 30cm로 설정된 경우이면, 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체로부터 30cm만큼 떨어진 영역까지 근접하여 주행하도록 구동부를 제어할 수 있다.For example, when the second preset distance is set to 30 cm, the first processor 140 - 1 may control the driving unit to drive the
도 5a 내지 도 5d는 본 개시의 일 실시 예에 따른 카메라를 통해 획득된 이미지에 객체에 의해 일부가 가려진 위험 객체가 포함된 경우, 전자 장치의 주행 동작을 설명하기 위한 예시이다.5A to 5D are examples for explaining a driving operation of an electronic device when a dangerous object partially covered by the object is included in an image acquired through a camera according to an embodiment of the present disclosure.
제2 프로세서(140-2)는 카메라(110)를 통해 획득된 이미지를, 객체 식별을 수행하는 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체를 식별할 수 있고, 카메라(110)를 통해 획득된 이미지를, 위험 객체 식별을 수행하는 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 위험 객체를 식별할 수 있다. 여기에서, 제2 인공 지능 모델을 이용하여 식별한 위험 객체는, 객체에 의해 일부가 가려진 위험 객체가 될 수 있다.The second processor 140 - 2 may identify the object included in the image by inputting the image acquired through the
예를 들어, 제2 프로세서(140-2)는 카메라(110)를 통해 획득된 도 5a 및 도 5c에 도시된 바와 같은 이미지(510, 520)를, 제1 인공 지능 모델에 입력함으로써 이미지에 포함된 객체(10)를 식별할 수 있고, 카메라(110)를 통해 획득된 이미지(510, 520)를, 제2 인공 지능 모델에 입력함으로써 이미지에 포함된 객체(10)에 의해 일부가 가려진 위험 객체(20)를 식별할 수 있다.For example, the second processor 140-2 includes the
이와 같이, 객체(10)에 의해 일부가 가려진 위험 객체(20)가 존재하는 경우, 제1 프로세서(140-1)는 객체(10) 및 위험 객체(20) 간의 거리를 센서(140)로부터 수신한 센싱 데이터에 기초하여 판단할 수 있다.As such, when the
일 예로, 센서(120)가 3D 카메라 또는 뎁스 카메라로 구현되는 경우, 제1 프로세서(140-1)는 센서(120)로부터 깊이 정보를 포함하는 이미지를 수신할 수 있다. 그리고, 제1 프로세서(140-1)는 깊이 정보를 이용하여 전자 장치(100) 및 객체(10) 간의 제1 거리 및 전자 장치(100) 및 위험 객체(20) 간의 제2 거리를 판단하고, 제1 및 제2 거리의 차이를 객체(10) 및 위험 객체(20) 간의 거리로 판단할 수 있다. 한편, 이는 일 실시 예로서, 제1 프로세서(140-1)는 라이다 센서 등 다양한 센서를 이용하여 객체(10) 및 위험 객체(20) 간의 거리를 판단할 수 있다.For example, when the
제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 미만이면, 전자 장치(100)가 객체(10) 주변에 위치한 위험 객체(20)로부터 기설정된 거리 떨어진 영역에서 주행하도록 구동부를 제어할 수 있다. 여기에서, 기설정된 값은 50cm가 될 수 있으나, 반드시 이에 한정되는 것은 아니다.When the distance between the
일 예로, 도 5a에 도시된 바와 같이, 객체(10) 및 위험 객체(20)간의 거리가 기설정된 값 미만이면, 제1 프로세서(140-1)는 도 5b에 도시된 바와 같이, 전자 장치(100)가 객체(10) 주변에 위치한 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역(도면 부호 40의 외부)에서 주행하도록 구동부를 제어할 수 있다.As an example, as shown in FIG. 5A , if the distance between the
이와 같이, 본 개시는 객체(10)에 의해 일부가 가려진 위험 객체(20)도 식별할 수 있고, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉하지 않도록 전자 장치(100)의 주행을 제어할 수 있다.As such, the present disclosure can identify the
한편, 제1 프로세서(140-1)는 전자 장치(100)가 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역에서 주행하는 동안, 카메라(110)를 통해 획득된 이미지에서 위험 객체(20)가 더 이상 식별되지 않으면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.Meanwhile, the first processor 140-1 determines that the
즉, 제1 프로세서(140-1)는 객체(10)를 기준으로 설정된 영역(30) 중에서, 위험 객체(20)를 기준으로 설정된 영역(40)과 겹치는 영역에서는, 전자 장치(100)가 위험 객체(20)를 기준으로 설정된 영역(40) 이상인 영역에서 주행하도록 구동부를 제어하고, 객체(10)를 기준으로 설정된 영역(30) 중에서, 위험 객체(20)를 기준으로 설정된 영역(40)과 겹쳐지지 않는 영역에서는, 전자 장치(100)가 객체(10)를 기준으로 설정된 영역(30)에 근접하여 주행하도록 구동부를 제어할 수 있다.That is, in the area overlapping the
이는, 카메라(110)를 통해 획득한 이미지에서 더 이상 위험 객체(20)가 식별되지 않는 경우이면, 객체(10)에 근접하여 주행하면서 청소 작업 등을 수행할 필요가 있기 때문이다.This is because, when the
한편, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 기설정된 값 이상이면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.On the other hand, if the distance between the
일 예로, 도 5c에 도시된 바와 같이, 객체(10) 및 위험 객체(20) 간의 거리가 기설정된 값 이상이면, 제1 프로세서(140-1)는 전자 장치(100)가 객체(10)로부터 제1 기설정된 거리만큼 떨어진 영역(30)까지 근접하여 주행하도록 구동부를 제어할 수 있다.For example, as shown in FIG. 5C , when the distance between the
이는, 카메라(110)를 통해 획득된 이미지에 객체(10)에 의해 일부가 가려진 위험 객체(20)가 포함되어 있으나, 객체(10) 및 위험 객체(20) 간의 거리가 기설정된 값 이상인 경우이면, 객체(10)에 근접하여 주행하더라도, 위험 객체(20)에 전자 장치(100)가 충돌 또는 접촉할 염려가 없음을 고려한 것이다. This is, if the image acquired through the
일 예로, 기설정된 값이 50cm인 경우, 제1 프로세서(140-1)는 객체(10)와 위험 객체(20) 간의 거리가 70cm로 판단되면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부를 제어할 수 있다.For example, when the preset value is 50 cm, the first processor 140 - 1 determines that the distance between the
이와 같이, 본 개시는 이미지 상에서 위험 객체(20)가 식별되더라도, 전자 장치(100)가 위험 객체(20)에 충돌 또는 접촉할 염려가 없는 경우이면, 객체(10)에 근접하여 주행함으로써, 객체(10) 주변의 오염 물질을 흡입할 수 있다.As such, in the present disclosure, even if the
도 6a 내지 도 6c는 본 개시의 일 실시 예에 따른 제1 및 제2 인공 지능 모델을 설명하기 위한 도면이다.6A to 6C are diagrams for explaining first and second artificial intelligence models according to an embodiment of the present disclosure.
본 개시의 일 실시 예에 따른 제1 및 제2 인공 지능 모델은 복수의 신경망 레이어들로 구성될 수 있다. 그리고, 각 레이어는 복수의 가중치(weight values)를 가지고 있으며, 이전(previous) 레이어의 연산 결과 및 복수의 가중치에 기초하여 연산을 수행할 수 있다. 일 실시 예로, 제1 및 제2 인공 지능 모델은, CNN (Convolutional Neural Network)이 될 수 있으나, 반드시 이에 한정되는 것은 아니고, DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 다양한 인공 지능 모델로 구현될 수 있다.The first and second artificial intelligence models according to an embodiment of the present disclosure may include a plurality of neural network layers. In addition, each layer has a plurality of weight values, and an operation may be performed based on an operation result of a previous layer and a plurality of weights. In an embodiment, the first and second artificial intelligence models may be a Convolutional Neural Network (CNN), but are not necessarily limited thereto, and a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), and Restricted Boltzmann (RBM). Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network), and deep Q-Networks can be implemented with various artificial intelligence models.
제1 및 제2 인공지능 모델은, 다양한 학습 알고리즘을 통해 전자 장치(100) 또는 별도의 서버/시스템을 통해 학습된 것일 수 있다. 학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)를 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 알고리즘이다. 본 개시의 일 실시 예에 따른 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 될 수 있으나, 반드시 이에 한정되는 것은 아니다.The first and second artificial intelligence models may be learned through the
제1 및 제2 인공지능 모델 각각은, 컨볼루션 레이어 및 컨볼루션 레이어를 통해 추출된 특징 정보에 기초하여 적어도 하나의 객체를 식별하도록 학습된 풀리-커넥티드 레이어를 포함할 수 있다.Each of the first and second AI models may include a convolutional layer and a fully-connected layer trained to identify at least one object based on feature information extracted through the convolutional layer.
여기에서, 컨볼루션 레이어는 제1 및 제2 인공지능 모델에 공통된 레이어이고, 풀리-커넥티드 레이어는 제1 및 제2 인공지능 모델 각각에 개별적으로 마련되는 레이어일 수 있다.Here, the convolutional layer may be a layer common to the first and second AI models, and the fully-connected layer may be a layer provided separately for each of the first and second AI models.
제1 및 제2 인공지능 모델 각각을 구성하는 풀리-커넥티드 레이어 각각은, 컨볼루션 레이어로부터 출력된 특징 정보로부터 적어도 하나의 객체를 식별하도록 학습된 레이어일 수 있다. 일 예로, 제1 인공 지능 모델의 풀리-커넥티드 레이어는 객체를 식별하도록 학습된 레이어가 될 수 있고, 제2 인공 지능 모델의 풀리-커넥티드 레이어는 위험 객체를 식별하도록 학습된 레이어가 될 수 있다.Each of the fully-connected layers constituting each of the first and second AI models may be a layer learned to identify at least one object from feature information output from the convolutional layer. As an example, the fully-connected layer of the first artificial intelligence model may be a layer learned to identify an object, and the fully-connected layer of the second artificial intelligence model may be a layer learned to identify a risk object. have.
예를 들어, 제1 인공 지능 모델은, 도 6a를 참조하면, 소파, 테이블, 침대 등의 이미지가 입력되면, 컨볼루션 레이어를 통해 이미지의 특징 정보를 추출하고, 컨볼루션 레이어로부터 출력된 특징 정보로부터 객체를 식별하도록 풀리-커넥티드 레이어의 복수의 가중치를 학습한 모델이 될 수 있다. For example, the first artificial intelligence model, referring to FIG. 6A , when an image of a sofa, table, bed, etc. is input, extracts feature information of the image through the convolution layer, and the feature information output from the convolution layer It can be a model that has learned a plurality of weights of a fully-connected layer to identify an object from
그리고, 제2 인공 지능 모델은, 도 6b를 참조하면, 컵, 양말, 강아지 배설물 등의 이미지가 입력되면, 컨볼루션 레이어를 통해 이미지의 특징 정보를 추출하고, 컨볼루션 레이어로부터 출력된 특징 정보로부터 위험 객체를 식별하도록 풀리-커넥티드 레이어의 복수의 가중치를 학습한 모델이 될 수 있다.And, the second artificial intelligence model, referring to FIG. 6B , when an image such as a cup, socks, dog excrement, etc. is input, extracts feature information of the image through the convolution layer, It can be a model that has learned multiple weights of a fully-connected layer to identify a risk object.
또한, 제2 인공 지능 모델은, 도 6c를 참조하면, 소파에 의해 일부가 가려진 컵을 포함하는 복수의 이미지가 입력되면, 컨볼루션 레이어를 통해 이미지의 특징 정보를 추출하고, 컨볼루션 레이어로부터 출력된 특징 정보로부터 위험 객체를 식별하도록 풀리-커넥티드 레이어의 복수의 가중치를 학습한 모델이 될 수 있다.In addition, as for the second artificial intelligence model, referring to FIG. 6C , when a plurality of images including a cup partially covered by a sofa are input, the feature information of the image is extracted through the convolution layer, and output from the convolution layer It may be a model that has learned a plurality of weights of a fully-connected layer to identify a risk object from the acquired characteristic information.
그리고, 풀리-커넥티드 레이어 각각은, 적어도 하나의 객체가 해당 이미지에 포함될 확률 값을 객체 별로 출력할 수도 있다.In addition, each of the fully-connected layers may output a probability value that at least one object is included in a corresponding image for each object.
한편, 여기서는 제2 인공 지능 모델이 위험 객체를 포함하는 이미지 및, 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지를 입력으로 학습을 수행하는 것으로 설명하였으나, 이는 일 실시 예일 뿐이다.Meanwhile, although it has been described herein that the second artificial intelligence model performs learning by inputting an image including a risk object and an image including a risk object partially covered by the object as input, this is only an example.
일 예로, 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지를 입력으로 학습을 수행하는 모델은, 제1 및 제2 인공 지능 모델과는 별개의 제3 인공 지능 모델이 될 수도 있다.For example, a model that performs learning by inputting an image including a dangerous object partially covered by the object as an input may be a third artificial intelligence model separate from the first and second artificial intelligence models.
이 경우, 제2 프로세서(140-2)는 제1 인공 지능 모델을 이용하여 이미지에서 객체를 식별하고, 제2 인공 지능 모델을 이용하여 이미지에서 위험 객체를 식별하며, 제3 인공 지능 모델을 이용하여, 이미지에서 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.In this case, the second processor 140-2 identifies the object in the image using the first artificial intelligence model, identifies the dangerous object in the image using the second artificial intelligence model, and uses the third artificial intelligence model. Thus, it is possible to identify a dangerous object partially obscured by the object in the image.
또한, 여기서는 복수의 인공 지능 모델을 이용하여, 객체 및 위험 객체를 식별하는 것으로 설명하였으나, 실시 예에 따라 본 개시는 하나의 인공 지능 모델을 이용하여 이미지에 포함된 객체 및 위험 객체를 식별할 수도 있다.In addition, although it has been described herein that the object and the dangerous object are identified using a plurality of artificial intelligence models, the present disclosure may use one artificial intelligence model to identify the object and the dangerous object included in the image. have.
이 경우, 인공 지능 모델은 객체를 포함하는 이미지, 위험 객체를 포함하는 이미지 및 객체에 의해 일부가 가려진 위험 객체를 포함하는 이미지를 입력 데이터로, 이미지에서 객체, 위험 객체 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다.In this case, the artificial intelligence model uses an image including an object, an image including a risk object, and an image including a risk object partially obscured by the object as input data, and an object, a risk object, and an image partially covered by the object in the image. It can be a model trained to identify hazardous objects.
전자 장치(100)가 컨볼루션 레이어 및 풀리-커넥티드 레이어를 포함하는 인공지능 모델을 이용하여 객체 인식을 수행하는 구체적인 예로, 제2 프로세서(140-2)는 컨볼루션 레이어에 카메라(110)를 통해 획득된 이미지를 입력할 수 있다. 그리고, 컨볼루션 레이어를 통해 출력된 특징 정보가 풀리-커넥티드 레이어에 입력되면, 제2 프로세서(140-2)는 풀리-커넥티드 레이어를 통해 출력되는 데이터를 이용하여 객체 또는 위험 객체가 이미지에 포함되는 확률을 획득할 수 있다. As a specific example in which the
그리고, 제2 프로세서(140-2)는, 획득된 확률을 임계 값과 비교하여, 획득된 확률이 임계 값보다 큰 경우 입력된 이미지에 객체 또는 위험 객체가 포함되어 있다고 식별할 수 있다.In addition, the second processor 140 - 2 may compare the obtained probability with a threshold value and, when the obtained probability is greater than the threshold value, may identify that an object or a dangerous object is included in the input image.
한편, 상술한 객체를 식별하도록 학습된 제1 인공지능 모델 및, 위험 객체 및/또는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공지능 모델은 전자 장치(100)의 스토리지(130)에 기저장되어 있을 수 있음은 물론, 외부 장치(가령, 서버)와의 통신을 통해 외부 장치로부터 수신되어 스토리지(130)에 저장될 수도 있다.On the other hand, the first artificial intelligence model learned to identify the above-described object and the second artificial intelligence model learned to identify the dangerous object and/or the dangerous object partially covered by the object are stored in the
도 7a 내지 도 7c는 본 개시의 일 실시 예에 따른 전자 장치가 구역별로 상이한 인공 지능 모델을 이용하여 객체 및/또는 위험 객체를 식별하는 실시 예를 설명하기 위한 도면이다.7A to 7C are diagrams for explaining an embodiment in which an electronic device identifies an object and/or a dangerous object by using a different artificial intelligence model for each zone, according to an embodiment of the present disclosure.
전자 장치(100)의 스토리지(130)는 맵에 대한 정보(131)를 저장할 수 있다. 여기에서, 맵은 복수의 구역을 포함하고, 맵에 대한 정보는 복수의 구역 각각의 구조에 대한 정보를 포함할 수 있다. 일 예로, 도 7a를 참조하면, 맵은 거실(1-1), 침실(1-2) 및 주방(103)을 포함하고, 맵에 대한 정보는 거실(1-1)의 구조에 대한 정보, 침실(1-2)의 구조에 대한 정보 및 주방(103)의 구조에 대한 정보를 포함할 수 잇다. The
여기에서, 각 구역의 구조에 대한 정보는, 각 구역의 모양, 형태, 크기 또는 해당 구역에 위치하는 가구의 모양, 배치 상태 등에 기초하여 결정될 수 있다. 일 예로, 거실(1-1)의 구조에 대한 정보는, 거실(1-1) 자체의 모양, 형태 또는 크기와 거실(1-1)에 위치한 TV, 소파 등의 모양 및 배치 상태 등에 기초하여 결정될 수 있다.Here, the information on the structure of each zone may be determined based on the shape, shape, and size of each zone, or the shape and arrangement of furniture located in the corresponding zone. For example, the information on the structure of the living room 1-1 is based on the shape, shape or size of the living room 1-1 itself and the shape and arrangement state of a TV, sofa, etc. located in the living room 1-1. can be decided.
제1 프로세서(140-1)는 센서(140)로부터 수신된 센싱 데이터를 기반으로 맵에 포함되는 복수의 구역 중 전자 장치(100)가 위치하는 구역을 판단할 수 있다. The first processor 140 - 1 may determine a region in which the
일 예로, 센서(120)가 라이다 센서인 경우, 제1 프로세서(140-1)는 센서(120)로부터 전자 장치(100)가 위치한 구역의 구조에 대한 정보를 포함하는 센싱 데이터를 수신할 수 있다. 그리고, 제1 프로세서(140-1)는 센싱 데이터에 포함된 구조에 대한 정보를, 스토리지(130)에 기저장된 각 구역의 구조에 대한 정보와 비교하고, 기저장된 복수의 구조에 대한 정보 중에서, 센싱 데이터에 포함된 구조에 대한 정보와 기설정된 임계 값 이상 일치하는 구조에 대한 정보를 판단할 수 있다. 그리고, 제1 프로세서(140-1)는 판단된 구조에 대한 정보에 매칭된 구역을, 전자 장치(100)가 위치하는 구역으로 판단할 수 있다.For example, when the
한편, 센서(120)가 3D 카메라 또는 뎁스 카메라로 구현되는 경우, 제1 프로세서(140-1)는 3D 카메라 또는 뎁스 카메라를 통해 획득된 이미지를 이용하여, 전자 장치(100)가 위치하는 구역을 판단할 수도 있다. 이 경우, 기저장된 맵에 대한 정보에는 복수의 구역 각각의 3D 이미지에 대한 정보가 포함될 수 있다. On the other hand, when the
구체적으로, 제1 프로세서(140-1)는 센서(140)로부터 3D 이미지에 대한 정보를 포함하는 센싱 데이터를 수신할 수 있다. 그리고, 제1 프로세서(140-1)는 센싱 데이터에 포함된 3D 이미지에 대한 정보를, 스토리지에 기저장된 각 구역의 3D 이미지에 대한 정보와 비교하고, 기저장된 복수의 3D 이미지에 대한 정보 중에서, 센싱 데이터에 포함된 3D 이미지에 대한 정보와 기설정된 임계 값 이상 일치하는 3D 이미지에 대한 정보를 판단할 수 있다. 그리고, 제1 프로세서(140-1)는 판단된 3D 이미지에 대한 정보에 매칭된 구역을, 전자 장치(100)가 위치하는 구역으로 판단할 수 있다. Specifically, the first processor 140 - 1 may receive sensing data including information on the 3D image from the
한편, 상술한 실시 예는 일 실시 예일 뿐, 본 개시의 전자 장치(100)는 다양한 방법을 통해 전자 장치(100)가 위치하는 구역을 판단할 수 있다. 일 예로, 전자 장치(100)는 복수의 구역 별로, 각 구역에 위치하는 객체에 대한 정보를 저장하고, 제1 프로세서(140-1)는 카메라(110)를 통해 획득된 이미지에서 식별된 객체가 위치하는 구역에 기초하여, 전자 장치(100)의 위치를 판단할 수 있다. 예를 들어, 전자 장치(100)가 거실에는 소파에 대한 정보를 매칭하여 저장하고, 침실에는 침대에 대한 정보를 매칭하여 저장하는 경우, 제1 프로세서(140-1)는 카메라(110)를 통해 획득된 이미지에서 소파가 식별되면, 전자 장치(100)는 거실에 위치하는 것으로 판단할 수 있다. 그리고, 제1 프로세서(140-1)는 판단된 구역에 대한 정보를 제2 프로세서(140-2)로 전송할 수 있다.Meanwhile, the above-described embodiment is only one embodiment, and the
한편, 도 7b를 참조하면, 전자 장치(100)는 복수의 구역 별로, 서로 다른 제1 인공 지능 모델(즉, 객체 인식 모델) 및 제2 인공 지능 모델(즉, 위험 객체 인식 모델)을 저장할 수 있다. Meanwhile, referring to FIG. 7B , the
여기에서, 제1 구역에 매칭된 제1 인공 지능 모델은 제1 구역에 위치할 수 있는 객체를 식별하도록 학습된 모델이고, 제1 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 제1 구역에 위치할 수 있는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 마찬가지로, 제2 구역에 매칭된 제1 인공 지능 모델은 제2 구역에 위치할 수 있는 객체를 식별하도록 학습된 모델이고, 제2 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 제2 구역에 위치할 수 있는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 그리고, 제3 구역에 매칭된 제1 인공 지능 모델은 위험 객체 및/또는 제3 구역에 위치할 수 있는 객체를 식별하도록 학습된 모델이고, 제3 구역에 매칭된 제2 인공 지능 모델은 제3 구역에 위치할 수 있는 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 모델이 될 수 있다.Here, the first artificial intelligence model matched to the first area is a model trained to identify objects that can be located in the first area, and the second artificial intelligence model matched to the first area is a dangerous object and/or a second artificial intelligence model. It can be a model trained to identify hazardous objects partially obscured by objects that can be located in
일 예로, 제1 구역이 거실인 경우, 제1 구역에 매칭된 제1 인공 지능 모델은 거실에 위치할 수 있는 소파, TV, 에어컨 등의 객체를 식별하도록 학습된 모델이고, 제1 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 거실에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 그리고, 제2 구역이 침실인 경우, 제2 구역에 매칭된 제1 인공 지능 모델은 침실에 위치할 수 있는 침대, 옷장, 화장대 등의 객체를 식별하도록 학습된 모델이고, 제1 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 침실에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 모델이 될 수 있다. 그리고, 제3 구역이 주방인 경우, 제3 구역에 매칭된 제1 인공 지능 모델은 거실에 위치할 수 있는 식탁, 의자, 냉장고 등의 객체를 식별하도록 학습된 모델이고, 제3 구역에 매칭된 제2 인공 지능 모델은 위험 객체 및/또는 주방에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 모델이 될 수 있다.For example, when the first zone is a living room, the first artificial intelligence model matched to the first zone is a model trained to identify objects such as sofa, TV, and air conditioner that may be located in the living room, and matches the first zone The second artificial intelligence model may be a model trained to identify dangerous objects, such as cups and socks, partially obscured by dangerous objects and/or objects that may be located in the living room. And, when the second zone is a bedroom, the first artificial intelligence model matched to the second zone is a model trained to identify objects such as a bed, a wardrobe, a dressing table, etc. that can be located in the bedroom, and is matched with the first zone. The second artificial intelligence model may be a model trained to identify dangerous objects, such as cups, socks, etc. partially obscured by dangerous objects and/or objects that may be located in the bedroom. And, when the third area is a kitchen, the first artificial intelligence model matched to the third area is a model trained to identify objects such as a dining table, a chair, a refrigerator, etc. that can be located in the living room, and is matched with the third area. The second artificial intelligence model may be a model trained to identify dangerous objects such as cups and socks partially obscured by dangerous objects and/or objects that may be located in the kitchen.
한편, 상술한 제1 내지 제3 구역은 일 실시 예로, 각 구역의 명칭은 실시 예에 따라 상이할 수 있고, 각 구역의 개수는 다양할 수 있다.Meanwhile, the above-described first to third zones are an example, and the name of each zone may be different depending on the embodiment, and the number of each zone may vary.
제2 프로세서(140-2)는 스토리지에 저장된 복수의 제1 인공 지능 모델 중에서, 전자 장치(100)가 위치하는 구역에 대응되는 제1 인공 지능 모델 및, 스토리지에 저장된 복수의 제2 인공 지능 모델 중에서, 전자 장치(100)가 위치하는 구역에 대응되는 제2 인공 지능 모델을 판단할 수 있다. The second processor 140 - 2 includes a first artificial intelligence model corresponding to a region in which the
일 예로, 제2 프로세서(140-2)는 전자 장치(100)가 거실(1-1)에 위치하는경우, 복수의 제1 인공 지능 모델 중에서 거실에 위치할 수 있는 소파, TV, 에어컨 등의 객체를 식별하도록 학습된 제1 인공 지능 모델 및, 복수의 제2 인공 지능 모델 중에서 위험 객체 및/또는 거실에 위치할 수 있는 객체에 의해 일부가 가려진 컵, 양말 등의 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 판단할 수 있다.As an example, when the
그리고, 제2 프로세서(140-2)는 판단된 제1 인공 지능 모델에 카메라(110)를 통해 획득된 이미지를 입력하여, 이미지에 포함된 객체를 식별하고, 판단된 제2 인공지능 모델에 카메라(110)를 통해 획득된 이미지를 입력하여, 이미지에 포함된 위험 객체 및/또는 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.Then, the second processor 140-2 inputs the image obtained through the
일 예로, 도 7c를 참조하면, 제2 프로세서(140-2)는 전자 장치(100)가 거실(1-1)에 위치하는 것으로 판단되면, 복수의 제1 및 제2 인공 지능 모델 중에서 거실(1-1)에 대응되는 제1 및 제2 인공 지능 모델을 판단하고, 제1 인공 지능 모델을 이용하여 이미지에 포함된 객체를 식별하고, 제2 인공 지능 모델을 이용하여 이미지에 포함된 위험 객체 및/또는 또는 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.For example, referring to FIG. 7C , when it is determined that the
이와 같이, 각 구역에 특화된 인공 지능 모델을 이용하여 객체 및/또는 위험 객체를 식별함으로써, 본 개시의 전자 장치(100)는 이미지에 포함된 객체 및/또는 위험 객체를 보다 정확하게 식별할 수 있다. 또한, 각 구역의 인공 지능모델은 각 구역에 위치할 수 있는 객체 또는 그 객체에 의해 일부가 가려질 수 있는 위험 객체를 식별하기 위해 학습된 모델로서, 장소와 상관 없이 모든 객체를 식별하도록 학습된 인공 지능 모델에 비하여 경량화 된 인공 지능 모델이 될 수 있고, 이에 따라 본 개시는 메모리 부담 및 프로세서의 연산 부담을 최소화 시킬 수 있다.As such, by identifying the object and/or the dangerous object using the artificial intelligence model specialized for each region, the
도 8은 본 개시의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 블록도이다.8 is a block diagram illustrating an
이상에서는, 프로세서(140)는 제1 프로세서(140-1) 및 제2 프로세서(140-2)를 포함하고, 제1 프로세서(140-1)는 전자 장치(100)가 위치하는 구역을 판단하는 등의 동작을 수행하고, 제2 프로세서(140-2)는 인공 지능 모델을 이용하여 객체 또는 위험 객체를 식별하는 등의 동작을 수행하는 것으로 설명하였다. 다만, 실시 예에 따라, 상술한 일련의 동작들은 하나의 프로세서(140)에 의해 수행될 수도 있다.In the above, the
도 8을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(110), 센서(120), 스토리지(130), 구동부(150), 및 프로세서(140)를 포함할 수 있다 여기에서, 스토리지(130)는 장소 스캔 모듈, 모델 로딩 모듈, 객체 식별 모듈, 위험 객체 식별부, 객체 거리 계산 모듈 및 수행 동작 판단 모듈을 저장할 수 있다. 그리고, 각 모듈은 프로세서(140)에 의해 RAM(Random Access Memory)과 같은 비휘발성 메모리에 로딩될 수 있으며, 프로세서(140)는 로딩된 모듈에 대응하는 인스트럭션을 실행할 수 있다. Referring to FIG. 8 , the
프로세서(140)는 장소 스캔 모듈을 로딩하여, 전자 장치(100)가 위치하는 장소를 판단할 수 있다. 구체적으로, 프로세서(140)는 장소 스캔 모듈을 로딩하고, 장소 스캔 모듈에 대응하는 인스트럭션을 실행함으로써, 센서(120)로부터 센싱 데이터를 수신하고, 센싱 데이터에 기초하여 맵에 포함된 복수의 구역 중에서, 전자 장치(100)가 위치하는 구역을 판단할 수 있다. 여기에서, 센싱 데이터는 일 예로, 라이다 센서에 의해 획득된 데이터 2D 카메라에 의해 획득된 데이터 또는 3D 카메라에 의해 획득된 데이터가 될 수 있으나, 반드시 이에 한정되는 것은 아니다.The
프로세서(140)는 모델 로딩 모듈을 로딩하여, 전자 장치(100)가 위치하는 구역에 대응되는 인공 지능 모델을 로딩할 수 있다. 구체적으로, 프로세서(140)는 모델 로딩 모듈을 로딩하고, 모델 로딩 모듈에 대응하는 인스트럭션을 실행함으로써, 스토리지(130)에 저장된 복수의 제1 및 제2 인공 지능 모델 중에서, 전자 장치(100)가 위치하는 구역에 대응되는 제1 및 제2 인공 지능 모델을 로딩할 수 있다. 일 예로, 프로세서(140)는 전자 장치(100)가 거실에 위치하는 경우, 거실에 포함될 수 있는 객체를 식별하도록 학습된 제1 인공 지능 모델 및 그 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 로딩할 수 있다.The
프로세서(140)는 객체 식별 모듈을 로딩하고, 객체 식별 모듈에 대응하는 인스트럭션을 실행함으로써, 카메라(110)를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하고, 이미지에 포함된 객체를 식별할 수 있다. 그리고, 프로세서(140)는 위험 객체 식별 모듈을 로딩하고, 위험 객체 식별 모듈에 대응하는 인스트럭션을 실행함으로써, 카메라(110)를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하고, 이미지에 포함된 위험 객체를 식별할 수 있다. 여기에서, 위험 객체는 객체에 의해 일부가 가려진 위험 객체가 될 수 있음은 물론, 객체에 의해 가려지지 않은 위험 객체가 될 수도 있다.The
프로세서(140)는 객체 거리 계산 모듈을 로딩하여, 객체 및 위험 객체간의 거리를 판단할 수 있다. 구체적으로, 프로세서(140)는 객체 거리 계산 모듈을 로딩하고, 객체 거리 계산 모듈에 대응하는 인스트럭션을 실행함으로써, 센서(120)로부터 센싱 데이터를 수신하고, 수신된 센싱 데이터에 기초하여, 객체 및 위험 객체간의 거리를 판단할 수 있다. 구체적으로, 프로세서(140)는 센서(120)로부터 전자 장치(100) 및 객체간의 제1 거리에 대한 정보 및 전자 장치(100) 및 위험 객체간의 제2 거리에 대한 정보를 수신하고, 제1 및 제2 거리 간의 차이를 계산할 수 있다. 그리고, 프로세서(140)는 그 차이를 객체 및 위험 객체간의 거리로 판단할 수 있다. 한편, 여기에서 센싱 데이터는 일 예로, 라이다 센서에 의해 획득된 데이터 또는 3D 카메라에 의해 획득된 데이터가 될 수 있으나, 반드시 이에 한정되는 것은 아니다.The
프로세서(140)는 수행 동작 판단 모듈을 로딩하여, 구동부(150)를 제어할 수 있다. 구체적으로, 프로세서(140)는 수행 동작 판단 모듈을 로딩하고, 수행 동작 판단 모듈에 대응하는 인스트럭션을 실행함으로써, 전자 장치(100)의 주행을 제어할 수 있다. 일 예로, 프로세서(140)는 카메라(110)를 통해 획득된 이미지에 객체(10)가 포함되어 있거나, 객체(10)로부터 기설정된 거리 이상 떨어진 위치에 위험 객체(20)가 포함된 것으로 판단되면, 전자 장치(100)가 객체(10)에 근접하여 주행하도록 구동부(150)를 제어할 수 있다. 또는, 프로세서(140)는 카메라(110)를 통해 획득된 이미지에 객체(10)로부터 기설정된 거리 미만으로 떨어진 위험 객체(20)가 포함된 것으로 판단되면, 전자 장치(100)가 객체(10)에 근접하지 않고, 위험 객체(20)로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 구동부(150)를 제어할 수 있다.The
스토리지(130)는 전자 장치(100)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.The
이에 따라, 프로세서(140)는 스토리지(130)에 저장된 다양한 명령 또는 데이터 등을 이용하여 전자 장치(100)의 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.Accordingly, the
특히, 스토리지(130)는 제1 및 제2 인공 지능 모델을 저장할 수 있다. 전술한 바와 같이, 여기에서 제1 인공 지능 모델은 이미지에 포함된 객체를 식별하기 위한 모델이 될 수 있고, 제2 인공 지능 모델은 이미지에 포함된 위험 객체 및/또는 객체에 의해 일부가 가려진 위험 객체를 식별하기 위한 모델이 될 수 있다. 또한, 스토리지(130)는 복수의 구역 별로, 제1 및 제2 인공 지능 모델을 저장할 수도 있다. In particular, the
도 9a 및 도 9b는 본 개시의 일 실시 예에 따른 인공 지능 모델의 업데이트를 설명하기 위한 도면이다. 9A and 9B are diagrams for explaining updating of an artificial intelligence model according to an embodiment of the present disclosure.
전자 장치(100)는 외부 장치(200)와 통신을 수행하여 다양한 데이터를 송수신할 수 있다. The
이를 위해, 전자 장치(100)는 외부 장치(200)와 통신을 수행하기 위한 통신부를 더 포함할 수 있고, 여기에서 통신부는 블루투스 칩, 와이파이 칩 또는 무선 통신 칩으로 구현될 수 있다.To this end, the
한편, 외부 장치(200)는 도 9a에 도시된 바와 같이 스마트 폰이 될 수 있으나, 반드시 이에 한정되는 것은 아니고, PC, 노트북, 태블릿 등과 같이 디스플레이를 구비한 다양한 전자 장치로 구현될 수 있다.Meanwhile, the
프로세서(140)는 카메라(110)를 통해 획득된 이미지를 인공 지능 모델에 입력할 수 있다. 이 경우, 제1 인공 지능 모델은 이미지에 객체가 포함되어 있을 확률을 출력하고, 제2 인공 지능 모델은 이미지에 위험 객체가 포함되어 있을 확률을 출력할 수 있다.The
일 예로, 도 9b에 도시된 바와 같이, 전선을 포함하는 이미지(910)를 제2 인공 지능 모델에 입력할 경우, 제2 인공 지능 모델은 이미지에 전선이 포함되어 있을 확률을 출력할 수 있다.For example, as shown in FIG. 9B , when an
이 경우, 프로세서(140)는 인공 지능 모델에 의해 출력된 데이터를 통신부를 통해 외부 장치(200)로 전송할 수 있다. 여기에서, 외부 장치(200)로 전송되는 데이터는 인공 지능 모델에 의해 판단된, 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역에 대한 정보 및 이미지에 객체 및/또는 위험 객체가 포함되어 있을 확률에 대한 정보를 포함할 수 있다. 여기에서, 영역에 대한 정보는, 이미지 내의 객체 및/또는 위험 객체에 대응되는 바운딩 박스의 좌표에 대한 정보를 포함할 수 있다. 다만, 반드시 이에 한정되는 것은 아니고, 영역에 대한 정보는 이미지 내의 객체 및/또는 위험 객체에 대응되는 세그먼테이션(segmentation) 정보를 포함할 수도 있다.In this case, the
외부 장치(200)는 전자 장치(100)로부터 수신한 데이터에 기초하여, 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역 및 이미지에 객체 및/또는 위험 객체가 포함되어 있을 확률을 디스플레이 할 수 있다.Based on the data received from the
일 예로, 도 9b를 참조하면, 외부 장치(200)는 전자 장치(100)로부터 수신한 바운딩 박스의 좌표에 대한 정보에 기초하여, 이미지 내에서 전선이 위치하는 영역에 바운딩 박스를 디스플레이 하고, 해당 이미지에서 전선이 포함되어 있을 확률로 0.3을 디스플레이 할 수 있다.For example, referring to FIG. 9B , the
외부 장치(200)는 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역을 변경하기 위한 사용자 입력 또는 인공 지능 모델에 의해 판단된 객체 및/또는 위험 객체의 변경을 위한 사용자 입력을 수신할 수 있다.The
일 예로, 도 9b를 참조하면, 외부 장치(200)는 디스플레이 된 바운딩 박스의 사이즈 또는 위치를 변경하기 위한 사용자 입력(930)을 수신할 수 있다. 또는, 실제로 이미지에 전선이 아닌, 실이 포함된 경우이면, 외부 장치(200)는 전선을 실로 변경하기 위한 사용자 입력을 수신할 수도 있다.For example, referring to FIG. 9B , the
외부 장치(200)는 사용자 입력에 따라 변경된, 이미지 내에서 객체 및/또는 위험 객체가 위치하는 영역에 대한 정보를 전자 장치(100)로 전송할 수 있다. 또한, 외부 장치(200)는 사용자 입력에 따라 변경된, 객체 및/또는 위험 객체에 대한 정보를 전자 장치(100)로 전송할 수도 있다. 물론, 외부 장치(200)는 변경된 영역에 대한 정보 및 변경된 객체 및/또는 위험 객체에 대한 정보를 함께 전자 장치(100)로 전송할 수도 있다.The
프로세서(140)는 외부 장치(200)로부터 수신한 변경된 영역에 대한 정보를 인공 지능 모델에 입력하여, 인공 지능 모델을 업데이트 할 수 있다. 이 경우, 인공 지능 모델은 이미지 내에서 변경된 영역에 객체 및/또는 위험 객체가 위치하는 것으로 판단하기 위해, 복수의 레이어의 가중치를 업데이트 할 수 있다. 또는, 프로세서(140)는 변경된 객체 및/또는 위험 객체에 대한 정보를 인공 지능 모델에 입력하여, 인공 지능 모델을 업데이트 할 수 있다. 이 경우, 인공 지능 모델은 이미지 내에는 변경된 객체 및/또는 위험 객체가 포함된 것으로 판단하기 위해, 복수의 레이어의 가중치를 업데이트 할 수 있다.The
이에 따라, 본 개시의 전자 장치(100)는 보다 정확하게 객체 및/또는 위험 객체를 식별할 수 있다.Accordingly, the
한편, 프로세서(140)는 이미지에 객체 및/또는 위험 객체가 포함되어 있을 확률이 기설정된 확률보다 낮은지를 판단하고, 기설정된 확률보다 낮은 경우 인공 지능 모델에 의해 출력된 데이터를 통신부를 통해 외부 장치(200)로 전송할 수도 있다.On the other hand, the
여기에서, 기설정된 확률은 0.4가 될 수 있으나, 반드시 이에 한정되는 것은 아니고, 이는 다양하게 설정될 수 있다.Here, the preset probability may be 0.4, but is not necessarily limited thereto, and may be variously set.
일 예로, 프로세서(140)는 제2 인공 지능 모델에 의해, 이미지에는 전선이 포함될 확률이 0.3으로 출력된 경우이면, 상술한 바와 같이 제2 인공 지능 모델에 의해 출력된 데이터를 통신부를 통해 외부 장치(200)로 전송하고, 제2 인공 지능 모델에 의해, 이미지에는 전선이 포함될 확률이 0.5로 출력된 경우이면, 제2 인공 지능 모델에 의해 출력된 데이터를 외부 장치(200)로 전송하지 않을 수 있다. For example, if the
이는, 충분히 높은 확률인 경우이면, 인공 지능 모델의 업데이트를 수행할 필요가 없음을 고려한 것으로서, 이에 따라 본 개시는 프로세서의 불필요한 연산을 방지할 수 있다.This is in consideration of no need to perform the update of the artificial intelligence model if the probability is high enough, and accordingly, the present disclosure can prevent unnecessary operation of the processor.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다. 10 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
전자 장치는, 카메라를 통해 획득된 이미지에서 객체 및 객체에 의해 일부가 가려진 위험 객체를 식별(S1010)할 수 있다. 구체적으로, 전자 장치는 카메라를 통해 획득된 이미지를 제1 인공지능 모델에 입력하여 이미지에서 객체를 식별하고, 카메라를 통해 획득된 이미지를 제2 인공지능 모델에 입력하여 이미지에서 객체에 의해 일부가 가려진 위험 객체를 식별할 수 있다.The electronic device may identify the object and the dangerous object partially covered by the object in the image acquired through the camera ( S1010 ). Specifically, the electronic device inputs the image acquired through the camera into the first AI model to identify the object in the image, and inputs the image acquired through the camera into the second AI model so that a part of the image is generated by the object in the image. It is possible to identify hidden dangerous objects.
전자 장치는, 센서로부터 수신된 센싱 데이터에 기초하여 객체와 위험 객체 간의 거리를 판단(S1020)할 수 있다. 구체적으로, 전자 장치는 센서로부터 수신된 센싱 데이터에 기초하여 전자 장치 및 객체 간의 제1 거리 및 전자 장치 및 위험 객체 간의 제2 거리를 판단하고, 제1 및 제2 거리에 기초하여 객체 및 위험 객체 간의 거리를 판단할 수 있다.The electronic device may determine the distance between the object and the dangerous object based on the sensed data received from the sensor ( S1020 ). Specifically, the electronic device determines a first distance between the electronic device and the object and a second distance between the electronic device and the dangerous object based on sensing data received from the sensor, and based on the first and second distances, the object and the dangerous object distance between them can be determined.
전자 장치는, 판단된 거리에 기초하여 전자 장치가 객체의 주변을 주행하도록 전자 장치를 제어(S1030)할 수 있다. 구체적으로, 전자 장치는 객체와 위험 객체 간의 거리가 기설정된 값 이상이면, 전자 장치가 객체에 근접하여 주행하도록 전자 장치를 제어하고, 객체와 위험 객체 간의 거리가 기설정된 값 미만이면, 전자 장치가 객체 주변에 위치한 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 전자 장치를 제어할 수 있다.The electronic device may control the electronic device to travel around the object based on the determined distance ( S1030 ). Specifically, when the distance between the object and the dangerous object is greater than or equal to a preset value, the electronic device controls the electronic device to drive close to the object, and when the distance between the object and the dangerous object is less than the preset value, the electronic device The electronic device may be controlled to drive in an area more than a preset distance away from the dangerous object located around the object.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 소프트웨어 또는 어플리케이션 형태로 구현될 수 있다. Meanwhile, the above-described methods according to various embodiments of the present disclosure may be implemented in the form of software or applications that can be installed in an existing electronic device.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다. In addition, the above-described methods according to various embodiments of the present disclosure may be implemented only by software upgrade or hardware upgrade of an existing electronic device.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 외부의 서버를 통해 수행되는 것도 가능하다.In addition, various embodiments of the present disclosure described above may be performed through an embedded server provided in the electronic device or a server external to the electronic device.
한편, 본 개시에 따른 전자 장치의 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다. Meanwhile, a non-transitory computer readable medium in which a program for sequentially executing the method of controlling an electronic device according to the present disclosure is stored may be provided.
한편, 비일시적 판독 가능 매체란 레지스터, 캐시, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.On the other hand, the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시의 기술적 사상은 상술한 특정의 실시 예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present disclosure have been illustrated and described above, the technical spirit of the present disclosure is not limited to the specific embodiments described above, and various methods can be made by those of ordinary skill in the art to which the present invention pertains. Modifications are possible, of course, and these modifications should not be individually understood from the technical spirit or prospect of the present disclosure.
100: 전자 장치
110: 카메라
120: 구동부
120: 센서
140: 프로세서100: electronic device
110: camera
120: driving unit
120: sensor
140: processor
Claims (12)
센서;
카메라;
구동부;
객체를 식별하도록 학습된 제1 인공 지능 모델(Artificial Intelligence Model) 및 객체에 의해 일부가 가려진 위험 객체를 식별하도록 학습된 제2 인공 지능 모델을 저장하는 스토리지;
상기 센서 및 상기 스토리지와 연결되는 제1 프로세서; 및
상기 카메라, 상기 스토리지 및 상기 제1 프로세서와 연결되는 제2 프로세서;를 포함하고,
상기 제2 프로세서는,
상기 스토리지에서 상기 제1 및 제2 인공 지능 모델을 로드하고, 상기 카메라를 통해 획득된 이미지를 상기 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 상기 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하고, 상기 식별된 객체에 대한 정보 및 상기 식별된 위험 객체에 대한 정보를 상기 제1 프로세서로 전송하고,
상기 제1 프로세서는,
상기 센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치로부터 상기 객체까지의 제1 거리 및 상기 전자 장치로부터 상기 위험 객체까지의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하며, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어하고,
상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 구동부를 제어하는, 전자 장치.In an electronic device,
sensor;
camera;
drive unit;
a storage for storing a first artificial intelligence model trained to identify an object and a second artificial intelligence model trained to identify a risk object partially obscured by the object;
a first processor connected to the sensor and the storage; and
a second processor connected to the camera, the storage, and the first processor;
The second processor,
Load the first and second artificial intelligence models from the storage, input the image acquired through the camera into the first artificial intelligence model to identify an object in the image, and use the image acquired through the camera to Input to a second artificial intelligence model to identify a dangerous object partially obscured by the object in the image, and transmit information about the identified object and information about the identified dangerous object to the first processor,
The first processor,
A first distance from the electronic device to the object and a second distance from the electronic device to the dangerous object are determined based on the sensing data received from the sensor, and the object based on the first and second distances and a distance between the dangerous object is determined, and when the distance between the object and the dangerous object is equal to or greater than a preset value, the driving unit is controlled to drive the electronic device close to the object,
When the distance between the object and the dangerous object is less than a preset value, the electronic device controls the driving unit to drive the electronic device in an area more than a preset distance away from the dangerous object located around the object.
상기 제1 프로세서는,
상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 구동부를 제어하는, 전자 장치.According to claim 1,
The first processor,
If the dangerous object is not identified in the image acquired through the camera while the electronic device is driving in an area more than the preset distance from the dangerous object, the electronic device controls the driving unit to drive close to the object which is an electronic device.
상기 스토리지는, 맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고,
상기 제1 프로세서는,
상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고, 상기 판단된 구역에 대한 정보를 상기 제2 프로세서로 전송하고,
상기 제2 프로세서는,
상기 스토리지에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고,
상기 스토리지에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별하는, 전자 장치.According to claim 1,
The storage stores information on the map, and the first artificial intelligence model for identification of objects and the second artificial intelligence model for identification of dangerous objects, corresponding to each of a plurality of regions included in the map,
The first processor,
determining a region in which the electronic device is located among a plurality of regions included in the map based on the sensing data received from the sensor, and transmitting information on the determined region to the second processor;
The second processor,
Input the image to a first artificial intelligence model corresponding to the determined area among a plurality of first artificial intelligence models stored in the storage to identify the object,
An electronic device for identifying the dangerous object by inputting the image into a second artificial intelligence model corresponding to the determined area among a plurality of second artificial intelligence models stored in the storage.
상기 위험 객체는,
상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함하는, 전자 장치.According to claim 1,
The dangerous object is
An electronic device comprising at least one of an object that can be damaged by collision with the electronic device, an object that can become stuck in an inlet of the electronic device, and animal excrement.
카메라를 통해 이미지를 획득하는 단계;
상기 카메라를 통해 획득된 이미지를 제1 인공 지능 모델에 입력하여 상기 이미지에서 객체를 식별하고, 상기 카메라를 통해 획득된 이미지를 제2 인공 지능 모델에 입력하여 상기 이미지에서 상기 객체에 의해 일부가 가려진 위험 객체를 식별하는 단계;
센서로부터 수신된 센싱 데이터에 기초하여 상기 전자 장치로부터 상기 객체까지의 제1 거리 및 상기 전자 장치로부터 상기 위험 객체까지의 제2 거리를 판단하고, 상기 제1 및 제2 거리에 기초하여 상기 객체와 상기 위험 객체 간의 거리를 판단하는 단계; 및
상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 이상이면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어하고, 상기 객체와 상기 위험 객체 간의 거리가 기설정된 값 미만이면, 상기 전자 장치가 상기 객체 주변에 위치한 상기 위험 객체로부터 기설정된 거리 이상 떨어진 영역에서 주행하도록 상기 전자 장치를 제어하는 단계;를 포함하는, 전자 장치의 제어 방법.A method for controlling an electronic device, comprising:
acquiring an image through a camera;
Input the image obtained through the camera into a first artificial intelligence model to identify an object in the image, and input the image obtained through the camera into a second artificial intelligence model to ensure that a part of the object is obscured by the object in the image identifying dangerous objects;
A first distance from the electronic device to the object and a second distance from the electronic device to the dangerous object are determined based on the sensing data received from the sensor, and based on the first and second distances, the object and determining a distance between the dangerous objects; and
When the distance between the object and the dangerous object is equal to or greater than a preset value, the electronic device controls the electronic device to travel close to the object, and when the distance between the object and the dangerous object is less than a preset value, the electronic device Controlling the electronic device so that the device drives in an area more than a preset distance away from the dangerous object located around the object;
상기 제어하는 단계는,
상기 전자 장치가 상기 위험 객체로부터 상기 기설정된 거리 이상 떨어진 영역에서 주행하는 동안 상기 카메라를 통해 획득된 이미지에서 상기 위험 객체가 식별되지 않으면, 상기 전자 장치가 상기 객체에 근접하여 주행하도록 상기 전자 장치를 제어하는, 전자 장치의 제어 방법.8. The method of claim 7,
The controlling step is
If the dangerous object is not identified in the image acquired through the camera while the electronic device is traveling in an area more than the preset distance from the dangerous object, the electronic device drives the electronic device to drive close to the object A method of controlling an electronic device.
상기 전자 장치는,
맵에 대한 정보, 및 맵에 포함된 복수의 구역 각각에 대응되는, 객체의 식별을 위한 상기 제1 인공지능 모델 및 위험 객체의 식별을 위한 상기 제2 인공지능 모델을 저장하고,
상기 식별하는 단계는,
상기 센서로부터 수신된 센싱 데이터를 기반으로 상기 맵에 포함되는 복수의 구역 중 상기 전자 장치가 위치하는 구역을 판단하고,
상기 전자 장치에 저장된 복수의 제1 인공지능 모델 중 상기 판단된 구역에 대응되는 제1 인공지능 모델에 상기 이미지를 입력하여 상기 객체를 식별하고,
상기 전자 장치에 저장된 복수의 제2 인공지능 모델 중 상기 판단된 구역에 대응되는 제2 인공지능 모델에 상기 이미지를 입력하여 상기 위험 객체를 식별하는, 전자 장치의 제어 방법.8. The method of claim 7,
The electronic device is
Storing the information on the map, and the first artificial intelligence model for identification of objects and the second artificial intelligence model for identification of dangerous objects, corresponding to each of a plurality of regions included in the map,
The identifying step is
determining a region in which the electronic device is located among a plurality of regions included in the map based on the sensing data received from the sensor;
Input the image to a first AI model corresponding to the determined area among a plurality of first AI models stored in the electronic device to identify the object;
A control method of an electronic device, wherein the dangerous object is identified by inputting the image into a second artificial intelligence model corresponding to the determined area among a plurality of second artificial intelligence models stored in the electronic device.
상기 위험 객체는,
상기 전자 장치와의 충돌에 의해 파손될 수 있는 객체, 상기 전자 장치의 흡입구에 스턱을 될 수 있는 객체 및 동물의 배설물 중 적어도 하나를 포함하는, 전자 장치의 제어 방법.8. The method of claim 7,
The dangerous object is
The method of controlling an electronic device, comprising at least one of an object that can be damaged by collision with the electronic device, an object that can become stuck in an inlet of the electronic device, and animal excrement.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080045767.XA CN114008681A (en) | 2019-07-09 | 2020-07-08 | Electronic device and control method thereof |
EP20837148.4A EP3949380A4 (en) | 2019-07-09 | 2020-07-08 | Electronic apparatus and controlling method thereof |
PCT/KR2020/008935 WO2021006622A1 (en) | 2019-07-09 | 2020-07-08 | Electronic apparatus and controlling method thereof |
US16/924,482 US11599114B2 (en) | 2019-07-09 | 2020-07-09 | Electronic apparatus and controlling method thereof |
US18/179,135 US20230205218A1 (en) | 2019-07-09 | 2023-03-06 | Electronic apparatus and controlling method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20190082781 | 2019-07-09 | ||
KR1020190082781 | 2019-07-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210006826A KR20210006826A (en) | 2021-01-19 |
KR102269053B1 true KR102269053B1 (en) | 2021-06-24 |
Family
ID=74237252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190134855A KR102269053B1 (en) | 2019-07-09 | 2019-10-28 | Electronic apparatus and controlling method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102269053B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322002A (en) | 2004-05-07 | 2005-11-17 | Kazuo Iwane | Compound artificial intelligence device |
JP2017162438A (en) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Danger prediction method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102548936B1 (en) * | 2016-08-25 | 2023-06-27 | 엘지전자 주식회사 | Artificial intelligence Moving robot and control method thereof |
KR102070067B1 (en) * | 2017-10-25 | 2020-01-28 | 엘지전자 주식회사 | Artificial intelligence Moving Robot and controlling method |
CN114511539A (en) * | 2017-12-26 | 2022-05-17 | 三星电子株式会社 | Image acquisition apparatus and method of controlling image acquisition apparatus |
-
2019
- 2019-10-28 KR KR1020190134855A patent/KR102269053B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322002A (en) | 2004-05-07 | 2005-11-17 | Kazuo Iwane | Compound artificial intelligence device |
JP2017162438A (en) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Danger prediction method |
Also Published As
Publication number | Publication date |
---|---|
KR20210006826A (en) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11599114B2 (en) | Electronic apparatus and controlling method thereof | |
US11199852B2 (en) | Mobile robot and control method for controlling the same | |
US11429103B2 (en) | Semantic obstacle recognition for path planning | |
US20200097012A1 (en) | Cleaning robot and method for performing task thereof | |
KR102567525B1 (en) | Mobile Robot System, Mobile Robot And Method Of Controlling Mobile Robot System | |
US11227434B2 (en) | Map constructing apparatus and map constructing method | |
US20220257077A1 (en) | Cleaning robot and method of performing task thereof | |
KR20200085142A (en) | Apparatus and method for generating map data of cleaning space | |
US20210370511A1 (en) | Cleaning robot and task performing method therefor | |
US11654554B2 (en) | Artificial intelligence cleaning robot and method thereof | |
US20190343354A1 (en) | Method and apparatus for executing cleaning operation | |
US20230061444A1 (en) | Cleaning robot capable of obtaining map of indoor space and operating method thereof | |
US20220027600A1 (en) | Electronic apparatus for object recognition and control method thereof | |
US20230000304A1 (en) | Robot device and control method therefor | |
KR102269053B1 (en) | Electronic apparatus and controlling method thereof | |
US20200012288A1 (en) | Method for dividing moving space and moving robot for moving divided moving space | |
US20240119604A1 (en) | Method of controlling electronic device by using spatial information and electronic device using spatial information | |
KR102302198B1 (en) | Cleaning apparatus and controlling method thereof | |
US20210187739A1 (en) | Robot and robot system | |
KR20210079823A (en) | Electronic device and Method for controlling the electronic device thereof | |
KR20240049072A (en) | Method for controlling electronic device using spatial information and electronic device using spatial information | |
US20240212235A1 (en) | Electronic device for generating a floor map image and method for controlling the same | |
CN113226667B (en) | Cleaning robot and task execution method thereof | |
US20240036585A1 (en) | Robot device operating in mode corresponding to position of robot device and control method thereof | |
KR20230032705A (en) | The cleaning robot for obtaining the map of indoor space and the method for operating the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |