KR102541959B1 - Elevator control system and method for controlling elevator which robot and human board - Google Patents
Elevator control system and method for controlling elevator which robot and human board Download PDFInfo
- Publication number
- KR102541959B1 KR102541959B1 KR1020210045590A KR20210045590A KR102541959B1 KR 102541959 B1 KR102541959 B1 KR 102541959B1 KR 1020210045590 A KR1020210045590 A KR 1020210045590A KR 20210045590 A KR20210045590 A KR 20210045590A KR 102541959 B1 KR102541959 B1 KR 102541959B1
- Authority
- KR
- South Korea
- Prior art keywords
- elevator car
- robot
- degree
- floor
- elevator
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B1/00—Control systems of elevators in general
- B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
- B66B1/46—Adaptations of switches or switchgear
- B66B1/468—Call registering systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B2201/00—Aspects of control systems of elevators
- B66B2201/20—Details of the evaluation method for the allocation of a call to an elevator car
- B66B2201/215—Transportation capacity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B2201/00—Aspects of control systems of elevators
- B66B2201/20—Details of the evaluation method for the allocation of a call to an elevator car
- B66B2201/24—Control of empty elevator cars
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B2201/00—Aspects of control systems of elevators
- B66B2201/40—Details of the change of control mode
- B66B2201/46—Switches or switchgear
- B66B2201/4607—Call registering systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Elevator Control (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내부를 촬영한 영상에 기반하여, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하고, 계산된 공간 점유 정도에 기반하여 해당 엘리베이터 카 내에 로봇을 탑승시키기 위해 엘리베이터 카의 이동을 제어하기 위한 신호를 생성하는 엘리베이터 제어 방법이 제공된다.Based on the image taken inside the elevator car configured to allow the robot and a person to board, the space occupancy of the object(s) in the elevator car is calculated, and the robot is installed in the elevator car based on the calculated space occupancy level. An elevator control method for generating a signal for controlling the movement of an elevator car for boarding is provided.
Description
아래의 설명은 로봇 및 사람의 탑승을 위한 엘리베이터를 제어하는 시스템 및 방법에 관한 것이다.The following description relates to a system and method for controlling an elevator for robot and human boarding.
자율 주행 로봇은 스스로 주변을 살피고 장애물을 감지하면서 바퀴나 다리를 이용하여 목적지까지 최적 경로를 찾아가는 로봇으로, 자율 주행 차량이나, 물류, 호텔 서비스, 로봇 청소기 등 다양한 분야를 위해 개발 및 활용되고 있다. Self-driving robots are robots that look around and detect obstacles on their own while finding the optimal path to their destination using wheels or legs.
건물 내에서 서비스를 제공하기 위해 사용되는 로봇은, 건물의 특정한 층에서 서비스를 제공하기 위해 해당 건물 내에 설치된 엘리베이터(엘리베이터 카)에 탑승해야 하는 경우가 있다. 그러나, 로봇이 사람이 이용하는 엘리베이터에 탑승하는 경우, 로봇과 사람 간의 충돌 또는 간섭이 발생하거나, 엘리베이터 내에 로봇이 탑승하기 위한 충분한 공간이 마련되지 않는 경우가 많다.A robot used to provide service in a building may need to board an elevator (elevator car) installed in the building to provide service on a specific floor of the building. However, when a robot gets on an elevator used by people, there are many cases where a robot and a person collide or interfere, or there is not enough space in the elevator for the robot to get on.
따라서, 로봇 또는 로봇 제어 시스템에 의한 요청에 따라, 엘리베이터 내에 로봇이 탑승할 수 있는 충분한 공간이 확보되고 있는지를 판정하고, 로봇의 탑승에 적합한 엘리베이터를 결정하여 로봇이 탑승하도록 제어할 수 있는 엘리베이터 제어 시스템이 요구된다.Therefore, according to the request of the robot or the robot control system, it is determined whether sufficient space is secured in the elevator for the robot to board, and the elevator control that can control the robot to board by determining the elevator suitable for the boarding of the robot. system is required.
한국공개특허 제10-2019-0002131호는 엘리베이터를 이용하려는 이용자의 수를 분석하고 각 경우에 맞게 스스로 학습하고 수정하되, 이용자가 잘못된 엘리베이터 층수를 입력하더라도 빅데이터 기반으로 원하는 층수를 스스로 제시 가능하도록 하는 인공 지능형 이용자 기반 엘리베이터 장치 및 그 제어 방법에 대해 개시하고 있다. Korean Patent Publication No. 10-2019-0002131 analyzes the number of users who want to use the elevator, learns and corrects it for each case, and even if the user enters the wrong number of elevator floors, it is possible to suggest the desired floor number based on big data. It discloses an artificial intelligent user-based elevator device and a control method thereof.
상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있다.The information described above is for illustrative purposes only and may include material that does not form part of the prior art.
로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내부를 촬영한 영상에 기반하여, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도(예컨대, 점유율 또는 공간 점유 정보)를 계산하고, 계산된 공간 점유 정도에 기반하여 해당 엘리베이터 카 내에 로봇을 탑승시키기 위해 엘리베이터 카의 이동을 제어하기 위한 신호를 생성하는 엘리베이터 제어 방법을 제공한다. Based on an image taken inside an elevator car configured to allow a robot and a person to board, the degree of space occupancy (eg, occupancy rate or space occupancy information) of the object(s) in the elevator car is calculated, and the degree of space occupancy is calculated Provided is an elevator control method for generating a signal for controlling the movement of an elevator car in order to board a robot in the corresponding elevator car based on.
탑승한 오브젝트의 공간 점유 정도를 계산하기 위해, 엘리베이터 카의 바닥의 위치에 따라 상이하게 정의되는 가중치를 적용함으로써, 카메라에 의한 왜곡을 보정하고 공간 점유 정도를 정확하게 계산하는 방법을 제공한다. In order to calculate the degree of occupancy of the space of the object on board, a method of correcting the distortion caused by the camera and accurately calculating the degree of occupancy of the space by applying weights differently defined according to the position of the floor of the elevator car is provided.
로봇 또는 로봇 제어 시스템에 의한 요청에 따라, 로봇이 탑승 가능한 충분한 공간이 확보되고 있는 엘리베이터 카를 선택하여, 선택된 엘리베이터 카를 로봇의 탑승을 위해 제어하는 방법을 제공한다. According to a request from a robot or a robot control system, an elevator car having sufficient space for the robot to board is selected, and a method of controlling the selected elevator car for boarding of the robot is provided.
일 측면에 있어서, 엘리베이터 제어 시스템에 의해 수행되는 엘리베이터 제어 방법에 있어서, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계 및 상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는 단계를 포함하는, 엘리베이터 제어 방법이 제공된다. In one aspect, in an elevator control method performed by an elevator control system, based on an image of the inside of the elevator car photographed by a camera provided in an elevator car configured to allow a robot and a person to board, board in the elevator car Calculating a degree of occupancy of space for the elevator car by a running object, and based on the calculated degree of occupancy of space, controlling the elevator car to move to a position of the robot to board the robot in the elevator car. Including the step of generating a signal for, an elevator control method is provided.
상기 카메라는, 상기 엘리베이터 카의 천장의 중앙 또는 상기 엘리베이터 카의 도어의 반대측의 천장의 모서리의 중앙에 설치되는 광각 카메라이며, 상기 엘리베이터 카의 바닥을 촬영하도록 구성될 수 있다. The camera is a wide-angle camera installed at the center of the ceiling of the elevator car or at the center of the corner of the ceiling on the opposite side of the door of the elevator car, and may be configured to photograph the floor of the elevator car.
상기 공간 점유 정도를 계산하는 단계는, 상기 영상으로부터 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 각각을 검출하는 단계, 상기 엘리베이터 카의 바닥의 면적과 상기 오브젝트의 각각이 차치하는 면적의 차이 또는 상기 바닥의 면적에 대한 상기 오브젝트의 각각이 차치하는 면적의 비율을 계산하는 단계 및 상기 계산된 차이 또는 비율에 기반하여 상기 공간 점유 정도를 계산하는 단계를 포함할 수 있다. The step of calculating the degree of space occupancy may include detecting each of the objects in the elevator car from the image, the difference between the area of the floor of the elevator car and the area occupied by each of the objects, or the area of the floor The method may include calculating a ratio of an area occupied by each of the objects to an area and calculating the degree of space occupation based on the calculated difference or ratio.
상기 차이 또는 비율을 계산하는 단계는, 상기 바닥에 대해 상기 검출된 오브젝트의 각각을 투영시키는 단계 및 상기 바닥의 면적과 상기 투영된 오브젝트의 각각이 차지하는 면적에 기반하여 상기 차이 또는 비율을 계산하는 단계를 포함할 수 있다. The calculating of the difference or ratio may include projecting each of the detected objects on the floor and calculating the difference or ratio based on an area of the floor and an area occupied by each of the projected objects. can include
상기 차이 또는 비율을 계산하는 단계는, 상기 오브젝트의 각각의 상기 바닥 상에서의 위치를 결정하는 단계 및 상기 바닥 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 상기 오브젝트의 각각에 대해 적용함으로써 상기 오브젝트의 각각이 차치하는 면적을 계산하는 단계를 포함할 수 있다. Calculating the difference or ratio comprises determining the position of each of the objects on the floor and applying to each of the objects a weight map defining a weight applied to each position on the floor. A step of calculating an area occupied by each of the objects may be included.
상기 가중치 맵은, 상기 바닥의 중심으로부터 상기 바닥의 꼭지점을 향할수록 더 큰 값의 가중치를 갖는 것으로 정의되거나, 복수의 구역들로 구분된 상기 바닥에 대해 상기 구역들 별로 상이한 가중치를 갖는 것으로 정의될 수 있다. The weight map may be defined as having a larger weight value from the center of the floor toward a vertex of the floor, or as having a different weight for each zone for the floor divided into a plurality of zones. can
상기 공간 점유 정도를 계산하는 단계는, 상기 계산된 차이 또는 비율에 기반한 제1 공간 점유 정도와 상기 엘리베이터 카에 대한 최대 탑승 인원 수에 대한 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 수에 기반한 제2 공간 점유 정도를 계산하는 단계 및 상기 제1 공간 점유 정도 및 상기 제2 공간 점유 정도에 기반하여 상기 공간 점유 정도를 계산하는 단계를 포함할 수 있다. The calculating of the space occupancy may include a first space occupancy based on the calculated difference or ratio and a second space based on the number of objects in the elevator car for the maximum number of passengers in the elevator car. The method may include calculating a degree of occupancy and calculating the degree of occupancy of space based on the first degree of occupancy of space and the degree of occupancy of space based on the second degree of occupancy of space.
상기 공간 점유 정도는, 상기 제1 공간 점유 정도에 제1 가중치를 곱한 값과 상기 제2 공간 점유 정도에 제2 가중치를 곱한 값의 합에 기반하여 계산되고, 상기 제1 가중치는 상기 제2 가중치에 비해 더 작은 값으로 정의될 수 있다. The degree of space occupation is calculated based on a sum of a value obtained by multiplying the first degree of space occupation by a first weight and a value obtained by multiplying the second degree of space occupation by a second weight, and the first weight is the second weight. It can be defined as a smaller value than
상기 오브젝트의 각각을 검출하는 단계는, 상기 영상 내에서 상기 오브젝트 각각의 머리 부분을 검출함으로써 상기 오브젝트의 각각을 검출하고, 상기 오브젝트 각각의 머리 부분은, 바닥을 수직 방향으로 촬영한 영상으로부터 사람 또는 로봇의 머리 부분을 검출하도록 훈련된 학습 모델을 사용하여 검출될 수 있다. The step of detecting each of the objects may include detecting each of the objects by detecting the head of each of the objects in the image, and the head of each of the objects may be a person or a person from an image of a floor photographed in a vertical direction. It can be detected using a learning model trained to detect the robot's head.
상기 차이 또는 비율을 계산하는 단계는, 상기 영상에서 상기 오브젝트의 각각을 상기 바닥과 구분되도록 세그먼트화하는 단계, 상기 바닥에 해당하는 바닥 부분 중 세그먼트화된 상기 오브젝트가 차지하는 점유 부분을 식별하는 단계 및 상기 바닥 부분에 대한 상기 점유 부분의 비율을 상기 바닥의 면적에 대한 상기 오브젝트가 차치하는 면적의 비율로서 계산하는 단계를 포함할 수 있다. The calculating of the difference or ratio may include segmenting each of the objects in the image to be distinguished from the floor, identifying a portion occupied by the segmented object among floor portions corresponding to the floor, and The method may further include calculating a ratio of the occupied portion to the floor as a ratio of an area occupied by the object to an area of the floor.
상기 엘리베이터 제어 방법은, 상기 로봇 또는 상기 로봇을 제어하는 로봇 제어 시스템으로부터, 엘리베이터 카에 대한 호출을 수신하는 단계를 더 포함하고, 상기 신호를 생성하는 단계는, 상기 계산된 공간 점유 정도에 기반하여 상기 로봇이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계를 포함할 수 있다. The elevator control method further includes receiving a call for an elevator car from the robot or a robot control system that controls the robot, and generating the signal based on the calculated degree of occupancy of space The method may include generating a signal for controlling an elevator car determined to be capable of being boarded by the robot to move to a position of the robot.
상기 엘리베이터 제어 방법은, 상기 로봇의 위치로 이동되는 상기 엘리베이터 카는, 복수의 엘리베이터 카들 중에서 상기 계산된 공간 점유 정도가 소정의 값 미만인 것으로서 선택된 것일 수 있다. In the elevator control method, the elevator car moving to the location of the robot may be selected as having the calculated degree of occupancy of space less than a predetermined value among a plurality of elevator cars.
상기 호출은 상기 로봇의 크기 정보 또는 상기 로봇의 엘리베이터 카 내의 탑승을 위해 필요한 요구 면적 정보를 포함하고, 상기 크기 정보 또는 상기 요구 면적 정보와 상기 계산된 공간 점유 정도에 기반하여 엘리베이터 카에 상기 로봇이 탑승 가능한지 여부가 판정될 수 있다. The call includes size information of the robot or required area information necessary for the robot to board in the elevator car, and the robot is placed in the elevator car based on the size information or the required area information and the calculated space occupation. Whether boarding is possible may be determined.
상기 엘리베이터 제어 방법은, 복수의 로봇들 중 적어도 하나 또는 상기 로봇들을 제어하는 로봇 제어 시스템으로부터, 상기 로봇들의 탑승을 위한 엘리베이터 카에 대한 호출을 수신하는 단계를 더 포함하고, 상기 신호를 생성하는 단계는, 상기 계산된 공간 점유 정도에 기반하여 상기 로봇들이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇들의 탑승을 위해 상기 로봇들의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계를 포함할 수 있다. The elevator control method further includes receiving a call for an elevator car for boarding of the robots from at least one of a plurality of robots or a robot control system that controls the robots, and generating the signal The may include generating a signal for controlling an elevator car determined to be capable of being boarded by the robots based on the calculated degree of occupancy of space to be moved to a position of the robots for boarding the robots.
상기 공간 점유 정도는, 상기 카메라가 마련된 위치 정보, 상기 엘리베이터 카에 대한 최대 탑승 인원 수 및 상기 엘리베이터 카의 바닥의 면적 정보에 기반하여, 상기 영상을 분석함으로써 계산될 수 있다. The degree of occupancy of the space may be calculated by analyzing the image based on information about the location where the camera is located, the maximum number of passengers in the elevator car, and information on the area of the floor of the elevator car.
다른 일 측면에 있어서, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하고, 상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는, 엘리베이터 제어 시스템이 제공된다. In another aspect, an elevator control system for controlling an elevator car configured to allow a robot and a person to board, comprising at least one processor implemented to execute computer-readable instructions, wherein the at least one processor comprises the Based on an image of the interior of the elevator car taken by a camera provided in the elevator car, the degree of space occupancy of the elevator car by the object riding in the elevator car is calculated, and based on the calculated degree of occupancy of the space , An elevator control system is provided that generates a signal for controlling the elevator car to move to a position of the robot to board the robot in the elevator car.
또 다른 일 측면에 있어서, 컴퓨터 시스템에 의해 수행되는, 엘리베이터 카에 대한 공간 점유 정도를 계산하는 방법에 있어서, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계 및 상기 계산된 공간 점유 정도를, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하는 제어반을 포함하는 시스템으로 전달하는 단계를 포함하는, 공간 점유 정도를 계산하는 방법이 제공된다. In another aspect, in a method for calculating the degree of occupancy of an elevator car, performed by a computer system, the inside of the elevator car photographed by a camera installed in an elevator car configured to allow a robot and a person to board Based on the image, calculating the degree of space occupancy of the elevator car by the object riding in the elevator car, and the calculated space occupation degree to the position of the robot to board the robot in the elevator car A method for calculating the degree of occupancy of space is provided, comprising the step of transmitting to a system including a control panel for controlling the elevator car to move.
무게 센서를 비롯한 기타 다수의 센서에 의하지 않고도, 엘리베이터 카 내부를 촬영한 영상에 기반하여 엘리베이터 카에 탑승한 오브젝트의 공간 점유 정도(즉, 공간 점유율 또는 공간 점유 정보)를 계산할 수 있다. 즉, 무게 센서만으로는 엘리베이터 카 내의 정확한 탑승 인원을 알 수 없으며, 엘리베이터 카 내에 다수의 센서를 배치하더라도 엘리베이터 카 내부의 공간 점유 정도를 정확하게 탐지할 수는 없었으나, 실시예를 통해서는 영상을 분석함으로써 엘리베이터 카 내부의 공간 점유 정도를 정확하게 계산해 낼 수 있다. The degree of space occupancy of an object in the elevator car (ie, space occupancy or space occupancy information) can be calculated based on an image taken inside the elevator car without relying on a weight sensor or other sensors. That is, it is not possible to know the exact number of passengers in the elevator car with only the weight sensor, and even if a plurality of sensors are placed in the elevator car, it is not possible to accurately detect the degree of occupancy of space inside the elevator car. The degree of space occupancy inside the elevator car can be accurately calculated.
엘리베이터 카의 바닥의 위치/구역에 따라 상이하게 정의되는 가중치를 적용하여 엘리베이터 카에 탑승한 오브젝트의 공간 점유 정도를 계산함으로써, 공간 점유 정도 계산에 있어서의 정확도를 높일 수 있다. Accuracy in calculating the degree of space occupation may be increased by calculating the degree of space occupancy of an object in the elevator car by applying weights differently defined according to the location/region of the floor of the elevator car.
제1 공간 점유 정도에 해당하는 바닥 부분의 전체 공간에 대한 오브젝트에 의한 바닥 부분의 점유 부분의 비율에 해당하는 바닥 공간 점유율과 제2 공간 점유 정도에 해당하는 엘리베이터 카의 최대 탑승 인원 수에 대한 탑승한 오브젝트의 수의 비율에 대해, 각기 다른 가중치를 적용함으로써, 영상의 왜곡에 따른 오차를 최소화하면서 엘리베이터 카에 탑승한 오브젝트의 공간 점유 정도를 정확하게 계산할 수 있다. Floor space occupancy corresponding to the ratio of the floor area occupied by the object to the total space of the floor area corresponding to the first space occupancy degree and boarding for the maximum number of passengers in the elevator car corresponding to the second space occupancy degree By applying different weights to the ratio of the number of one object, it is possible to accurately calculate the degree of occupancy of the space of an object in an elevator car while minimizing an error due to image distortion.
로봇 또는 로봇 제어 시스템에 의한 요청에 따라, 로봇이 탑승 가능한 충분한 공간이 확보되고 있는 엘리베이터 카를 선택하여 선택된 엘리베이터 카를 로봇의 탑승을 위해 제어함으로써, 로봇과 사람이 함께 사용하는 엘리베이터에 대한 효용성을 높일 수 있다. According to the request of the robot or the robot control system, by selecting an elevator car that has enough space for the robot to board and controlling the selected elevator car for the robot to board, the efficiency of the elevator used by the robot and the person can be increased. there is.
도 1은 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 시스템에 의해 수행되는 엘리베이터 제어 방법을 나타낸다.
도 2 는 일 실시예에 따른, 건물 내에서 서비스를 제공하는 로봇을 나타내는 블록도이다.
도 3은 일 실시예에 따른, 엘리베이터 카를 제어하는 엘리베이터 제어 시스템을 나타내는 블록도이다.
도 4는 일 실시예에 따른, 로봇을 제어하는 로봇 제어 시스템을 나타내는 블록도이다.
도 5는 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 방법을 나타내는 흐름도이다.
도 6은 일 예에 따른, 엘리베이터 카 내부의 영상에 기반하여, 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.
도 7, 도 8 및 도 10은 일 예에 따른, 엘리베이터 카의 바닥의 면적과 오브젝트의 면적이 차이 또는 엘리베이터 카의 바닥의 면적에 대한 오브젝트의 면적의 비율을 계산하는 방법을 나타내는 흐름도이다.
도 9는 일 예에 따른, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.
도 11은 일 예에 따른, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하기 위해 사용되는 가중치 맵을 나타낸다.
도 12 및 도 13은 일 예에 따른, 가중치 맵에 따른 가중치의 적용 및 비율 가중치의 적용에 따라 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타낸다.
도 14는 일 예에 따른, 엘리베이터 카 내부를 촬영한 영상에서 엘리베이터 카에 탑승한 오브젝트들을 식별하고 이들에 의한 공간 점유 정도를 계산한 결과를 나타낸다.
도 15는 일 예에 따른, 엘리베이터 카를 제어하기 위한 엘리베이터 제어 시스템의 네트워크 구성을 나타낸다.
도 16는 일 예에 따른, 공간 점유 정도를 계산하기 위해 엘리베이터 카 내부를 촬영한 영상을 처리하고, 엘리베이터 카를 제어하는 방법을 나타낸다.
도 17 및 도 18은 일 예에 따른, 엘리베이터 카 내에 엘리베이터 카의 바닥을 촬영하기 위한 카메라를 설치하는 방법을 나타낸다.
도 19는 일 예에 따른, 엘리베이터 카 내부를 촬영한 영상을 세그먼트화 한 결과를 나타낸다. 1 shows an elevator control method performed by an elevator control system for controlling an elevator car configured to allow a robot and a person to board, according to an embodiment.
2 is a block diagram illustrating a robot providing service in a building, according to an exemplary embodiment.
3 is a block diagram illustrating an elevator control system for controlling an elevator car, according to one embodiment.
Figure 4 is a block diagram showing a robot control system for controlling the robot, according to an embodiment.
5 is a flowchart illustrating an elevator control method for controlling an elevator car configured to allow a robot and a person to board, according to an embodiment.
6 is a flowchart illustrating a method of calculating the degree of occupancy of a space of an object(s) on board based on an image inside an elevator car, according to an example.
7, 8, and 10 are flowcharts illustrating a method of calculating a difference between an area of an elevator car floor and an area of an object or a ratio of an area of an object to an area of an elevator car floor, according to an example.
9 is a flowchart illustrating a method of calculating the degree of space occupancy of object(s) in an elevator car according to an example.
11 shows a weight map used to calculate the degree of space occupancy of object(s) in an elevator car, according to an example.
12 and 13 illustrate a method of calculating the degree of space occupancy of an object(s) in an elevator car according to application of weights according to a weight map and application of ratio weights according to an example.
14 illustrates a result of identifying objects riding in an elevator car from an image of an inside of an elevator car and calculating a degree of occupancy of space by the objects according to an example.
15 shows a network configuration of an elevator control system for controlling an elevator car according to an example.
16 illustrates a method of processing an image taken inside an elevator car and controlling the elevator car in order to calculate the degree of occupancy of space, according to an example.
17 and 18 show a method of installing a camera for photographing the floor of an elevator car in an elevator car according to an example.
19 illustrates a result of segmenting an image of an inside of an elevator car according to an example.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, an embodiment will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 시스템에 의해 수행되는 엘리베이터 제어 방법을 나타낸다. 1 shows an elevator control method performed by an elevator control system for controlling an elevator car configured to allow a robot and a person to board, according to an embodiment.
도 1에서는 사람과 로봇(100)이 탑승 가능하도록 구성되는 건물 내에 설치된 엘리베이터(20)(이하, '엘리베이터 카'라고 함)와, 엘리베이터 카(20)를 제어하는 엘리베이터 제어 시스템(130)과, 로봇(100)을 제어하는 로봇 제어 시스템(140)이 도시되었다. 1, an elevator 20 (hereinafter referred to as an 'elevator car') installed in a building configured to allow humans and
로봇(100)은 건물 내의 적어도 하나의 층에서 서비스를 제공하기 위한 서비스 로봇일 수 있다. The
엘리베이터 카(20)는 건물 내의 층들 간을 이동하는 장치로서, 서비스를 제공하기 위해, 로봇(100)이 탑승하여 로봇(100)이 건물 내의 층들 간을 이동하도록 할 수 있다. 엘리베이터 카(20)는 사람과 로봇(100)의 탑승이 모두 허용되는 엘리베이터일 수 있다. 말하자면, 엘리베이터 카(20)는 로봇(100)의 탑승만이 허용되는 로봇 전용 엘리베이터와는 구분되는 것일 수 있다. The
도시되지는 않았으나, 엘리베이터 카(20)가 마련되는 건물 내에는 복수의 엘리베이터 카들이 마련될 수 있고, 도시된 엘리베이터 카(20)는 이러한 복수의 엘리베이터 카들 중 어느 하나를 나타내는 것일 수 있다. 또한, 로봇(100)은 도시된 복수의 로봇들 중 어느 하나로서, 서비스 제공을 위해 엘리베이터 카를 호출하여 엘리베이터 카(20)에 탑승하고자 하는 로봇을 나타낼 수 있다. 후술될 상세한 설명에서도 이에 따라 엘리베이터 카(20) 및 로봇(100)에 관해 설명한다.Although not shown, a plurality of elevator cars may be provided in a building where the
엘리베이터 카(20)는 엘리베이터 제어 시스템(130)에 의해(또는 엘리베이터 제어 시스템(130)에 의해 생성되는 신호에 기반하여) 제어될 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 서비스 요청자 또는 로봇(100)(로봇(100)을 제어하는 로봇 제어 시스템(140))으로부터의 호출에 따라, 복수의 엘리베이터 카들 중 로봇(100)이 탑승 가능한(예컨대, 로봇(100)이 탑승 가능한 공간이 확보되어 있는) 엘리베이터 카(20)를 선택할 수 있고, 선택된 엘리베이터 카(20)를 로봇(100)의 위치(즉, 로봇(100)이 위치하는 층)로 이동시킬 수 있다.
엘리베이터 카(20)가 로봇(100)의 위치에 도착한 때, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 도어를 제어하여 로봇(100)이 엘리베이터 카(20)에 탑승하도록 할 수 있다. When the
로봇(100)의 이동 및 로봇(100)의 엘리베이터 카(20)에 대한 탑승 또는 하차는 로봇 제어 시스템(140)에 의해 제어될 수 있다. Movement of the
엘리베이터 카(20)의 내부에는 카메라가 마련될 수 있고, 카메라에 의해 엘리베이터 카(20)의 내부가 촬영될 수 있다. 이러한 카메라는 엘리베이터 카(20)의 천장의 중앙 또는 엘리베이터 카(20)의 도어의 반대측의 천장의 모서리의 중앙에 설치되는 광각 카메라(광각 렌즈를 포함하는 카메라)일 수 있다. 설치된 카메라는 엘리베이터 카(20)의 바닥(50)을 (수직으로 또는 가능한 한 수직으로) 촬영하도록 구성될 수 있다. A camera may be provided inside the
관련하여, 도 17 및 도 18은 일 예에 따른, 엘리베이터 카 내에 엘리베이터 카의 바닥을 촬영하기 위한 카메라를 설치하는 방법을 나타낸다. 17 and 18 show a method of installing a camera for photographing the floor of an elevator car in an elevator car according to an example.
도 17에서는, 카메라가 엘리베이터 카(20)의 도어의 반대측의 천장의 모서리의 중앙에 설치된 예시가 도시되었다. 도 18에서는, 카메라가 엘리베이터 카(20)의 천장의 중앙에 설치된 예시가 도시되었다.In FIG. 17, an example in which the camera is installed in the center of the corner of the ceiling on the opposite side of the door of the
도 17 및 18에서 도시된 것처럼, 카메라는 바닥(50)을 수직으로 촬영할 수 있도록 설치될 수 있고, 카메라는 바닥(50)의 전체를 촬영 가능하도록 하는 화각을 가질 수 있다. 도시된 것과는 달리, 카메라는 엘리베이터 카(20)의 벽면에 마련될 수도 있다. As shown in FIGS. 17 and 18 , the camera may be installed to vertically photograph the
실시예에서는, 엘리베이터 카(20)의 내부에 설치된 카메라로부터 촬영된 엘리베이터 카(20)의 내부의 영상에 기반하여 엘리베이터 카(20)에 탑승하고 있는 오브젝트(들)(예컨대, 로봇, 사람 혹은 기타 사물)이 엘리베이터 카(20)의 내부 공간을 점유하고 있는 정도(즉, 공간 점유 정도 또는 공간 점유 정보)가 계산될 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부에 설치된 카메라로부터 엘리베이터 카(20)의 내부의 영상을 수신할 수 있고, 수신된 영상을 분석하여 상기 공간 점유 정도를 계산할 수 있다. 엘리베이터 제어 시스템(130)은 계산된 공간 점유 정도에 기반하여 엘리베이터 카(20)에 로봇(100)을 탑승시키기 위해 로봇(100)의 위치로 이동하도록 엘리베이터 카(20)를 제어할 수 있다(또는, 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다). 로봇(100)의 위치에 엘리베이터 카(20)가 도착하면, 엘리베이터 카(20)의 도어가 열리고, 로봇(100)은 엘리베이터 카(20)에 탑승할 수 있다. In the embodiment, the object(s) (e.g., a robot, a person, or other The degree to which the object) occupies the internal space of the elevator car 20 (ie, the degree of space occupation or space occupation information) may be calculated. For example, the
이러한 엘리베이터 제어 시스템(130)에 의한 엘리베이터 카(20)의 제어의 동작 및 공간 점유 정도 계산의 동작은 로봇(100) 또는 로봇 제어 시스템(140)으로부터 엘리베이터 카를 호출하는 요청이 수신됨에 따라 이루어지는 것일 수 있다. 말하자면, 로봇(100) 또는 로봇 제어 시스템(140)으로부터 엘리베이터 카를 호출하는 요청이 수신되면, 엘리베이터 제어 시스템(130)은 엘리베이터 카들 각각에 대해 상기 공간 점유 정도를 계산할 수 있고, 로봇(100)이 탑승하기에 충분한 공간이 확보된 엘리베이터 카(20)를 선택하여 로봇(100)의 위치로 이동하도록 제어할 수 있다. The operation of controlling the
또는, 엘리베이터 제어 시스템(130)은 로봇(100) 또는 로봇 제어 시스템(140)으로부터의 요청과는 관계 없이 실시간으로 또는 주기적으로 엘리베이터 카(20) 내부의 영상을 분석하여 공간 점유 정도를 계산하도록 구성될 수도 있다. Alternatively, the
"공간 점유 정도"는 엘리베이터 카(20)에 탑승하고 있는 오브젝트가 엘리베이터 카(20)의 내부 공간을 점유하고 있는 정도를 나타내는 파라미터로서, 예컨대, 공간 점유율을 포함할 수 있다. 일례로, 공간 점유 정도는 엘리베이터 카(20)의 바닥(50)의 면적과 바닥(50)에서 엘리베이터 카(20)에 탑승하고 있는 오브젝트가 차지하는 면적의 차이, 또는 바닥(50)의 면적에 대한 오브젝트가 차지하는 면적의 비율에 기반하여 계산될 수 있다. The “degree of space occupancy” is a parameter representing the degree to which an object in the
엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대한 공간 점유 정도를 계산함으로써, 엘리베이터 카(20)에 로봇(100)이 탑승 가능한지 여부를 판정할 수 있고, 따라서, 로봇(100)의 탑승에 적합한 엘리베이터 카를 선택하여 제어할 수 있다. The
따라서, 실시예에 의해서는 엘리베이터 카(20)가 포함하는 무게 센서에 의해 엘리베이터 카(20)의 만원 여부를 판정하지 않고도, 엘리베이터 카(20)의 내부의 영상을 분석함으로써 엘리베이터 카(20)에 대한 공간 점유 정도가 계산될 수 있다. 또한, 실시예에서는 엘리베이터 카(20)에 대한 공간 점유 정도를 계산하기 위해 다양한 센서를 엘리베이터 카(20)에 내부에 설치할 필요를 없앨 수 있다.Therefore, according to the embodiment, without determining whether the
한편, 실시예에 따른 공간 점유 정도를 계산하는 방법 및 엘리베이터 카(20)를 제어하는 방법은 무게 센서(및 기타 센서들)를 사용하여 공간 점유 정도를 계산하는 방법에 대해 추가로(또는 보조적으로) 사용될 수도 있다. Meanwhile, the method of calculating the degree of occupancy of space and the method of controlling the
엘리베이터 카(20)에 대한 공간 점유 정도를 계산하는 방법과, 엘리베이터 카(20)를 제어하는 구체적인 방법에 대해서는 후술될 도 2 내지 도 16 및 도 19를 참조하여 더 자세하게 설명된다. A method of calculating the degree of space occupancy of the
도 2 는 일 실시예에 따른, 건물 내에서 서비스를 제공하는 로봇을 나타내는 블록도이다. 2 is a block diagram illustrating a robot providing service in a building, according to an exemplary embodiment.
로봇(100)은 건물 내에서 서비스를 제공하기 위해 사용되는 서비스 로봇일 수 있다. 로봇(100)은 건물의 적어도 하나의 층에서 서비스를 제공하도록 구성될 수 있다. 또한, 로봇(100)이 복수인 경우 복수의 로봇들 각각은 적어도 하나의 층에서 서비스를 제공하도록 구성될 수 있다. 말하자면, 서비스의 종류/제공 빈도 및/또는 건물(층)의 형태/구조에 따라, 로봇(100)은 하나 또는 그 이상의 층들에서 서비스를 제공하도록 구성될 수 있고, 복수의 로봇들이 하나의 층에서 서비스를 제공하도록 구성될 수도 있다. 로봇(100)은 자율 주행을 통해 건물의 소정의 위치(특정 층)에서 건물 내의 사용자에게 서비스를 제공할 수 있다.The
로봇(100)이 제공하는 서비스는 예컨대, 택배 전달 서비스, 주문에 따른 음료(커피 등) 전달 서비스, 청소 서비스, 및 기타 정보/콘텐츠 제공 서비스 중 적어도 하나를 포함할 수 있다.The service provided by the
로봇(100)의 이동 및 서비스의 제공과 엘리베이터 카에 대한 호출의 적어도 일부는 로봇 제어 시스템(140)에 의한 제어를 통해 이루어질 수 있다. 예컨대, 로봇 제어 시스템(140)에 의한 호출에 따라, 엘리베이터 제어 시스템(130)이 로봇(100)이 위치하는 층으로 적절한 엘리베이터 카(20)를 호출할 수 있다. At least part of the movement of the
로봇(100)은 물리적인 장치일 수 있으며, 도시된 바와 같이, 제어부(104), 구동부(108), 센서부(106) 및 통신부(102)를 포함할 수 있다.The
제어부(104)는 로봇(100)에 내장된 물리적인 프로세서일 수 있으며, 도시되지는 않았으나, 경로 계획 처리 모듈, 맵핑 처리 모듈, 구동 제어 모듈, 로컬리제이션 처리 모듈, 데이터 처리 모듈 및 서비스 처리 모듈을 포함할 수 있다. 이 때, 경로 계획 처리 모듈, 맵핑 처리 모듈 및 로컬리제이션 처리 모듈은 로봇 제어 시스템(140)과 통신이 이루어지지 않는 경우에도 로봇(100)의 실내 자율 주행이 이루어질 수 있도록 하기 위해 실시예에 따라 선택적으로 제어부(104)에 포함되는 것일 수 있다. The
통신부(102)는 로봇(100)이 다른 장치(다른 로봇 또는 로봇 제어 시스템(140) 등)와 통신하기 위한 구성일 수 있다. 말하자면, 통신부(102)는 다른 장치에 대해 데이터 및/또는 정보를 전송/수신하는, 로봇(100)의 안테나, 데이터 버스, 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.The
구동부(108)는 로봇(100)의 이동을 제어하며 이동을 가능하게 하는 구성으로서 이를 수행하기 위한 장비를 포함할 수 있다. The driving
센서부(106)는 로봇(100)의 자율 주행 및 서비스 제공에 있어서 요구되는 데이터를 수집하기 위한 구성일 수 있다. 센서부(106)는 고가의 센싱 장비를 포함하지 않을 수 있고, 단지 저가형 초음파 센서 및/또는 저가형 카메라 등과 같은 센서를 포함할 수 있다.The
일례로, 제어부(104)의 데이터 처리 모듈은 센서부(106)의 센서들의 출력값을 포함하는 센싱 데이터를 통신부(102)를 통해 로봇 제어 시스템(140)으로 전송할 수 있다. 로봇 제어 시스템(140)은 건물 내의 실내 지도를 사용하여 생성된 경로 데이터를 로봇(100)으로 전송할 수 있다. 경로 데이터는 통신부(102)를 통해 데이터 처리 모듈로 전달될 수 있다. 데이터 처리 모듈은 경로 데이터를 바로 구동 제어 모듈로 전달할 수 있고, 구동 제어 모듈은 경로 데이터에 따라 구동부(108)를 제어하여 로봇(100)의 실내 자율 주행을 제어할 수 있다.For example, the data processing module of the
로봇(100)과 로봇 제어 시스템(140)이 통신할 수 없는 경우, 데이터 처리 모듈은 센싱 데이터를 로컬리제이션 처리 모듈로 전송하고, 경로 계획 처리 모듈와 맵핑 처리 모듈을 통해 경로 데이터를 생성하여 로봇(100)의 실내 자율 주행을 직접 처리할 수도 있다.When the
로봇(100)은 건물 내의 실내 지도를 생성하기 위해 사용되는 맵핑 로봇과는 구별되는 것일 수 있다. 이 때, 로봇(100)은 고가의 센싱 장비를 포함하지 않기 때문에 저가형 초음파 센서 및/또는 저가형 카메라 등과 같은 센서의 출력값을 이용하여 실내 자율 주행을 처리할 수 있다. 한편, 로봇(100)이 기존에 로봇 제어 시스템(140)과의 통신을 통해 실내 자율 주행을 처리한 적이 있다면, 로봇 제어 시스템(140)으로부터 기존에 수신한 경로 데이터가 포함하는 맵핑 데이터 등을 더 활용함으로써 저가의 센서들을 이용하면서도 보다 정확한 실내 자율 주행이 가능하게 될 수 있다.The
서비스 처리 모듈은 로봇 제어 시스템(140)을 통해 수신되는 명령을 통신부(102)를 통해 또는 통신부(102)와 데이터 처리 모듈을 통해 전달받을 수 있다. 구동부(108)는 로봇(100)의 이동을 위한 장비뿐만 아니라, 로봇(100)이 제공하는 서비스와 관련된 장비를 더 포함할 수 있다. 예컨대, 음식물/택배물 전달 서비스를 수행하기 위해 로봇(100)의 구동부(108)는 음식물/택배물을 적재하기 위한 구성이나 음식물/택배물을 사용자에게 전달하기 위한 구성(일례로, 로봇 암(arm))을 포함할 수 있다. 또한, 로봇(100)은 정보/콘텐츠의 제공을 위한 스피커 및/또는 디스플레이 등을 더 포함할 수도 있다. 서비스 처리 모듈은 제공해야 할 서비스를 위한 구동 명령을 구동 제어 모듈로 전달할 수 있고, 구동 제어 모듈은 구동 명령에 따라 로봇(100)이나 구동부(108)가 포함하는 구성을 제어하여 서비스가 제공될 수 있도록 할 수 있다.The service processing module may receive commands received through the
로봇(100)은 로봇 제어 시스템(140)에 의한 제어를 통해 호출된 엘리베이터 카(20)를 감지할 수 있고, 엘리베이터 카(20)에 탑승할 수 있다. 엘리베이터 카(20)가 로봇(100)이 서비스를 제공하기 위한 층에 도착하면, 로봇(100)은 엘리베이터 카(20)에서 하차하여, 해당 층에서 서비스를 제공할 수 있다. The
구체적인 제어가 로봇 제어 시스템(140)에 의해 이루어지는 경우, 로봇(100)은 로봇(100)의 제어를 위한 센싱 데이터를 로봇 제어 시스템(140)으로 제공할 뿐이라는 점에서 브레인리스 로봇에 해당할 수 있다.When specific control is performed by the
엘리베이터 제어 시스템(130) 및 로봇 제어 시스템(140)의 구조에 대해서는 후술될 도 3 및 도 4를 참조하여 더 자세하게 설명한다.The structure of the
이상 도 1, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 2에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Descriptions of the technical features described above with reference to FIGS. 1, 17, and 18 may be applied to FIG. 2 as they are, and thus duplicate descriptions are omitted.
도 3은 일 실시예에 따른, 엘리베이터 카를 제어하는 엘리베이터 제어 시스템을 나타내는 블록도이다.3 is a block diagram illustrating an elevator control system for controlling an elevator car, according to one embodiment.
엘리베이터 제어 시스템(130)은 건물 내를 이동(예컨대, 승강)하는 엘리베이터 카(20)에 대한 호출 및 엘리베이터 카(20)의 이동을 제어(또는, 엘리베이터 카(20)의 이동을 제어하기 위한 신호를 생성)하는 장치일 수 있다. 엘리베이터 제어 시스템(130)은 적어도 하나의 컴퓨팅 장치를 포함할 수 있고, 건물 내 또는 건물 외부에 위치하는 컴퓨터 시스템으로 구현될 수 있다.The
엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 직접 제어하는 제어반과는 구분되는 것일 수 있다. 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 제어하기 위해 요구되는 신호를 제어반으로 전달할 수 있다. 또는, 엘리베이터 제어 시스템(130)은 제어반을 포함하도록 구성될 수도 있다.The
엘리베이터 제어 시스템(130)은, 엘리베이터 카(20) 내부를 촬영하는 카메라가 AI 카메라인 경우, AI 카메라 내부에 마련되거나 카메라와 통신 가능한 컴퓨터 시스템으로서 구현될 수도 있다. 예컨대, 엘리베이터 제어 시스템(130)에 포함되는 FPGA SoC와, 게이트웨이 보드를 포함하여 구성될 수 있다. The
엘리베이터 제어 시스템(130)은 도시된 것처럼, 메모리(330), 프로세서(320), 통신부(310) 및 입출력 인터페이스(340)를 포함할 수 있다.As shown, the
메모리(330)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 비소멸성 대용량 기록장치는 메모리(330)와 분리되어 별도의 영구 저장 장치로서 포함될 수도 있다. 또한, 메모리(330)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(330)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신부(310)을 통해 메모리(330)에 로딩될 수도 있다. The
프로세서(320)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(330) 또는 통신부(310)에 의해 프로세서(320)로 제공될 수 있다. 예를 들어, 프로세서(320)는 메모리(330)에 로딩된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. The
프로세서(320)는 도시되지 않은 구성들로서 소프트웨어 및/또는 하드웨어 모듈(들)을 포함할 수 있다. 이러한 프로세서(320)의 구성들을 통해 후술될 엘리베이터 제어 방법이 수행될 수 있다. 즉, 프로세서(320)는 엘리베이터 카(20)의 내부를 촬영한 영상을 분석하여 엘리베이터 카(20)에 대한 공간 점유 정도를 계산할 수 있고, 엘리베이터 카를 호출한 로봇(100)에 대해, 로봇(100)이 탑승하기에 충분한 공간이 확보된 엘리베이터 카(20)를 결정하여 로봇(100)의 위치로 이동시킬 수 있다. 공간 점유 정도의 계산과 엘리베이터 카(20)의 제어는 별개의 프로세서 또는 모듈에 의해 수행될 수도 있다. The
통신부(310)는 엘리베이터 제어 시스템(130)이 다른 장치(엘리베이터 카(20) 또는 로봇 제어 시스템(140) 등)와 통신하기 위한 구성일 수 있다. 말하자면, 통신부(310)는 다른 장치에 대해 데이터 및/또는 정보를 전송/수신하는, 엘리베이터 제어 시스템(130)의 안테나, 데이터 버스, 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.The
입출력 인터페이스(340)는 키보드 또는 마우스 등과 같은 입력 장치 및 디스플레이나 스피커와 같은 출력 장치와의 인터페이스를 위한 수단일 수 있다.The input/
또한, 다른 실시예들에서 엘리베이터 제어 시스템(130)은 도시된 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. Also, in other embodiments the
엘리베이터 제어 시스템(130)이 엘리베이터 카(20)에 대한 공간 점유 정도를 계산하고, 엘리베이터 카(20)를 제어하는 보다 구체적인 방법에 대해서는 후술될 도 5 내지 도 16 및 도 19를 참조하여 더 자세하게 설명한다. A more specific method for the
이상 도 1, 도 2, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 3에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Descriptions of the technical features described above with reference to FIGS. 1, 2, 17, and 18 may be applied to FIG. 3 as they are, and thus duplicate descriptions are omitted.
도 4는 일 실시예에 따른, 로봇을 제어하는 로봇 제어 시스템을 나타내는 블록도이다.Figure 4 is a block diagram showing a robot control system for controlling the robot, according to an embodiment.
로봇 제어 시스템(140)은 전술된 로봇(100)의 이동 및 로봇(100)에 의한 건물 내에서의 서비스의 제공을 제어하는 장치일 수 있다. 로봇 제어 시스템(140)은 복수의 로봇들 각각의 이동 및 로봇들 각각의 서비스의 제공을 제어할 수 있다. 로봇 제어 시스템(140)은 엘리베이터 제어 시스템(130)과의 통신을 통해, 로봇(100)이 서비스를 제공할 층으로 로봇(100)을 이동시키기 위해 엘리베이터 카(20)를 호출할 수 있다. 로봇 제어 시스템(140)은 로봇(100)이 호출된 엘리베이터 카(20)를 인식하여 탑승할 수 있도록 로봇(100)을 제어하고, 서비스를 제공할 층에서 엘리베이터 카(20)에서 하차하도록 로봇(100)을 제어할 수 있다. The
로봇 제어 시스템(140)은 적어도 하나의 컴퓨팅 장치를 포함할 수 있고, 건물 내 또는 건물 외부에 위치하는 서버로 구현될 수 있다. 로봇 제어 시스템(140)은 클라우드 서버(시스템)으로 구현될 수도 있다. The
로봇 제어 시스템(140)은 도시된 것처럼, 메모리(430), 프로세서(420), 통신부(410) 및 입출력 인터페이스(440)를 포함할 수 있다. 로봇 제어 시스템(140)의 구성들(410 내지 430)에 대한 일반적인 설명에 대해서는 전술된 엘리베이터 제어 시스템(130)의 구성들(310 내지 340)의 일반적인 기술적 특징에 대한 설명이 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.As shown, the
한편, 구현의 방법에 따라, 엘리베이터 제어 시스템(130)과 로봇 제어 시스템(140)은 하나의 단일한 시스템(125)으로 구현될 수도 있다. 말하자면, 엘리베이터 제어 시스템(130)과 로봇 제어 시스템(140)은 건물 내에 또는 건물 외부에 존재하는 단일한 서버 또는 컴퓨팅 장치로서 구현될 수 있다.On the other hand, depending on the implementation method, the
이상 도 1 내지 도 3, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 4에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Descriptions of technical features described above with reference to FIGS. 1 to 3, 17, and 18 may be applied to FIG. 4 as they are, and thus duplicate descriptions are omitted.
후술될 상세한 설명에서, 엘리베이터 제어 시스템(130) 또는 로봇 제어 시스템(140)의 구성들에 의해 수행되는 동작은 설명의 편의상 엘리베이터 제어 시스템(130) 또는 로봇 제어 시스템(140)에 의해 수행되는 동작으로 설명될 수 있다. In the detailed description to be described later, the operation performed by the components of the
후술될 상세한 설명에서 공간 점유 정도(공간 점유 정보)의 "계산"은 공간 점유 정도를 계산하기 위한 연산의 수행, (연산된) 공간 점유 정도의 생성, 및 (연산된) 공간 점유 정도의 결정을 포괄하는 의미로 사용될 수 있다. In the detailed description to be described later, "calculation" of the degree of space occupation (space occupation information) refers to performing an operation for calculating the degree of space occupation, generating the degree of (computed) space occupation, and determining the degree of (computed) space occupation. It can be used in an inclusive sense.
도 5는 일 실시예에 따른, 로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카를 제어하는 엘리베이터 제어 방법을 나타내는 흐름도이다. 5 is a flowchart illustrating an elevator control method for controlling an elevator car configured to allow a robot and a person to board, according to an embodiment.
단계(520)에서, 엘리베이터 제어 시스템(130)은 로봇(100)과 사람이 탑승 가능하도록 구성된 엘리베이터 카(20) 내에 마련된 카메라에 의해 촬영된 엘리베이터 카(20) 내부의 영상에 기반하여, 엘리베이터 카(20) 내에 탑승하고 있는 오브젝트에 의한 엘리베이터 카에 대한 공간 점유 정도(공간 점유 정보)를 계산할 수 있다. In
엘리베이터 카(20)에 탑승하고 있는 오브젝트의 각각은 예컨대, 로봇, 사람 혹은 기타 사물일 수 있다. 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부 공간에 대해 상기 오브젝트가 차지하고 있는 공간의 정도를 나타내는 지표로서 공간 점유 정도를 계산할 수 있다. 공간 점유 정도는 공간 점유 정보로도 명명될 수 있다. Each of the objects aboard the
엘리베이터 제어 시스템(130)은, 일례로, 엘리베이터 카(20)의 바닥(50)의 면적과 바닥(50)에서 엘리베이터 카(20)에 탑승하고 있는 오브젝트가 차지하는 면적의 차이, 또는 바닥(50)의 면적에 대한 오브젝트가 차지하는 면적의 비율에 기반하여 상기 공간 점유 정도를 계산할 수 있다.
공간 점유 정도를 계산하기 위한 분석이 되는 영상은 엘리베이터 카(20)의 바닥(50)을 (수직으로 또는 가능한 한 수직으로) 촬영한 영상으로서 바닥(50)의 전체의 영역을 촬영한 영상일 수 있다. The image to be analyzed for calculating the degree of space occupancy may be an image obtained by photographing the
공간 점유 정도는 카메라가 마련된 (엘리베이터 카(20) 내의) 위치 정보(카메라가 마련된 천장의 위치 및 바닥으로부터의 높이 등), 엘리베이터 카(20)에 대한 최대 탑승 인원 수 및 엘리베이터 카(20)의 바닥(50)의 면적 정보에 기반하여, 엘리베이터 카(20)의 내부의 영상을 분석함으로써 계산될 수 있다. 또한, 공간 점유 정도를 계산하기 위해서는 카메라의 파라미터(카메라의 화각 정보 및 촬영과 연관된 파라미터들 등)가 더 사용될 수 있다. The degree of space occupancy is determined by location information (in the elevator car 20) where the camera is provided (position of the ceiling where the camera is provided and height from the floor, etc.), the maximum number of passengers for the
엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부의 영상으로부터 바닥(50)의 부분을 인식할 수 있고, 해당 바닥(50)의 면적(초기화 면적)을 계산할 수 있다. 엘리베이터 제어 시스템(130)은 영상 내에서 오브젝트를 인식하여, 인식된 오브젝트가 차지하는 면적을 계산함으로써 상기 공간 점유 정도를 계산할 수 있다. 공간 점유 정도를 계산하는 보다 구체적인 방법에 대해서는 후술한다.The
단계(530)에서, 엘리베이터 제어 시스템(130)은 단계(520)에 의해 계산된 공간 점유 정도(공간 점유 정보)에 기반하여, 엘리베이터 카(20) 내에 로봇(100)을 탑승시키기 위해 로봇(100)의 위치로 이동하도록 엘리베이터 카(20)를 제어할 수 있다. 또는, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20) 내에 로봇(100)을 탑승시키기 위해 로봇(100)의 위치로 이동하도록 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다. 엘리베이터 제어 시스템(130)은 로봇(100)이 탑승 가능한 충분한 공간이 확보된 엘리베이터 카(20)를 결정하여, 해당 엘리베이터 카(20)를 로봇(100)의 위치(즉, 로봇(100)이 대기하고 있거나 대기 예정인 위치/층)로 이동시킬 수 있다.In
전술한 것처럼, 단계(530)에서의 엘리베이터 카(20)에 대한 제어는 엘리베이터 제어 시스템(130)이 로봇(100) 또는 로봇(100)을 제어하는 로봇 제어 시스템(140)으로부터, 엘리베이터 카에 대한 호출을 수신함에 따라 이루어지는 것일 수 있다. As described above, the control of the
단계(510)에서, 엘리베이터 제어 시스템(130)은 로봇(100) 또는 로봇(100)을 제어하는 로봇 제어 시스템(140)으로부터, 엘리베이터 카에 대한 호출을 수신할 수 있다. 도시된 것과는 달리, 단계(510)은 단계(520) 이후에 수행되는 것일 수도 있다. In
로봇(100) 또는 로봇(100)을 제어하는 로봇 제어 시스템(140)으로부터의 호출에 따라, 엘리베이터 제어 시스템(130)은 단계(520)에서 계산된 공간 점유 정도에 기반하여 로봇(100)이 탑승 가능한 것으로 판정된 엘리베이터 카(20)를 로봇(100)의 위치로 이동하도록 제어할 수 있다(또는, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다). 엘리베이터 카(20)는 엘리베이터 제어 시스템(130)이 제어하는 복수의 엘리베이터 카들 중에서 로봇(100)이 탑승 가능한 것으로 판정되어 선택된 것일 수 있다. In response to a call from the
예컨대, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가 소정의 값 미만인 경우, 엘리베이터 카(20)를 로봇(100)이 탑승 가능한 것으로 판정하여, 해당 엘리베이터 카(20)를 로봇(100)의 위치로 이동하도록 제어할 수 있다(또는, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)를 제어하기 위한 신호를 생성할 수 있다). 이 때 로봇(100)의 위치로 이동되는 엘리베이터 카(20)는, 엘리베이터 제어 시스템(130)이 제어하는 복수의 엘리베이터 카들 중에서 계산된 공간 점유 정도가 소정의 값 미만인 것으로서 선택된 것일 수 있다. For example, the
다양한 크기/종류의 로봇들이 사용되는 경우에 있어서, 엘리베이터 제어 시스템(130)은 엘리베이터 카를 호출한 로봇(100)의 종류 또는 크기에 따라 상이한 기준을 적용하여 로봇(100)이 탑승 가능한 엘리베이터 카를 결정할 수 있다. In the case where robots of various sizes/types are used, the
로봇(100) 또는 로봇 제어 시스템(140)으로부터의 호출은 로봇(100)의 크기 정보 또는 상기 로봇의 엘리베이터 카 내의 탑승을 위해 필요한 요구 면적 정보를 포함할 수 있다. 또는, 이러한 호출은 로봇(100)의 종류 정보 또는 로봇(100)이 제공하는 서비스에 대한 정보를 포함할 수 있다. A call from the
엘리베이터 제어 시스템(130)은 로봇(100)의 크기 정보 또는 요구 면적 정보와 엘리베이터 카(20)에 대해 계산된 공간 점유 정도에 기반하여 엘리베이터 카(20)에 로봇이 탑승 가능한지 여부를 판정할 수 있다. The
예컨대, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가, 로봇(100)의 요구 면적 정보(또는 로봇(100)의 크기 정보로부터 계산된 요구 면적 정보)에 따른 면적만큼을 더 수용할 수 있는 경우, 엘리베이터 카(20)를 로봇(100)이 탑승 가능한 것으로 판정할 수 있다. For example, the
말하자면, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가 소정의 값 미만인 경우, 엘리베이터 카(20)를 로봇(100)이 탑승 가능한 것으로 판정하여, 로봇(100)의 탑승을 위해 엘리베이터 카(20)를 로봇(20)의 위치로 이동시킬 수 있다. 이 때, 소정의 값은 상기 호출에 포함된 크기 정보 또는 요구 면적 정보에 따라 상이하게 설정될 수 있다. In other words, the
요구 면적 정보는 호출에 포함되어 제공되는 것일 수 있으나, 엘리베이터 제어 시스템(130)에서 생성되는 것일 수도 있다. 예컨대, 엘리베이터 제어 시스템(130)은 호출에 포함된 로봇(100)의 크기 정보, 로봇(100)의 종류 정보 또는 로봇(100)이 제공하는 서비스에 대한 정보에 기반하여 로봇(100)이 요구하는 면적에 대응하는 요구 면적 정보를 생성할 수 있다. 일례로, 로봇(100)이 위험도가 상대적으로 높은 작업을 수행하는 것이거나, 로봇(100)이 제공하는 서비스가 위험도가 상대적으로 높은 것(예컨대, 뜨거운 음식물의 운반 등)인 경우 로봇(100)은 더 넓은 면적을 요구하는 것으로 판정될 수 있다. The required area information may be included in the call and provided, but may also be generated by the
한편, 엘리베이터 제어 시스템(130)은 복수의 로봇들의 탑승을 위한 엘리베이터 카에 대한 호출을 수신할 수 있다. 이 때의 호출은 복수의 로봇들 중 적어도 하나(예컨대, 로봇들 중 선택된 대표 로봇) 또는 로봇들을 제어하는 로봇 제어 시스템(140)으로부터 수신될 수 있다. Meanwhile, the
엘리베이터 제어 시스템(130)의 호출은 로봇들의 수량 정보를 더 포함할 수 있다. 엘리베이터 제어 시스템(130)은, 엘리베이터 카(20)에 대해 계산된 공간 점유 정도가, 수량 정보(및 로봇들의 크기/종류/서비스 정보)에 따라 결정되는 로봇들의 요구 면적 정보에 따른 면적만큼을 더 수용할 수 있는 경우, 엘리베이터 카(20)를 로봇들이 탑승 가능한 것으로 판정할 수 있다. 일례로, 로봇들의 요구 면적은 호출에 포함된 로봇들의 수량과 각 로봇의 크기(또는 요구 면적)에 기반하여 계산될 수 있다. The call of the
따라서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)에 대해 계산된 공간 점유 정도에 기반하여 엘리베이터 카(20)에 로봇들이 탑승 가능한지 여부를 판정하여, 로봇들이 탑승 가능한 것으로 판정된 엘리베이터 카(20)를 로봇들의 위치로 이동시킬 수 있다. 로봇들이 각각 다른 층에 위치하는 경우, 엘리베이터 카(20)는 각 로봇이 위치하는 층을 순차적으로 이동하도록 제어될 수 있다. Accordingly, the
설명한 것처럼, 실시예에 의해서는, 엘리베이터 카의 내부를 촬영한 영상에 기반하여 계산된 공간 점유 정도에 기반하여, 로봇(100) 또는 로봇들이 탑승 가능한 엘리베이터 카가 결정되어 제어될 수 있는 바, 사람과 로봇이 함께 사용하는 엘리베이터 카를 사용함에 있어서 사람과 로봇 간의 간섭이 최소화될 수 있다.As described above, according to the embodiment, the
엘리베이터 카(20)의 내부를 촬영한 영상에 기반하여 공간 점유 정도를 계산하는 더 구체적인 방법에 대해서는 후술한다. A more specific method of calculating the degree of occupancy of space based on an image of the inside of the
이상 도 1 내지 도 4, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 5에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Description of the technical features described above with reference to FIGS. 1 to 4, 17 and 18 may be applied to FIG. 5 as it is, and thus duplicate descriptions are omitted.
도 6은 일 예에 따른, 엘리베이터 카 내부의 영상에 기반하여, 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.6 is a flowchart illustrating a method of calculating the degree of occupancy of a space of an object(s) on board based on an image inside an elevator car, according to an example.
도 6을 참조하여, 전술한 단계(520)에서의 공간 점유 정도를 계산하는 방법을 더 자세하게 설명한다. Referring to FIG. 6, the method of calculating the degree of space occupancy in
단계(610)에서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부를 촬영한 영상으로부터 엘리베이터 카(20) 내에 탑승하고 있는 오브젝트의 각각을 검출할 수 있다. In
엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부를 촬영한 영상을 인공지능 기반의 모델을 사용하여 분석함으로써 영상 내부에서 오브젝트를 검출할 수 있다. 인공지능 기반의 모델을 사용하여 분석되는 영상은 엘리베이터 카(20)의 내부를 촬영한 영상이 전처리(예컨대, 왜곡 보정, 크롭 처리, 스케일링 처리, 회전 처리 등)된 영상일 수 있다. The
엘리베이터 제어 시스템(130)은 영상 내에서 (영상에 포함된) 오브젝트 각각의 머리 부분을 검출함으로써 오브젝트의 각각을 검출할 수 있다. 머리 부분은 오브젝트의 상단 부분으로서, 오브젝트를 위에서 바라본 때에 식별되는 오브젝트의 특정한 부분일 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 인공지능 기반의 모델로서 엘리베이터 카(20)의 바닥(50)을 수직 방향으로 촬영한 영상으로부터 사람 또는 로봇의 머리/상단 부분을 검출하도록 훈련된 학습 모델을 영상으로부터 사람 또는 로봇의 머리/상단 부분을 검출할 수 있다. 학습 모델은 엘리베이터 카의 바닥 또는 공간 내의 바닥을 수직으로 촬영한, 오브젝트(들)을 포함하는 훈련용 영상을 사용하여 훈련된 것일 수 있다.The
머리 부분을 검출하여 객체를 검출함으로써 영상에서의 오브젝트의 검출에 있어서 겹침에 의한 검출 오류를 최소화할 수 있다. By detecting the object by detecting the head, it is possible to minimize detection errors due to overlap in object detection in the image.
학습 모델은 인공신경망 기반의 모델로서 CNN 기반의 모델 딥러닝(DNN, ANN, RNN 등) 기반의 모델일 수 있다. 학습 모델은 공간 점유 정도를 계산하기 위해 사용되는 엘리베이터 카(20)의 내부의 영상에 기반하여 더 훈련될(업데이트) 수 있다. The learning model is an artificial neural network-based model, and may be a CNN-based model or a deep learning (DNN, ANN, RNN, etc.)-based model. The learning model may be further trained (updated) based on images of the interior of the
학습 모델은 엘리베이터 카(20)에 마련된 거울 또는 벽면으로부터 반사되는 오브젝트나, 오브젝트의 그림자에 해당하는 부분을 배제하도록 훈련된 것일 수 있다. The learning model may be trained to exclude an object reflected from a mirror or a wall provided in the
또한, 학습 모델은 보다 정확하게 사람을 검출하기 위해 사람의 형태를 검출할 수 있도록 더 훈련될 수 있다.In addition, the learning model can be further trained to detect a person's shape in order to detect a person more accurately.
또한, 학습 모델은 엘리베이터 카(20)에 자주 탑승하는 물체를 추가로 학습함으로써 업데이트될 수 있다. Also, the learning model can be updated by additionally learning an object that frequently gets on the
실시예에서의 학습 모델을 훈련시키는 방법 및 학습 모델을 사용하여 오브젝트를 식별/검출하는 방법에 대해서는 여하한 인공지능 기반의 모델에 의한 오브젝트를 식별/검출하는 방법이 적용될 수 있는 바, 자세한 설명은 생략한다. As for the method of training the learning model in the embodiment and the method of identifying/detecting objects using the learning model, any method of identifying/detecting objects by any artificial intelligence-based model can be applied. omit
단계(620)에서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 바닥(50)의 면적과 검출된 오브젝트의 각각이 차치하는 면적의 차이(제1 값), 또는 바닥(50)의 면적에 대한 검출된 오브젝트의 각각이 차치하는 면적(또는, 오브젝트 전체가 차지하는 면적)의 비율(제2 값)을 계산할 수 있다.In
엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부의 영상으로부터 바닥(50)의 부분을 인식할 수 있고, 해당 바닥(50)의 면적(초기화 면적)을 계산할 수 있다. 계산되는 바닥(50)의 면적은 상대적인 값일 수 있다. 엘리베이터 제어 시스템(130)은 영상 내에서 검출된 오브젝트가 바닥(50)에 대해서 차지하는 면적을 계산함으로써 상기 제1 값 또는 상기 제2 값을 계산할 수 있다. The
예컨대, 제1 값은 바닥(50)의 면적에서 검출된 오브젝트의 각각이 차치하는 면적을 차감한 값에 해당할 수 있다. 제2 값은 바닥(50)의 면적을 검출된 오브젝트의 각각이 바닥(50)에서 차치하는 면적(또는, 오브젝트 전체가 바닥(50)에서 차지하는 면적)을 나눈 값에 해당할 수 있다. 또는, 제1 값은 1에서 제2 값을 차감한 값일 수 있다. For example, the first value may correspond to a value obtained by subtracting an area occupied by each of the detected objects from the area of the
단계(630)에서, 엘리베이터 제어 시스템(130)은 단계(620)에서 계산된 차이 또는 비율에 기반하여 엘리베이터 카(20)에 대한 공간 점유 정도(공간 점유 정보)를 계산할 수 있다. 계산되는 공간 점유 정도(정보)는 엘리베이터 카(20)에 대한 최종 공간 점유 정도로서, 단계(620)에서 계산된 제1 값 또는 제2 값에 기반한 바닥 점유 정도(후술될 제1 공간 점유 정도)와, 최대 탑승 인원 수와 엘리베이터 카(20)에 탑승한 오브젝트의 수에 기반한 인원 점유 정도(후술될 제2 공간 점유 정도)에 기반하여 계산되는 것일 수 있다. At
단계(620)의 제1 값 또는 제2 값을 계산하는 보다 구체적인 방법과 최종 공간 점유 정도를 계산하는 구체적인 방법은 후술된다. A more specific method of calculating the first value or the second value of
이상 도 1 내지 도 5, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 6에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Descriptions of the technical features described above with reference to FIGS. 1 to 5, 17, and 18 may be applied to FIG. 6 as they are, so duplicate descriptions are omitted.
도 7, 도 8 및 도 10은 일 예에 따른, 엘리베이터 카의 바닥의 면적과 오브젝트의 면적이 차이(전술한 제1 값) 또는 엘리베이터 카의 바닥의 면적에 대한 오브젝트의 면적의 비율(전술한 제2 값)을 계산하는 방법을 나타내는 흐름도이다.7, 8, and 10 show a difference between the area of the floor of an elevator car and the area of an object (the above-mentioned first value) or the ratio of the area of an object to the area of the floor of an elevator car (the above-mentioned first value) according to an example. It is a flowchart showing a method of calculating the second value).
관련하여, 도 7은 바닥(50)에 대해 검출된 오브젝트를 투영시켜(projecting) 오브젝트가 바닥(50)에서 차지하는 정도를 계산하는 방법에 대해 설명한다. In this regard, FIG. 7 describes a method of calculating the degree to which the object occupies the
단계(710)에서, 엘리베이터 제어 시스템(130)은 영상에서 인식된 바닥(50)에 대해 검출된 오브젝트의 각각을 투영시킬 수 있다. 이 때, 바닥(50)은 영상의 전처리 작업에 따라 인식된 부분으로서 사각형의 평면에 해당할 수 있다. 영상에서 검출된 오브젝트에 해당하는 부분은 바닥(50)에 대해 투영될 수 있고, 엘리베이터 제어 시스템(130)은 오브젝트가 투영된 부분과 오브젝트가 투영되지 않은 바닥(50)의 부분을 구분하여 인식할 수 있다. In
단계(720)에서, 엘리베이터 제어 시스템(130)은 바닥(50)의 (예컨대, 상대적인) 면적과 바닥(50)에 투영된 오브젝트의 각각이 차지하는 (예컨대, 상대적인) 면적에 기반하여 차이(제1 값) 또는 비율(제2 값)을 계산할 수 있다. In
엘리베이터 제어 시스템(130)은 바닥(50)에 해당하는 평면에서 투영된 오브젝트에 해당하는 부분을 구분하여 인식함에 따라, 오브젝트가 투영된 부분의 면적과 바닥(50)의 면적을 비교하여 상기 제1 값 또는 상기 제2 값을 계산해 낼 수 있다.As the
한편, 바닥(50) 상에서의 오브젝트의 위치(또는, 오브젝트가 위치하는 방향)에 따라, 오브젝트가 실제로 차지하는 면적에 대한 왜곡이 발생할 수 있다. 이러한 오브젝트가 차지하는 면적에 대해 발생되는 왜곡을 보정하기 위해, 바닥(50)의 위치에 따라 다르게 적용되는 가중치를 오브젝트에 대해 적용할 수 있다. Meanwhile, depending on the position of the object on the floor 50 (or the direction in which the object is located), distortion of an area actually occupied by the object may occur. In order to correct the distortion generated with respect to the area occupied by the object, a weight applied differently according to the position of the
관련하여, 도 8은 바닥(50)의 위치에 따라 다르게 적용되는 가중치를 오브젝트에 대해 적용하여 상기 제1 값 또는 상기 제2 값을 계산하기 위한 오브젝트가 차지하는 면적(보정된 면적)을 계산하는 방법을 설명한다. 8 is a method of calculating an area occupied by an object (corrected area) for calculating the first value or the second value by applying a weight applied differently according to the location of the
단계(810)에서, 엘리베이터 제어 시스템(130)은 영상에서 검출된 오브젝트의 각각의 바닥(50) 상에서의 위치를 결정할 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 각 오브젝트를 구성하는 포인트들(일례로, 픽셀들)에 해당하는 위치들을 결정할 수 있다. 오브젝트는 도 7을 참조하여 전술한 것처럼 바닥(50)에 투영된 것일 수 있는 바, 해당 오브젝트의 위치는 바닥(50)에 해당하는 평면 상에서의 위치(즉, 투영된 오브젝트의 위치)로서 결정될 수 있다. In
단계(820)에서, 엘리베이터 제어 시스템(130)은 바닥(50) 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 검출된 오브젝트의 각각에 대해 적용함으로써 해당 오브젝트의 각각이 차치하는 면적(보정된 면적)을 계산할 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 바닥(50)에 해당하는 평면 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 바닥(50)에 투영된 오브젝트의 대응하는 각각의 위치에 대해 적용함으로써 해당 오브젝트의 각각이 차치하는 면적(보정된 면적)을 계산할 수 있다. 가중치는, 일례로, 0 내지 1의 값일 수 있고, 가중치의 적용은 가중치를 해당하는 오브젝트의 위치의 값에 곱하는 연산일 수 있다. In
가중치 맵은 바닥(50)(바닥(50)에 해당하는 평면)의 중심으로부터 바닥(50)의 꼭지점을 향할수록 더 큰 값의 가중치를 갖는 것으로 정의될 수 있다. 또는, 가중치 맵은 복수의 구역들로 구분된 바닥(50)에 대해 상기 구역들 별로 상이한 가중치를 갖는 것으로 정의될 수 있다. 예컨대, 바닥(50)에 해당하는 평면은 9개의 구역들(즉, 3*3의 구역들)로 구분될 수 있고, 가중치 맵은 각 구역의 특성에 따라 적절한 가중치가 할당되도록 정의될 수 있다. The weight map may be defined as having a larger weight value from the center of the floor 50 (a plane corresponding to the floor 50) toward a vertex of the
관련하여, 도 11은 일 예에 따른, 엘리베이터 카(20)에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하기 위해 사용되는 가중치 맵을 나타낸다. 도시된 가중치 맵은 상기 제1 값 및 상기 제2 값을 계산하기 위해 사용되는 것일 수 있다. 도시된 가중치 맵은 어두운 부분인 바닥(50)의 중심으로부터 밝은 부분인 바닥(50)의 꼭지점을 향할수록 더 큰 값의 가중치가 할당되도록 정의되었다. 가중치 맵은 엘리베이터 카(20)에 카메라가 마련되는 위치나 카메라의 파라미터, 촬영된 영상에서 오브젝트가 왜곡되는 방식에 따라 상이하게 정의될 수 있다. In this regard, FIG. 11 shows a weight map used to calculate the degree of space occupancy of object(s) on the
이와 같은 가중치 맵을 사용하여 오브젝트가 바닥(50)에서 차지하는 면적을 보정함으로써, 영상의 왜곡에 따라 오브젝트가 바닥(50)에서 차지하는 면적이 잘못 인식되는 오류가 최소화될 수 있다. 따라서, 계산되는 엘리베이터 카(20)에 대한 최종 공간 점유 정도의 정확도가 높아질 수 있다. By correcting the area occupied by the object on the
관련하여, 도 12 및 도 13은 일 예에 따른, 가중치 맵에 따른 가중치의 적용 및 비율 가중치의 적용에 따라 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타낸다. 비율 가중치의 적용에 대해서는 도 9를 참조하여 후술하고 여기에서는 가중치 맵에 따른 가중치의 적용에 관해 설명한다. In this regard, FIGS. 12 and 13 show a method of calculating the degree of space occupancy of an object(s) in an elevator car according to application of weights according to a weight map and application of ratio weights according to an example. The application of ratio weights will be described later with reference to FIG. 9 , and here, the application of weights according to weight maps will be described.
도 12의 첫 번째 그림은 가중치 맵에 의한 가중치가 적용되지 않은 경우에 있어서, 바닥(50) 상에서의 오브젝트의 위치에 따라 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율을 나타낸다. The first figure of FIG. 12 shows the ratio of the area occupied by the object to the
도 12의 두 번째 그림은 가중치 맵에 의한 가중치가 적용된 경우에 있어서, 바닥(50) 상에서의 오브젝트의 위치에 따라 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율을 나타낸다. The second figure of FIG. 12 shows the ratio of the area occupied by the object to the
도 12에서는 바닥(50)을 3*3의 구역들로 구분하고, 각 구역에 오브젝트가 위치하는 경우에 있어서의 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율이 도시되었다. In FIG. 12 , a ratio of an area occupied by an object to the
도 13은 바닥(50)을 3*3의 구역들로 구분한 경우에 있어서, 각 구역에 오브젝트가 위치한 경우의 엘리베이터 카(20)의 내부의 영상을 나타낸다. FIG. 13 shows an image of the inside of the
카메라가 설치되는 위치(도어의 반대측의 천장의 모서리의 중앙 혹은 천정의 중앙)와 카메라의 광각 렌즈의 특성에 의해 오브젝트가 바닥(50)을 차지하는 비율에는 왜곡이 발생할 수 있다. Distortion may occur in the ratio of the object occupying the
도 13에서는 카메라는 도어의 반대측의 천장의 모서리의 중앙에 마련된 것으로 가정되었다. 이 때에는, 오브젝트의 위치가 바닥(50)의 중앙으로부터 멀어질수록 왜곡은 커질 수 있다(x 축 방향). 가령 오브젝트가 좌측 또는 우측에 위치할 경우 영상에서는 오브젝트가 기울어져 나타나므로 바닥(50)에서 차지하는 면적이 줄어드는 왜곡이 나타날 수 있다. 또한, 오브젝트가 도어 측으로 가깝게 위치할수록 왜곡은 커질 수 있다(y 축 방향). 가령 오브젝트가 도어로부터 2/3 구역에서는 왜곡에 의해 바닥(50)을 차지하는 면적이 더 넓어지게 되는 왜곡이 발생할 수 있고, 도어로부터 1/3 지점에서는 오브젝트가 도어 측으로 넘어가 버려 바닥(50)을 차지하는 면적이 더 작아지게 되는 왜곡이 발생할 수 있다. In FIG. 13, it is assumed that the camera is provided in the center of the corner of the ceiling on the opposite side of the door. In this case, distortion may increase as the position of the object moves away from the center of the floor 50 (x-axis direction). For example, when an object is located on the left or right side, distortion may appear in which the area occupied by the
도 12의 첫 번째 그림에서 도시된 것처럼, 가중치 맵에 의한 가중치가 적용되지 않은 경우에는 바닥(50)에 대해 오브젝트가 차지하는 비율이 왜곡되어 있음을 확인할 수 있다. 즉, 오브젝트의 위치에 따른 바닥(50)에 대해 오브젝트가 차지하는 비율의 편차가 크게 됨을 확인할 수 있다. As shown in the first picture of FIG. 12 , it can be confirmed that the ratio occupied by the object with respect to the
이에 비해, 도 12의 두 번째 그림에서와 같이, 가중치 맵에 의한 가중치를 적용할 경우에는, 오브젝트의 위치에 따른 바닥(50)에 대해 오브젝트가 차지하는 비율의 편차가 더 줄어들게 됨을 확인할 수 있다.In contrast, as shown in the second figure of FIG. 12 , when weights are applied using the weight map, it can be confirmed that the deviation of the ratio occupied by the object with respect to the
따라서, 도 11에서 도시된 것과 같은 가중치 맵을 사용하여 오브젝트가 바닥(50)에서 차지하는 면적을 보정함으로써, 영상의 왜곡에 따라 오브젝트가 바닥(50)에서 차지하는 면적이 잘못 인식되는 오류가 최소화될 수 있다. 따라서, 계산되는 엘리베이터 카(20)에 대한 최종 공간 점유 정도의 정확도가 높아질 수 있다.Therefore, by correcting the area occupied by the object on the
한편, 도 10을 참조하여 전술한 제1 값 및 제2 값을 계산하는 방법으로서, 세그먼트화 된 영상을 사용하는 방법에 대해 설명한다.Meanwhile, referring to FIG. 10 , a method of using a segmented image as a method of calculating the first value and the second value will be described.
단계(1010)에서, 엘리베이터 제어 시스템(130)은 엘리베이터 카(20)의 내부의 영상에서 검출된 오브젝트의 각각을 바닥과 구분되도록 세그먼트할 수 있다. 세그먼트화는 오브젝트의 각각과 바닥을 시각적으로 서로 구분되도록 하는 것일 수 있다. 예컨대, 오브젝트의 각각은 상이한 색상으로 영상에서 오버레이될 수 있다(도 12 참조). In
도 19는 일 예에 따른, 엘리베이터 카(20) 내부를 촬영한 영상을 세그먼트화 한 결과를 나타낸다. 도시된 것처럼, 바닥(1910), 오브젝트의 머리 부분(1920) 및 오브젝트의 기타 부분(몸통 등)(1930)은 시각적으로 서로 구분되도록 표시될 수 있다. 영상의 세그먼트화는 영상에서 각 오브젝트를 도식화하는 것일 수 있다. 19 shows a result of segmenting an image of the inside of an
세그먼트화된 영상(1900)은 엘리베이터 제어 시스템(130)의 관리자가 (예컨대, 엘리베이터 제어 시스템(130)의 테스트 환경 등에서) 확인 가능하도록 제공될 수 있다. The
단계(1020)에서, 엘리베이터 제어 시스템(130)은 바닥(50)에 해당하는 바닥 부분(1910) 중 세그먼트화된 오브젝트가 차지하는 점유 부분(1920 및 1039)을 식별할 수 있다. In
단계(1030)에서, 엘리베이터 제어 시스템(130)은 바닥 부분(1910)에 대한 점유 부분의 비율(1920 및 1930)을 바닥(50)의 면적에 대한 오브젝트가 차치하는 면적의 비율로서 계산할 수 있다. 즉, 엘리베이터 제어 시스템(130)은 세그먼트화 된 영상으로부터 상기 제1 값 또는 상기 제2 값을 계산할 수 있다. At
도 5 내지 도 8을 참조하여 전술된 영상으로부터 공간 점유 정도를 계산하는 방법에 관한 기술적인 내용은 세그먼트화 된 영상에 대해서도 유사하게 적용될 수 있다. The technical details of the method for calculating the degree of space occupancy from an image described above with reference to FIGS. 5 to 8 may be similarly applied to a segmented image.
이상 도 1 내지 도 6, 도 17 및 도 18을 참조하여 전술된 기술적 특징에 대한 설명은, 도 7, 도 8, 도 10 내지 도 13 및 도 19에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.The description of the technical features described above with reference to FIGS. 1 to 6, 17, and 18 may be applied as it is to FIGS. 7, 8, 10 to 13, and 19, so duplicate descriptions are omitted. .
도 9는 일 예에 따른, 엘리베이터 카에 탑승한 오브젝트(들)의 공간 점유 정도를 계산하는 방법을 나타내는 흐름도이다.9 is a flowchart illustrating a method of calculating the degree of space occupancy of object(s) in an elevator car according to an example.
도 9를 참조하여 엘리베이터 카(20)에 대한 공간 점유 정도(공간 점유 정보)로서, 단계(620)에서 계산된 제1 값 또는 제2 값에 기반한 바닥 점유 정도(제1 공간 점유 정도)와, 최대 탑승 인원 수와 엘리베이터 카(20)에 탑승한 오브젝트의 수에 기반한 인원 점유 정도(후술될 제2 공간 점유 정도)에 기반하여 최종 공간 점유 정도를 계산하는 방법에 대해 설명한다. Referring to FIG. 9, as the degree of occupancy of space (space occupation information) for the
단계(910)에서, 엘리베이터 제어 시스템(130)은 전술된 단계(620)에서 계산된 차이 또는 비율에 기반한 제1 공간 점유 정도와, 엘리베이터 카(20)에 대한 최대 탑승 인원 수에 대한 엘리베이터 카(20) 내에 탑승하고 있는 오브젝트의 수에 기반한 제2 공간 점유 정도를 계산할 수 있다. In
제1 공간 점유 정도는 바닥(50)을 차지하는 엘리베이터 카(20)에 탑승한 오브젝트의 점유 정도를 나타내는 것으로서, 예컨대, 바닥 공간 점유율일 수 있다. 제1 공간 점유 정도는 도 7, 도 8 및 도 10을 참조하여 전술된 제1 값 또는 제2 값에 대응할 수 있다. 바닥 공간 점유율은 아래의 수학식에 의해 표현되는 값일 수 있다.The first space occupancy degree represents the occupancy degree of an object boarding the
[수학식 1][Equation 1]
바닥 공간 점유율 = (바닥면의 점유 부분) / (바닥 전체 공간)Floor space occupancy = (occupied part of the floor surface) / (total floor space)
바닥면의 점유 부분은 영상 내의 바닥(50)의 부분(예컨대, 세그먼트화된 바닥(50)의 부분) 중 오브젝트(사람 및/또는 물체)의 인식된 부분을 의미할 수 있다. 바닥 전체 공간은 영상에서의 바닥(50)에 해당하는 전체 부분을 의미할 수 있다. The occupied portion of the floor surface may refer to a recognized portion of an object (person and/or object) among portions of the floor 50 (eg, segmented portions of the floor 50) in the image. The entire space of the floor may mean an entire part corresponding to the
제2 공간 점유 정도는 엘리베이터 카(20)의 최대 탑승 인원 수에 대한 현재 탑승한 오브젝트의 수의 비율로서, 예컨대, 인원 점유율일 수 있다. 인원 점유율은 아래의 수학식에 의해 표현되는 값일 수 있다.The second space occupancy degree is a ratio of the number of currently boarded objects to the maximum number of passengers on the
[수학식 2][Equation 2]
인원 점유율 = 탑승 오브젝트 수/최대 탑승 인원 수occupancy rate = number of boarding objects/maximum number of boarding people
최종 점유율.final share.
엘리베이터 카(20)에 대한 공간 점유 정도(최종 공간 점유 정도)는 이러한 제1 공간 점유 정도 및 제2 공간 점유 정도를 종합적으로 고려하여 계산될 수 있다. The degree of occupancy of space (final degree of occupancy of space) for the
단계(920)에서, 엘리베이터 제어 시스템(130)은 제1 공간 점유 정도 및 제2 공간 점유 정도에 기반하여 공간 점유 정보(최종 공간 점유 정도)를 계산할 수 있다. 예컨대, 엘리베이터 제어 시스템(130)은 제1 공간 점유 정도에 제1 가중치를 곱한 값과 제2 공간 점유 정도에 제2 가중치를 곱한 값의 합에 기반하여 최종 공간 점유 정도를 계산할 수 있다. 이 때, 제1 가중치는 제2 가중치에 비해 더 작은 값으로 정의될 수 있다. 제1 가중치와 제2 가중치는 엘리베이터 카들 및 로봇들의 운용 상황에 따라서 관리자게 의해 적절하게 조정되거나, 엘리베이터 제어 시스템(130)에 의해 자동으로 조절될 수 있다. In
즉, 실시예의 최종 공간 점유 정도를 계산함에 있어서는, 제1 공간 점유 정도(바닥 공간 점유율)이 제2 공간 점유 정도(인원 점유율)에 비해 더 적게 고려될 수 있다. That is, in calculating the final space occupancy of the embodiment, the first space occupancy (floor space occupancy) may be considered smaller than the second space occupancy (person occupancy).
이는 영상에서 가려지는 부분에 의해 오브젝트가 바닥(50)을 점유하는 정도가 정확하게 파악되지 않기 때문이다. 예컨대, 오브젝트가 바닥(50)의 중앙에 위치되는 경우에는 바닥(50)을 차지하는 넓이가 지나치게 커지게 되는 문제가 발생할 수 있다. 또한, 영상에서 오브젝트가 기울어져 나타나는 왜곡이 발생할 수 있다. 또한, 카메라의 각도, 다양한 환경요인, 오브젝트의 움직임에 따라, 바닥 공간 점유율의 변화가 발생하게 되고 이에 따른 왜곡이 발생될 수 있다. This is because the extent to which the object occupies the
전술한 가중치 맵을 사용함으로써 왜곡을 줄일 수 있으나, 보다 정확한 최종 공간 점유 정도의 계산을 위해 제1 공간 점유 정도(바닥 공간 점유율)의 비중을 비율 가중치(전술한 제1 가중치 및 제2 가중치)를 사용하여 더 줄일 수 있다.Distortion can be reduced by using the above-mentioned weight map, but for more accurate calculation of the final space occupancy degree, the proportion of the first space occupancy degree (floor space occupancy) is converted into a ratio weight (the above-mentioned first weight and second weight). can be further reduced by using
말하자면, 최대/최소 오차 범위를 줄이기 위해 바닥 공간 점유율의 비율 가중치를 인원 점유율의 비율 가중치에 비해 더 줄일 수 있다.In other words, in order to reduce the maximum/minimum error range, the percentage weight of floor space occupancy may be further reduced compared to the percentage weight of occupancy of personnel.
도 12의 세 번째 그림은 도 12의 두 번째 그림의 경우에 비해 비율 가중치를 더 적용한 경우의, 바닥(50) 상에서의 오브젝트의 위치에 따라 오브젝트가 바닥(50)에 대해 차지하는 면적의 비율을 나타낸다.The third figure of FIG. 12 shows the ratio of the area occupied by the object to the
전술한 도 12의 두 번째 그림과 도 12의 세 번째 그림을 비교해 보면, 비율 가중치를 적용한 경우가 그렇지 않은 경우에 비해, 오브젝트의 위치에 따른 바닥(50)에 대해 오브젝트가 차지하는 비율의 편차가 더 줄어들게 됨을 확인할 수 있다.Comparing the above-mentioned second picture of FIG. 12 with the third picture of FIG. 12, the case where the ratio weight is applied has a higher deviation of the ratio occupied by the object with respect to the
비율 가중치를 적용한 최종 공간 점유 정도는 아래의 수학식 3과 같이 계산될 수 있다. The final space occupancy degree to which the ratio weight is applied can be calculated as in
[수학식 3][Equation 3]
최종 공간 점유 정도(최종 점유율) = (인원 점유율)x0.8 + 바닥 공간 점유율x0.2Final space occupancy (final occupancy) = (person occupancy) x 0.8 + floor space occupancy x 0.2
한편, 비율 가중치(전술한 제1 가중치 및 제2 가중치)를 더 조절한 수정 최종 공간 점유 정도는 아래의 수학식 4과 같이 계산될 수 있다. Meanwhile, the corrected final space occupancy degree obtained by further adjusting the ratio weights (the above-mentioned first weight and second weight) may be calculated as in
[수학식 4][Equation 4]
수정 최종 공간 점유 정도(최종 점유율) = (인원 점유율)x0.9 + 바닥 공간 점유율x0.1Corrected final space occupancy rate (final occupancy) = (person occupancy) x 0.9 + floor space occupancy x 0.1
수학식 4에서와 같이 수정 최종 공간 점유 정도를 계산함으로써, 바닥 공간 점유율에 있어서의 왜곡의 효과를 최소화할 수 있다. 이 때, 제1 가중치는 0.1이고, 제2 가중치는 0.9가 될 수 있다.By calculating the corrected final space occupancy degree as in
이상 도 1 내지 도 8, 도 10 내지 도 13 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 9에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.The description of the technical features described above with reference to FIGS. 1 to 8, 10 to 13, and 17 to 19 may be applied to FIG. 9 as it is, and thus duplicate descriptions are omitted.
도 14는 일 예에 따른, 엘리베이터 카 내부를 촬영한 영상에서 엘리베이터 카에 탑승한 오브젝트들을 식별하고 이들에 의한 공간 점유 정도를 계산한 결과를 나타낸다. 14 illustrates a result of identifying objects riding in an elevator car from an image of an inside of an elevator car and calculating a degree of occupancy of space by the objects according to an example.
도 14에서는, 영상의 분석에 따라 오브젝트들이 검출되고, 오브젝트들의 엘리베이터 카(20)에 대한 공간 점유 정도가 계산된 결과가 도시되었다. In FIG. 14 , objects are detected according to the analysis of the image, and a result of calculating the degree of space occupancy of the objects in the
도시된 것처럼, 오브젝트로서는 사람이 2명(I 2), 로봇이 1개(R 1) 검출되었다. 이러한 오브젝트들에 의한 공간 점유 정도는 14%(A 14%)로 계산되었다.As shown, two people (I 2 ) and one robot (R 1 ) were detected as objects. The degree of space occupancy by these objects was calculated to be 14% (A 14%).
오브젝트로서 사람과 로봇은 서로 구분되어 인식될 수 있다. 예컨대, 오브젝트를 검출하기 위한 학습 모델은 사람의 머리 부분과 로봇의 상단 부분을 다른 종류의 오브젝트로 검출하도록 훈련될 수 있다.Humans and robots as objects can be recognized separately from each other. For example, a learning model for object detection may be trained to detect a human head and a robot top as different types of objects.
학습 모델은 다양한 종류/크기의 로봇을 검출할 수 있도록 추가적으로 훈련된 것일 수 있다. The learning model may be additionally trained to detect various types/sizes of robots.
한편, 실시예에서, 로봇은 사람과 차지하는 면적이 동일한 것으로 가정될 수 있고, 따라서, 최종 공간 점유 정도를 계산함에 있어서 동일하게 취급될 수 있다. 말하자면, 인원 점유율을 계산함에 있어서 로봇 1개는 사람 1개와 동일하게 취급될 수 있다. 실시예에 따라서는, 로봇과 사람은 인원 점유율을 계산함에 있어서도 상이하게 취급될 수도 있다. On the other hand, in the embodiment, it may be assumed that the robot occupies the same area as the human, and therefore, it may be treated the same in calculating the final space occupancy degree. In other words, in calculating the occupancy rate, one robot can be treated the same as one person. Depending on the embodiment, robots and humans may be treated differently in calculating the occupancy rate.
이상 도 1 내지 도 13 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 14에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Since the description of the technical features described above with reference to FIGS. 1 to 13 and 17 to 19 may be applied to FIG. 14 as it is, duplicate descriptions will be omitted.
도 15는 일 예에 따른, 엘리베이터 카를 제어하기 위한 엘리베이터 제어 시스템의 네트워크 구성을 나타낸다. 15 shows a network configuration of an elevator control system for controlling an elevator car according to an example.
전술된 엘리베이터 제어 시스템(130)은 도시된 게이트웨이(Gateway)를 포함하여 구성될 수 있다. 엘리베이터 제어 시스템(130)은 CAN 통신을 통해 엘리베이터 카들을 제어할 수 있다. 카메라를 통해 수신된 영상에 대한 딥러닝 처리는 게이트웨이에서 수행될 수 있다. The above-described
게이트웨이(Gateway)는 LAN을 통해 AP와 통신할 수 있으며 AP는 LAN을 통해 외부망과 연결될 수 있다. 게이트웨이(Gateway)에 의한 영상의 처리에 따라, 처리의 결과 값(예컨대, 엘리베이터 카 제어를 위한 신호, 탑승 오브젝트의 수, 공간 점유 정도 등)은 CAN을 통해 CTC 및 제어반으로 전달되어 엘리베이터 카의 제어를 위해 사용될 수 있다. 영상은 LAN을 통해 외부망으로 전달될 수 있다. A gateway can communicate with an AP through a LAN, and an AP can be connected to an external network through a LAN. According to the image processing by the gateway, the result values of the processing (e.g., signals for elevator car control, the number of boarding objects, space occupancy, etc.) are transferred to the CTC and the control panel through CAN to control the elevator car. can be used for Video can be transmitted to an external network through a LAN.
이상 도 1 내지 도 14 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 15에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Descriptions of the technical features described above with reference to FIGS. 1 to 14 and 17 to 19 may be applied to FIG. 15 as they are, so duplicate descriptions are omitted.
도 16는 일 예에 따른, 공간 점유 정도를 계산하기 위해 엘리베이터 카 내부를 촬영한 영상을 처리하고, 엘리베이터 카를 제어하는 방법을 나타낸다.16 illustrates a method of processing an image taken inside an elevator car and controlling the elevator car in order to calculate the degree of occupancy of space, according to an example.
실시예에서는, 엘리베이터 카의 내부에 수직 방향으로 바닥을 촬영하도록 광각 렌즈를 포함하는 카메라가 설치될 수 있고, 카메라로부터 수집된 영상이 전처리-딥러닝-후처리됨으로써 그 결과에 따라 엘리베이터 카가 제어되어 로봇이 해당 엘리베이터 카에 탑승 가능하게 될 수 있다. In the embodiment, a camera including a wide-angle lens may be installed inside the elevator car to photograph the floor in a vertical direction, and the image collected from the camera is pre-processed-deep-learning-post-processed so that the elevator car is controlled according to the result The robot may be able to board the corresponding elevator car.
도시된 것처럼, 카메라에 의해 촬영된 영상은 왜곡 보정 및 JPEG 압축 후 원본 영상으로서 RTP (Realtime Transport Protocol)를 사용하여 (예컨대, 외부망 또는 원본 영상을 시청/관리하는 개체로) 전송될 수 있다. 한편, 공간 점유 정도를 분석하기 위해, 카메라에 의해 촬영된 영상은 크롭/스케일링 처리(전처리)된 후 인공 신경망을 통해 분석될 수 있다. 후처리 작업 후, 처리의 결과 값(예컨대, 엘리베이터 카 제어를 위한 신호, 탑승 오브젝트의 수, 공간 점유 정도 등)은 CAN을 통해 엘리베이터 카의 제어를 위해 전송될 수 있다. 한편, 후처리가 완료된 후의 영상(딥러닝 영상) RTP를 사용하여 엘리베이터 카 제어 및 엘리베이터 카에 대한 공간 점유 정도를 원격으로 모니터링하는 주체(예컨대, 엘리베이터 제어 시스템(130)의 관리자)에 대해 전송될 수 있다. As shown, an image captured by a camera may be transmitted (eg, to an external network or an entity that views/manages the original image) using RTP (Realtime Transport Protocol) as an original image after distortion correction and JPEG compression. Meanwhile, in order to analyze the degree of space occupancy, an image captured by a camera may be cropped/scaled (pre-processed) and then analyzed through an artificial neural network. After the post-processing operation, the result values of the processing (eg, signals for elevator car control, number of boarding objects, space occupancy, etc.) may be transmitted for control of the elevator car through CAN. On the other hand, the image (deep learning image) after the post-processing is completed is to be transmitted to a subject (eg, the manager of the elevator control system 130) who controls the elevator car and remotely monitors the degree of space occupancy of the elevator car using RTP. can
이상 도 1 내지 도 15 및 도 17 내지 도 19를 참조하여 전술된 기술적 특징에 대한 설명은, 도 16에 대해서도 그대로 적용될 수 있으므로 중복되는 설명은 생략한다.Since the description of the technical features described above with reference to FIGS. 1 to 15 and 17 to 19 can be applied to FIG. 16 as it is, duplicate descriptions will be omitted.
실시예에서의 공간 점유 정도의 계산(및 거기에 기반한 엘리베이터 카 제어)의 사용 여부는 API 또는 API의 파라미터를 통해 제어될 수 있다. 예컨대, 해당 파라미터를 On/Off함에 따라, 실시예에 따라 계산된 공간 점유 정도를 엘리베이터 카 제어에 사용하거나 사용하지 않을 수 있다(예컨대, Off인 경우 기존의 무게 센서를 사용하는 방식을 사용함).Whether or not to use the calculation of the degree of occupancy of space in the embodiment (and the elevator car control based thereon) may be controlled through an API or a parameter of the API. For example, by turning on/off the corresponding parameter, the degree of space occupancy calculated according to the embodiment may or may not be used for elevator car control (eg, in the case of Off, a conventional weight sensor is used).
실시예에서 엘리베이터 카의 내부를 촬영하기 위해 사용되는 카메라는 FPGA SoC를 사용하는 것으로 (거의) 실시간 딥러닝이 가능하도록 하는 AI Smart Camera일 수 있다. AI Smart Camera는 CAN통신을 통해 엘리베이터 카 제어반으로 오브젝트의 카운트 수, 계산된 공간 점유 정도를 전송할 수 있다. 촬영된 영상은 게이트웨이 보드(Gateway Board)를 통해 모니터링되고 거기에 저장될 수 있다.In the embodiment, the camera used to photograph the inside of the elevator car may be an AI Smart Camera that uses an FPGA SoC and enables (almost) real-time deep learning. AI Smart Camera can transmit the count number of objects and the calculated space occupancy level to the elevator car control panel through CAN communication. The captured image may be monitored through a gateway board and stored there.
전술한 엘리베이터 제어 시스템(130)은 이러한 카메라(AI Smart Camera)에 포함되는 (예컨대, FPGA SoC를 포함하는) 컴퓨터 시스템일 수 있고, 전술한 게이트웨이 보드를 포함하여 구성될 수 있다. 말하자면, 엘리베이터 제어 시스템(130)은 엘리베이터 카를 직접 제어하는 제어반(및 제어반을 포함하는 시스템)과는 구분되는 것일 수 있다. 엘리베이터 제어 시스템(130)은 영상을 분석함에 따른 결과로서의 계산된 공간 점유 정도를 엘리베이터 카를 제어하기 위한 신호로서 제어반(제어반을 포함하는 시스템)으로 전달할 수 있고, 엘리베이터 카에 대한 제어는 제어반에 의해 직접적으로 수행될 수 있다. The above-described
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The system or device described above may be implemented as a hardware component, a software component, or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. may be permanently or temporarily embodied in Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
Claims (19)
로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계; 및
상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는 단계
를 포함하고,
상기 공간 점유 정도를 계산하는 단계는,
상기 영상으로부터 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 각각을 검출하는 단계;
상기 엘리베이터 카의 바닥의 면적과 상기 오브젝트의 각각이 차치하는 면적의 차이 또는 상기 바닥의 면적에 대한 상기 오브젝트의 각각이 차치하는 면적의 비율을 계산하는 단계; 및
상기 계산된 차이 또는 비율에 기반하여 상기 공간 점유 정도를 계산하는 단계
를 포함하고,
상기 차이 또는 비율을 계산하는 단계는,
상기 오브젝트의 각각의 상기 바닥 상에서의 위치를 결정하는 단계; 및
상기 바닥 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 상기 오브젝트의 각각에 대해 적용함으로써 상기 오브젝트의 각각이 차치하는 면적을 계산하는 단계
를 포함하는, 엘리베이터 제어 방법.In the elevator control method performed by the elevator control system,
Calculating a degree of space occupancy of the elevator car by an object inside the elevator car based on an image of the inside of the elevator car taken by a camera installed in the elevator car configured to allow a robot and a person to board; and
Based on the calculated degree of occupancy of space, generating a signal for controlling the elevator car to move to a position of the robot to board the robot in the elevator car.
including,
The step of calculating the degree of space occupancy,
detecting each of the objects riding in the elevator car from the image;
calculating a difference between an area of the floor of the elevator car and an area occupied by each of the objects or a ratio of an area occupied by each of the objects to an area of the floor; and
calculating the degree of occupancy of the space based on the calculated difference or ratio;
including,
Calculating the difference or ratio,
determining a position on the floor of each of the objects; and
Calculating an area occupied by each of the objects by applying to each of the objects a weight map defining a weight applied to each position on the floor.
Including, elevator control method.
상기 카메라는, 상기 엘리베이터 카의 천장의 중앙 또는 상기 엘리베이터 카의 도어의 반대측의 천장의 모서리의 중앙에 설치되는 광각 카메라이며, 상기 엘리베이터 카의 바닥을 촬영하도록 구성되는, 엘리베이터 제어 방법.According to claim 1,
The camera is a wide-angle camera installed at the center of the ceiling of the elevator car or at the center of the corner of the ceiling on the opposite side of the door of the elevator car, and is configured to photograph the floor of the elevator car.
상기 가중치 맵은,
상기 바닥의 중심으로부터 상기 바닥의 꼭지점을 향할수록 더 큰 값의 가중치를 갖는 것으로 정의되거나,
복수의 구역들로 구분된 상기 바닥에 대해 상기 구역들 별로 상이한 가중치를 갖는 것으로 정의되는, 엘리베이터 제어 방법.According to claim 1,
The weight map is
It is defined as having a larger value of weight from the center of the floor toward the vertex of the floor,
Elevator control method, which is defined as having a different weight for each of the zones for the floor divided into a plurality of zones.
상기 공간 점유 정도를 계산하는 단계는,
상기 계산된 차이 또는 비율에 기반한 제1 공간 점유 정도와 상기 엘리베이터 카에 대한 최대 탑승 인원 수에 대한 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 수에 기반한 제2 공간 점유 정도를 계산하는 단계; 및
상기 제1 공간 점유 정도 및 상기 제2 공간 점유 정도에 기반하여 상기 공간 점유 정도를 계산하는 단계
를 포함하는, 엘리베이터 제어 방법.According to claim 1,
The step of calculating the degree of space occupancy,
Calculating a first space occupation degree based on the calculated difference or ratio and a second space occupation degree based on the number of objects in the elevator car relative to the maximum number of passengers in the elevator car; and
Calculating the space occupation degree based on the first space occupation degree and the second space occupation degree
Including, elevator control method.
로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계; 및
상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하는 단계
를 포함하고,
상기 공간 점유 정도를 계산하는 단계는,
상기 계산된 차이 또는 비율에 기반한 제1 공간 점유 정도와 상기 엘리베이터 카에 대한 최대 탑승 인원 수에 대한 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 수에 기반한 제2 공간 점유 정도를 계산하는 단계; 및
상기 제1 공간 점유 정도 및 상기 제2 공간 점유 정도에 기반하여 상기 공간 점유 정도를 계산하는 단계
를 포함하고,
상기 공간 점유 정도는,
상기 제1 공간 점유 정도에 제1 가중치를 곱한 값과 상기 제2 공간 점유 정도에 제2 가중치를 곱한 값의 합에 기반하여 계산되고,
상기 제1 가중치는 상기 제2 가중치에 비해 더 작은 값으로 정의되는, 엘리베이터 제어 방법. In the elevator control method performed by the elevator control system,
Calculating a degree of space occupancy of the elevator car by an object inside the elevator car based on an image of the inside of the elevator car taken by a camera installed in the elevator car configured to allow a robot and a person to board; and
Based on the calculated degree of occupancy of space, generating a signal for controlling the elevator car to move to a position of the robot to board the robot in the elevator car.
including,
The step of calculating the degree of space occupancy,
Calculating a first space occupation degree based on the calculated difference or ratio and a second space occupation degree based on the number of objects in the elevator car relative to the maximum number of passengers in the elevator car; and
Calculating the space occupation degree based on the first space occupation degree and the second space occupation degree
including,
The degree of space occupancy is,
Calculated based on a sum of a value obtained by multiplying the first degree of space occupation by a first weight and a value obtained by multiplying the second degree of space occupation by a second weight,
The first weight is defined as a smaller value than the second weight, elevator control method.
상기 오브젝트의 각각을 검출하는 단계는,
상기 영상 내에서 상기 오브젝트 각각의 머리 부분을 검출함으로써 상기 오브젝트의 각각을 검출하고,
상기 오브젝트 각각의 머리 부분은,
바닥을 수직 방향으로 촬영한 영상으로부터 사람 또는 로봇의 머리 부분을 검출하도록 훈련된 학습 모델을 사용하여 검출되는, 엘리베이터 제어 방법.According to claim 1,
Detecting each of the objects,
Detecting each of the objects by detecting the head of each of the objects in the image,
The head of each object,
An elevator control method, which is detected using a learning model trained to detect the head of a person or robot from an image of a floor taken in a vertical direction.
상기 차이 또는 비율을 계산하는 단계는,
상기 영상에서 상기 오브젝트의 각각을 상기 바닥과 구분되도록 세그먼트화하는 단계;
상기 바닥에 해당하는 바닥 부분 중 세그먼트화된 상기 오브젝트가 차지하는 점유 부분을 식별하는 단계; 및
상기 바닥 부분에 대한 상기 점유 부분의 비율을 상기 바닥의 면적에 대한 상기 오브젝트가 차치하는 면적의 비율로서 계산하는 단계
를 포함하는, 엘리베이터 제어 방법.According to claim 1,
Calculating the difference or ratio,
segmenting each of the objects in the image to be distinguished from the floor;
identifying a portion occupied by the segmented object among floor portions corresponding to the floor; and
Calculating the ratio of the occupied part to the floor part as the ratio of the area occupied by the object to the area of the floor
Including, elevator control method.
상기 로봇 또는 상기 로봇을 제어하는 로봇 제어 시스템으로부터, 엘리베이터 카에 대한 호출을 수신하는 단계
를 더 포함하고,
상기 신호를 생성하는 단계는,
상기 계산된 공간 점유 정도에 기반하여 상기 로봇이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계
를 포함하는, 엘리베이터 제어 방법.According to claim 1,
receiving a call for an elevator car from the robot or a robot control system that controls the robot;
Including more,
To generate the signal,
Generating a signal for controlling an elevator car determined to be boardable by the robot to move to a position of the robot based on the calculated degree of space occupancy
Including, elevator control method.
상기 로봇의 위치로 이동되는 상기 엘리베이터 카는, 복수의 엘리베이터 카들 중에서 상기 계산된 공간 점유 정도가 소정의 값 미만인 것으로서 선택된 것인, 엘리베이터 제어 방법. According to claim 11,
The elevator control method of claim 1 , wherein the elevator car moving to the position of the robot is selected as one having the calculated degree of occupancy of space less than a predetermined value among a plurality of elevator cars.
상기 호출은 상기 로봇의 크기 정보 또는 상기 로봇의 엘리베이터 카 내의 탑승을 위해 필요한 요구 면적 정보를 포함하고,
상기 크기 정보 또는 상기 요구 면적 정보와 상기 계산된 공간 점유 정도에 기반하여 엘리베이터 카에 상기 로봇이 탑승 가능한지 여부가 판정되는, 엘리베이터 제어 방법. According to claim 11,
The call includes size information of the robot or required area information required for boarding in the elevator car of the robot,
Elevator control method, wherein it is determined whether or not the robot can board the elevator car based on the size information or the required area information and the calculated space occupation.
복수의 로봇들 중 적어도 하나 또는 상기 로봇들을 제어하는 로봇 제어 시스템으로부터, 상기 로봇들의 탑승을 위한 엘리베이터 카에 대한 호출을 수신하는 단계
를 더 포함하고,
상기 신호를 생성하는 단계는,
상기 계산된 공간 점유 정도에 기반하여 상기 로봇들이 탑승 가능한 것으로 판정된 엘리베이터 카를 상기 로봇들의 탑승을 위해 상기 로봇들의 위치로 이동하도록 제어하기 위한 신호를 생성하는 단계
를 포함하는, 엘리베이터 제어 방법.According to claim 1,
Receiving a call for an elevator car for boarding of the robots from at least one of a plurality of robots or a robot control system that controls the robots
Including more,
To generate the signal,
Generating a signal for controlling an elevator car determined to be capable of being boarded by the robots to be moved to a position of the robots for boarding the robots based on the calculated degree of space occupancy
Including, elevator control method.
상기 공간 점유 정도는, 상기 카메라가 마련된 위치 정보, 상기 엘리베이터 카에 대한 최대 탑승 인원 수 및 상기 엘리베이터 카의 바닥의 면적 정보에 기반하여, 상기 영상을 분석함으로써 계산되는, 엘리베이터 제어 방법. According to claim 1,
The degree of space occupancy is calculated by analyzing the image based on the location information where the camera is provided, the maximum number of passengers for the elevator car, and the area information of the floor of the elevator car. Elevator control method.
컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
상기 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하고,
상기 계산된 공간 점유 정도에 기반하여, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하기 위한 신호를 생성하고,
상기 적어도 하나의 프로세서는,
상기 공간 점유 정도를 계산하기 위해, 상기 영상으로부터 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 각각을 검출하고, 상기 엘리베이터 카의 바닥의 면적과 상기 오브젝트의 각각이 차치하는 면적의 차이 또는 상기 바닥의 면적에 대한 상기 오브젝트의 각각이 차치하는 면적의 비율을 계산하고, 상기 계산된 차이 또는 비율에 기반하여 상기 공간 점유 정도를 계산하되,
상기 차이 또는 비율을 계산함에 있어서, 상기 오브젝트의 각각의 상기 바닥 상에서의 위치를 결정하고, 상기 바닥 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 상기 오브젝트의 각각에 대해 적용함으로써 상기 오브젝트의 각각이 차치하는 면적을 계산하는, 엘리베이터 제어 시스템.An elevator control system for controlling an elevator car configured to allow a robot and a person to board,
at least one processor implemented to execute computer readable instructions
including,
The at least one processor,
Calculate the degree of occupancy of space in the elevator car by an object riding in the elevator car based on an image of the interior of the elevator car taken by a camera provided in the elevator car;
Based on the calculated degree of occupancy of space, generating a signal for controlling the elevator car to move to a position of the robot to board the robot in the elevator car;
The at least one processor,
In order to calculate the degree of space occupancy, each of the objects riding in the elevator car is detected from the image, and the difference between the area of the floor of the elevator car and the area occupied by each of the objects or the area of the floor is calculated. Calculate the ratio of the area occupied by each of the objects for the object, and calculate the degree of occupancy of the space based on the calculated difference or ratio,
In calculating the difference or ratio, the position of each of the objects on the floor is determined, and a weight map defining a weight applied to each position on the floor is applied to each of the objects, thereby determining the position of each of the objects on the floor. An elevator control system that calculates the area each occupies.
로봇과 사람이 탑승 가능하도록 구성된 엘리베이터 카 내에 마련된 카메라에 의해 촬영된 상기 엘리베이터 카 내부의 영상에 기반하여, 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트에 의한 상기 엘리베이터 카에 대한 공간 점유 정도를 계산하는 단계; 및
상기 계산된 공간 점유 정도를, 상기 엘리베이터 카 내에 상기 로봇을 탑승시키기 위해 상기 로봇의 위치로 이동하도록 상기 엘리베이터 카를 제어하는 제어반을 포함하는 시스템으로 전달하는 단계
를 포함하고,
상기 공간 점유 정도를 계산하는 단계는,
상기 영상으로부터 상기 엘리베이터 카 내에 탑승하고 있는 오브젝트의 각각을 검출하는 단계;
상기 엘리베이터 카의 바닥의 면적과 상기 오브젝트의 각각이 차치하는 면적의 차이 또는 상기 바닥의 면적에 대한 상기 오브젝트의 각각이 차치하는 면적의 비율을 계산하는 단계; 및
상기 계산된 차이 또는 비율에 기반하여 상기 공간 점유 정도를 계산하는 단계
를 포함하고,
상기 차이 또는 비율을 계산하는 단계는,
상기 오브젝트의 각각의 상기 바닥 상에서의 위치를 결정하는 단계; 및
상기 바닥 상의 각 위치에 대해 적용되는 가중치를 정의하는 가중치 맵을 상기 오브젝트의 각각에 대해 적용함으로써 상기 오브젝트의 각각이 차치하는 면적을 계산하는 단계
를 포함하는, 공간 점유 정도를 계산하는 방법.A method for calculating the degree of space occupancy for an elevator car, performed by a computer system, comprising:
Calculating a degree of space occupancy of the elevator car by an object inside the elevator car based on an image of the inside of the elevator car taken by a camera installed in the elevator car configured to allow a robot and a person to board; and
Transmitting the calculated degree of space occupancy to a system including a control panel for controlling the elevator car to move to a position of the robot to board the robot in the elevator car.
including,
The step of calculating the degree of space occupancy,
detecting each of the objects riding in the elevator car from the image;
calculating a difference between an area of the floor of the elevator car and an area occupied by each of the objects or a ratio of an area occupied by each of the objects to an area of the floor; and
calculating the degree of occupancy of the space based on the calculated difference or ratio;
including,
Calculating the difference or ratio,
determining a position on the floor of each of the objects; and
Calculating an area occupied by each of the objects by applying to each of the objects a weight map defining a weight applied to each position on the floor.
Including, how to calculate the degree of space occupancy.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210045590A KR102541959B1 (en) | 2021-04-08 | 2021-04-08 | Elevator control system and method for controlling elevator which robot and human board |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210045590A KR102541959B1 (en) | 2021-04-08 | 2021-04-08 | Elevator control system and method for controlling elevator which robot and human board |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220139528A KR20220139528A (en) | 2022-10-17 |
| KR102541959B1 true KR102541959B1 (en) | 2023-06-12 |
Family
ID=83809813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210045590A KR102541959B1 (en) | 2021-04-08 | 2021-04-08 | Elevator control system and method for controlling elevator which robot and human board |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102541959B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115973887A (en) * | 2022-12-16 | 2023-04-18 | 日立楼宇技术（广州）有限公司 | Signal priority determining method and device, electronic equipment and storage medium |
| KR102636608B1 (en) * | 2023-01-31 | 2024-02-14 | 주식회사 파이엇 | Management system of autonomous driving robot for moving between floors |
| KR102640758B1 (en) * | 2023-01-31 | 2024-02-28 | 주식회사 파이엇 | Management system of autonomous driving robot for moving between floors |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014144826A (en) * | 2013-01-28 | 2014-08-14 | Hitachi Ltd | Elevator monitor device and method |
| JP2017178559A (en) * | 2016-03-30 | 2017-10-05 | 株式会社日立製作所 | Elevator device and elevator control method |
| WO2019087249A1 (en) * | 2017-10-30 | 2019-05-09 | 株式会社日立製作所 | Elevator operation management system, and elevator operation management method |
| JP2020011805A (en) * | 2018-07-17 | 2020-01-23 | 東芝エレベータ株式会社 | Transportation system of autonomous mobile body |
| JP2020128279A (en) * | 2019-02-08 | 2020-08-27 | 東芝エレベータ株式会社 | Elevator system, elevator group management control device and elevator number allocation method |
-
2021
- 2021-04-08 KR KR1020210045590A patent/KR102541959B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014144826A (en) * | 2013-01-28 | 2014-08-14 | Hitachi Ltd | Elevator monitor device and method |
| JP2017178559A (en) * | 2016-03-30 | 2017-10-05 | 株式会社日立製作所 | Elevator device and elevator control method |
| WO2019087249A1 (en) * | 2017-10-30 | 2019-05-09 | 株式会社日立製作所 | Elevator operation management system, and elevator operation management method |
| JP2020011805A (en) * | 2018-07-17 | 2020-01-23 | 東芝エレベータ株式会社 | Transportation system of autonomous mobile body |
| JP2020128279A (en) * | 2019-02-08 | 2020-08-27 | 東芝エレベータ株式会社 | Elevator system, elevator group management control device and elevator number allocation method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220139528A (en) | 2022-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102541959B1 (en) | Elevator control system and method for controlling elevator which robot and human board | |
| US11704812B2 (en) | Methods and system for multi-target tracking | |
| CN110861094B (en) | Robot control method, robot, and readable storage medium | |
| JP7341652B2 (en) | Information processing device, information processing method, program, and system | |
| KR102194426B1 (en) | Apparatus and method for environment recognition of indoor moving robot in a elevator and recording medium storing program for executing the same, and computer program stored in recording medium for executing the same | |
| JP4409035B2 (en) | Image processing apparatus, singular part detection method, and recording medium recording singular part detection program | |
| JP5369175B2 (en) | Elevator door detection apparatus and detection method using video | |
| KR101864948B1 (en) | Method for controlling mobile robot unit with rgb-d sensor in the case of taking on/off an elevator | |
| US7277559B2 (en) | Mobile apparatus | |
| KR101776621B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| EP3818337B1 (en) | Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath | |
| JP7091485B2 (en) | Motion object detection and smart driving control methods, devices, media, and equipment | |
| KR102257746B1 (en) | Method for controlling robot group and system thereof | |
| CN110263714B (en) | Lane line detection method, lane line detection device, electronic device, and storage medium | |
| JP4429461B2 (en) | Image processing apparatus, plane detection method, and recording medium recording plane detection program | |
| KR102383567B1 (en) | Method and system for localization based on processing visual information | |
| JP6609588B2 (en) | Autonomous mobility system and autonomous mobility control method | |
| CN117115784A (en) | Vehicle detection method and device for target data fusion | |
| CN112348845A (en) | System and method for parking space detection and tracking | |
| CN111739332B (en) | Parking lot management system | |
| Hirt et al. | Geometry extraction for ad hoc redirected walking using a slam device | |
| WO2022004333A1 (en) | Information processing device, information processing system, information processing method, and program | |
| CN113093751B (en) | Position control method and device for elevators such as robot and storage medium | |
| WO2021210492A1 (en) | Information processing device, information processing method, and program | |
| EP3770809A1 (en) | Method and apparatus for estimating user's pose by using three-dimensional virtual space model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |