KR102451757B1

KR102451757B1 - System and method for calculating degree of messiness of space based on characterstics of product in the space

Info

Publication number: KR102451757B1
Application number: KR1020210031627A
Authority: KR
Inventors: 김학섭; 김익재; 조정현; 최희승; 남기표; 박해솔
Original assignee: 한국과학기술연구원
Priority date: 2021-03-10
Filing date: 2021-03-10
Publication date: 2022-10-11
Also published as: KR20220127069A

Abstract

실시예들은, 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계; 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계; 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계를 포함하는 단계를 포함한 공간 분석 방법 및 이를 수행하는 시스템에 관련된다. Embodiments include the steps of: receiving a monitoring video photographed in space and recognizing at least one object in a frame of a target time interval; allocating at least one object characteristic for a corresponding space based on the location of the object over time; and calculating a spatial complexity obtained by quantifying the clutter of the space based on at least one object characteristic of the space.

Description

공간 내 물건의 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템 및 방법{SYSTEM AND METHOD FOR CALCULATING DEGREE OF MESSINESS OF SPACE BASED ON CHARACTERSTICS OF PRODUCT IN THE SPACE}SYSTEM AND METHOD FOR CALCULATING DEGREE OF MESSINESS OF SPACE BASED ON CHARACTERSTICS OF PRODUCT IN THE SPACE

본 발명은 공간의 복잡도를 정량적으로 분석하는 기술에 관한 것으로서, 보다 상세하게는 공간에 배치된 물건의 특성에 기초하여 해당 공간의 복잡 정도를 정량화된 수치로 표현한 공간 복잡도를 계산하는 시스템 및 방법에 관한 것이다.The present invention relates to a technique for quantitatively analyzing the complexity of a space, and more particularly, to a system and method for calculating the spatial complexity in which the complexity of the space is expressed as a quantified numerical value based on the characteristics of objects arranged in the space. it's about

최근 고령 인구 및 1인 가구 증가 및 비대면 시대에 따른 재택근무가 활성화되면서 현대인들은 점차 실내에서 머무는 시간이 증가하고 있다. 이에 따라 실내 공간에 대한 정보 파악 및 정리 정돈 자동화에 대한 사회적 관심이 높아지고 있다. 보다 편리한 실내 생활을 위해서는 실내 공간 내 물건의 특성 (위치, 사용 빈도, 크기, 사용 위치 등)의 분석 및 물건의 재배치를 통한 정리정돈, 먼지 제거등의 청결이 요구된다. With the recent increase in the elderly population and single-person households and the activation of telecommuting due to the non-face-to-face era, modern people are gradually increasing the time they spend indoors. Accordingly, social interest in understanding information about indoor spaces and automating tidying up is increasing. For a more convenient indoor life, it is necessary to analyze the characteristics of objects (location, frequency of use, size, location of use, etc.) in the indoor space and cleanliness such as tidying up and dust removal through rearrangement of objects.

현재 상용화된 청소로봇은 미리 저장된 실내맵에 대응한 공간에서 스스로 움직이면서 먼지 등을 흡수하거나 바닥을 닦는 동작을 수행함으로써, 실내 공간이 청결된 상태를 유지할 수 있게 한다.The currently commercialized cleaning robot moves by itself in a space corresponding to a pre-stored indoor map, absorbing dust, etc. or wiping the floor, so that the indoor space can be maintained in a clean state.

최근 로봇기술이 발달하면서, 어질러진 물건을 재배치하는 정리정돈 동작까지 수행하는 형태의 청소로봇을 개발하려는 시도가 있다. With the recent development of robotic technology, there is an attempt to develop a cleaning robot that performs even the tidying operation of rearranging cluttered objects.

그러나, 정리정돈 및 청결 동작을 동시에 수행하는 궁극적인 청소로봇이 스스로 물체의 통계적 특성을 파악하고, 실내 공간의 어지러진 정도에 대한 정량적 수치화를 수행하여, 자동 청소를 개시하기(initating) 위한 기준에 대해서는 아직 연구가 필요한 실정이다.However, the ultimate cleaning robot, which performs both tidying and cleaning operations at the same time, grasps the statistical characteristics of an object by itself, performs quantitative quantification of the clutter of the indoor space, and meets the criteria for initiating automatic cleaning. There is still a need for research on it.

특허등록공보 제10-2181815호 (100100.11.24.)Patent Registration Publication No. 10-2181815 (100100.11.24.)

본 발명의 실시예들에 따르면, 물건의 특성에 기초하여 해당 공간의 복잡 정도를 정량화된 수치로 표현한 공간 복잡도를 계산하는 시스템 및 방법을 제공한다. According to embodiments of the present invention, there is provided a system and method for calculating spatial complexity in which a degree of complexity of a corresponding space is expressed as a quantified numerical value based on characteristics of an object.

본 발명의 일 측면에 따른 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템은 공간을 촬영하여 모니터링 비디오를 획득하는 하나 이상의 영상 장치; 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 객체 분석 모듈; 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 특성 분석 모듈; 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 공간 분석 모듈;을 포함할 수도 있다. According to an aspect of the present invention, a spatial analysis system for calculating spatial complexity based on characteristics of objects in a space includes: one or more imaging devices for capturing a space to acquire a monitoring video; an object analysis module for receiving a monitoring video captured in space and recognizing at least one object in a frame of a target time interval; a characteristic analysis module for allocating at least one object characteristic for a corresponding space based on the location of the object over time; and a spatial analysis module for calculating a spatial complexity obtained by quantifying the clutter of the space based on at least one object characteristic of the space.

일 실시예에서, 상기 객체 분석 모듈은, 입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하고, 그리고 인식된 물건의 프레임 시간에서의 위치 정보를 산출하도록 구성될 수도 있다.In an embodiment, the object analysis module may be configured to recognize an object appearing in the input frame as at least one object designated as a tidying up object, and to calculate location information of the recognized object in a frame time.

일 실시예에서, 상기 특성 분석 모듈은, 상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 유형 특성을 결정하고, 그리고 결정된 유형 특성을 상기 물건에 할당하도록 구성될 수도 있다. 상기 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함한다. In an embodiment, the characteristic analysis module may be configured to determine a type characteristic of the object based on a location distribution of the recognized object during the target time interval, and assign the determined type characteristic to the object. . The type characteristic includes a fixed type in which the object has a single candidate arrangement position as an arrangement position or a free type in which the object has any one of a plurality of candidate arrangement positions as an arrangement position.

일 실시예에서, 상기 후보 위치는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하거나, 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 배치 군집을 산출하거나, 또는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하고 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 군집을 산출한 결과를 조합하여 산출될 수도 있다. In an embodiment, the candidate location calculates a movement path in the space of each object during the target time interval, or clusters the location distribution of each object during the target time interval to calculate one or more placement clusters for each object, or , or by calculating the movement path of each object in the space during the target time interval and clustering the location distribution of each object during the target time interval, it may be calculated by combining the results of calculating one or more clusters for each object.

일 실시예에서, 상기 특성 분석 모듈은, 상기 공간에서 복수의 물건이 인식될 경우, 다른 물건과 위치적 상관 관계를 갖는 물건에 상관 특성을 할당하도록 더 구성될 수도 있다. In an embodiment, the characteristic analysis module may be further configured to assign a correlation characteristic to an object having a positional correlation with another object when a plurality of objects are recognized in the space.

일 실시예에서, 상기 특성 분석 모듈은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 상기 상관 특성을 상기 하나의 물건에게 할당할 수도 있다. In an embodiment, the characteristic analysis module may assign the correlation characteristic to the one object based on a distance between one object and another object during the target time interval.

일 실시예에서, 상기 특성 분석 모듈은 물건 간 상관관계를 기록한 상관 테이블을 미리 저장하고, 인식된 복수의 물건 중 적어도 두 개의 물건에 연관된 상관관계가 미리 저장된 상관 테이블에 포함되어 있는 경우, 인식된 적어도 두 개의 물건 중 어느 하나의 물건에게 상관 특성을 할당할 수도 있다. In an embodiment, the characteristic analysis module stores in advance a correlation table in which correlations between objects are recorded, and when correlations related to at least two objects among a plurality of recognized objects are included in the previously stored correlation table, the recognized A correlation characteristic may be assigned to any one of the at least two objects.

일 실시예에서, 상기 공간 분석 모듈은 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 상기 공간 분석도를 계산할 수도 있다. In an embodiment, the spatial analysis module is configured to select one of a first sub-complexity for a group consisting of fixed objects, a second sub-complexity for a group consisting of objects having a correlation characteristic, and a third sub-complexity for a group consisting of free-type objects. The spatial analysis degree may be calculated based on at least one.

일 실시예에서, 상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고, 상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고 상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산될 수도 있다. In an embodiment, the first sub-complexity is calculated based on a distance between a photographing position and an organized position of each fixed object for a first group of fixed objects, and the second sub-complexity has a correlation property For the second group of objects, it is calculated based on the distance between the photographing position of the object having each correlation characteristic and the photographing position of another object having the correlation, and the third sub-complexity is: For the third group, it may be calculated based on the distance between the photographing position of each free-type object and one candidate position of a plurality of candidate positions of the free-type object.

일 실시예에서, 상기 공간 분석 모듈은 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나를 계산할 수도 있다. In an embodiment, the spatial analysis module may calculate at least one of the first sub-complexity to the third sub-complexity further based on the size of each object in the group by object characteristic.

일 실시예에서, 상기 공간 분석 모듈은 계산된 공간 복잡도에 기초하여 공간 상태를 결정할 수도 있다. 상기 공간 상태는 정돈 상태 또는 청소 요구 상태를 포함한다. In an embodiment, the spatial analysis module may determine a spatial state based on the calculated spatial complexity. The space state includes an orderly state or a cleaning request state.

상술한 실시예들에 따른 상기 공간 분석 시스템은 출력 장치를 포함하거나, 또는 사용자 단말에 연동될 수도 있다. 상기 공간 분석 시스템은 공간 분석 정보를 상기 출력 장치 또는 사용자 단말을 통해 사용자에게 제공하며, 상기 공간 분석 정보는 인식된 물건의 촬영 위치, 물건의 정돈 위치, 이동 경로, 위치 분포, 계산된 공간 복잡도, 및 공간 상태 중 적어도 하나를 포함할 수도 있다.The spatial analysis system according to the above-described embodiments may include an output device or may be linked to a user terminal. The spatial analysis system provides spatial analysis information to the user through the output device or the user terminal, and the spatial analysis information includes a photographing position of a recognized object, an arrangement position of an object, a movement path, a location distribution, a calculated spatial complexity, and at least one of a spatial state.

상술한 실시예들에 따른 상기 공간 분석 시스템은 물건을 이동시키도록 구성된 청소로봇에 연동될 수도 있다. 상기 공간 분석 시스템은 공간 상태가 청소 요구 상태로 결정된 경우, 물건의 정돈 위치 및 촬영 위치, 촬영 위치와 정돈 위치가 상이한 물건을 정돈 위치로 재배치하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇에 전송한다. The spatial analysis system according to the above-described embodiments may be linked to a cleaning robot configured to move an object. When the space state is determined to be a cleaning request state, the space analysis system transmits a control command including a drive command for relocating an object having a tidy position and a photographing position, and an object having a different photographing position and an orderly position to the tidying position to the cleaning robot. do.

상술한 실시예들에 따른 상기 공간 분석 시스템은 바닥을 청소하도록 구성된 청소로봇에 연동될 수도 있다. 상기 공간 분석 시스템은 상태가 청소 요구 상태가 아닌 상태로 결정된 경우, 바닥 청소를 개시하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송한다. The spatial analysis system according to the above-described embodiments may be linked to a cleaning robot configured to clean the floor. The space analysis system transmits a control command including a driving command for starting floor cleaning to the cleaning robot when it is determined that the state is not a cleaning request state.

본 발명의 다른 일 측면에 따른, 하나 이상의 영상 장치 및 하나 이상의 프로세서에 의해 수행되는, 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 방법은 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계; 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계; 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계를 포함할 수도 있다.According to another aspect of the present invention, a spatial analysis method for calculating spatial complexity based on object characteristics in a space, performed by one or more imaging devices and one or more processors, receives a monitoring video photographing a space and performs a target time interval Recognizing at least one object in the frame of allocating at least one object characteristic for a corresponding space based on the location of the object over time; and calculating a space complexity obtained by quantifying the clutter of the space based on at least one object characteristic of the space.

일 실시예에서, 상기 적어도 하나의 물건을 인식하는 단계는, 입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하는 단계; 및 인식된 물건의 프레임 시간에서의 위치 정보를 산출하는 단계를 포함할 수도 있다.In one embodiment, the step of recognizing the at least one object may include: recognizing the object displayed in the input frame as at least one object designated as a tidy-up target; and calculating position information in the frame time of the recognized object.

일 실시예에서, 상기 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계는, 상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 유형 특성을 결정하는 단계 및 결정된 유형 특성을 상기 물건에 할당하는 단계를 포함할 수도 있다.In an embodiment, the allocating at least one object characteristic for the space comprises: determining a tangible characteristic of the object based on a location distribution of the recognized object during the target time interval; It may include the step of allocating to the object.

상기 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함할 수도 있다.The type characteristic may include a fixed type in which the object has a single candidate arrangement position as an arrangement position or a free type in which the object has any one of a plurality of candidate arrangement positions as an arrangement position.

일 실시예에서, 상기 공간 분석도는 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 계산될 수도 있다.In an embodiment, the spatial analysis diagram is one of a first sub-complexity for a group consisting of fixed objects, a second sub-complexity for a group consisting of objects having a correlation characteristic, and a third sub-complexity for a group consisting of free-type objects. It may be calculated based on at least one.

일 실시예에서, 상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고, 상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고 상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산될 수도 있다.In an embodiment, the first sub-complexity is calculated based on a distance between a photographing position and an organized position of each fixed object for a first group of fixed objects, and the second sub-complexity has a correlation property For the second group of objects, it is calculated based on the distance between the photographing position of the object having each correlation characteristic and the photographing position of another object having the correlation, and the third sub-complexity is: For the third group, it may be calculated based on the distance between the photographing position of each free-type object and one candidate position of a plurality of candidate positions of the free-type object.

일 실시예에서, 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나는 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 계산될 수도 있다.In an embodiment, at least one of the first sub-complexity to the third sub-complexity may be further calculated based on the size of each object in the group for each object characteristic.

본 발명의 또 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 상술한 실시예들에 따른 공간 분석 방법을 수행하기 위한 프로그램을 기록할 수도 있다.A computer-readable recording medium according to another aspect of the present invention may record a program for performing the spatial analysis method according to the above-described embodiments.

본 발명의 일 측면에 따른 공간 분석 시스템은 물체의 위치 특성 등을 포함한 물체의 특성을 사용하여, 각 물체에 따른 정리정돈이 적응적으로 수행되도록, 실내 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산할 수도 있다. The spatial analysis system according to an aspect of the present invention uses the characteristics of an object, including the positional characteristics of the object, to quantify the degree of clutter in the indoor space so that tidying up according to each object is adaptively performed. You can also calculate

또한, 상기 공간 분석 시스템은 공간 복잡도에 기초하여 정리정돈 필요 여부, 어질러진 물체의 원래 위치, 추천하는 정돈 위치 등과 같은 물체의 위치 정보를 사용자 또는 시스템에 연계된 청소로봇에 제공할 수도 있다. 이를 통해, 사용자 스스로 정리정돈을 수행하도록 유도하거나, 또는 청소로봇이 정리정돈 동작을 개시하게 한다. In addition, the spatial analysis system may provide the user or the cleaning robot linked to the system with information on the location of the object, such as whether or not tidying is necessary, the original location of the messy object, the recommended tidying location, etc., based on the spatial complexity. Through this, the user is induced to perform tidying up by himself or the cleaning robot starts the tidying operation.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 동작의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 개략적인 블록도이다.
도 3은, 본 발명의 일 실시예에 따른, 공간 내 물건의 인식 동작의 개념도이다.
도 4는, 본 발명의 일 실시예에 따른, 물건 특성의 개념도이다.
도 5 내지 도 7은, 본 발명의 일 실시예에 따른, 각 물건에 대해 물건 특성이 할당된 결과를 도시한 도면이다.
도 8a 및 도 8b는, 본 발명의 일 실시예에 따른, 공간 복잡도 계산 결과를 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 공간 분석 방법의 흐름도이다.In order to more clearly explain the technical solutions of the embodiments of the present invention or the prior art, drawings necessary for the description of the embodiments are briefly introduced below. It should be understood that the following drawings are for the purpose of explaining the embodiments of the present specification and not for the purpose of limitation. In addition, some elements to which various modifications such as exaggeration and omission have been applied may be shown in the drawings below for clarity of description.
1 is a conceptual diagram of an operation of a spatial analysis system according to an embodiment of the present invention.
2 is a schematic block diagram of a spatial analysis system according to an embodiment of the present invention.
3 is a conceptual diagram of an operation of recognizing an object in a space, according to an embodiment of the present invention.
4 is a conceptual diagram of object characteristics according to an embodiment of the present invention.
5 to 7 are diagrams illustrating a result of allocating object characteristics to each object according to an embodiment of the present invention.
8A and 8B are diagrams illustrating spatial complexity calculation results according to an embodiment of the present invention.
9 is a flowchart of a spatial analysis method according to an embodiment of the present invention.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is for the purpose of referring to specific embodiments only, and is not intended to limit the invention. As used herein, the singular forms also include the plural forms unless the phrases clearly indicate the opposite. As used herein, the meaning of "comprising" specifies a particular characteristic, region, integer, step, operation, element and/or component, and the presence or absence of another characteristic, region, integer, step, operation, element and/or component. It does not exclude additions.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된(disclosed) 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined otherwise, all terms including technical and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Commonly used terms defined in the dictionary are additionally interpreted as having a meaning consistent with the related technical literature and the currently disclosed (disclosed) content, and unless defined, are not interpreted in an ideal or very formal meaning.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 동작의 개념도이다. 1 is a conceptual diagram of an operation of a spatial analysis system according to an embodiment of the present invention.

도 1을 참조하면, 공간 분석 시스템(1)은 내부 공간을 촬영한 공간 영상에서 정리정돈 대상이 되는 물건을 검출하고 시간에 따른 물체의 위치를 분석하여 해당 공간에 대한 물건 특성을 생성하며, 검출된 물체의 공간에 대한 특성에 기초하여 공간 복잡도를 계산할 수도 있다. Referring to FIG. 1 , the spatial analysis system 1 detects an object to be organized in a spatial image taken of an internal space, and analyzes the position of the object over time to generate object characteristics for the space, and detect It is also possible to calculate the spatial complexity based on the spatial characteristics of the object.

도 2는, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 개략적인 블록도이다. 2 is a schematic block diagram of a spatial analysis system according to an embodiment of the present invention.

도 2를 참조하면, 공간 분석 시스템(1)은 영상 장치(10); 객체 분석 모듈(100); 특성 분석 모듈(200); 및 공간 분석 모듈(300)을 포함한다. Referring to FIG. 2 , the spatial analysis system 1 includes an imaging device 10 ; object analysis module 100; characteristic analysis module 200; and a spatial analysis module 300 .

실시예들에 따른 공간 분석 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.The spatial analysis system 1 according to the embodiments may have an aspect that is entirely hardware, entirely software, or partially hardware and partially software. For example, the system may collectively refer to hardware equipped with data processing capability and operating software for driving the same. As used herein, terms such as “unit,” “module,” “device,” or “system” are intended to refer to a combination of hardware and software run by the hardware. For example, the hardware may be a data processing capable computing device including a central processing unit (CPU), a graphic processing unit (GPU), or another processor. In addition, software may refer to a running process, an object, an executable file, a thread of execution, a program, and the like.

영상 장치(10)는 분석 대상인 공간의 적어도 일부를 촬영하여 이미지 또는 비디오 데이터를 획득하는 장치로서, 예를 들어, 카메라, CCTV, 이미지 센서 등을 포함할 수도 있다. 상기 이미지 센서는 예를 들어, 열화상, 깊이, 라이다 센서 등을 포함할 수도 있다. The imaging device 10 is a device that acquires image or video data by photographing at least a portion of a space to be analyzed, and may include, for example, a camera, a CCTV, an image sensor, and the like. The image sensor may include, for example, a thermal imaging, depth, lidar sensor, and the like.

상기 공간은 다수의 물건이 배치되며, 시간이 흐르면 다수의 물건 중 적어도 일부 물건의 위치가 이동하는 장소이다. 상기 공간에는 하나 이상의 영상 장치(10)가 설치될 수도 있다. The space is a place in which a plurality of objects are disposed, and the positions of at least some of the plurality of objects move over time. One or more imaging devices 10 may be installed in the space.

특정 실시예들에서, 상기 공간은 사용자가 거주하는 주택의 실내 공간 일부 또는 전부일 수도 있다. 예를 들어, 상기 공간은 주택의 거실, 방 등과 같이 건축 당시에 구획된 공간 또는 사용자에 의해 지정된 공간일 수도 있다. 이러한 실내 공간에서 자동으로 청소하는 청소로봇이 이동할 수도 있다. In certain embodiments, the space may be part or all of an indoor space of a house in which the user resides. For example, the space may be a space partitioned at the time of construction, such as a living room or a room of a house, or a space designated by a user. A cleaning robot that automatically cleans in such an indoor space may move.

상기 공간 분석 시스템(1)은 단일 시점 스트리밍 데이터를 획득하거나, 또는 다시점 스트리밍 데이터를 획득할 수도 있다. The spatial analysis system 1 may acquire single-view streaming data, or acquire multi-view streaming data.

또한, 상기 공간 분석 시스템(1)은 상기 하나 이상의 영상 장치(10)를 통해 깊이 정보를 획득할 수도 있다. Also, the spatial analysis system 1 may acquire depth information through the one or more imaging devices 10 .

이와 같이, 공간 분석 시스템(1)은 하나 이상의 영상 장치(10)로부터 모니터링 비디오 데이터(또는 이미지 데이터), 깊이 데이터, 시간 데이터 및 시점 데이터 등 중 적어도 모니터링 비디오 데이터를 포함한 공간 영상 정보를 객체 분석 모듈(100) 또는 특성 분석 모듈(200)로 공급한다. As such, the spatial analysis system 1 collects spatial image information including at least monitoring video data among monitoring video data (or image data), depth data, temporal data, and viewpoint data from one or more imaging devices 10 to the object analysis module (100) or supplied to the characteristic analysis module (200).

도 3은, 본 발명의 일 실시예에 따른, 공간 내 물건의 인식 동작의 개념도이다. 3 is a conceptual diagram of an operation of recognizing an object in a space, according to an embodiment of the present invention.

도 3을 참조하면, 객체 분석 모듈(100)은 다수의 객체가 배치된 대상 공간에서 적어도 하나의 물건을 인식한다. 객체 분석 모듈(100)은 물건의 식별 정보(또는 분류 정보), 촬영 당시 배치 위치, 물건의 사이즈 등을 포함한 인식 결과를 산출할 수도 있다. Referring to FIG. 3 , the object analysis module 100 recognizes at least one object in a target space in which a plurality of objects are disposed. The object analysis module 100 may calculate a recognition result including identification information (or classification information) of an object, an arrangement position at the time of photographing, a size of the object, and the like.

물건은 정돈을 위해 재-배치되는 대상 객체, 또는 정돈 대상의 객체가 배치 또는 수납되는 다른 객체이다. 예를 들어, 물건은 책, 책장, 물컵, 식탁, 스마트 폰(또는 셀룰러 폰), 랩탑, 마우스, 태블릿, 테블릿 펜, 쿠션, 소파, 각티슈, 컵, 인형, 볼펜, 노트, 책 등을 포함할 수도 있다. An object is an object to be re-arranged for arranging, or another object in which an object to be arranged is placed or housed. For example, objects include books, bookshelves, water cups, dining tables, smart phones (or cellular phones), laptops, mice, tablets, tablet pens, cushions, sofas, tissue paper, cups, dolls, ballpoint pens, notebooks, books, etc. You may.

객체 분석 모듈(100)은 다양한 객체 검출 방식, 또는 인식 방식을 사용하여 입력 프레임에서 객체를 검출하고 이를 인식하는 동작을 수행할 수도 있다. 상기 입력 프레임은 모니터링 비디오를 구성하는 프레임이다. 검출 결과는 도 3에 도시된 바와 같이 물건을 둘러싼 영역 데이터를 포함할 수도 있다. The object analysis module 100 may detect an object in an input frame using various object detection methods or recognition methods and perform an operation of recognizing the object. The input frame is a frame constituting a monitoring video. The detection result may include area data surrounding the object as shown in FIG. 3 .

예를 들어, 객체 분석 모듈(100)은 입력 프레임을 미리 학습된 기계학습 모델에 입력하여 입력 프레임에 포함된 객체를 검출할 수도 있다. For example, the object analysis module 100 may input an input frame into a pre-trained machine learning model to detect an object included in the input frame.

또한, 객체 분석 모듈(100)은 입력 프레임의 일부 또는 전부를 미리 학습된 기계학습 모델에 입력하여 상기 객체가 어느 물건인지 인식할 수도 있다. Also, the object analysis module 100 may input a part or all of an input frame into a pre-trained machine learning model to recognize which object the object is.

이러한 기계학습 모델은 입력 영상에서 특징을 추출하여 해당 픽셀 또는 픽셀의 집합이 속하는 클래스를 분류하도록 구성된 네트워크 구조의 모델일 수도 있다. 상기 네트워크 구조는, 예를 들어, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), ResNet(Residual network), DenseNet(Densely connected Convolutional Networks) 등과 같은 객체 검출 및/또는 인지(recongination)를 위해 사용되는 다양한 신경 네트워크 구조를 포함할 수도 있다. Such a machine learning model may be a model of a network structure configured to classify a class to which a corresponding pixel or a set of pixels belongs by extracting features from an input image. The network structure is, for example, object detection and/or such as Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Residual Network (ResNet), Densely Connected Convolutional Networks (DenseNet), etc. It may include various neural network structures used for cognition.

일 실시예에서, 객체 분석 모듈(100)은 객체 검출용 기계학습 모델과 물건 인식용 기계학습 모델을 포함하여 각 동작을 순차적으로 수행할 수도 있다. 이 경우, 객체 분석 모듈(100)은 입력 프레임에서 객체를 검출하고 객체 패치를 생성한 뒤, 객체 패치를 물건 인식용 기계학습 모델에 입력하여 입력 패치의 객체에 매칭하는 물건을 결정할 수도 있다. In an embodiment, the object analysis module 100 may sequentially perform each operation including a machine learning model for object detection and a machine learning model for object recognition. In this case, the object analysis module 100 may detect an object in an input frame and generate an object patch, then input the object patch into a machine learning model for object recognition to determine an object matching the object of the input patch.

또는 다른 일 실시예에서, 물건 검출 및 인식용 단일 기계학습 모델을 포함하여 각 동작을 동시에 수행할 수도 있다. Alternatively, in another embodiment, each operation may be performed simultaneously, including a single machine learning model for object detection and recognition.

각각의 기계학습 모델은 자신의 태스크(task)를 최소한의 오차로 수행하기 위한 파라미터의 값을 갖도록 학습된다. 이를 위해, 기계학습 모델은 복수의 훈련 샘플로 이루어진 훈련 데이터 세트를 사용해 학습되며, 상기 훈련 데이터 세트 내 훈련 샘플 각각은 전술한 물건을 표시한 훈련 영상을 포함할 수도 있다. 특정 실시예들에서, 상기 훈련 샘플은 훈련 영상에 표시된 물건을 지시하는 레이블 데이터를 더 포함할 수도 있다. Each machine learning model is trained to have a parameter value for performing its task with minimum error. To this end, the machine learning model is trained using a training data set including a plurality of training samples, and each training sample in the training data set may include a training image displaying the above-described object. In certain embodiments, the training sample may further include label data indicating an object displayed in the training image.

사용자는 훈련 데이터 세트의 물건 범위를 지정하여 객체 분석 모듈(100)이 검출 및/또는 인식 가능한 물건을 지정할 수도 있다. The user may designate an object range of the training data set to be detected and/or recognizable by the object analysis module 100 .

또한, 다수의 프레임이 입력되는 경우, 객체 분석 모듈(100)은 다수의 프레임에 공통으로 포함된 물건을 추적할 수도 있다. 예를 들어, 객체 분석 모듈(100)은 모니터링 비디오의 일부 또는 전부를 다수의 입력 프레임으로 적어도 하나의 기계학습 모델에 입력하여 물건을 검출 및/또는 인식하고, 검출에 의한 추적(tracking by detection) 기법과 같은 다양한 추적 방식을 사용하여 다수의 입력 프레임 범위에서 해당 물건을 추적할 수도 있다. Also, when a plurality of frames are input, the object analysis module 100 may track an object commonly included in the plurality of frames. For example, the object analysis module 100 detects and/or recognizes an object by inputting some or all of the monitoring video into at least one machine learning model as a plurality of input frames, and tracking by detection It is also possible to track the object over a range of multiple input frames using various tracking methods such as techniques.

객체 분석 모듈(100)에서 수행된 결과, 즉 획득된 물건의 검출 및 인식 결과 등은 특성 분석 모듈(200)로 공급된다. The result performed by the object analysis module 100 , that is, the result of detection and recognition of the obtained object, etc. is supplied to the characteristic analysis module 200 .

특성 분석 모듈(200)은 객체 분석 모듈(100)에 의해 검출 및 인식된 물건의 위치 정보를 산출한다. 상기 위치 정보는 공간을 2차원으로 촬영한 프레임 평면을 기준으로 표시한 2차원 위치 좌표, 및/또는 위치 분포를 포함할 수도 있다. The characteristic analysis module 200 calculates location information of the object detected and recognized by the object analysis module 100 . The position information may include two-dimensional position coordinates and/or position distribution displayed based on a frame plane photographed in two dimensions in space.

특성 분석 모듈(200)은, 예를 들어, Single image depth, depth sensor, SLAM 알고리즘을 통해 3차원 공간 내 물건의 위치 좌표를 산출하고 위치 정보를 생성할 수도 있으나, 이에 제한되진 않는다. The characteristic analysis module 200 may, for example, calculate position coordinates of an object in a three-dimensional space and generate position information through a single image depth, depth sensor, and SLAM algorithm, but is not limited thereto.

또한, 특성 분석 모듈(200)은 프레임별로 산출된 물건의 위치에 기초하여 일정 시간 간격 동안의 물건의 위치 분포를 산출할 수도 있다. 특성 분석 모듈(200)은 물건의 위치별 분포 밀도를 산출할 수도 있다. 물건의 위치별 분포 밀도는 시각적으로 표현될 수도 있다. Also, the characteristic analysis module 200 may calculate the location distribution of the object for a predetermined time interval based on the location of the object calculated for each frame. The characteristic analysis module 200 may calculate a distribution density for each location of an object. The distribution density by location of an object may be visually expressed.

특정 실시예들에서, 영상 장치(10)의 사양 또는 설치 구조에 따라서 깊이 정보가 획득 가능한 경우, 상기 위치 정보는 해당 물건의 깊이 정보를 더 포함할 수도 있다. 예를 들어, 깊이 정보를 획득하도록 구성된 단일 영상 장치(10)(예컨대, RGB-D 센서 등)에 의해 공간 비디오가 촬영되거나, 다수의 영상 장치(10)의 촬영 결과에 기초하여 깊이 정보가 산출되면, 물건의 깊이 정보를 더 포함한 위치 정보가 획득된다. In certain embodiments, when depth information is obtainable according to the specification or installation structure of the imaging apparatus 10 , the location information may further include depth information of the corresponding object. For example, a spatial video is captured by a single imaging device 10 (eg, an RGB-D sensor, etc.) configured to acquire depth information, or depth information is calculated based on shooting results of a plurality of imaging devices 10 . Then, location information further including depth information of the object is obtained.

도 4는, 본 발명의 일 실시예에 따른, 물건 특성의 개념도이다. 4 is a conceptual diagram of object characteristics according to an embodiment of the present invention.

도 4를 참조하면, 특성 분석 모듈(200)은 공간에 대한 물건 특성을 할당한다. 인식된 물건에 대해서 물건 특성이 검출되면 물건 특성이 연관된다. 상기 공간에 대한 물건 특성은 시간에 따른 공간 내 물건의 위치 변화에 기초하여 결정된다. Referring to FIG. 4 , the characteristic analysis module 200 allocates object characteristics to a space. When the object characteristic is detected with respect to the recognized object, the object characteristic is associated. The object characteristic for the space is determined based on a change in the position of the object in the space with time.

일 실시예에서, 상기 물건 특성은 배치 유형 특성을 포함할 수도 있다. 상기 배치 유형 특성은 물체 자체의 특성으로서, 고정형 또는 프리형으로 분류된다. In one embodiment, the object characteristic may include a placement type characteristic. The arrangement type characteristic is a characteristic of the object itself, and is classified as a fixed type or a free type.

물건은 사용자에 의해 정돈이 완료되면 배치 가능성이 높은 정돈 위치(tidy position)를 가진다. 정돈 위치는 통상적으로 원 위치(original position)로 지칭될 수도 있다. The object has a tidy position with a high probability of placement when the user has finished arranging it. The order position may be commonly referred to as the original position.

하나의 물건의 정돈 위치와 다른 물건의 정돈 위치는 서로 상이할 수도 있으며, 이는 해당 물건의 배치 유형 특성을 결정하는데 기준이 된다. The arrangement position of one object and the arrangement position of another object may be different from each other, which is a criterion for determining the arrangement type characteristic of the object.

물건은 상기 공간 내 특정 지역 범위 안에 고정된 정돈 위치를 갖거나, 또는 다수의 후보 위치 중 어느 하나를 정돈 위치로 가질 수도 있다. 책은 책장의 수납 지역 범위 안에 주로 배치하고, 쿠션은 소파의 지지 지역 범위 안에 주로 배치되므로, 이들 물건은 각각 단일 정돈 위치를 가진다. 반면, 스마트폰은 사용자가 정리를 완료할 때마다 정돈 위치가 다를 수도 있다. 사용자는 스마트폰을 다수의 위치에 놔둘 수도 있기 때문에, 스마트폰은 정돈이 완료된 이후 배치될 가능성이 높은 다수의 후보 위치를 가진다. The object may have a fixed arrangement position within a specific area within the space, or may have any one of a plurality of candidate positions as the arrangement position. Since the book is mainly placed within the range of the storage area of the bookcase, and the cushion is mainly placed within the range of the support area of the sofa, these objects each have a single organizing position. On the other hand, the smart phone may have a different arrangement position each time the user completes the arrangement. Since the user may place the smartphone in multiple locations, the smartphone has multiple candidate locations that are likely to be placed after tidying is complete.

특성 분석 모듈(200)은 인식된 물건의 위치 분포에 기초하여 상기 검출된 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 물건인지 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형 물건인지 결정할 수도 있다. 상기 위치 분포는 대상 시간 간격 동안의 인식된 물건의 위치로 이루어진다. The characteristic analysis module 200 determines whether the detected object is a fixed object having a single candidate position as an arrangement position or a free type object having any one of a plurality of candidate arrangement positions as an arrangement position, based on the position distribution of the recognized object. may be The position distribution consists of the position of the recognized object during the target time interval.

일 실시예에서, 특성 분석 모듈(200)은 대상 시간 간격 동안의 해당 물건의 공간 내 이동 경로 및/또는 해당 물건에 대한 배치 군집에 기초하여 적어도 하나의 후보 위치를 산출할 수도 있다. In an embodiment, the characteristic analysis module 200 may calculate at least one candidate location based on a movement path in space of the corresponding object during the target time interval and/or a placement cluster for the corresponding object.

특성 분석 모듈(200)은 인식된 물건을 추적하면서 인식된 물건의 시작점, 종착점으로 이루어진 이동 경로를 산출할 수도 있다. 특성 분석 모듈(200)은 이동 경로의 길이를 산출할 수도 있다. 이동 경로의 길이는 해당 물건의 위치 변화를 의미한다. 고정형으로 분류될 일부 물건에 대해서는 이동 경로의 길이가 상대적으로 짧으며, 실질적으로 0에 가까울 수도 있다. 반면, 프리형으로 분류될 다른 일부 물건에 대해서는 이동 경로의 길이가 상대적으로 길다. The characteristic analysis module 200 may calculate a movement path including a starting point and an ending point of the recognized object while tracking the recognized object. The characteristic analysis module 200 may calculate the length of the movement path. The length of the movement path means a change in the position of the object. For some objects to be classified as stationary, the length of the movement path is relatively short, and may be substantially close to zero. On the other hand, for some other objects to be classified as free type, the length of the movement path is relatively long.

특성 분석 모듈(200)은 대상 시간 간격 동안 각 물건의 이동 경로 및 이들의 거리를 산출하고, 이동 거리가 상대적으로 짧은 물건은 고정형으로 분류하거나 또는 이동 거리가 상대적으로 긴 물건은 프리형으로 분류할 수도 있다. 이동 거리의 길고 짧음은 미리 지정된 거리 임계치와 비교될 수도 있다. 또는 각 물건별 이동 거리의 분포를 통계적으로 분석하여 결정될 수도 있다. 예를 들어, 각 물건별 이동 거리의 분포를 군집화하고 군집 간의 이동 거리 차이가 가장 큰 두 군집을 기준으로 유형 특성을 결정할 수도 있다. The characteristic analysis module 200 calculates the movement path of each object and their distance during the target time interval, and classifies an object with a relatively short moving distance as a fixed type or a free type for an object with a relatively long moving distance. may be Longer and shorter travel distances may be compared to a predefined distance threshold. Alternatively, it may be determined by statistically analyzing the distribution of the moving distance for each object. For example, the distribution of movement distances for each object may be clustered, and type characteristics may be determined based on two clusters having the largest difference in movement distance between the clusters.

또는, 특성 분석 모듈(200)은 대상 시간 간격 동안 물건의 위치 분포로부터 적어도 하나의 군집을 형성할 수도 있다. 동일한 물건에 대해서 특정 위치에 배치되어 있는 경우가 이동하는 경우 대비 높은 분포도를 가지므로, 이런 배치 위치를 중심으로 갖는 군집이 형성될 수도 있다. Alternatively, the characteristic analysis module 200 may form at least one cluster from the location distribution of objects during the target time interval. Since the case of being arranged at a specific position for the same object has a higher distribution than the case of moving, a cluster having this arrangement position as the center may be formed.

배치 군집은 하나 이상이 형성될 수도 있다. 고정형으로 분류될 일부 물건에 대해서는 하나의 배치 군집이 형성될 수도 있다. 프리형으로 분류될 다른 일부 물건에 대해서는 다수의 배치 군집이 형성될 수도 있다. One or more batch clusters may be formed. One batch cluster may be formed for some objects to be classified as fixed type. A plurality of batch clusters may be formed for some other objects to be classified as free-type.

특성 분석 모듈(200)은 대상 시간 간격 동안의 각 물건의 위치 분포로부터 적어도 하나의 배치 군집을 형성하고, 형성된 배치 군집이 상대적으로 많을 경우 프리형으로 결정하거나 또는 형성된 배치 군집이 상대적으로 적을 경우 고정형으로 결정할 수도 있다. 배치 군집의 많고 적음은 미리 지정된 군집 임계치와 비교될 수도 있다. The characteristic analysis module 200 forms at least one batch cluster from the location distribution of each object during the target time interval, and determines as a free type when the formed batch clusters are relatively large, or a fixed type when the formed batch clusters are relatively small. may be decided as The large and small number of batch swarms may be compared to a predefined swarm threshold.

일 실시예에서, 특성 분석 모듈(200)은 배치 군집의 산출 결과 및 이동 경로에 기초하여 해당 물건의 유형 특성을 결정할 수도 있다. 주로 프리형 물건의 경우 잦은 움직임이 촬영되어 이동 경로 중간에 상대적으로 높은 위치 분포를 가질 수도 있다. 또는 정돈을 위해 배치할 수 없는 위치(예컨대, 허공) 주변에 상대적으로 높은 위치 분포를 가지거나, 상대적으로 오랜 시간 동안 위치가 고정되어 배치가 된 것으로 오류가 발생할 수도 있다. 예를 들어, 스마트폰으로 특정 자세로 장시간 통화한 경우 귀에 부착된 위치가 후보 위치로 잘못 산출될 수도 있다. In an embodiment, the characteristic analysis module 200 may determine the type characteristic of the corresponding object based on the result of calculating the placement cluster and the movement path. In the case of a free-type object, frequent movement may be photographed, and thus may have a relatively high position distribution in the middle of the movement path. Alternatively, an error may occur as having a relatively high position distribution around a position that cannot be arranged for order (eg, in the air), or the position is fixed for a relatively long time and arranged. For example, when a smartphone is used for a long time in a specific posture, the position attached to the ear may be incorrectly calculated as a candidate position.

특성 분석 모듈(200)은 배치 군집의 산출 결과 및 이동 경로에 기초하여 후보 위치를 산출함으로써, 보다 정확하게 후보 위치를 획득할 수도 있다. The characteristic analysis module 200 may obtain the candidate position more accurately by calculating the candidate position based on the result of calculating the placement cluster and the movement path.

상기 예시에서, 책과 쿠션에 대한 배치 유형 특성은 고정형 특성으로 결정된다. 반면, 스마트폰에 대한 배치 유형 특성은 프리형 특성으로 결정된다.In the above example, the placement type properties for books and cushions are determined as fixed properties. On the other hand, the placement type characteristic for the smartphone is determined by the free type characteristic.

또한, 특성 분석 모듈(200)은 각 물건에 대한 후보 위치에 기초하여 정돈 위치를 결정할 수도 있다. 고정형 물건에 대해서는 후보 위치가 하나가 획득되므로, 후보 위치가 바로 정돈 위치로 결정된다. Also, the characteristic analysis module 200 may determine an arrangement position based on a candidate position for each object. Since one candidate position is obtained for a stationary object, the candidate position is directly determined as the tidy position.

특성 분석 모듈(200)은 프리형 물건에 대해서는 다수의 후보 위치 중 어느 하나의 위치를 정돈 위치로 결정할 수도 있다. 일부 실시예에서, 특성 분석 모듈(200)은 통계적으로 다수의 후보 위치 중 어느 하나를 정돈 위치로 결정할 수도 있다. 예를 들어, 가장 높은 위치 분포 밀도를 갖는 후보 위치가 정돈 위치로 결정될 수도 있다. 다른 일부 실시예에서, 특성 분석 모듈(200)은 다수의 후보 위치 중 사용자 입력이 가리키는 후보 위치를 정돈 위치로 결정할 수도 있다. The characteristic analysis module 200 may determine any one of a plurality of candidate positions as an arrangement position with respect to a free-type object. In some embodiments, the characteristic analysis module 200 may statistically determine any one of a plurality of candidate positions as an order position. For example, a candidate position having the highest position distribution density may be determined as an order position. In some other embodiments, the characteristic analysis module 200 may determine a candidate location indicated by a user input among a plurality of candidate locations as an orderly location.

일 실시예에서, 상기 물건 특성은 상관 특성을 더 포함할 수도 있다. 도 4에 도시된 바와 같이, 특성 분석 모듈(200)은 상기 공간에서 복수의 물건이 검출될 경우, 복수의 물건 중 하나 이상의 물건에 상관 특성을 할당하도록 더 구성될 수도 있다. 상기 상관 특성은 다른 물건을 기준으로 갖는 위치적 특성으로서, 전술한 유형 특성과 별도의 물건 특성이다. 단일 물건에 유형 특성 및 상관 특성이 모두 할당될 수도 있다. In an embodiment, the object characteristic may further include a correlation characteristic. As shown in FIG. 4 , when a plurality of objects are detected in the space, the characteristic analysis module 200 may be further configured to assign a correlation characteristic to one or more objects among the plurality of objects. The correlation characteristic is a positional characteristic having another object as a reference, and is an object characteristic separate from the above-described type characteristic. A single object may be assigned both type properties and correlation properties.

상관 특성은 서로 다른 두 물건 중에서 어느 하나의 물건이 다른 물건의 배치 위치(또는 지역)에 종속되는 위치적 상관 관계를 나타낸다. 여기서, 종속된다는 것은 다른 물건의 위치 분포와 동일 또는 유사한 분포를 가지며, 위치의 종속 관계를 갖는 물건의 쌍은 상기 하나의 물건이 움직이는 영역이 다른 물건의 배치 위치 주변에 상기 대상 시간 간격의 거의 대부분 또는 전부 동안 머무는 관계를 가진다. 상관 특성은 위치적 상관 관계를 갖는 물건의 쌍 중에서 보다 이동성이 높은 물건에 할당된다. 이동성이 낮은 물건이 상관 관계의 기준으로 사용된다. 이로 인해, 상관 특성을 갖는 물건은 움직임이 있더라도 다른 물건의 주변 지역 내의 위치 분포를 가진다. 예를 들어, 마우스는 랩탑의 주변 지역 내의 위치 분포를 가진다. 테블릿 펜은 테블릿의 주변 지역 내의 위치 분포를 가진다. 또는, 책은 책상의 주변 지역 내의 위치 분포를 가진다. The correlation characteristic indicates a positional correlation in which one object is subordinated to the arrangement position (or region) of the other object among two different objects. Here, being dependent means having a distribution equal to or similar to the location distribution of another object, and a pair of objects having a location dependent relationship indicates that the area in which the one object moves is around the placement position of the other object for almost most of the target time interval. Or have a relationship that stays all the time. The correlation characteristic is assigned to an object having a higher mobility among a pair of objects having a positional correlation. Objects with low mobility are used as the criterion for correlation. Due to this, an object having a correlation characteristic has a location distribution within the surrounding area of another object even if there is a movement. For example, a mouse has a location distribution within the peripheral area of a laptop. The tablet pen has a distribution of positions within the surrounding area of the tablet. Alternatively, the book has a distribution of positions within the surrounding area of the desk.

이와 같이, 다른 물건에 대해 위치적 종속 관계를 갖는 물건에게 상관 특성이 할당되면, 상관 특성이 있다는 데이터, 및/또는 상관 관계를 갖는 다른 물건에 관한 (예컨대, 식별정보) 데이터가 상기 상관 특성이 할당된 물건 데이터와 연관된다. In this way, when a correlation characteristic is assigned to an object having a positional dependency with respect to another object, data indicating that the correlation characteristic and/or data relating to another object having a correlation (eg, identification information) is determined that the correlation characteristic is Associated with the assigned object data.

일 실시예에서, 상기 상관 특성은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 상기 하나의 물건에게 할당될 수도 있다. 인식된 물건이 상관 특성을 갖는지 여부는 다른 물건과의 거리에 의존한다.In an embodiment, the correlation characteristic may be assigned to the one object based on the distance between the one object and the other object during the target time interval. Whether or not a recognized object has a correlation property depends on its distance from other objects.

특성 분석 모듈(200)은 복수의 물건이 검출될 경우, 각 물건의 위치 분포에 기초하여 상관 특성을 결정할 수도 있다. 특성 분석 모듈(200)은 검출된 복수의 물건 각각의 위치 분포를 산출하고, 다른 물건의 위치로부터 소정 범위 내의 위치 분포를 갖는 특정 물건에 대해서는 상관 특성을 할당할 수도 있다. When a plurality of objects are detected, the characteristic analysis module 200 may determine a correlation characteristic based on a location distribution of each object. The characteristic analysis module 200 may calculate a location distribution of each of the detected plurality of objects, and assign a correlation characteristic to a specific object having a location distribution within a predetermined range from the location of another object.

다른 일 실시예에서, 상기 상관 특성은 인식 결과에 기초하여 할당될 수도 있다. 특성 분석 모듈(200)은 특정 물건과 하나 이상의 다른 물건 사이의 상관 관계를 기록한 상관 테이블을 미리 저장할 수도 있다. 상기 상관 테이블은 사용자에 의해 정의된다. In another embodiment, the correlation characteristic may be assigned based on a recognition result. The characteristic analysis module 200 may store in advance a correlation table in which a correlation between a specific object and one or more other objects is recorded. The correlation table is defined by the user.

그러면, 특성 분석 모듈(200)은 객체 분석 모듈(100)에 의해 인식된 물건를 미리 저장된 상관 테이블에서 탐색하여 탐색된 물건이 연관된 상관관계를 획득한다. 그리고 상관관계 상의 두 개의 물건 중 어느 하나의 물건에게 상관 특성을 할당한다. 예를 들어, 획득된 상관관계 상의 다른 물건이 인식되었고, 인식된 물건과 다른 물건 간의 위치 분포에 기초하여 한 쌍의 물건 중 다른 하나의 물건의 위치 분포에 종속된 나머지 물건에게 상관 특성을 할당한다. Then, the characteristic analysis module 200 searches for the object recognized by the object analysis module 100 in a correlation table stored in advance, and acquires a correlation associated with the searched object. Then, the correlation characteristic is assigned to any one of the two objects in the correlation. For example, another object in the obtained correlation is recognized, and a correlation characteristic is assigned to the other object dependent on the location distribution of the other object among the pair of objects based on the location distribution between the recognized object and the other object. .

이와 같이 시간에 따른 위치 정보를 통계적으로 분석하여 각 물건별로 물건 특성을 할당한다. In this way, by statistically analyzing location information according to time, object characteristics are assigned to each object.

도 5 내지 도 7은, 본 발명의 일 실시예에 따른, 각 물건에 대해 물건 특성이 할당된 결과를 도시한 도면이다. 5 to 7 are diagrams illustrating a result of allocating object characteristics to each object according to an embodiment of the present invention.

도 5 내지 도 7에서 위치별 분포 밀도는 색상으로 표현된다. 파장이 높은 색상의 분포 밀도가 상대적으로 높다. 예를 들어, 빨간 색상이 상대적으로 높다. 5 to 7 , the distribution density for each location is expressed by color. The distribution density of colors with high wavelengths is relatively high. For example, the color red is relatively high.

도 3의 공간에서 인식된 머그 컵, 쿠션, 각 티슈, 곰인형은 대상 시간 간격 동안 상대적으로 움직임이 없으며 특정 위치에서 상대적으로 높은 분포 밀도를 가진다. 이로 인해, 도 5a 내지 도 5d에 도시된 바와 같이, 머그 컵, 쿠션, 각 티슈, 곰인형에 대해서는 고정형 특성이 할당된다. The mug cups, cushions, tissues, and teddy bears recognized in the space of FIG. 3 are relatively motionless during the target time interval and have a relatively high distribution density at a specific location. For this reason, as shown in FIGS. 5A to 5D , a fixed type property is assigned to a mug cup, a cushion, each tissue, and a teddy bear.

도 3의 공간에서 인식된 핸드폰, 마우스, 볼펜, 랩탑은 대상 시간 간격 동안 상대적으로 움직임이 많으며 다수의 위치(즉, 다수의 후보 위치)에서 상대적으로 높은 분포 밀도가 측정된다. 그러면, 도 6a 내지 도 6d에 도시된 바와 같이, 핸드폰, 마우스, 볼펜, 랩탑에 대해서는 프리형 특성이 할당된다. The mobile phone, mouse, ballpoint pen, and laptop recognized in the space of FIG. 3 have relatively high movement during the target time interval, and a relatively high distribution density is measured at multiple locations (ie, multiple candidate locations). Then, as shown in FIGS. 6A to 6D , free-type characteristics are assigned to a mobile phone, a mouse, a ballpoint pen, and a laptop.

도 3의 공간에서 인식된 볼펜은 공책 주변에서 위치 분포를 가지며, 마우스는 랩탑 주변에서 위치 분포를 가진다. The ballpoint pen recognized in the space of FIG. 3 has a location distribution around the notebook, and the mouse has a location distribution around the laptop.

그러면, 도 7a에 도시된 바와 같이, 볼펜에는 상관 특성이 추가로 할당된다. 볼펜이 위치적 상관 관계를 갖는 다른 물건(즉, 도 7a의 공책)의 정보가 상기 볼펜 데이터에 연관된다. Then, as shown in Fig. 7A, the ballpoint pen is additionally assigned a correlation characteristic. Information of another object with which the ballpoint pen has a positional correlation (ie, the notebook in FIG. 7A ) is associated with the ballpoint pen data.

또한, 도 7b에 도시된 바와 같이, 마우스에는 상관 특성이 추가로 할당된다. 마우스가 위치적 상관 관계를 갖는 물건(즉, 도 7b의 랩탑)의 정보가 마우스 데이터에 연관된다. In addition, as shown in Figure 7b, mice are additionally assigned a correlation trait. Information of the object with which the mouse has a positional correlation (ie, the laptop in FIG. 7B ) is associated with the mouse data.

특성 분석 모듈(200)에 의해 산출된, 물건의 위치 정보, 또는 유형 특성 및/또는 상관 특성을 포함한 물건 특성 정보 등이 공간 분석 모듈(300)로 공급된다. The location information of the object or object characteristic information including type characteristics and/or correlation characteristics calculated by the characteristic analysis module 200 is supplied to the spatial analysis module 300 .

공간 분석 모듈(300)은 위치적 통계를 통해 할당된 물건 특성을 바탕으로 공간의 복잡도를 계산하여 해당 공간이 어지러진 정도를 정량적으로 수치화한다. The spatial analysis module 300 quantitatively quantifies the degree of disorganization of the space by calculating the complexity of the space based on the properties of objects allocated through locational statistics.

우선, 복잡도를 계산하기 위해, 공간 분석 모듈(200)은 물건의 촬영 위치(즉, 입력 프레임 상의 위치)와 후보 위치 사이의 거리를 계산할 수도 있다. 단일 후보 위치를 갖는 고정형 물건에 대해서는 정돈 위치에 대응하는 상기 단일 후보 위치로부터의 거리가 두 위치 사이의 거리로 계산된다. 다수의 후보 위치를 갖는 프리형 물건에 대해서는 각각의 후보 위치에 대해서 두 위치 사이의 거리가 계산된다. First, in order to calculate the complexity, the spatial analysis module 200 may calculate a distance between a photographing position (ie, a position on an input frame) of an object and a candidate position. For a stationary object with a single candidate location, the distance from the single candidate location corresponding to the tidy location is calculated as the distance between the two locations. For a free-form object having multiple candidate positions, the distance between the two positions is calculated for each candidate position.

상기 두 위치 사이의 거리를 계산하는 기법은 벡터와 벡터 간의 유사도를 계산하는 다양한 기법을 포함할 수도 있다. 예를 들어, 상기 두 위치 사이의 거리를 계산하는 기법은 유클리드 거리, 코사인 거리 등을 포함할 수도 있으나, 이에 제한되진 않는다. The technique for calculating the distance between the two locations may include various techniques for calculating the similarity between the vector and the vector. For example, the technique for calculating the distance between the two positions may include, but is not limited to, a Euclidean distance, a cosine distance, and the like.

일부 실시예에서, 공간 분석 모듈(300)은 객체 분석 모듈(100), 특성 분석 모듈(200)의 산출 결과를 정규화할 수도 있다. In some embodiments, the spatial analysis module 300 may normalize the calculation results of the object analysis module 100 and the characteristic analysis module 200 .

공간 분석 모듈(300)은 물건의 위치, 물건의 위치 분포, 물건 간의 거리, 위치 간의 거리 등을 미리 지정된 스케일로 정규화할 수도 있다. The spatial analysis module 300 may normalize the location of the object, the distribution of the location of the object, the distance between objects, the distance between the locations, and the like to a predetermined scale.

상기 공간 분석 모듈(300)은 공간 복잡도를 계산할 수도 있다. 공간 복잡도는 물건 특성의 하위 성분별로 계산된 하위 복잡도에 기초한다. The spatial analysis module 300 may calculate spatial complexity. The spatial complexity is based on the calculated subcomplexity for each subcomponent of the object property.

전술한 바와 같이 물건 특성은 유형 특성을 포함하거나, 유형 특성 및 상관 특성을 포함할 수도 있다. 그러면, 공간 분석 모듈(300)은 고정형 물건으로 이루어진 그룹에 대한 하위 복잡도, 프리형 물건으로 이루어진 그룹에 대한 하위 복잡도, 및/또는 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 하위 복잡도를 각각 계산할 수도 있다. 각각의 하위 복잡도를 계산함으로써, 전체 공간에 대한 복잡도를 계산할 수도 있다.As described above, the object characteristic may include a type characteristic, or may include a type characteristic and a correlation characteristic. Then, the spatial analysis module 300 may calculate a sub-complexity for a group consisting of fixed objects, a lower complexity for a group consisting of free-type objects, and/or a sub-complexity for a group consisting of objects having correlation characteristics. . By calculating each subcomplexity, it is also possible to calculate the complexity for the entire space.

일 실시예에서, 상기 공간 분석 모듈(300)은 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 제1 하위 복잡도를 계산할 수도 있다. In an embodiment, the spatial analysis module 300 may calculate a first sub-complexity for a first group of fixed objects based on a distance between a photographing position and an arrangement position of each fixed object.

일 실시예에서, 상기 공간 분석 모듈(300)은 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 제2 하위 복잡도를 계산할 수도 있다. In an embodiment, the spatial analysis module 300, with respect to the second group of objects having a correlation characteristic, based on the distance between the photographing position of the object having each correlation characteristic and the photographing position of another object having the correlation Thus, the second sub-complexity may be calculated.

일 실시예에서, 상기 공간 분석 모듈(300)은 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 제3 하위 복잡도를 계산할 수도 있다. 상기 제3 하위 복잡도를 계산하는데 사용되는 하나의 후보 위치는 정돈 위치로 결정된 후보 위치이거나, 또는 촬영 위치와 가장 가까운 후보 위치일 수도 있다. In an embodiment, the spatial analysis module 300 is configured to: for the third group of free-type objects, based on the distance between the photographing position of each free-type object and one candidate position among a plurality of candidate positions of the free-type object Thus, the third sub-complexity may be calculated. One candidate position used to calculate the third lower complexity may be a candidate position determined as an order position, or a candidate position closest to the photographing position.

일 실시예에서, 공간 분석 모듈(300)은 아래의 수학식에 의해 공간 분석도(DoIM, Degree of Indoor Messiness)를 계산할 수도 있다. In an embodiment, the spatial analysis module 300 may calculate a degree of indoor messiness (DoIM) by the following equation.

여기서, 상기 수학식 1의 첫번째 항(term)은 고정형 물건으로 이루어진 상기 제1 그룹에 대한 하위 분석도로서, Oi는 제1 그룹 내 i번째 물건의 촬영 위치를 나타내고, Oiorg는 i번째 물건의 정돈 위치(즉, 원 위치)를 나타낸다. Here, the first term in Equation 1 is a sub-analysis diagram for the first group consisting of fixed objects, where Oi indicates the photographing location of the i-th object in the first group, and Oiorg is the arrangement of the ith object Indicates a position (ie, the original position).

두번째 항은 상관 특성을 갖는 물건으로 이루어진 상기 제2 그룹에 대한 하위 분석도로서, Oj는 제2 그룹 내 j번째 물건의 촬영 위치를 나타내고, Oj-related는 상관 관계를 갖는 다른 물건의 촬영 위치를 나타낸다. The second term is a sub-analysis diagram for the second group consisting of objects having a correlation characteristic, where Oj indicates the photographing location of the j-th object in the second group, and Oj-related indicates the photographing location of another object having a correlation indicates.

세번째 항은 프리형 물건으로 이루어진 상기 제3 그룹에 대한 하위 분석도로서, Ok는 제3 그룹 내 k번째 물건의 촬영 위치를 나타내고 Ok-nearleast-candidate는 k번째 물건에서 가장 가까운 후보 위치를 나타낸다. 대안적인 다른 실시예에서, 세번째 항은 k번?? 물건의 촬영 위치와 k번째 물건의 정돈 위치로 특성 분석 모듈(200)에 의해 결정된 후보 위치에 기초할 수도 있다. The third term is a sub-analysis diagram for the third group consisting of free-type objects, where Ok indicates the photographing position of the k-th object in the third group and Ok-nearleast-candidate indicates the closest candidate position to the k-th object. In another alternative embodiment, the third term is k ?? The shooting position of the object and the arrangement position of the k-th object may be based on a candidate position determined by the characteristic analysis module 200 .

한편, N1은 공간 복잡도를 정규화하기 위한 요소로서, 예를 들어 인식된 물건의 전체 수일 수도 있으나, 이에 제한되지 않으며 다른 형태로 구현될 수도 있다. Meanwhile, N1 is a factor for normalizing spatial complexity, and may be, for example, the total number of recognized objects, but is not limited thereto and may be implemented in other forms.

상기 수학식 1에 따르면, 공간 복잡도는 낮은 값을 가질수록 정돈이 잘 되는 것을 의미한다. According to Equation 1, the lower the spatial complexity, the better the arrangement.

상기 수학식 1에서는 정규화된 거리(nDist) 값이 사용되었으나, 이에 제한되지 않으며, 정규화되지 않은 원시 거리(Dist) 값이 상기 수학식 1에 적용될 수도 있다. In Equation 1, a normalized distance (nDist) value is used, but the present invention is not limited thereto, and an unnormalized raw distance (Dist) value may be applied to Equation 1 above.

일 실시예에서, 공간 분석 모듈(300)은 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 상기 제1 하위 복잡도, 제2 하위 복잡도 및/또는 제3 하위 복잡도를 계산할 수도 있다. 일반적으로 사람은 어질러진 물건의 사이즈가 클수록 공간 상태가 더 어질러졌다고 보는 경향이 있기 때문이다. In an embodiment, the spatial analysis module 300 may calculate the first sub-complexity, the second sub-complexity, and/or the third sub-complexity based on the size of each object in the group for each object characteristic. This is because, in general, people tend to see that the bigger the size of a messy object, the more messy the space is.

예를 들어, 공간 분석 모듈(300)은 물건 특성별 그룹 내 각 물건의 사이즈가 적용된 다음의 수학식에 의해 계산될 수도 있다. For example, the spatial analysis module 300 may be calculated by the following equation to which the size of each object in the group by object characteristic is applied.

여기서, α는 해당 물건의 사이즈를 나타낸다. 상기 물건의 사이즈는 원시 값 또는 이를 정규화한 값일 수도 있다. 상기 원시 값은 객체 분석 모듈(100)에 의해 물건의 사이즈로 산출된 값으로서, 도 4의 패치 사이즈 또는 세그먼트 사이즈일 수도 있다. 정규화 값은 상기 원시 값을 미리 지정된 스케일 범위에 맞추서 조정된 값일 수도 있다. N2는 수학식 1의 N1과 마찬가지로 정규화 파라미터로서, 인식된 물건의 전체 수일 수도 있으나, 이에 제한되지 않으며 다른 형태로 구현될 수도 있다.Here, α represents the size of the object. The size of the object may be a raw value or a normalized value thereof. The raw value is a value calculated as the size of the object by the object analysis module 100 and may be the patch size or the segment size of FIG. 4 . The normalized value may be a value adjusted by adjusting the raw value to a predetermined scale range. N2 is a normalization parameter like N1 in Equation 1, and may be the total number of recognized objects, but is not limited thereto and may be implemented in other forms.

도 8a 및 도 8b는, 본 발명의 일 실시예에 따른, 공간 복잡도 계산 결과를 도시한 도면이다. 8A and 8B are diagrams illustrating spatial complexity calculation results according to an embodiment of the present invention.

도 8a 및 도 8b를 참조하면, 동일한 공간에 대해서 어질러진 상태에 따라서 서로 다른 공간 복잡도가 계산된다. 도 8b와 같이 상대적으로 이전 시간에서는 물건이 어질러져 있었지만 이후 정돈이 완료되된 공간이 촬영되는 경우, 공간 분석 모듈(300)에 의해 계산되는 공간 복잡도의 값은 점차적으로 낮아진다. 반면, 도 8a와 같이 상대적으로 이전 시간에서는 정돈되었지만 이후 물건이 어질러진 공간이 촬영되는 경우, 공간 분석 모듈(300)에 의해 계산되는 공간 복잡도의 값은 점차적으로 증가한다. Referring to FIGS. 8A and 8B , different spatial complexity is calculated according to a messy state for the same space. As shown in FIG. 8B , when a space in which things were relatively cluttered in the previous time but has been sorted after is photographed, the value of the spatial complexity calculated by the spatial analysis module 300 is gradually lowered. On the other hand, as shown in FIG. 8A , when a space in which objects are relatively untidy at the previous time is photographed, the value of the spatial complexity calculated by the spatial analysis module 300 gradually increases.

이와 같이, 공간 분석 모듈(300)은 각각의 하위 분석도를 종합하여 공간 복잡도를 계산할 수 있다. 각 위치적 물건 특성에 따른 개별 복잡도를 통해 전체 공간 복잡도를 계산하면, 물건 특성을 반영하여 공간의 어지러짐 정도를 도 8에 도시된 바와 같이, 정량적으로 분석할 수도 있다.In this way, the spatial analysis module 300 may calculate the spatial complexity by synthesizing each sub-analysis diagram. When the total spatial complexity is calculated through the individual complexity according to each locational object characteristic, the degree of spatial clutter by reflecting the object characteristic may be quantitatively analyzed as shown in FIG. 8 .

공간 분석 모듈(300)은 공간 복잡도의 계산 결과에 기초하여 특정 시간에서의 공간 상태를 결정할 수도 있다. 공간 분석 모듈(300)은 수학식 1 또는 2 등과 같이 수학식 형태에 따른 공간 복잡도의 값에 기초하여 미리 설정된 기준과 계산된 공간 복잡도를 비교하여 공간 상태를 결정한다. The spatial analysis module 300 may determine the spatial state at a specific time based on the calculation result of the spatial complexity. The spatial analysis module 300 determines the spatial state by comparing the calculated spatial complexity with a preset criterion based on the value of the spatial complexity according to the form of the equation, such as Equation 1 or 2, and the like.

일 예시에서, 공간 분석 모듈(300)은 정돈 상태 또는 청소 요구 상태로 공간 상태를 결정할 수도 있다. 이 경우 공간 분석 모듈(300)은 미리 설정된 기준 값과 비교하여, 계산된 공간 복잡도가 기준 값 미만일 경우 정돈 상태로 결정한다. 계산된 공간 복잡도가 기준 값 이상이면 청소 요구 상태로 공간 상태를 결정할 수도 있다. In one example, the space analysis module 300 may determine the space state as an orderly state or a cleaning request state. In this case, the spatial analysis module 300 compares with a preset reference value, and determines to be in an orderly state when the calculated spatial complexity is less than the reference value. If the calculated space complexity is equal to or greater than the reference value, the space state may be determined as a cleaning request state.

그러나, 공간 상태를 구현하는 것이 이에 제한되진 않으며, 둘 이상의 상태로 세분화될 수도 있다. However, implementation of the spatial state is not limited thereto, and may be subdivided into two or more states.

상기 공간 분석 시스템(1)은 공간 복잡도 계산 결과 및/또는 이를 계산하는데 사용된 정보를 사용자에게 제공할 수도 있다. 상기 공간 분석 시스템(1)은 연동된 사용자 단말 또는 내부 출력 장치(예컨대, 디스플레이)를 통해 인식된 물건의 촬영 위치, 물건의 정돈 위치, 이동 경로, 위치 분포, 계산된 공간 복잡도, 공간 상태 등을 포함한 공간 분석 정보를 사용자에게 제공할 수도 있다. The spatial analysis system 1 may provide a spatial complexity calculation result and/or information used to calculate the spatial complexity to the user. The spatial analysis system 1 analyzes the photographing position of an object recognized through an interlocked user terminal or an internal output device (eg, a display), an arrangement position of an object, a movement path, a location distribution, a calculated spatial complexity, a spatial state, and the like. It is also possible to provide the user with spatial analysis information, including

또한, 공간 분석 시스템(1)은 청소로봇과 연동될 수도 있다. 그러면, 공간 분석 시스템(1)은 상기 공간 분석 정보 중 적어도 일부에 기초한 제어 명령을 생성하고 이를 청소로봇에 전송할 수도 있다. In addition, the spatial analysis system 1 may be linked with the cleaning robot. Then, the spatial analysis system 1 may generate a control command based on at least a part of the spatial analysis information and transmit it to the cleaning robot.

일 실시예에서, 청소로봇이 물건을 이동시켜 물건을 정돈하도록 구성될 경우, 공간 분석 시스템(1)은 (예컨대, 공간 분석 모듈(300)에 의해) 공간 상태가 청소 요구 상태로 결정된 경우, 물건의 정돈 위치 및 촬영 위치, 촬영 위치와 정돈 위치가 상이한 물건을 정돈 위치로 재배치하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송할 수도 있다. In one embodiment, when the cleaning robot is configured to move the object to arrange the object, the spatial analysis system 1 (eg, by the spatial analysis module 300 ) determines that the space state is a cleaning request state, It is also possible to transmit a control command including a driving command for rearranging the tidying position and shooting position of the photographing position and the object having a different arrangement position to the tidying position to the cleaning robot.

또는, 청소로봇이 바닥을 닦는 것과 같이 바닥을 청소하도록 구성된 경우, 공간 분석 시스템(1)은 공간 상태가 청소 요구 상태가 아닌 상태로 결정된 경우, 바닥 청소를 개시하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송할 수도 있다. 바닥을 닦는 청소로봇의 경우 바닥에 장애물이 많이 있으면 움직임에 어려움이 있기 ??문이다. Alternatively, when the cleaning robot is configured to clean the floor, such as wiping the floor, the space analysis system 1 receives a control command including a drive command to start cleaning the floor when it is determined that the space state is not a cleaning request state. It may be transmitted to the cleaning robot. In the case of a cleaning robot that wipes the floor, if there are many obstacles on the floor, it is difficult to move.

이와 같이, 공간 분석 시스템(1)은 실내 공간 분석을 통해 물건 정보를 획득할 수 있다. 공간 분석 시스템(1)은 모든 물건에 대한 추적이 가능하므로, 사용자(특히, 고령화 시대의 노인)에게 물건의 위치를 쉽게 알려준다. In this way, the spatial analysis system 1 may acquire object information through indoor spatial analysis. Since the spatial analysis system 1 can track all objects, it easily informs a user (especially, an elderly person in an aging age) the location of the object.

상기 공간 분석 시스템(1)이 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 또한, 상기 공간 분석 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.It will be apparent to a person skilled in the art that the spatial analysis system 1 may include other components not described herein. The spatial analysis system 1 also includes network interfaces and protocols, input devices for data entry, and other hardware components necessary for the operation described herein, including output devices for display, printing or other data presentation. may include.

본 발명의 다른 일 측면에 따른 공간 분석 방법은 하나 이상의 영상 장치 및 하나 이상의 프로세서에 의해 수행될 수도 있다. 이하 설명의 명료성을 위해, 상기 공간 분석 시스템(1)에 의해 수행되는 실시예들로 공간 분석 방법을 보다 상세하게 서술한다. The spatial analysis method according to another aspect of the present invention may be performed by one or more imaging devices and one or more processors. For clarity of the description below, the spatial analysis method will be described in more detail with embodiments performed by the spatial analysis system 1 .

도 9는, 본 발명의 일 실시예에 따른, 공간 분석 방법의 흐름도이다. 9 is a flowchart of a spatial analysis method according to an embodiment of the present invention.

도 9를 참조하면, 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 방법은: 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계(S910); 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계(S920); 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계(S930)를 포함한다. 특정 실시예들에서, 상기 공간 분석 방법은: 공간 분석 정보를 사용자에게 제공하는 단계(S940); 및/또는 공간 분석 정보 중 적어도 일부에 기초한 제어 명령을 청소로봇에 전송하는 단계(S950)를 더 포함할 수도 있다. Referring to FIG. 9 , a spatial analysis method for calculating spatial complexity based on object characteristics in space includes: receiving a monitoring video photographed in space and recognizing at least one object in a frame of a target time interval ( S910 ); allocating at least one object characteristic to a corresponding space based on the location of the object according to time (S920); and calculating a spatial complexity obtained by quantifying the degree of clutter of the space based on at least one object characteristic of the space (S930). In certain embodiments, the spatial analysis method may include: providing spatial analysis information to a user (S940); and/or transmitting a control command based on at least a part of the spatial analysis information to the cleaning robot (S950).

일 실시예에서, 상기 적어도 하나의 물건을 인식하는 단계(S910)는: 입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하는 단계; 및 인식된 물건의 프레임 시간에서의 위치 정보를 추출하는 단계를 포함할 수도 있다. In one embodiment, the step of recognizing the at least one object (S910) may include: recognizing the object displayed in the input frame as at least one object designated as a tidy-up target; and extracting location information in the frame time of the recognized object.

일 실시예에서, 상기 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계(S920)는: 상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 유형 특성을 결정하는 단계 및 결정된 유형 특성을 상기 물건에 할당하는 단계를 포함할 수도 있다. 도 3을 참조하여 전술한 바와 같이, 상기 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함할 수도 있다. In an embodiment, the allocating at least one object characteristic for the space ( S920 ) includes: determining the type characteristic of the object based on the location distribution of the recognized object during the target time interval, and the determined assigning a tangible characteristic to the object. As described above with reference to FIG. 3 , the tangible characteristic may include a fixed type in which the object has a single candidate arrangement position as an arrangement position or a free type in which the object has any one of a plurality of candidate arrangement positions as an arrangement position.

일 실시예에서, 상기 단계(S920)는: 상기 공간에서 복수의 물건이 인식될 경우, 다른 물건과 위치적 상관 관계를 갖는 물건에 상관 특성을 할당하는 단계를 더 포함할 수도 있다. In an embodiment, the step S920 may further include: when a plurality of objects are recognized in the space, allocating a correlation characteristic to an object having a positional correlation with another object.

일 실시예에서, 상관 특성은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 할당될 수도 있다. In an embodiment, the correlation characteristic may be assigned based on the distance between one object and another object during the target time interval.

또는, 다른 일 실시예에서, 상관 특성은 미리 저장된 상관 테이블을 사용하여 할당된다. 인식된 복수의 물건 중 적어도 두 개의 물건에 연관된 상관관계가 미리 저장된 물건 간 상관관계에 포함되어 있는 경우, 인식된 적어도 두 개의 물건은 상관 특성을 갖는 것으로 결정된다. Or, in another embodiment, the correlation characteristic is assigned using a pre-stored correlation table. When a correlation related to at least two objects among a plurality of recognized objects is included in the correlation between pre-stored objects, it is determined that the at least two recognized objects have a correlation characteristic.

일 실시예에서, 단계(S930)의 공간 분석도는 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 계산된다. In an embodiment, the spatial analysis diagram of step S930 includes a first sub-complexity for a group consisting of fixed objects, a second sub-complexity for a group consisting of objects having a correlation characteristic, and a second sub-complexity for a group consisting of free-type objects. It is calculated based on at least one of the 3 sub-complexities.

상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고, 상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고 상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산된다. 이에 대해서는 상기 수학식 1을 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다. The first sub-complexity is calculated based on a distance between a photographing position and an arrangement position of each fixed object for a first group of fixed objects, and the second lower complexity is a second sub-complexity of objects having a correlation characteristic. for the group, it is calculated based on the distance between the photographing position of the object having each correlation characteristic and the photographing position of another object having the correlation, and the third sub-complexity is, for a third group of free-type objects , is calculated based on the distance between the photographing position of each free-type object and one of the plurality of candidate positions of the free-type object. As this has been described above with reference to Equation 1, a detailed description thereof will be omitted.

일 실시예에서, 상기 공간 복잡도를 계산하는데 사용되는 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나는 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 계산될 수도 있다. 이에 대해서는 상기 수학식 2를 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다. In an embodiment, at least one of the first sub-complexity to the third sub-complexity used to calculate the spatial complexity may be further calculated based on the size of each object in the group for each object characteristic. As this has been described above with reference to Equation 2, a detailed description thereof will be omitted.

이상에서 설명한 실시예들에 따른 공간 분석 시스템(1) 및 방법의 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다. The operation of the spatial analysis system 1 and the method according to the embodiments described above may be at least partially implemented as a computer program, and recorded in a computer-readable recording medium. For example, embodied with a program product consisting of a computer-readable medium containing program code, which may be executed by a processor for performing any or all steps, operations, or processes described.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.The computer may be any device that may be integrated with or may be a computing device such as a desktop computer, laptop computer, notebook, smart phone, or the like. A computer is a device having one or more alternative and special purpose processors, memory, storage, and networking components (either wireless or wired). The computer may run, for example, an operating system compatible with Microsoft's Windows, an operating system such as Apple OS X or iOS, a Linux distribution, or Google's Android OS.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다. The computer-readable recording medium includes all kinds of recording identification devices in which computer-readable data is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage identification device, and the like. In addition, the computer-readable recording medium may be distributed in network-connected computer systems, and the computer-readable code may be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which the present embodiment belongs.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.Although the present invention as described above has been described with reference to the embodiments shown in the drawings, it will be understood that these are merely exemplary, and that various modifications and variations of the embodiments are possible therefrom by those of ordinary skill in the art. However, such modifications should be considered to be within the technical protection scope of the present invention. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

Claims

공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템에 있어서,
공간을 촬영하여 모니터링 비디오를 획득하는 하나 이상의 영상 장치;
공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 객체 분석 모듈;
인식된 물건에 대해, 상기 공간 내에서의 시간에 따른 물건의 위치 변화를 기반으로 물건 특성을 결정하여 할당하는 특성 분석 모듈; 및
상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 공간 분석 모듈;을 포함하며,
상기 물건 특성은,
배치 유형 특성을 포함하고,
상기 특성 분석 모듈은,
상기 대상 시간 간격 동안 상기 물건의 공간 내 이동 경로 길이, 상기 물건의 위치 분포 중에서 적어도 하나를 기반으로 배치 유형 특성을 결정하여 할당하고,
상기 공간 분석 모듈은,
상기 물건의 촬영 위치와 정돈 위치에 대응하는 후보 위치 사이의 거리에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템.
In the spatial analysis system for calculating spatial complexity based on the properties of objects in space,
one or more imaging devices to acquire a monitoring video by photographing the space;
an object analysis module for receiving a monitoring video captured in space and recognizing at least one object in a frame of a target time interval;
a characteristic analysis module for determining and assigning object characteristics to the recognized object based on a change in the position of the object over time in the space; and
a space analysis module for calculating the spatial complexity obtained by quantifying the degree of disorganization of the space based on at least one object characteristic of the space;
The properties of the product are:
contains a batch type attribute;
The characteristic analysis module,
Determining and assigning a placement type characteristic based on at least one of a movement path length in space of the object during the target time interval and a location distribution of the object,
The spatial analysis module,
A spatial analysis system for calculating spatial complexity based on a distance between a photographing position of the object and a candidate position corresponding to an arranged position.

제1항에 있어서, 상기 객체 분석 모듈은,
입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하고, 그리고
인식된 물건의 프레임 시간에서의 위치 정보를 산출하도록 구성된 것을 특징으로 하는 공간 분석 시스템.
According to claim 1, wherein the object analysis module,
Recognizing the object appearing in the input frame as at least one object designated as an arrangement target, and
A spatial analysis system configured to calculate position information in frame time of the recognized object.

제1항에 있어서, 상기 특성 분석 모듈은,
상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 배치 유형 특성을 결정하는 경우,
상기 배치 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함하는 것을 특징으로 하는 공간 분석 시스템.
According to claim 1, wherein the characteristic analysis module,
When determining the placement type characteristic of the object based on the location distribution of the recognized object during the target time interval,
The arrangement type characteristic includes a fixed type in which an object has a single candidate arrangement position as an arrangement position or a free type in which an object has any one of a plurality of candidate arrangement positions as an arrangement position.

제3항에 있어서,
상기 후보 위치는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하거나, 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 배치 군집을 산출하거나, 또는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하고 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 군집을 산출한 결과를 조합하여 산출되는 것을 특징으로 하는 공간 분석 시스템.
4. The method of claim 3,
The candidate location calculates the movement path in the space of each object during the target time interval, clusters the location distribution of each object during the target time interval to calculate one or more placement clusters for each object, or the target time A spatial analysis system, characterized in that it is calculated by calculating the movement path of each object in the space during the interval and combining the results of calculating one or more clusters for each object by clustering the location distribution of each object during the target time interval.

제3항에 있어서, 상기 특성 분석 모듈은,
상기 공간에서 복수의 물건이 인식될 경우, 다른 물건과 위치적 상관 관계를 갖는 물건에 상관 특성을 할당하도록 더 구성되는 것을 특징으로 하는 공간 분석 시스템.
According to claim 3, wherein the characteristic analysis module,
When a plurality of objects are recognized in the space, the spatial analysis system is further configured to assign a correlation characteristic to an object having a positional correlation with another object.

제5항에 있어서,
상기 특성 분석 모듈은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 상기 상관 특성을 상기 하나의 물건에게 할당하는 것을 특징으로 하는 공간 분석 시스템.
6. The method of claim 5,
and the characteristic analysis module assigns the correlation characteristic to the one object based on a distance between one object and another object during the target time interval.

제5항에 있어서,
상기 특성 분석 모듈은 물건 간 상관관계를 기록한 상관 테이블을 미리 저장하고,
인식된 복수의 물건 중 적어도 두 개의 물건에 연관된 상관관계가 미리 저장된 상관 테이블에 포함되어 있는 경우, 인식된 적어도 두 개의 물건 중 어느 하나의 물건에게 상관 특성을 할당하는 것을 특징으로 하는 공간 분석 시스템.
6. The method of claim 5,
The characteristic analysis module stores in advance a correlation table in which correlations between objects are recorded,
A spatial analysis system, characterized in that when a correlation associated with at least two of the recognized plurality of objects is included in a pre-stored correlation table, a correlation characteristic is assigned to any one of the recognized at least two objects.

제1항에 있어서,
상기 공간 분석 모듈은 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 상기 공간 분석도를 계산하는 것을 특징으로 하는 공간 분석 시스템.
According to claim 1,
The spatial analysis module is configured to determine based on at least one of a first sub-complexity for a group consisting of fixed objects, a second sub-complexity for a group consisting of objects having a correlation characteristic, and a third sub-complexity for a group consisting of free-type objects. The spatial analysis system, characterized in that for calculating the spatial analysis degree.

제8항에 있어서,
상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고,
상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고
상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산된 것을 특징으로 하는 공간 분석 시스템.
9. The method of claim 8,
the first sub-complexity is calculated based on a distance between a photographing position and an arranging position of each fixed object for a first group of fixed objects;
the second sub-complexity is calculated based on a distance between a photographing position of an object having each correlation characteristic and a photographing position of another object having a correlation, for a second group of objects having a correlation characteristic, and
wherein the third sub-complexity is calculated based on a distance between a photographing position of each free-type object and a candidate position of one of a plurality of candidate positions of the free-type object, for a third group of free-type objects spatial analysis system.

제9항에 있어서,
상기 공간 분석 모듈은 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나를 계산하는 것을 특징으로 하는 공간 분석 시스템.
10. The method of claim 9,
wherein the spatial analysis module calculates at least one of the first sub-complexities to the third sub-complexities further based on the size of each object in the group for each object characteristic.

제8항에 있어서,
상기 공간 분석 모듈은 계산된 공간 복잡도에 기초하여 공간 상태를 결정하며,
상기 공간 상태는 정돈 상태 또는 청소 요구 상태를 포함하는 것을 특징으로 하는 공간 분석 시스템.
9. The method of claim 8,
The spatial analysis module determines a spatial state based on the calculated spatial complexity,
The spatial state is a space analysis system, characterized in that it includes an orderly state or a cleaning request state.

제1항 내지 제11항 중 어느 하나의 항에 따른 상기 공간 분석 시스템은 출력 장치를 포함하거나, 또는 사용자 단말에 연동되고,
상기 공간 분석 시스템은 공간 분석 정보를 상기 출력 장치 또는 사용자 단말을 통해 사용자에게 제공하며,
상기 공간 분석 정보는 인식된 물건의 촬영 위치, 물건의 정돈 위치, 이동 경로, 위치 분포, 계산된 공간 복잡도, 및 공간 상태 중 적어도 하나를 포함하는 공간 분석 시스템.
The spatial analysis system according to any one of claims 1 to 11 includes an output device, or is linked to a user terminal,
The spatial analysis system provides spatial analysis information to the user through the output device or the user terminal,
The spatial analysis information includes at least one of a photographing position of the recognized object, an arrangement position of the object, a movement path, a location distribution, a calculated spatial complexity, and a spatial state.

제1항 내지 제11항 중 어느 하나의 항에 따른 상기 공간 분석 시스템은 물건을 이동시키도록 구성된 청소로봇에 연동되고,
상기 공간 분석 시스템은 공간 상태가 청소 요구 상태로 결정된 경우, 물건의 정돈 위치 및 촬영 위치, 촬영 위치와 정돈 위치가 상이한 물건을 정돈 위치로 재배치하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇에 전송하는 것을 특징으로 하는 공간 분석 시스템.
The spatial analysis system according to any one of claims 1 to 11 is linked to a cleaning robot configured to move an object,
When the space state is determined to be a cleaning request state, the space analysis system transmits a control command including a drive command for relocating an object having a tidy position and a photographing position, and an object having a different photographing position and an orderly position to the tidying position to the cleaning robot. Spatial analysis system, characterized in that.

제1항 내지 제11항 중 어느 하나의 항에 따른 상기 공간 분석 시스템은 바닥을 청소하도록 구성된 청소로봇에 연동되고,
상기 공간 분석 시스템은 상태가 청소 요구 상태가 아닌 상태로 결정된 경우, 바닥 청소를 개시하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송하는 것을 특징으로 하는 공간 분석 시스템.
The spatial analysis system according to any one of claims 1 to 11 is linked to a cleaning robot configured to clean the floor,
Wherein the space analysis system transmits a control command including a drive command for starting floor cleaning to the cleaning robot when it is determined that the state is not a cleaning request state.

하나 이상의 영상 장치 및 하나 이상의 프로세서에 의해 수행되는, 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 방법에 있어서,
공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계;
인식된 물건에 대해, 상기 공간 내에서의 시간에 따른 물건의 위치 변화를 바탕으로 물건 특성을 결정하여 할당하는 단계; 및
상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계를 포함하며,
상기 물건 특성은,
배치 유형 특성을 포함하고,
상기 물건 특성을 결정하여 할당하는 단계는,
상기 대상 시간 간격 동안 상기 물건의 공간 내 이동 경로 길이, 상기 물건의 위치 분포 중에서 적어도 하나를 기반으로 배치 유형 특성을 결정하여 할당하는 단계이고,
상기 공간 복잡도를 계산하는 단계는,
상기 물건의 촬영 위치와 정돈 위치에 대응하는 후보 위치 사이의 거리에 기초하여 공간 복잡도를 계산하는 단계인 것을 특징으로 하는 공간 분석 방법.
A spatial analysis method for calculating spatial complexity based on characteristics of objects in space, performed by one or more imaging devices and one or more processors, the method comprising:
Recognizing at least one object in a frame of a target time interval and receiving a monitoring video photographed in space;
determining and assigning object characteristics to the recognized object based on a change in location of the object over time in the space; and
Comprising the step of calculating the spatial complexity of the digitized degree of disorganization of the space based on at least one object characteristic of the space,
The properties of the product are:
contains a batch type attribute;
The step of determining and allocating the properties of the object,
determining and allocating a placement type characteristic based on at least one of a movement path length in space of the object and a location distribution of the object during the target time interval,
Calculating the spatial complexity comprises:
and calculating a spatial complexity based on a distance between a photographing position of the object and a candidate position corresponding to an arrangement position.

제15항에 있어서, 상기 적어도 하나의 물건을 인식하는 단계는,
입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하는 단계; 및
인식된 물건의 프레임 시간에서의 위치 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 공간 분석 방법.
The method of claim 15, wherein recognizing the at least one object comprises:
Recognizing the object displayed in the input frame as at least one object designated as a tidying up object; and
Spatial analysis method comprising the step of calculating the position information in the frame time of the recognized object.

제15항에 있어서, 상기 물건 특성을 결정하여 할당하는 단계에서,
상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 배치 유형 특성을 결정하는 경우,
상기 배치 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함하는 것을 특징으로 하는 공간 분석 방법.
The method of claim 15, wherein in the step of determining and allocating the properties of the object,
When determining the placement type characteristic of the object based on the location distribution of the recognized object during the target time interval,
The arrangement type characteristic includes a fixed type in which the object has a single candidate arrangement position as an arrangement position or a free type in which the object has any one of a plurality of candidate arrangement positions as an arrangement position.

제15항에 있어서, 상기 공간 분석도는 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 계산되는 것을 특징으로 하는 공간 분석 방법.
16. The method of claim 15, wherein the spatial analysis diagram comprises a first sub-complexity for a group consisting of fixed objects, a second sub-complexity for a group consisting of objects having a correlation characteristic, and a third sub-complexity for a group consisting of free-type objects. Spatial analysis method, characterized in that calculated based on at least one of.

제18항에 있어서,
상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고,
상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고
상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산된 것을 특징으로 하는 공간 분석 방법.
19. The method of claim 18,
the first sub-complexity is calculated based on a distance between a photographing position and an arranging position of each fixed object for a first group of fixed objects;
the second sub-complexity is calculated based on a distance between a photographing position of an object having each correlation characteristic and a photographing position of another object having a correlation, for a second group of objects having a correlation characteristic, and
wherein the third sub-complexity is calculated based on a distance between a photographing position of each free-type object and a candidate position of one of a plurality of candidate positions of the free-type object, for a third group of free-type objects spatial analysis method.

제19항에 있어서,
상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나는 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 계산되는 것을 특징으로 하는 공간 분석 방법.
20. The method of claim 19,
The spatial analysis method of claim 1, wherein at least one of the first to third sub-complexities is further calculated based on a size of each object in the group for each object characteristic.

제15항 내지 제20항 중 어느 하나의 항에 따른 공간 분석 방법을 수행하기 위한 프로그램을 기록한, 컴퓨터 판독가능 기록매체. A computer-readable recording medium recording a program for performing the spatial analysis method according to any one of claims 15 to 20.