KR102451757B1

KR102451757B1 - 공간 내 물건의 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템 및 방법

Info

Publication number: KR102451757B1
Application number: KR1020210031627A
Authority: KR
Inventors: 김학섭; 김익재; 조정현; 최희승; 남기표; 박해솔
Original assignee: 한국과학기술연구원
Priority date: 2021-03-10
Filing date: 2021-03-10
Publication date: 2022-10-11
Also published as: KR20220127069A

Abstract

실시예들은, 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계; 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계; 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계를 포함하는 단계를 포함한 공간 분석 방법 및 이를 수행하는 시스템에 관련된다.

Description

공간 내 물건의 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템 및 방법{SYSTEM AND METHOD FOR CALCULATING DEGREE OF MESSINESS OF SPACE BASED ON CHARACTERSTICS OF PRODUCT IN THE SPACE}

본 발명은 공간의 복잡도를 정량적으로 분석하는 기술에 관한 것으로서, 보다 상세하게는 공간에 배치된 물건의 특성에 기초하여 해당 공간의 복잡 정도를 정량화된 수치로 표현한 공간 복잡도를 계산하는 시스템 및 방법에 관한 것이다.

최근 고령 인구 및 1인 가구 증가 및 비대면 시대에 따른 재택근무가 활성화되면서 현대인들은 점차 실내에서 머무는 시간이 증가하고 있다. 이에 따라 실내 공간에 대한 정보 파악 및 정리 정돈 자동화에 대한 사회적 관심이 높아지고 있다. 보다 편리한 실내 생활을 위해서는 실내 공간 내 물건의 특성 (위치, 사용 빈도, 크기, 사용 위치 등)의 분석 및 물건의 재배치를 통한 정리정돈, 먼지 제거등의 청결이 요구된다.

현재 상용화된 청소로봇은 미리 저장된 실내맵에 대응한 공간에서 스스로 움직이면서 먼지 등을 흡수하거나 바닥을 닦는 동작을 수행함으로써, 실내 공간이 청결된 상태를 유지할 수 있게 한다.

최근 로봇기술이 발달하면서, 어질러진 물건을 재배치하는 정리정돈 동작까지 수행하는 형태의 청소로봇을 개발하려는 시도가 있다.

그러나, 정리정돈 및 청결 동작을 동시에 수행하는 궁극적인 청소로봇이 스스로 물체의 통계적 특성을 파악하고, 실내 공간의 어지러진 정도에 대한 정량적 수치화를 수행하여, 자동 청소를 개시하기(initating) 위한 기준에 대해서는 아직 연구가 필요한 실정이다.

특허등록공보 제10-2181815호 (100100.11.24.)

본 발명의 실시예들에 따르면, 물건의 특성에 기초하여 해당 공간의 복잡 정도를 정량화된 수치로 표현한 공간 복잡도를 계산하는 시스템 및 방법을 제공한다.

본 발명의 일 측면에 따른 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템은 공간을 촬영하여 모니터링 비디오를 획득하는 하나 이상의 영상 장치; 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 객체 분석 모듈; 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 특성 분석 모듈; 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 공간 분석 모듈;을 포함할 수도 있다.

일 실시예에서, 상기 객체 분석 모듈은, 입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하고, 그리고 인식된 물건의 프레임 시간에서의 위치 정보를 산출하도록 구성될 수도 있다.

일 실시예에서, 상기 특성 분석 모듈은, 상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 유형 특성을 결정하고, 그리고 결정된 유형 특성을 상기 물건에 할당하도록 구성될 수도 있다. 상기 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함한다.

일 실시예에서, 상기 후보 위치는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하거나, 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 배치 군집을 산출하거나, 또는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하고 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 군집을 산출한 결과를 조합하여 산출될 수도 있다.

일 실시예에서, 상기 특성 분석 모듈은, 상기 공간에서 복수의 물건이 인식될 경우, 다른 물건과 위치적 상관 관계를 갖는 물건에 상관 특성을 할당하도록 더 구성될 수도 있다.

일 실시예에서, 상기 특성 분석 모듈은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 상기 상관 특성을 상기 하나의 물건에게 할당할 수도 있다.

일 실시예에서, 상기 특성 분석 모듈은 물건 간 상관관계를 기록한 상관 테이블을 미리 저장하고, 인식된 복수의 물건 중 적어도 두 개의 물건에 연관된 상관관계가 미리 저장된 상관 테이블에 포함되어 있는 경우, 인식된 적어도 두 개의 물건 중 어느 하나의 물건에게 상관 특성을 할당할 수도 있다.

일 실시예에서, 상기 공간 분석 모듈은 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 상기 공간 분석도를 계산할 수도 있다.

일 실시예에서, 상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고, 상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고 상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산될 수도 있다.

일 실시예에서, 상기 공간 분석 모듈은 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나를 계산할 수도 있다.

일 실시예에서, 상기 공간 분석 모듈은 계산된 공간 복잡도에 기초하여 공간 상태를 결정할 수도 있다. 상기 공간 상태는 정돈 상태 또는 청소 요구 상태를 포함한다.

상술한 실시예들에 따른 상기 공간 분석 시스템은 출력 장치를 포함하거나, 또는 사용자 단말에 연동될 수도 있다. 상기 공간 분석 시스템은 공간 분석 정보를 상기 출력 장치 또는 사용자 단말을 통해 사용자에게 제공하며, 상기 공간 분석 정보는 인식된 물건의 촬영 위치, 물건의 정돈 위치, 이동 경로, 위치 분포, 계산된 공간 복잡도, 및 공간 상태 중 적어도 하나를 포함할 수도 있다.

상술한 실시예들에 따른 상기 공간 분석 시스템은 물건을 이동시키도록 구성된 청소로봇에 연동될 수도 있다. 상기 공간 분석 시스템은 공간 상태가 청소 요구 상태로 결정된 경우, 물건의 정돈 위치 및 촬영 위치, 촬영 위치와 정돈 위치가 상이한 물건을 정돈 위치로 재배치하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇에 전송한다.

상술한 실시예들에 따른 상기 공간 분석 시스템은 바닥을 청소하도록 구성된 청소로봇에 연동될 수도 있다. 상기 공간 분석 시스템은 상태가 청소 요구 상태가 아닌 상태로 결정된 경우, 바닥 청소를 개시하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송한다.

본 발명의 다른 일 측면에 따른, 하나 이상의 영상 장치 및 하나 이상의 프로세서에 의해 수행되는, 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 방법은 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계; 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계; 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 적어도 하나의 물건을 인식하는 단계는, 입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하는 단계; 및 인식된 물건의 프레임 시간에서의 위치 정보를 산출하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계는, 상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 유형 특성을 결정하는 단계 및 결정된 유형 특성을 상기 물건에 할당하는 단계를 포함할 수도 있다.

상기 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함할 수도 있다.

일 실시예에서, 상기 공간 분석도는 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 계산될 수도 있다.

일 실시예에서, 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나는 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 계산될 수도 있다.

본 발명의 또 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 상술한 실시예들에 따른 공간 분석 방법을 수행하기 위한 프로그램을 기록할 수도 있다.

본 발명의 일 측면에 따른 공간 분석 시스템은 물체의 위치 특성 등을 포함한 물체의 특성을 사용하여, 각 물체에 따른 정리정돈이 적응적으로 수행되도록, 실내 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산할 수도 있다.

또한, 상기 공간 분석 시스템은 공간 복잡도에 기초하여 정리정돈 필요 여부, 어질러진 물체의 원래 위치, 추천하는 정돈 위치 등과 같은 물체의 위치 정보를 사용자 또는 시스템에 연계된 청소로봇에 제공할 수도 있다. 이를 통해, 사용자 스스로 정리정돈을 수행하도록 유도하거나, 또는 청소로봇이 정리정돈 동작을 개시하게 한다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 동작의 개념도이다.
도 2는, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 개략적인 블록도이다.
도 3은, 본 발명의 일 실시예에 따른, 공간 내 물건의 인식 동작의 개념도이다.
도 4는, 본 발명의 일 실시예에 따른, 물건 특성의 개념도이다.
도 5 내지 도 7은, 본 발명의 일 실시예에 따른, 각 물건에 대해 물건 특성이 할당된 결과를 도시한 도면이다.
도 8a 및 도 8b는, 본 발명의 일 실시예에 따른, 공간 복잡도 계산 결과를 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 공간 분석 방법의 흐름도이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된(disclosed) 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 동작의 개념도이다.

도 1을 참조하면, 공간 분석 시스템(1)은 내부 공간을 촬영한 공간 영상에서 정리정돈 대상이 되는 물건을 검출하고 시간에 따른 물체의 위치를 분석하여 해당 공간에 대한 물건 특성을 생성하며, 검출된 물체의 공간에 대한 특성에 기초하여 공간 복잡도를 계산할 수도 있다.

도 2는, 본 발명의 일 실시예에 따른, 공간 분석 시스템의 개략적인 블록도이다.

도 2를 참조하면, 공간 분석 시스템(1)은 영상 장치(10); 객체 분석 모듈(100); 특성 분석 모듈(200); 및 공간 분석 모듈(300)을 포함한다.

실시예들에 따른 공간 분석 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

영상 장치(10)는 분석 대상인 공간의 적어도 일부를 촬영하여 이미지 또는 비디오 데이터를 획득하는 장치로서, 예를 들어, 카메라, CCTV, 이미지 센서 등을 포함할 수도 있다. 상기 이미지 센서는 예를 들어, 열화상, 깊이, 라이다 센서 등을 포함할 수도 있다.

상기 공간은 다수의 물건이 배치되며, 시간이 흐르면 다수의 물건 중 적어도 일부 물건의 위치가 이동하는 장소이다. 상기 공간에는 하나 이상의 영상 장치(10)가 설치될 수도 있다.

특정 실시예들에서, 상기 공간은 사용자가 거주하는 주택의 실내 공간 일부 또는 전부일 수도 있다. 예를 들어, 상기 공간은 주택의 거실, 방 등과 같이 건축 당시에 구획된 공간 또는 사용자에 의해 지정된 공간일 수도 있다. 이러한 실내 공간에서 자동으로 청소하는 청소로봇이 이동할 수도 있다.

상기 공간 분석 시스템(1)은 단일 시점 스트리밍 데이터를 획득하거나, 또는 다시점 스트리밍 데이터를 획득할 수도 있다.

또한, 상기 공간 분석 시스템(1)은 상기 하나 이상의 영상 장치(10)를 통해 깊이 정보를 획득할 수도 있다.

이와 같이, 공간 분석 시스템(1)은 하나 이상의 영상 장치(10)로부터 모니터링 비디오 데이터(또는 이미지 데이터), 깊이 데이터, 시간 데이터 및 시점 데이터 등 중 적어도 모니터링 비디오 데이터를 포함한 공간 영상 정보를 객체 분석 모듈(100) 또는 특성 분석 모듈(200)로 공급한다.

도 3은, 본 발명의 일 실시예에 따른, 공간 내 물건의 인식 동작의 개념도이다.

도 3을 참조하면, 객체 분석 모듈(100)은 다수의 객체가 배치된 대상 공간에서 적어도 하나의 물건을 인식한다. 객체 분석 모듈(100)은 물건의 식별 정보(또는 분류 정보), 촬영 당시 배치 위치, 물건의 사이즈 등을 포함한 인식 결과를 산출할 수도 있다.

물건은 정돈을 위해 재-배치되는 대상 객체, 또는 정돈 대상의 객체가 배치 또는 수납되는 다른 객체이다. 예를 들어, 물건은 책, 책장, 물컵, 식탁, 스마트 폰(또는 셀룰러 폰), 랩탑, 마우스, 태블릿, 테블릿 펜, 쿠션, 소파, 각티슈, 컵, 인형, 볼펜, 노트, 책 등을 포함할 수도 있다.

객체 분석 모듈(100)은 다양한 객체 검출 방식, 또는 인식 방식을 사용하여 입력 프레임에서 객체를 검출하고 이를 인식하는 동작을 수행할 수도 있다. 상기 입력 프레임은 모니터링 비디오를 구성하는 프레임이다. 검출 결과는 도 3에 도시된 바와 같이 물건을 둘러싼 영역 데이터를 포함할 수도 있다.

예를 들어, 객체 분석 모듈(100)은 입력 프레임을 미리 학습된 기계학습 모델에 입력하여 입력 프레임에 포함된 객체를 검출할 수도 있다.

또한, 객체 분석 모듈(100)은 입력 프레임의 일부 또는 전부를 미리 학습된 기계학습 모델에 입력하여 상기 객체가 어느 물건인지 인식할 수도 있다.

이러한 기계학습 모델은 입력 영상에서 특징을 추출하여 해당 픽셀 또는 픽셀의 집합이 속하는 클래스를 분류하도록 구성된 네트워크 구조의 모델일 수도 있다. 상기 네트워크 구조는, 예를 들어, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), ResNet(Residual network), DenseNet(Densely connected Convolutional Networks) 등과 같은 객체 검출 및/또는 인지(recongination)를 위해 사용되는 다양한 신경 네트워크 구조를 포함할 수도 있다.

일 실시예에서, 객체 분석 모듈(100)은 객체 검출용 기계학습 모델과 물건 인식용 기계학습 모델을 포함하여 각 동작을 순차적으로 수행할 수도 있다. 이 경우, 객체 분석 모듈(100)은 입력 프레임에서 객체를 검출하고 객체 패치를 생성한 뒤, 객체 패치를 물건 인식용 기계학습 모델에 입력하여 입력 패치의 객체에 매칭하는 물건을 결정할 수도 있다.

또는 다른 일 실시예에서, 물건 검출 및 인식용 단일 기계학습 모델을 포함하여 각 동작을 동시에 수행할 수도 있다.

각각의 기계학습 모델은 자신의 태스크(task)를 최소한의 오차로 수행하기 위한 파라미터의 값을 갖도록 학습된다. 이를 위해, 기계학습 모델은 복수의 훈련 샘플로 이루어진 훈련 데이터 세트를 사용해 학습되며, 상기 훈련 데이터 세트 내 훈련 샘플 각각은 전술한 물건을 표시한 훈련 영상을 포함할 수도 있다. 특정 실시예들에서, 상기 훈련 샘플은 훈련 영상에 표시된 물건을 지시하는 레이블 데이터를 더 포함할 수도 있다.

사용자는 훈련 데이터 세트의 물건 범위를 지정하여 객체 분석 모듈(100)이 검출 및/또는 인식 가능한 물건을 지정할 수도 있다.

또한, 다수의 프레임이 입력되는 경우, 객체 분석 모듈(100)은 다수의 프레임에 공통으로 포함된 물건을 추적할 수도 있다. 예를 들어, 객체 분석 모듈(100)은 모니터링 비디오의 일부 또는 전부를 다수의 입력 프레임으로 적어도 하나의 기계학습 모델에 입력하여 물건을 검출 및/또는 인식하고, 검출에 의한 추적(tracking by detection) 기법과 같은 다양한 추적 방식을 사용하여 다수의 입력 프레임 범위에서 해당 물건을 추적할 수도 있다.

객체 분석 모듈(100)에서 수행된 결과, 즉 획득된 물건의 검출 및 인식 결과 등은 특성 분석 모듈(200)로 공급된다.

특성 분석 모듈(200)은 객체 분석 모듈(100)에 의해 검출 및 인식된 물건의 위치 정보를 산출한다. 상기 위치 정보는 공간을 2차원으로 촬영한 프레임 평면을 기준으로 표시한 2차원 위치 좌표, 및/또는 위치 분포를 포함할 수도 있다.

특성 분석 모듈(200)은, 예를 들어, Single image depth, depth sensor, SLAM 알고리즘을 통해 3차원 공간 내 물건의 위치 좌표를 산출하고 위치 정보를 생성할 수도 있으나, 이에 제한되진 않는다.

또한, 특성 분석 모듈(200)은 프레임별로 산출된 물건의 위치에 기초하여 일정 시간 간격 동안의 물건의 위치 분포를 산출할 수도 있다. 특성 분석 모듈(200)은 물건의 위치별 분포 밀도를 산출할 수도 있다. 물건의 위치별 분포 밀도는 시각적으로 표현될 수도 있다.

특정 실시예들에서, 영상 장치(10)의 사양 또는 설치 구조에 따라서 깊이 정보가 획득 가능한 경우, 상기 위치 정보는 해당 물건의 깊이 정보를 더 포함할 수도 있다. 예를 들어, 깊이 정보를 획득하도록 구성된 단일 영상 장치(10)(예컨대, RGB-D 센서 등)에 의해 공간 비디오가 촬영되거나, 다수의 영상 장치(10)의 촬영 결과에 기초하여 깊이 정보가 산출되면, 물건의 깊이 정보를 더 포함한 위치 정보가 획득된다.

도 4는, 본 발명의 일 실시예에 따른, 물건 특성의 개념도이다.

도 4를 참조하면, 특성 분석 모듈(200)은 공간에 대한 물건 특성을 할당한다. 인식된 물건에 대해서 물건 특성이 검출되면 물건 특성이 연관된다. 상기 공간에 대한 물건 특성은 시간에 따른 공간 내 물건의 위치 변화에 기초하여 결정된다.

일 실시예에서, 상기 물건 특성은 배치 유형 특성을 포함할 수도 있다. 상기 배치 유형 특성은 물체 자체의 특성으로서, 고정형 또는 프리형으로 분류된다.

물건은 사용자에 의해 정돈이 완료되면 배치 가능성이 높은 정돈 위치(tidy position)를 가진다. 정돈 위치는 통상적으로 원 위치(original position)로 지칭될 수도 있다.

하나의 물건의 정돈 위치와 다른 물건의 정돈 위치는 서로 상이할 수도 있으며, 이는 해당 물건의 배치 유형 특성을 결정하는데 기준이 된다.

물건은 상기 공간 내 특정 지역 범위 안에 고정된 정돈 위치를 갖거나, 또는 다수의 후보 위치 중 어느 하나를 정돈 위치로 가질 수도 있다. 책은 책장의 수납 지역 범위 안에 주로 배치하고, 쿠션은 소파의 지지 지역 범위 안에 주로 배치되므로, 이들 물건은 각각 단일 정돈 위치를 가진다. 반면, 스마트폰은 사용자가 정리를 완료할 때마다 정돈 위치가 다를 수도 있다. 사용자는 스마트폰을 다수의 위치에 놔둘 수도 있기 때문에, 스마트폰은 정돈이 완료된 이후 배치될 가능성이 높은 다수의 후보 위치를 가진다.

특성 분석 모듈(200)은 인식된 물건의 위치 분포에 기초하여 상기 검출된 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 물건인지 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형 물건인지 결정할 수도 있다. 상기 위치 분포는 대상 시간 간격 동안의 인식된 물건의 위치로 이루어진다.

일 실시예에서, 특성 분석 모듈(200)은 대상 시간 간격 동안의 해당 물건의 공간 내 이동 경로 및/또는 해당 물건에 대한 배치 군집에 기초하여 적어도 하나의 후보 위치를 산출할 수도 있다.

특성 분석 모듈(200)은 인식된 물건을 추적하면서 인식된 물건의 시작점, 종착점으로 이루어진 이동 경로를 산출할 수도 있다. 특성 분석 모듈(200)은 이동 경로의 길이를 산출할 수도 있다. 이동 경로의 길이는 해당 물건의 위치 변화를 의미한다. 고정형으로 분류될 일부 물건에 대해서는 이동 경로의 길이가 상대적으로 짧으며, 실질적으로 0에 가까울 수도 있다. 반면, 프리형으로 분류될 다른 일부 물건에 대해서는 이동 경로의 길이가 상대적으로 길다.

특성 분석 모듈(200)은 대상 시간 간격 동안 각 물건의 이동 경로 및 이들의 거리를 산출하고, 이동 거리가 상대적으로 짧은 물건은 고정형으로 분류하거나 또는 이동 거리가 상대적으로 긴 물건은 프리형으로 분류할 수도 있다. 이동 거리의 길고 짧음은 미리 지정된 거리 임계치와 비교될 수도 있다. 또는 각 물건별 이동 거리의 분포를 통계적으로 분석하여 결정될 수도 있다. 예를 들어, 각 물건별 이동 거리의 분포를 군집화하고 군집 간의 이동 거리 차이가 가장 큰 두 군집을 기준으로 유형 특성을 결정할 수도 있다.

또는, 특성 분석 모듈(200)은 대상 시간 간격 동안 물건의 위치 분포로부터 적어도 하나의 군집을 형성할 수도 있다. 동일한 물건에 대해서 특정 위치에 배치되어 있는 경우가 이동하는 경우 대비 높은 분포도를 가지므로, 이런 배치 위치를 중심으로 갖는 군집이 형성될 수도 있다.

배치 군집은 하나 이상이 형성될 수도 있다. 고정형으로 분류될 일부 물건에 대해서는 하나의 배치 군집이 형성될 수도 있다. 프리형으로 분류될 다른 일부 물건에 대해서는 다수의 배치 군집이 형성될 수도 있다.

특성 분석 모듈(200)은 대상 시간 간격 동안의 각 물건의 위치 분포로부터 적어도 하나의 배치 군집을 형성하고, 형성된 배치 군집이 상대적으로 많을 경우 프리형으로 결정하거나 또는 형성된 배치 군집이 상대적으로 적을 경우 고정형으로 결정할 수도 있다. 배치 군집의 많고 적음은 미리 지정된 군집 임계치와 비교될 수도 있다.

일 실시예에서, 특성 분석 모듈(200)은 배치 군집의 산출 결과 및 이동 경로에 기초하여 해당 물건의 유형 특성을 결정할 수도 있다. 주로 프리형 물건의 경우 잦은 움직임이 촬영되어 이동 경로 중간에 상대적으로 높은 위치 분포를 가질 수도 있다. 또는 정돈을 위해 배치할 수 없는 위치(예컨대, 허공) 주변에 상대적으로 높은 위치 분포를 가지거나, 상대적으로 오랜 시간 동안 위치가 고정되어 배치가 된 것으로 오류가 발생할 수도 있다. 예를 들어, 스마트폰으로 특정 자세로 장시간 통화한 경우 귀에 부착된 위치가 후보 위치로 잘못 산출될 수도 있다.

특성 분석 모듈(200)은 배치 군집의 산출 결과 및 이동 경로에 기초하여 후보 위치를 산출함으로써, 보다 정확하게 후보 위치를 획득할 수도 있다.

상기 예시에서, 책과 쿠션에 대한 배치 유형 특성은 고정형 특성으로 결정된다. 반면, 스마트폰에 대한 배치 유형 특성은 프리형 특성으로 결정된다.

또한, 특성 분석 모듈(200)은 각 물건에 대한 후보 위치에 기초하여 정돈 위치를 결정할 수도 있다. 고정형 물건에 대해서는 후보 위치가 하나가 획득되므로, 후보 위치가 바로 정돈 위치로 결정된다.

특성 분석 모듈(200)은 프리형 물건에 대해서는 다수의 후보 위치 중 어느 하나의 위치를 정돈 위치로 결정할 수도 있다. 일부 실시예에서, 특성 분석 모듈(200)은 통계적으로 다수의 후보 위치 중 어느 하나를 정돈 위치로 결정할 수도 있다. 예를 들어, 가장 높은 위치 분포 밀도를 갖는 후보 위치가 정돈 위치로 결정될 수도 있다. 다른 일부 실시예에서, 특성 분석 모듈(200)은 다수의 후보 위치 중 사용자 입력이 가리키는 후보 위치를 정돈 위치로 결정할 수도 있다.

일 실시예에서, 상기 물건 특성은 상관 특성을 더 포함할 수도 있다. 도 4에 도시된 바와 같이, 특성 분석 모듈(200)은 상기 공간에서 복수의 물건이 검출될 경우, 복수의 물건 중 하나 이상의 물건에 상관 특성을 할당하도록 더 구성될 수도 있다. 상기 상관 특성은 다른 물건을 기준으로 갖는 위치적 특성으로서, 전술한 유형 특성과 별도의 물건 특성이다. 단일 물건에 유형 특성 및 상관 특성이 모두 할당될 수도 있다.

상관 특성은 서로 다른 두 물건 중에서 어느 하나의 물건이 다른 물건의 배치 위치(또는 지역)에 종속되는 위치적 상관 관계를 나타낸다. 여기서, 종속된다는 것은 다른 물건의 위치 분포와 동일 또는 유사한 분포를 가지며, 위치의 종속 관계를 갖는 물건의 쌍은 상기 하나의 물건이 움직이는 영역이 다른 물건의 배치 위치 주변에 상기 대상 시간 간격의 거의 대부분 또는 전부 동안 머무는 관계를 가진다. 상관 특성은 위치적 상관 관계를 갖는 물건의 쌍 중에서 보다 이동성이 높은 물건에 할당된다. 이동성이 낮은 물건이 상관 관계의 기준으로 사용된다. 이로 인해, 상관 특성을 갖는 물건은 움직임이 있더라도 다른 물건의 주변 지역 내의 위치 분포를 가진다. 예를 들어, 마우스는 랩탑의 주변 지역 내의 위치 분포를 가진다. 테블릿 펜은 테블릿의 주변 지역 내의 위치 분포를 가진다. 또는, 책은 책상의 주변 지역 내의 위치 분포를 가진다.

이와 같이, 다른 물건에 대해 위치적 종속 관계를 갖는 물건에게 상관 특성이 할당되면, 상관 특성이 있다는 데이터, 및/또는 상관 관계를 갖는 다른 물건에 관한 (예컨대, 식별정보) 데이터가 상기 상관 특성이 할당된 물건 데이터와 연관된다.

일 실시예에서, 상기 상관 특성은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 상기 하나의 물건에게 할당될 수도 있다. 인식된 물건이 상관 특성을 갖는지 여부는 다른 물건과의 거리에 의존한다.

특성 분석 모듈(200)은 복수의 물건이 검출될 경우, 각 물건의 위치 분포에 기초하여 상관 특성을 결정할 수도 있다. 특성 분석 모듈(200)은 검출된 복수의 물건 각각의 위치 분포를 산출하고, 다른 물건의 위치로부터 소정 범위 내의 위치 분포를 갖는 특정 물건에 대해서는 상관 특성을 할당할 수도 있다.

다른 일 실시예에서, 상기 상관 특성은 인식 결과에 기초하여 할당될 수도 있다. 특성 분석 모듈(200)은 특정 물건과 하나 이상의 다른 물건 사이의 상관 관계를 기록한 상관 테이블을 미리 저장할 수도 있다. 상기 상관 테이블은 사용자에 의해 정의된다.

그러면, 특성 분석 모듈(200)은 객체 분석 모듈(100)에 의해 인식된 물건를 미리 저장된 상관 테이블에서 탐색하여 탐색된 물건이 연관된 상관관계를 획득한다. 그리고 상관관계 상의 두 개의 물건 중 어느 하나의 물건에게 상관 특성을 할당한다. 예를 들어, 획득된 상관관계 상의 다른 물건이 인식되었고, 인식된 물건과 다른 물건 간의 위치 분포에 기초하여 한 쌍의 물건 중 다른 하나의 물건의 위치 분포에 종속된 나머지 물건에게 상관 특성을 할당한다.

이와 같이 시간에 따른 위치 정보를 통계적으로 분석하여 각 물건별로 물건 특성을 할당한다.

도 5 내지 도 7은, 본 발명의 일 실시예에 따른, 각 물건에 대해 물건 특성이 할당된 결과를 도시한 도면이다.

도 5 내지 도 7에서 위치별 분포 밀도는 색상으로 표현된다. 파장이 높은 색상의 분포 밀도가 상대적으로 높다. 예를 들어, 빨간 색상이 상대적으로 높다.

도 3의 공간에서 인식된 머그 컵, 쿠션, 각 티슈, 곰인형은 대상 시간 간격 동안 상대적으로 움직임이 없으며 특정 위치에서 상대적으로 높은 분포 밀도를 가진다. 이로 인해, 도 5a 내지 도 5d에 도시된 바와 같이, 머그 컵, 쿠션, 각 티슈, 곰인형에 대해서는 고정형 특성이 할당된다.

도 3의 공간에서 인식된 핸드폰, 마우스, 볼펜, 랩탑은 대상 시간 간격 동안 상대적으로 움직임이 많으며 다수의 위치(즉, 다수의 후보 위치)에서 상대적으로 높은 분포 밀도가 측정된다. 그러면, 도 6a 내지 도 6d에 도시된 바와 같이, 핸드폰, 마우스, 볼펜, 랩탑에 대해서는 프리형 특성이 할당된다.

도 3의 공간에서 인식된 볼펜은 공책 주변에서 위치 분포를 가지며, 마우스는 랩탑 주변에서 위치 분포를 가진다.

그러면, 도 7a에 도시된 바와 같이, 볼펜에는 상관 특성이 추가로 할당된다. 볼펜이 위치적 상관 관계를 갖는 다른 물건(즉, 도 7a의 공책)의 정보가 상기 볼펜 데이터에 연관된다.

또한, 도 7b에 도시된 바와 같이, 마우스에는 상관 특성이 추가로 할당된다. 마우스가 위치적 상관 관계를 갖는 물건(즉, 도 7b의 랩탑)의 정보가 마우스 데이터에 연관된다.

특성 분석 모듈(200)에 의해 산출된, 물건의 위치 정보, 또는 유형 특성 및/또는 상관 특성을 포함한 물건 특성 정보 등이 공간 분석 모듈(300)로 공급된다.

공간 분석 모듈(300)은 위치적 통계를 통해 할당된 물건 특성을 바탕으로 공간의 복잡도를 계산하여 해당 공간이 어지러진 정도를 정량적으로 수치화한다.

우선, 복잡도를 계산하기 위해, 공간 분석 모듈(200)은 물건의 촬영 위치(즉, 입력 프레임 상의 위치)와 후보 위치 사이의 거리를 계산할 수도 있다. 단일 후보 위치를 갖는 고정형 물건에 대해서는 정돈 위치에 대응하는 상기 단일 후보 위치로부터의 거리가 두 위치 사이의 거리로 계산된다. 다수의 후보 위치를 갖는 프리형 물건에 대해서는 각각의 후보 위치에 대해서 두 위치 사이의 거리가 계산된다.

상기 두 위치 사이의 거리를 계산하는 기법은 벡터와 벡터 간의 유사도를 계산하는 다양한 기법을 포함할 수도 있다. 예를 들어, 상기 두 위치 사이의 거리를 계산하는 기법은 유클리드 거리, 코사인 거리 등을 포함할 수도 있으나, 이에 제한되진 않는다.

일부 실시예에서, 공간 분석 모듈(300)은 객체 분석 모듈(100), 특성 분석 모듈(200)의 산출 결과를 정규화할 수도 있다.

공간 분석 모듈(300)은 물건의 위치, 물건의 위치 분포, 물건 간의 거리, 위치 간의 거리 등을 미리 지정된 스케일로 정규화할 수도 있다.

상기 공간 분석 모듈(300)은 공간 복잡도를 계산할 수도 있다. 공간 복잡도는 물건 특성의 하위 성분별로 계산된 하위 복잡도에 기초한다.

전술한 바와 같이 물건 특성은 유형 특성을 포함하거나, 유형 특성 및 상관 특성을 포함할 수도 있다. 그러면, 공간 분석 모듈(300)은 고정형 물건으로 이루어진 그룹에 대한 하위 복잡도, 프리형 물건으로 이루어진 그룹에 대한 하위 복잡도, 및/또는 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 하위 복잡도를 각각 계산할 수도 있다. 각각의 하위 복잡도를 계산함으로써, 전체 공간에 대한 복잡도를 계산할 수도 있다.

일 실시예에서, 상기 공간 분석 모듈(300)은 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 제1 하위 복잡도를 계산할 수도 있다.

일 실시예에서, 상기 공간 분석 모듈(300)은 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 제2 하위 복잡도를 계산할 수도 있다.

일 실시예에서, 상기 공간 분석 모듈(300)은 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 제3 하위 복잡도를 계산할 수도 있다. 상기 제3 하위 복잡도를 계산하는데 사용되는 하나의 후보 위치는 정돈 위치로 결정된 후보 위치이거나, 또는 촬영 위치와 가장 가까운 후보 위치일 수도 있다.

일 실시예에서, 공간 분석 모듈(300)은 아래의 수학식에 의해 공간 분석도(DoIM, Degree of Indoor Messiness)를 계산할 수도 있다.

여기서, 상기 수학식 1의 첫번째 항(term)은 고정형 물건으로 이루어진 상기 제1 그룹에 대한 하위 분석도로서, Oi는 제1 그룹 내 i번째 물건의 촬영 위치를 나타내고, Oiorg는 i번째 물건의 정돈 위치(즉, 원 위치)를 나타낸다.

두번째 항은 상관 특성을 갖는 물건으로 이루어진 상기 제2 그룹에 대한 하위 분석도로서, Oj는 제2 그룹 내 j번째 물건의 촬영 위치를 나타내고, Oj-related는 상관 관계를 갖는 다른 물건의 촬영 위치를 나타낸다.

세번째 항은 프리형 물건으로 이루어진 상기 제3 그룹에 대한 하위 분석도로서, Ok는 제3 그룹 내 k번째 물건의 촬영 위치를 나타내고 Ok-nearleast-candidate는 k번째 물건에서 가장 가까운 후보 위치를 나타낸다. 대안적인 다른 실시예에서, 세번째 항은 k번?? 물건의 촬영 위치와 k번째 물건의 정돈 위치로 특성 분석 모듈(200)에 의해 결정된 후보 위치에 기초할 수도 있다.

한편, N1은 공간 복잡도를 정규화하기 위한 요소로서, 예를 들어 인식된 물건의 전체 수일 수도 있으나, 이에 제한되지 않으며 다른 형태로 구현될 수도 있다.

상기 수학식 1에 따르면, 공간 복잡도는 낮은 값을 가질수록 정돈이 잘 되는 것을 의미한다.

상기 수학식 1에서는 정규화된 거리(nDist) 값이 사용되었으나, 이에 제한되지 않으며, 정규화되지 않은 원시 거리(Dist) 값이 상기 수학식 1에 적용될 수도 있다.

일 실시예에서, 공간 분석 모듈(300)은 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 상기 제1 하위 복잡도, 제2 하위 복잡도 및/또는 제3 하위 복잡도를 계산할 수도 있다. 일반적으로 사람은 어질러진 물건의 사이즈가 클수록 공간 상태가 더 어질러졌다고 보는 경향이 있기 때문이다.

예를 들어, 공간 분석 모듈(300)은 물건 특성별 그룹 내 각 물건의 사이즈가 적용된 다음의 수학식에 의해 계산될 수도 있다.

여기서, α는 해당 물건의 사이즈를 나타낸다. 상기 물건의 사이즈는 원시 값 또는 이를 정규화한 값일 수도 있다. 상기 원시 값은 객체 분석 모듈(100)에 의해 물건의 사이즈로 산출된 값으로서, 도 4의 패치 사이즈 또는 세그먼트 사이즈일 수도 있다. 정규화 값은 상기 원시 값을 미리 지정된 스케일 범위에 맞추서 조정된 값일 수도 있다. N2는 수학식 1의 N1과 마찬가지로 정규화 파라미터로서, 인식된 물건의 전체 수일 수도 있으나, 이에 제한되지 않으며 다른 형태로 구현될 수도 있다.

도 8a 및 도 8b는, 본 발명의 일 실시예에 따른, 공간 복잡도 계산 결과를 도시한 도면이다.

도 8a 및 도 8b를 참조하면, 동일한 공간에 대해서 어질러진 상태에 따라서 서로 다른 공간 복잡도가 계산된다. 도 8b와 같이 상대적으로 이전 시간에서는 물건이 어질러져 있었지만 이후 정돈이 완료되된 공간이 촬영되는 경우, 공간 분석 모듈(300)에 의해 계산되는 공간 복잡도의 값은 점차적으로 낮아진다. 반면, 도 8a와 같이 상대적으로 이전 시간에서는 정돈되었지만 이후 물건이 어질러진 공간이 촬영되는 경우, 공간 분석 모듈(300)에 의해 계산되는 공간 복잡도의 값은 점차적으로 증가한다.

이와 같이, 공간 분석 모듈(300)은 각각의 하위 분석도를 종합하여 공간 복잡도를 계산할 수 있다. 각 위치적 물건 특성에 따른 개별 복잡도를 통해 전체 공간 복잡도를 계산하면, 물건 특성을 반영하여 공간의 어지러짐 정도를 도 8에 도시된 바와 같이, 정량적으로 분석할 수도 있다.

공간 분석 모듈(300)은 공간 복잡도의 계산 결과에 기초하여 특정 시간에서의 공간 상태를 결정할 수도 있다. 공간 분석 모듈(300)은 수학식 1 또는 2 등과 같이 수학식 형태에 따른 공간 복잡도의 값에 기초하여 미리 설정된 기준과 계산된 공간 복잡도를 비교하여 공간 상태를 결정한다.

일 예시에서, 공간 분석 모듈(300)은 정돈 상태 또는 청소 요구 상태로 공간 상태를 결정할 수도 있다. 이 경우 공간 분석 모듈(300)은 미리 설정된 기준 값과 비교하여, 계산된 공간 복잡도가 기준 값 미만일 경우 정돈 상태로 결정한다. 계산된 공간 복잡도가 기준 값 이상이면 청소 요구 상태로 공간 상태를 결정할 수도 있다.

그러나, 공간 상태를 구현하는 것이 이에 제한되진 않으며, 둘 이상의 상태로 세분화될 수도 있다.

상기 공간 분석 시스템(1)은 공간 복잡도 계산 결과 및/또는 이를 계산하는데 사용된 정보를 사용자에게 제공할 수도 있다. 상기 공간 분석 시스템(1)은 연동된 사용자 단말 또는 내부 출력 장치(예컨대, 디스플레이)를 통해 인식된 물건의 촬영 위치, 물건의 정돈 위치, 이동 경로, 위치 분포, 계산된 공간 복잡도, 공간 상태 등을 포함한 공간 분석 정보를 사용자에게 제공할 수도 있다.

또한, 공간 분석 시스템(1)은 청소로봇과 연동될 수도 있다. 그러면, 공간 분석 시스템(1)은 상기 공간 분석 정보 중 적어도 일부에 기초한 제어 명령을 생성하고 이를 청소로봇에 전송할 수도 있다.

일 실시예에서, 청소로봇이 물건을 이동시켜 물건을 정돈하도록 구성될 경우, 공간 분석 시스템(1)은 (예컨대, 공간 분석 모듈(300)에 의해) 공간 상태가 청소 요구 상태로 결정된 경우, 물건의 정돈 위치 및 촬영 위치, 촬영 위치와 정돈 위치가 상이한 물건을 정돈 위치로 재배치하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송할 수도 있다.

또는, 청소로봇이 바닥을 닦는 것과 같이 바닥을 청소하도록 구성된 경우, 공간 분석 시스템(1)은 공간 상태가 청소 요구 상태가 아닌 상태로 결정된 경우, 바닥 청소를 개시하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송할 수도 있다. 바닥을 닦는 청소로봇의 경우 바닥에 장애물이 많이 있으면 움직임에 어려움이 있기 ??문이다.

이와 같이, 공간 분석 시스템(1)은 실내 공간 분석을 통해 물건 정보를 획득할 수 있다. 공간 분석 시스템(1)은 모든 물건에 대한 추적이 가능하므로, 사용자(특히, 고령화 시대의 노인)에게 물건의 위치를 쉽게 알려준다.

상기 공간 분석 시스템(1)이 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 또한, 상기 공간 분석 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 공간 분석 방법은 하나 이상의 영상 장치 및 하나 이상의 프로세서에 의해 수행될 수도 있다. 이하 설명의 명료성을 위해, 상기 공간 분석 시스템(1)에 의해 수행되는 실시예들로 공간 분석 방법을 보다 상세하게 서술한다.

도 9는, 본 발명의 일 실시예에 따른, 공간 분석 방법의 흐름도이다.

도 9를 참조하면, 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 방법은: 공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계(S910); 시간에 따른 물건의 위치에 기초하여 해당 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계(S920); 및 상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계(S930)를 포함한다. 특정 실시예들에서, 상기 공간 분석 방법은: 공간 분석 정보를 사용자에게 제공하는 단계(S940); 및/또는 공간 분석 정보 중 적어도 일부에 기초한 제어 명령을 청소로봇에 전송하는 단계(S950)를 더 포함할 수도 있다.

일 실시예에서, 상기 적어도 하나의 물건을 인식하는 단계(S910)는: 입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하는 단계; 및 인식된 물건의 프레임 시간에서의 위치 정보를 추출하는 단계를 포함할 수도 있다.

일 실시예에서, 상기 공간에 대한 적어도 하나의 물건 특성을 할당하는 단계(S920)는: 상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 유형 특성을 결정하는 단계 및 결정된 유형 특성을 상기 물건에 할당하는 단계를 포함할 수도 있다. 도 3을 참조하여 전술한 바와 같이, 상기 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함할 수도 있다.

일 실시예에서, 상기 단계(S920)는: 상기 공간에서 복수의 물건이 인식될 경우, 다른 물건과 위치적 상관 관계를 갖는 물건에 상관 특성을 할당하는 단계를 더 포함할 수도 있다.

일 실시예에서, 상관 특성은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 할당될 수도 있다.

또는, 다른 일 실시예에서, 상관 특성은 미리 저장된 상관 테이블을 사용하여 할당된다. 인식된 복수의 물건 중 적어도 두 개의 물건에 연관된 상관관계가 미리 저장된 물건 간 상관관계에 포함되어 있는 경우, 인식된 적어도 두 개의 물건은 상관 특성을 갖는 것으로 결정된다.

일 실시예에서, 단계(S930)의 공간 분석도는 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 계산된다.

상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고, 상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고 상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산된다. 이에 대해서는 상기 수학식 1을 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다.

일 실시예에서, 상기 공간 복잡도를 계산하는데 사용되는 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나는 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 계산될 수도 있다. 이에 대해서는 상기 수학식 2를 참조하여 위에서 서술하였는 바 자세한 설명은 생략한다.

이상에서 설명한 실시예들에 따른 공간 분석 시스템(1) 및 방법의 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims

공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템에 있어서,
공간을 촬영하여 모니터링 비디오를 획득하는 하나 이상의 영상 장치;
공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 객체 분석 모듈;
인식된 물건에 대해, 상기 공간 내에서의 시간에 따른 물건의 위치 변화를 기반으로 물건 특성을 결정하여 할당하는 특성 분석 모듈; 및
상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 공간 분석 모듈;을 포함하며,
상기 물건 특성은,
배치 유형 특성을 포함하고,
상기 특성 분석 모듈은,
상기 대상 시간 간격 동안 상기 물건의 공간 내 이동 경로 길이, 상기 물건의 위치 분포 중에서 적어도 하나를 기반으로 배치 유형 특성을 결정하여 할당하고,
상기 공간 분석 모듈은,
상기 물건의 촬영 위치와 정돈 위치에 대응하는 후보 위치 사이의 거리에 기초하여 공간 복잡도를 계산하는 공간 분석 시스템.
제1항에 있어서, 상기 객체 분석 모듈은,
입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하고, 그리고
인식된 물건의 프레임 시간에서의 위치 정보를 산출하도록 구성된 것을 특징으로 하는 공간 분석 시스템.
제1항에 있어서, 상기 특성 분석 모듈은,
상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 배치 유형 특성을 결정하는 경우,
상기 배치 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함하는 것을 특징으로 하는 공간 분석 시스템.
제3항에 있어서,
상기 후보 위치는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하거나, 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 배치 군집을 산출하거나, 또는 상기 대상 시간 간격 동안 각 물건의 상기 공간 내 이동 경로를 산출하고 상기 대상 시간 간격 동안 각 물건의 위치 분포를 군집화하여 각 물건에 대한 하나 이상의 군집을 산출한 결과를 조합하여 산출되는 것을 특징으로 하는 공간 분석 시스템.
제3항에 있어서, 상기 특성 분석 모듈은,
상기 공간에서 복수의 물건이 인식될 경우, 다른 물건과 위치적 상관 관계를 갖는 물건에 상관 특성을 할당하도록 더 구성되는 것을 특징으로 하는 공간 분석 시스템.
제5항에 있어서,
상기 특성 분석 모듈은 상기 대상 시간 간격 동안 하나의 물건과 다른 물건 사이의 거리에 기초하여 상기 상관 특성을 상기 하나의 물건에게 할당하는 것을 특징으로 하는 공간 분석 시스템.
제5항에 있어서,
상기 특성 분석 모듈은 물건 간 상관관계를 기록한 상관 테이블을 미리 저장하고,
인식된 복수의 물건 중 적어도 두 개의 물건에 연관된 상관관계가 미리 저장된 상관 테이블에 포함되어 있는 경우, 인식된 적어도 두 개의 물건 중 어느 하나의 물건에게 상관 특성을 할당하는 것을 특징으로 하는 공간 분석 시스템.
제1항에 있어서,
상기 공간 분석 모듈은 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 상기 공간 분석도를 계산하는 것을 특징으로 하는 공간 분석 시스템.
제8항에 있어서,
상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고,
상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고
상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산된 것을 특징으로 하는 공간 분석 시스템.
제9항에 있어서,
상기 공간 분석 모듈은 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나를 계산하는 것을 특징으로 하는 공간 분석 시스템.
제8항에 있어서,
상기 공간 분석 모듈은 계산된 공간 복잡도에 기초하여 공간 상태를 결정하며,
상기 공간 상태는 정돈 상태 또는 청소 요구 상태를 포함하는 것을 특징으로 하는 공간 분석 시스템.
제1항 내지 제11항 중 어느 하나의 항에 따른 상기 공간 분석 시스템은 출력 장치를 포함하거나, 또는 사용자 단말에 연동되고,
상기 공간 분석 시스템은 공간 분석 정보를 상기 출력 장치 또는 사용자 단말을 통해 사용자에게 제공하며,
상기 공간 분석 정보는 인식된 물건의 촬영 위치, 물건의 정돈 위치, 이동 경로, 위치 분포, 계산된 공간 복잡도, 및 공간 상태 중 적어도 하나를 포함하는 공간 분석 시스템.
제1항 내지 제11항 중 어느 하나의 항에 따른 상기 공간 분석 시스템은 물건을 이동시키도록 구성된 청소로봇에 연동되고,
상기 공간 분석 시스템은 공간 상태가 청소 요구 상태로 결정된 경우, 물건의 정돈 위치 및 촬영 위치, 촬영 위치와 정돈 위치가 상이한 물건을 정돈 위치로 재배치하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇에 전송하는 것을 특징으로 하는 공간 분석 시스템.
제1항 내지 제11항 중 어느 하나의 항에 따른 상기 공간 분석 시스템은 바닥을 청소하도록 구성된 청소로봇에 연동되고,
상기 공간 분석 시스템은 상태가 청소 요구 상태가 아닌 상태로 결정된 경우, 바닥 청소를 개시하기 위한 구동 명령을 포함한 제어 명령을 상기 청소로봇으로 전송하는 것을 특징으로 하는 공간 분석 시스템.
하나 이상의 영상 장치 및 하나 이상의 프로세서에 의해 수행되는, 공간 내 물건 특성에 기초하여 공간 복잡도를 계산하는 공간 분석 방법에 있어서,
공간을 촬영한 모니터링 비디오를 수신하고 대상 시간 간격의 프레임에서 적어도 하나의 물건을 인식하는 단계;
인식된 물건에 대해, 상기 공간 내에서의 시간에 따른 물건의 위치 변화를 바탕으로 물건 특성을 결정하여 할당하는 단계; 및
상기 공간에 대한 적어도 하나의 물건 특성에 기초하여 상기 공간의 어지러진 정도를 수치화한 공간 복잡도를 계산하는 단계를 포함하며,
상기 물건 특성은,
배치 유형 특성을 포함하고,
상기 물건 특성을 결정하여 할당하는 단계는,
상기 대상 시간 간격 동안 상기 물건의 공간 내 이동 경로 길이, 상기 물건의 위치 분포 중에서 적어도 하나를 기반으로 배치 유형 특성을 결정하여 할당하는 단계이고,
상기 공간 복잡도를 계산하는 단계는,
상기 물건의 촬영 위치와 정돈 위치에 대응하는 후보 위치 사이의 거리에 기초하여 공간 복잡도를 계산하는 단계인 것을 특징으로 하는 공간 분석 방법.
제15항에 있어서, 상기 적어도 하나의 물건을 인식하는 단계는,
입력 프레임에 나타난 객체를 정리정돈 대상으로 지정된 적어도 하나의 물건으로 인식하는 단계; 및
인식된 물건의 프레임 시간에서의 위치 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 공간 분석 방법.
제15항에 있어서, 상기 물건 특성을 결정하여 할당하는 단계에서,
상기 대상 시간 간격 동안의 상기 인식된 물건의 위치 분포에 기초하여 상기 물건의 배치 유형 특성을 결정하는 경우,
상기 배치 유형 특성은 물건이 단일 후보 위치를 정돈 위치로 갖는 고정형 또는 물건이 복수의 후보 정돈 위치 중 어느 하나를 정돈 위치로 갖는 프리형을 포함하는 것을 특징으로 하는 공간 분석 방법.
제15항에 있어서, 상기 공간 분석도는 고정형 물건으로 이루어진 그룹에 대한 제1 하위 복잡도, 상관 특성을 갖는 물건으로 이루어진 그룹에 대한 제2 하위 복잡도 및 프리형 물건으로 이루어진 그룹에 대한 제3 하위 복잡도 중 적어도 하나에 기초하여 계산되는 것을 특징으로 하는 공간 분석 방법.
제18항에 있어서,
상기 제1 하위 복잡도는 고정형 물건으로 이루어진 제1 그룹에 대해서, 각 고정형 물건의 촬영 위치와 정돈 위치 사이의 거리에 기초하여 계산되고,
상기 제2 하위 복잡도는, 상관 특성을 갖는 물건으로 이루어진 제2 그룹에 대해서, 각 상관 특성을 갖는 물건의 촬영 위치와 상관 관계를 갖는 다른 물건의 촬영 위치 사이의 거리에 기초하여 계산되며, 그리고
상기 제3 하위 복잡도는, 프리형 물건으로 이루어진 제3 그룹에 대해서, 각 프리형 물건의 촬영 위치와 프리형 물건의 다수의 후보 위치 중 하나의 후보 위치 사이의 거리에 기초하여 계산된 것을 특징으로 하는 공간 분석 방법.
제19항에 있어서,
상기 제1 하위 복잡도 내지 제3 하위 복잡도 중 적어도 하나는 물건 특성별 그룹 내 각 물건의 사이즈에 더 기초하여 계산되는 것을 특징으로 하는 공간 분석 방법.
제15항 내지 제20항 중 어느 하나의 항에 따른 공간 분석 방법을 수행하기 위한 프로그램을 기록한, 컴퓨터 판독가능 기록매체.