KR102314903B1 - 영상 기반 건물 제어 방법 및 장치 - Google Patents

영상 기반 건물 제어 방법 및 장치 Download PDF

Info

Publication number
KR102314903B1
KR102314903B1 KR1020210066997A KR20210066997A KR102314903B1 KR 102314903 B1 KR102314903 B1 KR 102314903B1 KR 1020210066997 A KR1020210066997 A KR 1020210066997A KR 20210066997 A KR20210066997 A KR 20210066997A KR 102314903 B1 KR102314903 B1 KR 102314903B1
Authority
KR
South Korea
Prior art keywords
sensor
person
area
camera module
image
Prior art date
Application number
KR1020210066997A
Other languages
English (en)
Inventor
김유성
김민수
Original Assignee
김유성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김유성 filed Critical 김유성
Priority to KR1020210066997A priority Critical patent/KR102314903B1/ko
Application granted granted Critical
Publication of KR102314903B1 publication Critical patent/KR102314903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0012—Devices monitoring the users of the elevator system
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • G06K9/00362—
    • G06K9/00624—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

영상 기반 건물 제어 방법 및 장치를 개시한다.
본 실시예는 건물 내에 설치된 멀티 센서로부터 획득한 영상을 기반으로 영상 내 사람을 인지하고, 사람의 움직임 영역과 직전까지 움직임을 감지한 영역을 분리하여 객체의 움직임 방향을 예측하고, 설치 위치마다 사람의 수와 움직임 방향에 따라 건물 설비를 제어할 수 있도록 하는 영상 기반 건물 제어 방법 및 장치를 제공한다.

Description

영상 기반 건물 제어 방법 및 장치{Method And Apparatus for Controlling Building Based on Image}
본 발명의 일 실시예는 영상 기반 건물 제어 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
건물 에너지소비는 다른 분야와는 달리 건물의 적절한 운용에 의해 효율성이 결정된다. 정보통신기술(ICT: Information and Communication Technology)의 발달로 인해 건물에서의 에너지 정보를 모니터링하고 시스템과 연동하여 제어 및 운영하는 건물에너지 관리시스템(BEMS: Building Energy Management System), 빌딩 자동제어 시스템 등의 기능을 최적화하기 위한 다양한 시도들이 이루어지고 있다.
빌딩 자동제어 시스템은 빌딩이 대형화되고 고급화됨에 따라 급격하게 증가하는 각종 설비들 예컨대, 공조설비, 전기, 방재, 방범, 통신 설비 등을 중앙 통제 센터에서 감시하며 일괄적으로 제어할 수 있다.
업무용 빌딩과 같은 중대형 건물은 빌딩 내 설치되는 전력, 조명, 공조시설 등의 각종 서브시스템을 자동으로 제어하는 빌딩 자동제어 시스템이 설치되는 경우가 많다. 빌딩 자동제어 시스템은 냉난방제어시스템 및 조명제어시스템 등을 포함한다.
최근 신축되는 공공기관 건물에 BEMS의 설치 의무화 등 건물의 운영단계에서 효율적인 에너지 사용과 관리를 위하여 정책적으로 확대되고 있으나 아직까지 일반적인 건물 에너지 관리 시스템은 건물과 각종 설비 및 시스템의 운영과 관련된 상태감시와 기본적인 제어기능 이외에 사용자가 원하는 에너지 소비정보 제공이 미흡한 실정이다.
빌딩 자동제어 시스템은 실시간 모니터링과 제어를 요구한다. 종래의 냉난방기 자체에 부착된 온도 센서에 의존하여 실내 온도를 조절하거나, 가습기 등의 습도조절장치를 수동으로 조절하여 작동시키는 방식은 실내의 온도 불균형을 초래하거나, 온도가 과도하게 높아지거나 낮은 상태로 가동되는 경우가 많고, 적정 습도를 유지하기 어렵기 때문에 사용자가 냉난방장치 및 습도조절장치를 직접 조작해야 하는 문제가 있다.
본 실시예는 건물 내에 설치된 멀티 센서로부터 획득한 영상을 기반으로 영상 내 사람을 인지하고, 사람의 움직임 영역과 직전까지 움직임을 감지한 영역을 분리하여 객체의 움직임 방향을 예측하고, 설치 위치마다 사람의 수와 움직임 방향에 따라 건물 설비를 제어할 수 있도록 하는 영상 기반 건물 제어 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 기 설정된 특정 영역을 촬영한 영상 정보를 획득하는 카메라 모듈; 상기 영상 정보로부터 배경 영상과 객체를 각각 분리하여 인지한 후 상기 객체가 사람인지의 여부를 판별하는 사람 판별부; 상기 사람의 수를 카운팅하는 사람 계수부; 상기 사람의 이동성이 확인되면, 상기 이동성을 기반으로 움직임 방향을 산출하는 이동성 판별부; 상기 사람의 이동성을 운동량으로 환산하는 운동량 판별부; 및 상기 사람의 수, 상기 움직임 방향, 상기 운동량을 기반으로 연동하는 건물 설비를 제어하는 건물설비 제어부;를 포함하는 것을 특징으로 하는 멀티 센서를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 건물 내에 설치된 멀티 센서로부터 획득한 영상을 기반으로 영상 내 사람을 인지하고, 사람의 움직임 영역과 직전까지 움직임을 감지한 영역을 분리하여 객체의 움직임 방향을 예측하고, 설치 위치마다 사람의 수와 움직임 방향에 따라 건물 설비를 제어할 수 있도록 하는 효과가 있다.
도 1a,1b는 본 실시예에 따른 단일 카메라 모듈을 탑재한 멀티 센서를 나타낸 도면이다.
도 2a,2b,2c,2d,2e,2f,2g,2h는 본 실시예에 따른 복수의 카메라를 탑재한 멀티 센서를 나타낸 도면이다.
도 3은 본 실시예에 따른 이미지 인식 프로세서를 나타낸 도면이다.
도 4는 본 실시예에 따른 복수의 영역 상에 움직임 감지 영역을 판별하는 방법을 나타낸 도면이다.
도 5는 본 실시예에 따른 촬영된 영상에 대한 이미지 처리 방법을 나타낸 도면이다.
도 6은 본 실시예에 따른 멀티 센서를 이용한 검출 범위를 나타낸 도면이다.
도 7은 본 실시예에 따른 멀티 센서의 내부 모듈을 나타낸 도면이다.
도 8은 본 실시예에 따른 멀티 센서를 이용한 조명 제어 방법을 나타낸 도면이다.
도 9는 본 실시예에 따른 멀티 센서를 이용한 에어컨 제어 방법을 나타낸 도면이다.
도 10은 본 실시예에 따른 멀티 센서를 이용한 엘리베이터 제어 방법을 나타낸 도면이다.
도 11은 본 실시예에 따른 멀티 센서를 이용한 방법 및 방제 방법을 나타낸 도면이다.
도 12는 본 실시예에 따른 객체 이동성에 따라 제어영역을 확장하는 방법을 설명하기 위한 도면이다.
도 13은 본 실시예에 따른 객체의 방향성 탐지 방법을 나타낸 도면이다.
도 14는 본 실시예에 따른 객체의 동일 방향성을 확인하는 방법을 나타낸 도면이다.
도 15는 본 실시예에 따른 비콘과 2차적으로 연동하여 동작하는 방법을 나타낸 도면이다.
도 16은 본 실시예에 따른 비콘과 2차적으로 연동하여 객체 이동의 정확성을 확인하는 방법을 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1a,1b는 본 실시예에 따른 단일 카메라 모듈을 탑재한 멀티 센서를 나타낸 도면이다.
멀티 센서(110)는 빌딩의 ZEB(Zero-Energy Building)화, 스마트 웰네스 오피스, 에 플렉서블(Flexible)하게 대응하기 위해서 탑재된다. 여기서, ZEB는 에너지 절약 기술과 재생 에너지 사용과 같은 에너지 조치를 결합하여 운영 단계에서 에너지 소비가 0 또는 일반적으로 0이 되도록 하는 건물을 의미한다.
멀티 센서(110)는 기 설정된 특정 영역을 촬영하기 위한 카메라 모듈(112)을 탑재한다. 멀티 센서(110)는 카메라 모듈(112)을 이용하여 획득한 영상에서 배경 영상과 객체를 각각 인지한다. 멀티 센서(110)는 인지된 객체가 사람인지를 판별한다. 멀티 센서(110)는 사람 수를 카운팅하고, 사람의 이동성을 확인한다.
멀티 센서(110)는 인지된 사람의 수와 움직임 방향에 따라 연동하는 건물 설비를 제어한다. 멀티 센서(110)는 화상 인식을 위한 별도의 이미지 프로세서(Image Processor)를 탑재한다. 멀티 센서(110)는 고정밀하고 광범위하게 사람을 감지한다. 멀티 센서(110)는 감지된 사람에 대한 정보를 획득한다. 멀티 센서(110)는 획득한 정보를 기반으로 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))에 대한 제어를 지원한다.
멀티 센서(110)는 각각 독립적으로 동작하거나 복수의 개가 하나의 장치와 연결되어 동작할 수 있다. 멀티 센서(110)는 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))와 연동한다. 멀티 센서(110)는 카메라 모듈(112)로부터 수신된 영상 정보를 기반으로 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))를 제어한다. 멀티 센서(110)는 카메라 모듈(112)로부터 영상 정보를 수신한다. 멀티 센서(110)는 영상 정보를 기반으로 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))를 제어한다.
멀티 센서(110)는 카메라 모듈(112)로부터 수신된 영상 정보를 이용하여 객실 사용 여부를 시각화한다. 멀티 센서(110)는 실시간 객실 사용에 대한 가시성과 예약 상태 및 실제 가용성을 제공하여 비즈니스 효율성을 높인다. 멀티 센서(110)는 용량과 사용자 수가 일치하는지의 여부를 분석하여 회의 공간을 보다 적절하게 활용할 수 있도록 한다.
멀티 센서(110)는 카메라 모듈(112)로부터 수신된 영상 정보를 이용하여 사무실 사용 여부를 시각화한다. 멀티 센서(110)는 사무실 내 좌석이나 구역에 얼마나 오래 있었는지 시각화하면 대략적인 근무 시간을 파악할 수 있다. 멀티 센서(110)는 사무실 내에 존재하는 객체 움직임과 객체 속도를 기반으로 고정 좌석 수를 줄인다.
멀티 센서(110)는 상업 시설에 설치되어 카메라 모듈(112)로부터 수신된 영상 정보를 기반으로 사업 시설에 대한 혼잡을 시각화한다. 멀티 센서(110)는 식당에 설치되어 카메라 모듈(112)로부터 수신된 영상 정보를 기반으로 기다리는 인원수와 식당 내 인원 현황을 감지하여 디지털 사이니지에 실시간으로 표시하여 혼잡 수준을 분산할 수 있다. 멀티 센서(110)는 혼잡 수준을 스마트폰에 정보를 배포하여 고객 서비스를 개선할 수 있도록 한다.
멀티 센서(110)는 각종 시설과의 협력을 지원한다. 멀티 센서(110)는 기존의 적외선 센서와 비교하여 광범위하게 미세 움직임을 감지할 수 있으며, 해당 범위 내에서 감지되는 사람 및 활동하고 있는 총 사람의 수를 추정할 수 있다. 멀티 센서(110)는 해당 범위 내에서 사람의 존재하는지의 여부를 결정한 후 거짓 또는 긍정으로 출력하여 출력 프로세스를 줄이고 설정을 단순화할 수 있다. 멀티 센서(110)는 전술한 기능을 다양한 시설과 연계하여 스마트 컨트롤을 실현한다.
멀티 센서(110)는 단일 카메라 모듈(112)을 포함하여 구현될 수 있다. 카메라 모듈(112)은 고해상도 컬러 카메라로서, 그레이 스케일 카메라를 지원한다. 예컨대, 카메라 모듈(112)은 최대 130만 픽셀을 지원한다. 카메라 모듈(112)은 색상 인식을 수행하여 물체 인식률을 향상시킨다. 여기서, 단일 카메라 모듈(112)은 기 설정된 전체 영역(120)을 촬영한 영상 데이터를 획득한다.
건물 설비는 건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110) 중 적어도 하나 이상의 설비를 포함한다.
도 2a,2b,2c,2d,2e,2f,2g,2h는 본 실시예에 따른 복수의 카메라를 탑재한 멀티 센서를 나타낸 도면이다.
본 실시예에 따른 멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 포함하여 구현될 수 있다. 멀티 센서(110)는 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 포함한다.
이미지 인식 프로세서는 최대 4대의 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)과 연결 가능하다. 이미지 인식 프로세서는 최대 4대의 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 동시에 연결할 수 있으며, 4개의 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)로부터 각각 획득한 이미지 데이터를 합성하여 하나의 영상인 합성 데이터(200)를 생성한다.
이미지 인식 프로세서는 저전력을 소비하면서, 고성능으로 이미지를 인식한다. 이미지 인식 프로세서는 0.15 GHz ~ 0.266 GHz에서 동작하는 MPE(Media Processing Engine)와 복수의 이미지 처리 가속기 통합하여 향상된 성능으로 대상 객체를 감지한다.
제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)은 기 설정된 특정 영역을 촬영한 영상 정보를 각각 획득한다.
카메라 모듈(120)은 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 포함한다. 제1 카메라 모듈(112-1)은 제1 영역(210)을 촬영하여 제1 영상 데이터를 획득한다. 제2 카메라 모듈(112-2)은 제2 영역(220)을 촬영하여 제2 영상 데이터를 획득한다. 제3 카메라 모듈(112-3)은 제3 영역(230)을 촬영하여 제3 영상 데이터를 획득한다. 제4 카메라 모듈(112-4)은 제4 영역(240)을 촬영하여 제4 영상 데이터를 획득한다.
제1 영역(210), 제2 영역(220), 제3 영역(230), 제4 영역(240)은 일부 영역이 중첩되는 중첩 영역(330)을 갖는다.
도 2a 내지 도 2f에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 중앙 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 중 일부를 선택적으로 동작하도록 제어한다.
다시 말해, 도 2a에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제1 영역(210)에서 판별되는 경우 제1 카메라 모듈(112-1)만을 선택적으로 동작하도록 제어한다. 도 2b에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제2 영역(220)에서 판별되는 경우 제2 카메라 모듈(112-2)만을 선택적으로 동작하도록 제어한다. 도 2c에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제3 영역(230)에서 판별되는 경우 제3 카메라 모듈(112-3)만을 선택적으로 동작하도록 제어한다. 도 2d에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제4 영역(240)에서 판별되는 경우 제4 카메라 모듈(112-4)만을 선택적으로 동작하도록 제어한다.
도 2f에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제1 영역(210)과 제2 영역(220)에서 판별되는 경우 제1 카메라 모듈(112-1)과 제2 카메라 모듈(112-2)만을 선택적으로 동작하도록 제어한다.
도 2g에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 전체가 동작하도록 제어한다.
도 2h에 도시된 바와 같이, 멀티 센서(110)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 제어한다. 여기서, 멀티 센서(110)는 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 각 카메라 모듈의 각도를 조절한다.
도 3은 본 실시예에 따른 이미지 인식 프로세서를 나타낸 도면이다.
멀티 센서(110)는 탑재된 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 획득한 복수의 영상을 하나의 데이터로 합성한 합성 데이터(200)를 생성한다. 멀티 센서(110)는 합성 데이터(200)를 복수의 영역으로 분할한다. 멀티 센서(110)는 분할 영역 내에서 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분한다.
멀티 센서(110)는 복수의 분할 영역마다 사람이 존재하는 지의 여부를 감지한다. 멀티 센서(110)는 분할 영역마다 사람이 존재하는 경우, 해당 영역이 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분한다.
멀티 센서(110)는 촬상한 화상에 기초하여 복수의 분할 영역마다 사람의 존재 유무를 검지한다. 멀티 센서(110)는 분할 영역 중 사람 존재 영역마다, 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분하여 사람의 이동량과 운동량을 확인한다.
멀티 센서(110)는 복수의 분할 영역 각각에서 직전까지 움직임 감지 영역(320)의 유지 시간과 움직임 감지 영역(310)의 유지 시간을 기반으로 운동량을 산출한다. 멀티 센서(110)는 운동량을 기반으로 CO2 농도를 산출한다. 멀티 센서(110)는 직전까지 움직임 감지 영역(320)에서 움직임 감지 영역(310)으로 변경 여부에 따라 사람의 이동량을 산출한다.
멀티 센서(110)는 복수의 분할 영역에 포함되는 한 개 이상의 움직임 감지 영역(310)과 한 개 이상의 직전까지 움직임 감지 영역(320)을 매칭시키거나 한 개 이상의 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시킨다.
멀티 센서(110)는 움직임 감지 영역(310)에서 직전까지 움직임 감지 영역(320)으로 전환되는 전환 영역을 추출한다. 멀티 센서(110)는 전환 영역을 기반으로 사람의 이동량과 운동량을 확인한다. 멀티 센서(110)는 전환 영역을 사이즈 또는 영역 개수를 기반으로 사람의 이동량과 운동량을 확인한다. 멀티 센서(110)는 복수의 분할 영역 중 움직임 미감지 영역을 오프 영역(340)으로 설정한다.
멀티 센서(110)는 탐지 영역을 분할한 복수의 분할 영역마다, 사람의 존재 유무를 검지한다. 멀티 센서(110)는 복수의 분할 영역 각각을 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 탐지한다. 멀티 센서(110)는 탐지 영역의 복수의 분할 영역마다, 사람의 존재 유무를 검지하는 검지 기능의 온오프를 전환할 수 있다. 멀티 센서(110)는 분할 영역 상의 탐지 영역을 직사각형으로 형태로 인지한다.
도 4는 본 실시예에 따른 복수의 영역 상에 움직임 감지 영역을 판별하는 방법을 나타낸 도면이다.
멀티 센서(110)는 사람을 인식하기 위한 고정밀 이미지 인식 프로세서를 장착한다. 멀티 센서(110)에 탑재된 이미지 인식 프로세서를 이용하여 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 영상 정보를 실시간으로 처리하여 사람 수와 사람의 움직임 방향을 인식한다.
멀티 센서(110)에 탑재된 이미지 인식 프로세서는 통합된 지능형 카메라로서, 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 입력 이미지를 처리하고 인간, 머리, 팔 및 기타 객체의 움직임을 감지한다.
일반적인 광역 감시 시스템에서 이용하는 중앙 집중식 이미지 인식 서버처럼 복수의 네트워크 카메라로부터 동시에 이미지를 획득하는 계산에 과부하가 걸릴 수 있다. 본 실시예에 따른 멀티 센서(110)에 탑재된 이미지 인식 프로세서는 지능형 카메라를 이용하여 카메라 모듈(112-1,112-2,112-3,112-4)에서 이미지를 처리할 수 있다. 이미지 인식 프로세서는 시스템에 사용되는 PC의 전력 소비를 줄이면서 다양한 이미지 처리 작업을 고속으로 수행한다. 이미지 인식 프로세서는 펌웨어를 수정에 따라 안 기능으로 사람 감지, 얼굴 인식, 표정 인식으로 특정 사람을 검출할 수 있다. 이미지 인식 프로세서는 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 획득한 각 영상 프레임 내 존재하는 사람을 출력하는 장면만을 빠르게 추출한다.
이미지 인식 프로세서는 사람 인식에 적합한 이미지 처리 프로세서를 포함한다. 이미지 인식 프로세서는 조도가 낮은 상황에서 보행자 보행자를 감지할 수 있다. 이미지 인식 프로세서는 인식된 대상 객체의 색조, 색상을 인식한다.
멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)(예컨대, 최대 4대)을 동시에 연결할 수 있다. 멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 영상 정보로부터 캡처한 이미지를 하나로 합성한 합성 데이터(200)로부터 사람을 인지하고, 사람의 이동방향을 검출할 수 있다.
이미지 인식 프로세서는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 지원하며, 복수의 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득된 복수의 대상 객체를 동시에 감지한다. 이미지 인식 프로세서는 사람 인식에 적합한 원본 이미지 처리 가속기를 포함한다. 이미지 인식 프로세서는 HOG(Histogram of Oriented Gradients)을 이용하여 원본 이미지를 처리하며, 야간 및 주간에서 실시간으로 사람을 감지한다. 이미지 인식 프로세서는 HOG을 이용하여 조명 변화 및 작은 변형을 파악하여 사람을 감지한다.
이미지 인식 프로세서는 카메라 기반 비전 시스템을 이용하여 사람을 인식하는 애플리케이션용 이미지 인식 프로세서를 포함한다. 이미지 인식 프로세서는 야간 및 주간 모두 실시간으로 보행자를 감지한다.
도 4에 도시된 바와 같이, 멀티 센서(110)는 사무실에 앉아서 근무하는 사람을 인지한 경우, 복수의 분할 영역 중 앉아있는 사람을 인지한다. 멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 사무실 천장에 설치되므로, 천장에서 탑뷰(Top View)로 사무실에 앉아서 근무하는 사람을 촬영한다.
멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 영상을 합성하여 합성 데이터(200)를 생성한 후 합성 데이터(200)를 복수로 분할하여 분할 영역을 생성한다. 멀티 센서(110)는 분할 영역 중 사람을 감지한 후 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)을 구분한다. 예컨대, 멀티 센서(110)는 사무실에 앉아서 근무하는 사람을 직전까지 움직임 감지 영역(320)으로 인지하고, 사무실에 앉아서 근무하는 사람의 손이 타이핑하거나 마우스를 움직이는 경우, 손이 위치하는 영역만 움직임 감지 영역(310)으로 인지한다.
멀티 센서(110)는 사무실에 앉아서 근무하는 사람의 손만 움직이는 경우, 손이 위치하는 영역만 움직임 감지 영역(310)으로 판별하여 움직임이 적은 것으로 인지한다. 멀티 센서(110)는 사무실에 앉아서 근무하는 사람의 머리 부분이 움직이는 경우, 해당 객체가 이동하는 것으로 산출한다.
도 5는 본 실시예에 따른 촬영된 영상에 대한 이미지 처리 방법을 나타낸 도면이다.
멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 복수의 영상을 획득한다. 멀티 센서(110)는 복수의 영상을 하나의 영상으로 합성한 합성 데이터(200)를 생성한다. 멀티 센서(110)는 합성 데이터(200)에 대해 소정의 전처리(pre-processing)를 수행한다.
멀티 센서(110)는 동영상 모드로 동작하는 이미지 처리를 수행한다. 멀티 센서(110)는 합성 데이터(200)를 입력받아 소정의 전처리(preprocessing)를 수행한다. 멀티 센서(110)는 합성 데이터(200)의 각 픽셀의 결함(Defect)을 보정하기 위한 처리와 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading)을 수행한다. 멀티 센서(110)는 이미지 전처리를 위해 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가진다.
멀티 센서(110)는 이미지 전처리를 수행한 RGB 이미지 데이터를 소정 비율로 이미지 크기를 줄이는 다운 스케일링을 수행한다. 멀티 센서(110)는 전처리를 거친 RGB 이미지 데이터를 홀수 라인 또는 짝수 라인만을 선택하여 1/2 사이즈로 다운 스케일링하거나 10라인마다 한 개 라인만을 선택하여 1/10로 다운 스케일링할 수 있다.
멀티 센서(110)는 이미지 보간을 위해 다운 스케일링된 베이어(Bayer) 포맷의 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation)한다. 멀티 센서(110)는 RGB 감마 보정을 위해 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행한다. 멀티 센서(110)는 YC 변환을 위해 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다.
멀티 센서(110)는 YC 변환을 위해 밝기 정보 등의 이미지 특성 정보를 이용하여 화질을 개선할 수 있다. 멀티 센서(110)는 잡음 필터를 위해 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다.
멀티 센서(110)는 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE), 오토 화이트 밸런싱(Auto White Balancing; AWB) 처리를 수행한다.
파라미터는 전처리된 데이터로부터 추출되는 이미지 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 밝기값은 평균값이 될 수 있다.
파라미터는 보간 처리된 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 파라미터는 출력 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 파라미터는 밝기값 이외의 색차 성분(Cb, Cr)의 평균값등을 포함하는 다른 이미지 특성 정보를 추가로 포함할 수 있다.
멀티 센서(110)는 출력된 YC 데이터를 제공받아 후처리(post processing)를 수행한다. 멀티 센서(110)는 후처리를 위해 YC 데이터에 대한 칼라 보정(Color Correction), 얼굴 검출, 표정 검출 동작을 수행할 수 있다.
멀티 센서(110)는 정지된 스틸 이미지 모드로 동작하는 이미지 처리를 수행한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 스틸 이미지를 입력받아 처리한다. 멀티 센서(110)는 스틸 이미지를 입력받아 소정의 전처리(preprocessing)를 수행한다. 멀티 센서(110)는 전처리 수행을 위해 스틸 이미지의 각 픽셀의 결함(Defect)을 보정하기 위한 처리와 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading)을 수행한다. 멀티 센서(110)는 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 포함하는 전처리된 데이터를 출력한다.
멀티 센서(110)는 소정의 스틸 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE), 오토 화이트 밸런싱(Auto White Balancing; AWB) 처리를 수행한다.
멀티 센서(110)는 전처리된 이미지 전체 픽셀 영역에 대한 밝기값(평균값) 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값을 포함하는 파라미터를 추출한다.
파라미터는 보간 처리된 스틸 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값을 포함한다. 파라미터는 RGB 감마가 보정된 스틸 이미지 또는 YC가 변환된 스틸 이미지의 전체 픽셀 영역에 대한 밝기값 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값을 포함한다. 파라미터는 밝기값 이외의 색차 성분(Cb, Cr)의 평균값 등과 같은 다른 이미지 특성 정보를 추가로 포함한다.
멀티 센서(110)는 전처리된 스틸 이미지를 읽어들여 소프트웨어적으로 RGB 보간, RGB 감마 보정, YC 변환 및 잡음 필터링을 수행하여 YC 데이터를 생성한다. 멀티 센서(110)는 전처리된 베이어(Bayer) 포맷의 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation)한다. 멀티 센서(110)는 RGB 보간(interpolation) 처리에 의하여 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가지는 각 픽셀당 R(Red), G(Green) 및 B(Blue) 값을 포함하도록 한다.
멀티 센서(110)는 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행한다. 멀티 센서(110)는 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다. 멀티 센서(110)는 밝기 정보 등의 이미지 특성 정보를 이용하여 화질을 개선할 수 있다. 멀티 센서(110)는 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다.
도 6은 본 실시예에 따른 멀티 센서를 이용한 검출 범위를 나타낸 도면이다.
카메라 모듈(112-1,112-2,112-3,112-4)은 사무공간의 천장에서 책상면 높이로 앉아있는 사람을 검출하기 위해 기 설정된 제1 높이로 설치되어 기 설정된 제1 범위를 촬영하도록 하거나 공장 및 창고의 높은 천장에서 이동하는 사람을 검출하기 위해 기 설정된 제2 높이로 설치되어 기 설정된 제2 범위를 촬영하도록 한다.
카메라 모듈(112-1,112-2,112-3,112-4)은 제1 범위와 제2 범위 내에서 제외할 대상을 마스킹(Masking)하도록 한다.
멀티 센서(110)는 사무실에 설치되어 사무실 내 책상면 높이까지를 탐지한다. 멀티 센서(110)는 사무실 최대 2~3m 높이의 천장에서도 앉아 있는 사람의 감지가 가능하다. 예컨대, 멀티 센서(110)는 책상에 앉은 사람을 감지하고 필요한 경우에만 에어콘을 동작시키고, 사람의 위치에 따라 풍향을 제어하여 작업 환경을 향상시킬 수 있다.
멀티 센서(110)는 공장 및 창고에서 높은 천장 지지대에 설치될 수 있다. 멀티 센서(110)는 공장이나 창고 등 최대 8m 높이의 높은 천장에서도 보행 감지가 가능하다. 예컨대, 멀티 센서(110)는 작업자를 감지하고 필요한 경우에만 에어콘을 동작시키고, 사람의 위치에 따라 풍향을 제어하여 작업 환경을 향상시킬 수 있다.
멀티 센서(110)는 획득된 이미지 정보로부터 사람의 미세한 움직임을 감지할 수 있다. 멀티 센서(110)는 주변 밝기를 감지할 수 있으며, 밝기를 기반으로 조명을 제어한다. 멀티 센서(110)는 어두운 환경에 적용되어 보행자를 감지할 수 있다.
멀티 센서(110)는 9m × 9m로 센싱할 범위를 설정할 수 있다. 멀티 센서(110)는 센싱할 범위를 최대 9개의 영역으로 자유롭게 설정 및 분할할 수 있다. 멀티 센서(110)는 센싱할 범위 중 센싱할 범위에서 제외할 장소(예컨대, 통로)를 마스킹할 수 있다. 멀티 센서(110)는 최소 검출 대상은 15cm2 이상의 물체로서, 0.5m/sec 이상의 속도로 이동한다. 멀티 센서(110)는 1럭스를 최소 검출 조도로 설정한다.
멀티 센서(110)는 센싱할 범위 내에서 감지되는 개략적인 인원수와 활동을 추정한다. 멀티 센서(110)는 센싱할 범위 내에 존재하는 사람이 걷거나 제자리에 머무르는 지의 여부를 식별한다. 멀티 센서(110)는 센싱할 범위 내에서 감지된 인원수와 활동에 따라 조명, 에어컨을 포함하는 주변 기기를 효과적으로 제어한다.
멀티 센서(110)는 특정 장소에 설치한 후 업데이트 필요에 따라 최신 기능을 적용하여 업데이트된다. 멀티 센서(110)는 사람에 대한 멀티 정보를 획득하며, 다양한 센서의 기능을 대체한다. 멀티 센서(110)는 센싱할 범위 내에 존재하는 사람에 대해 복수의 정보를 획득한다.
멀티 센서(110)는 센싱할 범위 내에서 조도 및 CO2 정보를 획득할 수 있다. 멀티 센서(110)는 미래에 취득한 건물의 빅 데이터를 클라우드에 축적한 후 분석하여 다양한 클라우드 서비스를 제공한다.
도 7은 본 실시예에 따른 멀티 센서의 내부 모듈을 나타낸 도면이다.
본 실시예에 따른 멀티 센서(110)는 데이터 합성부(702), 영역 분할부(704), 사람 판별부(706), 움직임 인지부(708), 사람 계수부(710), 이동성 판별부(720), 운동량 판별부(730), 건물설비 제어부(740)를 포함한다. 멀티 센서(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
멀티 센서(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 7에 도시된 멀티 센서(110)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
데이터 합성부(702)는 제1 카메라 모듈(112-1)로부터 획득한 제1 영역(210)에 대응하는 제1 영상 데이터, 제2 카메라 모듈(112-2)로부터 획득한 제2 영역(220)에 대응하는 제2 영상 데이터, 제3 카메라 모듈(112-3)로부터 획득한 제3 영역(230)에 대응하는 제3 영상 데이터, 제4 카메라 모듈(112-4)로부터 획득한 제4 영역(240)에 대응하는 제4 영상 데이터를 하나의 데이터로 합성한 합성 데이터(200)를 생성한다.
영역 분할부(704)는 합성 데이터(200)를 복수의 분할 영역으로 분할한다. 사람 판별부(706)는 영상 정보로부터 배경 영상과 객체를 각각 분리하여 인지한 후 객체가 사람인지의 여부를 판별한다. 사람 판별부(706)는 사람의 수에 따라 혼잡 정보를 생성하고, 사람이 사회적 취약 계층인지의 여부, 화재 발생 여부를 판별한다.
사람 판별부(706)는 검출 범위 중 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 전체가 동작하도록 제어한다.
사람 판별부(706)는 검출 범위 중 사람이 중앙 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 중 일부를 선택적으로 동작하도록 제어한다. 사람 판별부(706)는 사람의 머리 부분, 손 부분, 다리 부분을 구분하여 인지한다.
사람 판별부(706)는 합성 데이터(200)가 동영상 데이터인 경우, 동영상 데이터의 전처리(preprocessing)를 수행한 전처리 데이터를 생성한다. 사람 판별부(706)는 전처리 데이터 내의 각 픽셀의 결함(Defect)을 보정하고, 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading)을 수행한 보정 데이터를 생성한다. 사람 판별부(706)는 보정 데이터의 소정 비율로 이미지 크기를 줄이는 다운 스케일링을 수행한 다운 스케일링 데이터를 생성한다. 사람 판별부(706)는 다운 스케일링 데이터를 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation)을 수생한 보간 데이터를 생성한다. 사람 판별부(706)는 보간 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행한 RGB 감마 데이터를 생성한다. 사람 판별부(706)는 RGB 감마 데이터에 대한 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한 YC 변환 데이터를 생성한다. 사람 판별부(706)는 YC 변환 데이터의 잡음을 줄이기 위한 필터링을 수행한 노이즈 필터 데이터를 생성한다. 사람 판별부(706)는 노이즈 필터 데이터로부터 사람을 검출하고, 사람의 머리 부분, 손 부분, 다리 부분을 구분하여 인지한다.
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 제어한다.
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제1 카메라 모듈(112-1)의 기울기를 각각 조절하여 제1 영역(210)이 제1 확장 영역(210-2)으로 확장되도록 한다.
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제2 카메라 모듈(112-2)의 기울기를 각각 조절하여 제2 영역(220)이 제2 확장 영역(220-2)으로 확장되도록 한다.
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제3 카메라 모듈(112-3)의 기울기를 각각 조절하여 제3 영역(230)이 제3 확장 영역(230-2)으로 확장되도록 한다.
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제4 카메라 모듈(112-4)의 기울기를 각각 조절하여 제4 영역(240)이 제4 확장 영역(240-2)으로 확장되도록 한다.
사람 판별부(706)는 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 제어할 때 중첩 영역(330)을 갖지 않는 하나의 촬영 영역을 갖도록 한다.
움직임 인지부(708)는 분할 영역마다 사람이 존재하는 지의 여부를 감지하고, 사람이 존재하는 영역을 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분하여 인지한다.
움직임 인지부(708)는 움직임 감지 영역(310)에서 직전까지 움직임 감지 영역(320)으로 변경된 시간이 길수록 판별 민감도를 낮게 산출한다. 움직임 인지부(708)는 직전까지 움직임 감지 영역(320)에서 움직임 감지 영역(310)으로 변경된 시간이 길수록 판별 민감도를 높게 산출한다. 움직임 인지부(708)는 판별 민감도가 기준치보다 높을 경우 제어 범위를 제어 확장 범위로 확장시키고, 판별 민감도가 기준치보다 낮을 경우 제어 확장 범위 제어 범위로 축소하도록 조정한다.
사람 계수부(710)는 사람의 수를 카운팅한다. 이동성 판별부(720)는 사람의 이동성이 확인되면, 이동성을 기반으로 움직임 방향을 산출한다.
이동성 판별부(720)는 움직임 감지 영역(310)이 판별되면, 한 개 이상의 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시켜서, 최초 움직임을 감지하고, 다시 감지되는 움직임 감지 영역(310)에 따라 움직임 방향을 산출한다.
이동성 판별부(720)는 움직임 감지 영역(310)이 머리 부분으로 판별되면, 머리 부분에 해당하는 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시켜서, 최초 움직임을 감지한다. 이후 이동성 판별부(720)는 다시 감지되는 머리 부분에 해당하는 움직임 감지 영역(310)에 따라 움직임 방향을 산출한다.
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제1 방향에서 제2 방향으로 변경된 것으로 인지하면 제1 방향에서 사람이 먼저 감지되었다가 제2 방향으로 이동한 것으로 판단하여 제1 방향에서 제2 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제1 방향에서 제3 방향으로 변경된 것으로 인지하면 제1 방향에서 사람이 먼저 감지되었다가 제3 방향으로 이동한 것으로 판단하여 제1 방향에서 제3 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제1 방향에서 제4 방향으로 변경된 것으로 인지하면 제1 방향에서 사람이 먼저 감지되었다가 제4 방향으로 이동한 것으로 판단하여 제1 방향에서 제4 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다.
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제2 방향에서 제1 방향으로 변경된 것으로 인지하면 제2 방향에서 사람이 먼저 감지되었다가 제1 방향으로 이동한 것으로 판단하여 제2 방향에서 제1 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제2 방향에서 제3 방향으로 변경된 것으로 인지하면 제2 방향에서 사람이 먼저 감지되었다가 제3 방향으로 이동한 것으로 판단하여 제2 방향에서 제3 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제2 방향에서 제4 방향으로 변경된 것으로 인지하면 제2 방향에서 사람이 먼저 감지되었다가 제4 방향으로 이동한 것으로 판단하여 제2 방향에서 제4 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다.
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제3 방향에서 제1 방향으로 변경된 것으로 인지하면 제3 방향에서 사람이 먼저 감지되었다가 제1 방향으로 이동한 것으로 판단하여 제3 방향에서 제1 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제3 방향에서 제2 방향으로 변경된 것으로 인지하면 제3 방향에서 사람이 먼저 감지되었다가 제2 방향으로 이동한 것으로 판단하여 제3 방향에서 제2 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제3 방향에서 제4 방향으로 변경된 것으로 인지하면 제3 방향에서 사람이 먼저 감지되었다가 제4 방향으로 이동한 것으로 판단하여 제3 방향에서 제4 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다.
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제4 방향에서 제1 방향으로 변경된 것으로 인지하면 제4 방향에서 사람이 먼저 감지되었다가 제1 방향으로 이동한 것으로 판단하여 제4 방향에서 제1 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제4 방향에서 제2 방향으로 변경된 것으로 인지하면 제4 방향에서 사람이 먼저 감지되었다가 제2 방향으로 이동한 것으로 판단하여 제4 방향에서 제2 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제4 방향에서 제3 방향으로 변경된 것으로 인지하면 제4 방향에서 사람이 먼저 감지되었다가 제3 방향으로 이동한 것으로 판단하여 제4 방향에서 제3 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다.
이동성 판별부(720)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 일정한 한 방향으로 지속적으로 변경되는 경우 방향성을 가진 이동으로 판별한다. 이동성 판별부(720)는 순차적으로 방향성을 가진 이동으로 판별되는 시간을 기반으로 사람의 방향성을 예측한다.
이동성 판별부(720)는 사람에 대한 탐지 시간이 길수록 방향성 민감도를 높게 설정한다. 이동성 판별부(720)는 방향성을 뚜렷이 가지는 영역에서 판별된 객체, 사람이 많이 모이는 영역에서 판별되는 객체에 대해서 방향성 민감도를 높게 설정한다.
운동량 판별부(730)는 사람의 이동성을 운동량으로 환산한다. 운동량 판별부(730)는 운동량을 기반으로 기 설정된 공간 내의 CO2 농도를 추정한다. 운동량 판별부(730)는 움직임 감지 영역(310)이 직전까지 움직임 감지 영역(320)으로 전환된 후 직전까지 움직임 감지 영역(320)의 유지 시간에 따라 운동량을 낮은 상태로 산출한다.
운동량 판별부(730)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 전환된 후 움직임 감지 영역(310)의 유지 시간에 따라 운동량을 높은 상태로 산출한다.
운동량 판별부(730)는 움직임 감지 영역(310)이 손 부분으로 판별되면, 손 부분에 해당하는 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시켜서, 최초 움직임을 감지한다. 이후 운동량 판별부(730)는 다시 감지되는 손 부분에 해당하는 움직임 감지 영역(310)에 따라 사람이 움직이는 것이 아닌 손만 움직이는 것으로 인지(예컨대, 키보드 타이핑)하여 운동량을 낮은 상태로 환산한다.
건물설비 제어부(740)는 사람의 수, 움직임 방향, 운동량을 기반으로 연동하는 건물 설비를 제어한다. 건물설비 제어부(740)는 움직임 방향에 존재하는 조명 설비를 온시킨다. 건물설비 제어부(740)는 사람이 미존재하거나 움직임 방향의 반대 방향에 존재하는 조명 설비를 오프시킨다.
건물설비 제어부(740)는 영상 정보의 밝기값을 산출하고, 밝기값이 기 설정된 임계치 이상인 경우 주변 창문으로부터 외부 조명이 인입되는 것으로 판단하여 해당 영역에 설치되 조명 설비를 오프시킨다.
건물설비 제어부(740)는 사람의 수와 운동량에 비례하여 에어컨 설비가 강하게 운영되도록 제어한다. 건물설비 제어부(740)는 CO2 농도가 기준치 이상인 경우 외부 공기 흡입구를 제어하여 내부 공기가 환기되도록 제어한다. 건물설비 제어부(740)는 혼잡 정보가 높을수록 엘리베이터 설비 중 동작하는 엘리베이터 수가 증가하도록 제어한다.
건물설비 제어부(740)는 사람이 사회적 취약 계층인 경우 직원 단말기로 알람을 발생한다. 건물설비 제어부(740)는 화재 발생 시 주변에 사람 존재 여부를 외부 단말기로 전달한다.
건물설비 제어부(740)는 움직임 방향으로 조명 설비(810)가 추가로 점등되도록 제어한다.
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제1 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제1 방향에 설치된 제1 조명 설비가 온되도록 제어한다.
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제2 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제2 방향에 설치된 제2 조명 설비가 온되도록 제어한다.
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제3 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제3 방향에 설치된 제3 조명 설비가 온되도록 제어한다.
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제4 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제4 방향에 설치된 제4 조명 설비가 온되도록 제어한다.
건물설비 제어부(740)는 방향성 민감도가 기준치보다 낮은 경우 해당 방향에 대응되는 건물 설비를 미제어한다.
건물설비 제어부(740)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 발생한 경우에만, 출입 가능 인원으로 판단한다. 건물설비 제어부(740)는 비콘과 통신이 미발생한 경우, 해당 인원을 출입 불가 인원으로 판단한다.
건물설비 제어부(740)는 비콘(1510)과 통신하여 신호를 수신한 경우 기 저장된 인도어 맵 위치에 사용자 위치를 특정한다. 건물설비 제어부(740)는 사용자 위치를 기반으로 사용자 단말기로부터 입력된 사용자 정보를 기반으로 건물 설비를 그룹 단위로 제어한다.
도 8은 본 실시예에 따른 멀티 센서를 이용한 조명 제어 방법을 나타낸 도면이다.
멀티 센서(110)는 건물 내 조명 설비(810) 중 불필요한 조명을 오프하도록 제어한다. 멀티 센서(110)는 건물 내 특정 영역에 대한 사람의 존재 또는 부재 여부를 감지한다. 멀티 센서(110)는 특정 영역에서 사람 부재 영역을 흐리게 설정하거나 해제한다.
멀티 센서(110)는 특정 영역을 지나가는 보행자가 인지되면, 조명 설비(810)를 온 시킨다. 멀티 센서(110)는 특정 영역을 지나가는 보행자가 미인지되면 주변의 밝기에 따라 조명 설비(810)를 어둡게 유지하거나 오프하면 에너지를 절약할 수 있다.
멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 이미지 정보를 이용하여 주변 밝기를 감지하고 주변창문으로부터 인입되는 외부 조명에 따라 조명 설비(810)를 적절한 밝기가 되도록 디밍을 제어한다. 멀티 센서(110)는 이미지 정보를 이용하여 조도를 판별할 수 있으므로, 별도의 조도 센서를 구비할 필요가 없으므로 비용을 절감할 수 있다.
멀티 센서(110)는 조명 장비 개별 제어 시스템에 적용될 때, 추가적인 네트워크를 경유하지 않고 게이트웨이 장치에 직접 연결할 수 있으므로 응답성이 높은 신호를 교환할 수 있다.
도 9는 본 실시예에 따른 멀티 센서를 이용한 에어컨 제어 방법을 나타낸 도면이다.
멀티 센서(110)는 냉난방 설비(910)와 연동하여 동작한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 수신된 영상 정보를 분석하여 인지된 사람의 수와 움직임 방향에 따라 연동하는 냉난방 설비(910)를 제어한다.
멀티 센서(110)는 영상 정보로부터 분석된 인원수에 따라 냉난방 설비(910)를 제어하여 적절한 온도로 조절한다. 멀티 센서(110)는 영상 정보를 분석하여 방에 존재하는 사람의 수를 감지한다. 멀티 센서(110)는 방에 사람이 적은 경우 사람 수에 대응하도록 냉난방 설비(910)를 제어하여 온도를 조절한다.
멀티 센서(110)는 기준치보다 온도가 낮거나 높은 경우, 온도를 제어한다. 멀티 센서(110)는 방에 존재하는 사람들의 쾌적한 에어컨 조건을 검출한다. 여기서, 에어컨 조건은 온도, 습도, 공기 및 의류 등의 복수의 요소를 사용의 사람의 열 감각을 정량화하는 지수를 의미한다.
멀티 센서(110)는 영상 정보로부터 분석된 인원수에 따라 환기 설비를 제어하여 이산화탄소(CO2) 농도 및 환기를 수행한다. 멀티 센서(110)는 거실에서 이산화탄소(CO2) 농도를 존재하는 사람 수로부터 추론하고, 환기량을 결정함으로써, 외부 공기 흡입구를 제어한다. 멀티 센서(110)는 이산화탄소(CO2) 센서의 정기적인 교정과 관련된 번거로움 및 유지 관리 비용을 줄인다.
도 10은 본 실시예에 따른 멀티 센서를 이용한 엘리베이터 제어 방법을 나타낸 도면이다.
멀티 센서(110)는 엘리베이터 설비(1010)와 연동하여 동작한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 수신된 영상 정보를 분석하여 인지된 사람의 수와 움직임 방향에 따라 연동하는 엘리베이터 설비(1010)를 제어한다.
멀티 센서(110)는 영상 정보를 분석하여 인지된 사람의 수에 따라 혼잡 정보를 생성한다. 멀티 센서(110)는 혼잡 정보를 기반으로 엘리베이터 설비(1010)를 운용한다. 멀티 센서(110)는 엘리베이터 설비(1010)를 제어하여 환승층의 엘리베이터 홀에 설치되어 사용자의 혼잡도에 따라 엘리베이터를 우선적으로 배정하고 대기 시간을 최대로 단축시킨다.
멀티 센서(110)는 영상 정보를 분석하여 인지된 사람이 사회적 취약계층인지를 판별한다. 멀티 센서(110)는 휠체어, 유모차 등 도움을 필요로 한 사람을 감지하고, 직원에게 신속하게 알려주며, 엘리베이터를 전용 동작 모드로 자동 전환한다. 멀티 센서(110)가 추가적인 네트워크를 경유하지 않고 다른 회사의 엘리베이터 장비에 직접 연결할 수 있다.
도 11은 본 실시예에 따른 멀티 센서를 이용한 방법 및 방제 방법을 나타낸 도면이다.
멀티 센서(110)는 방범 및 방제 설비(1110)와 연동하여 동작한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 수신된 영상 정보를 분석하여 인지된 사람의 수와 움직임 방향에 따라 연동하는 방범 및 방제 설비(1110)를 제어한다.
멀티 센서(110)는 야간 이상 징후 감지를 확인한다. 멀티 센서(110)는 최종 출구에서 경고 모드 영역에서 객체 움직임 감지되면, 모니터링 단말기로 출력되는 이미지 정보(스틸 이미지)를 저장한다. 멀티 센서(110)는 어둠 속에서도 하나 이상의 럭스 조도가 있는 경우 감지할 수 있다.
멀티 센서(110)는 건물 내 화재 발생 시 구조자를 확인한다. 멀티 센서(110)는 화재 영역에서 객체 움직임이 감지되면 모니터링 단말기로 이미지 정보(스틸 이미지)가 표시되도록 하고, 해당 데이터를 저장한다. 멀티 센서(110)는 누군가의 탈출이 늦은 경우, 빠른 구조를 요청할 수 있다.
도 12는 본 실시예에 따른 객체 이동성에 따라 제어영역을 확장하는 방법을 설명하기 위한 도면이다.
멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320), 중첩 영역(330)을 기반으로 제어영역을 확장한다. 멀티 센서(110)는 움직임 감지 영역(310)에서 직전까지 움직임 감지 영역(320)으로 전환되는 전환 영역을 인지하거나 직전까지 움직임 감지 영역(320)에서 움직임 감지 영역(310)으로 전환되는 전환 영역을 인지할 수 있다.
멀티 센서(110)는 전환 영역의 크기 또는 방향에 따라 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 전체 제어하거나 선택적으로 제어하여 촬영 영역을 확장하거나 축소할 수 있다. 멀티 센서(110)는 전환 영역을 크기 또는 방향에 따라 연동하는 건물 설비의 제어 범위를 제한하거나 확장하는 형태로 조절할 수 있다.
멀티 센서(110)는 1차적으로 움직임 감지 영역(310)에 대응하는 영역을 1차 제어영역으로 설정하여 1차 제어영역에 설치된 건물 설비(예컨대, 조명을 대한 점등 또는 소등)를 제어한다.
멀티 센서(110)는 2차적으로 움직임 감지 영역(310) 이외에 직전까지 움직임 감지 영역(320)에 대응하는 영역을 2차 제어 확장 영역(210-2,220-2,230-2,240-2)으로 설정하여 2차 제어 확장 영역(210-2,220-2,230-2,240-2)에 설치된 건물 설비(예컨대, 조명을 대한 점등 또는 소등)까지 제어를 확장한다.
멀티 센서(110)는 1차적으로 움직임 감지 영역(310)에 대응하는 영역을 1차 제어 영역에 대해서 무조건적으로 건물 설비를 제어한다. 멀티 센서(110)는 추가로 확장된 2차적으로 움직임 감지 영역(310) 이외에 직전까지 움직임 감지 영역(320)에 대응하는 영역에 대해서 선택적으로 건물 설비를 제어한다.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 추가로 구비할 수 있다. 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)은 별도의 브라켓을 이용하여 하우징의 외측에 연결 가능하다. 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)은 멀티 센서(110)의 제어부와 통신한다.
제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)은 기 설정된 기울기로 기울어진 상태로 브라켓에 체결되어 촬영할 수 있는 방향 조정할 수 있다. 멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)로 1차 제어영역에 설치된 건물 설비를 제어한다.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 1차 움직임 감지 영역(310)이 감지되는 경우, 1차 제어영역을 제어한다. 멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 직전까지 움직임 감지 영역(320)이 감지되는 경우, 2차 제어영역에 제어한다. 멀티 센서(110)는 구비된 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)의 감지 시간에 대한 시간 차를 판단하여 1차 제어영역과 2차 제어영역을 제어할 수 있다.
도 13은 본 실시예에 따른 객체의 방향성 탐지 방법을 나타낸 도면이다.
멀티 센서(110)는 1차적으로 움직임 감지 영역(310)에 대응하는 영역을 1차 제어영역 이후 2차적으로 움직임 감지 영역(310) 이외에 직전까지 움직임 감지 영역(320)이 감지되면, 객체의 이동 방향을 감지한다. 다시 말해, 멀티 센서(110)는 움직임 감지 영역(310)이 직전까지 움직임 감지 영역(320)으로 변경되고, 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 변경되면 객체가 움직임 감지 영역(310) 방향으로 이동하는 것으로 인지한다.
멀티 센서(110)는 판별 민감도에 따라 제어 범위를 조정할 수 있다. 다시 말해, 멀티 센서(110)는 움직임 감지 영역(310)이 직전까지 움직임 감지 영역(320)으로 변경되는 시간에 근거하여 판별 민감도를 산출한다. 멀티 센서(110)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 변경되는 시간에 근거하여 판별 민감도를 산출한다.
멀티 센서(110)는 판별 민감도가 기준치보다 높을 경우 제어 범위를 확장하도록 제어 범위를 조정하고, 판별 민감도가 기준치보다 낮을 경우 제어 범위를 축소하도록 제어 범위를 조정한다.
도 14는 본 실시예에 따른 객체의 동일 방향성을 확인하는 방법을 나타낸 도면이다.
멀티 센서(110)는 움직임 판별 시간의 순차성에 따라 객체의 방향성을 탐지한다. 멀티 센서(110)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 일정한 한 방향으로 지속적으로 변경되는 경우, 방향성을 가진 이동으로 판별한다.
멀티 센서(110)는 순차적으로 객체가 판별되는 시간을 기반으로 객체의 방향성을 예측한다. 멀티 센서(110)는 방향성 민감도 설정에 따라 D, E의 경우는 해당 방향에 대응되는 건물 설비를 제어하지 않을 수 있다.
멀티 센서(110)는 객체 탐지 시간에 대한 설정으로 방향성 민감도를 조정 가능하다. 멀티 센서(110)는 방향성을 뚜렷이 가지는 영역에서 판별된 객체, 사람이 많이 모이는 영역에서 판별되는 객체에 대해서 영역별 판별 민감도를 조정한다.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)에서 순차적으로 객체가 센싱되는 시간을 고려하여 방향성에 대해 예측한다. 멀티 센서(110)는 판별 민감도 설정에 따라 D, E의 경우는 해당 방향에 대응되는 건물 설비를 제어하지 않을 수 있다. 멀티 센서(110)는 탐지 시간에 대한 설정으로 판별 민감도를 조정 가능하다. 멀티 센서(110)는 방향성을 뚜렷이 가지는 영역으로부터 획득한 영상, 사람이 많이 모이는 영역으로부터 획득한 영상에 대해서 영역별 판별 민감도 조정이 가능하다.
도 15는 본 실시예에 따른 비콘과 2차적으로 연동하여 동작하는 방법을 나타낸 도면이다.
멀티 센서(110)는 비콘과 연동하여 출입을 관리할 수 있다. 멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 발생한 경우에만, 출입 가능 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다.
멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 미발생한 경우, 출입 불가 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 미등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신을 시도하지 않는다. 멀티 센서(110)는 전체 예측 이동 루트 중 비콘(1510)을 기반으로 판단되는 출입 가능 인원의 이동 경로를 제외한 루트가 출입 불가인원의 이동 경로로 판단한다.
다시 말해, 멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 객체를 감지한 후 비콘(1510)과 통신이 발생한 경우, 해당 인원을 출입 가능 인원으로 판단하며, 비콘(1510)과 통신이 미발생한 경우, 해당 인원을 출입 불가 인원으로 판단한다.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 발생한 경우에만, 출입 가능 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 미발생한 경우, 출입 불가 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 미등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신을 시도하지 않는다. 멀티 센서(110)는 전체 예측 이동 루트 중 비콘(1510)을 기반으로 판단되는 출입 가능 인원의 이동 경로를 제외한 루트가 출입 불가인원의 이동 경로로 판단한다.
다시 말해, 멀티 센서(110) 내에 탑재된 제어부는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)로부터 객체 감지 신호를 수신한 후 비콘(1510)과 통신이 발생한 경우, 해당 인원을 출입 가능 인원으로 판단하며, 비콘(1510)과 통신이 미발생한 경우, 해당 인원을 출입 불가 인원으로 판단한다.
도 16은 본 실시예에 따른 비콘과 2차적으로 연동하여 객체 이동의 정확성을 확인하는 방법을 나타낸 도면이다.
멀티 센서(110)는 비콘(1510)과 연동하여 사무실 내 이동 여부를 판단한다. 멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 한 사무실 내의 객체의 이동을 판단한다.
멀티 센서(110)는 객체 이동을 판단한 후 비콘(1510)을 기반으로 사용자들의 구체적인 위치를 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다. 멀티 센서(110)는 비콘(1510)과 통신하여 신호를 수신하여 기 저장된 사무실 내의 맵 위치에 구체적인 사용자 위치를 특정한다.
멀티 센서(110)는 사용자의 위치를 고려하여 사용자 단말기로부터 입력된 사용자 정보를 기반으로 건물 설비를 제어한다. 멀티 센서(110)는 건물 설비에 따라 설비를 그룹핑하여 그룹 단위로 제어하거나 개별 단위로 제어한다.
다시 말해, 멀티 센서(110)는 비콘(1510)과 통신하여 신호를 수신한 경우 기 저장된 인도어 맵 위치에 사용자 위치를 특정하고, 사용자 위치를 기반으로 사용자 단말기로부터 입력된 사용자 정보를 기반으로 건물 설비를 그룹 단위로 제어하거나 개별 단위로 제어한다.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 한 사무실 내의 객체의 이동을 판단한다. 멀티 센서(110)는 객체 이동을 판단한 후 비콘(1510)을 기반으로 사용자들의 구체적인 위치를 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다. 멀티 센서(110)는 비콘(1510)과 통신하여 신호를 수신하여 기 저장된 사무실 내의 맵 위치에 구체적인 사용자 위치를 특정한다.
멀티 센서(110)는 사용자의 위치를 고려하여 사용자 단말기로부터 입력된 감성 정보를 기반으로 조명을 제어한다. 멀티 센서(110)는 조명 시스템에 따라 조명을 그룹핑하여 그룹 단위로 제어하거나 개별 단위로 제어한다.
다시 말해, 멀티 센서(110) 내에 탑재된 제어부는 비콘(1510)과 통신하여 신호를 수신한 경우 기 저장된 인도어 맵 위치에 사용자 위치를 특정하고, 사용자 위치를 기반으로 사용자 단말기로부터 입력된 감성 정보를 기반으로 조명을 그룹 단위로 제어하거나 개별 단위로 제어한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 멀티 센서
112: 카메라 모듈
112-1: 제1 카메라 모듈
112-2: 제2 카메라 모듈
112-3: 제3 카메라 모듈
112-4: 제4 카메라 모듈
200: 합성 데이터
210: 제1 영역
220: 제2 영역
230: 제3 영역
240: 제4 영역
310: 움직임 감지 영역
320: 직전까지 움직임 감지 영역
330: 중첩 영역
340: 오프 영역

Claims (6)

  1. 기 설정된 특정 영역을 촬영한 영상 정보를 획득하는 카메라 모듈;
    상기 영상 정보로부터 배경 영상과 객체를 각각 분리하여 인지한 후 상기 객체가 사람인지의 여부를 판별하는 사람 판별부;
    상기 사람의 수를 카운팅하는 사람 계수부;
    상기 사람의 이동성이 확인되면, 상기 이동성을 기반으로 움직임 방향을 산출하는 이동성 판별부;
    상기 사람의 이동성을 운동량으로 환산하는 운동량 판별부; 및
    상기 사람의 수, 상기 움직임 방향, 상기 운동량을 기반으로 연동하는 건물 설비를 제어하는 건물설비 제어부;
    를 포함하되, 상기 사람 판별부는 상기 사람의 수에 따라 혼잡 정보를 생성하고, 상기 사람이 사회적 취약 계층인지의 여부, 화재 발생 여부를 판별하며,
    상기 건물설비 제어부는 상기 혼잡 정보가 높을수록 엘리베이터 설비 중 동작하는 엘리베이터 수가 증가하도록 제어하며, 상기 사람이 사회적 취약 계층인 경우 직원 단말기로 알람을 발생하며, 상기 화재 발생 시 주변에 사람 존재 여부를 외부 단말기로 전달하는 것을 특징으로 하는 멀티 센서.
  2. 제1항에 있어서,
    상기 건물설비 제어부는
    상기 움직임 방향에 존재하는 조명 설비를 온시키고, 상기 사람이 미존재하거나 상기 움직임 방향의 반대 방향에 존재하는 조명 설비를 오프시키고, 상기 영상 정보의 밝기값을 산출하고, 상기 밝기값이 기 설정된 임계치 이상인 경우 주변 창문으로부터 외부 조명이 인입되는 것으로 판단하여 해당 영역에 설치되 조명 설비를 오프시키는 것을 특징으로 하는 멀티 센서.
  3. 제1항에 있어서,
    상기 건물설비 제어부는
    상기 사람의 수와 상기 운동량에 비례하여 에어컨 설비가 강하게 운영되도록 제어하는 것을 특징으로 하는 멀티 센서.
  4. 제1항에 있어서,
    상기 운동량 판별부는 상기 운동량을 기반으로 기 설정된 공간 내의 CO2 농도를 추정하고, 상기 건물설비 제어부는 상기 CO2 농도가 기준치 이상인 경우 외부 공기 흡입구를 제어하여 내부 공기가 환기되도록 제어하는 것을 특징으로 하는 멀티 센서.
  5. 삭제
  6. 제1항에 있어서,
    상기 카메라 모듈은
    사무공간의 천장에서 책상면 높이로 앉아있는 사람을 검출하기 위해 기 설정된 제1 높이로 설치되어 기 설정된 제1 범위를 촬영하도록 하거나 공장 및 창고의 높은 천장에서 이동하는 사람을 검출하기 위해 기 설정된 제2 높이로 설치되어 기 설정된 제2 범위를 촬영하도록 하며, 상기 제1 범위와 상기 제2 범위 내에서 제외할 대상을 마스킹(Masking)하도록 하는 것을 특징으로 하는 멀티 센서.
KR1020210066997A 2021-05-25 2021-05-25 영상 기반 건물 제어 방법 및 장치 KR102314903B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210066997A KR102314903B1 (ko) 2021-05-25 2021-05-25 영상 기반 건물 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210066997A KR102314903B1 (ko) 2021-05-25 2021-05-25 영상 기반 건물 제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102314903B1 true KR102314903B1 (ko) 2021-10-19

Family

ID=78228087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210066997A KR102314903B1 (ko) 2021-05-25 2021-05-25 영상 기반 건물 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102314903B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220144583A1 (en) * 2020-11-06 2022-05-12 Otis Elevator Company Elevator system response to custom passenger attributes
CN114777298A (zh) * 2022-03-30 2022-07-22 广州云雷智能科技有限公司 温度调节预测方法、装置、设备、存储介质及空调设备
WO2023128014A1 (ko) * 2021-12-29 2023-07-06 한국전자기술연구원 실내 재실자를 인식하여 공조기를 제어하는 공조기 제어장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513168A (ja) * 1997-04-14 2000-10-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マスク可能な動き検出及び調節可能視野を具備したセキュリティシステム
US20130073093A1 (en) * 2011-09-19 2013-03-21 Siemens Industry, Inc. Building automation system control with motion sensing
JP2013182811A (ja) * 2012-03-02 2013-09-12 Panasonic Corp 照明制御装置及び照明システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513168A (ja) * 1997-04-14 2000-10-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マスク可能な動き検出及び調節可能視野を具備したセキュリティシステム
US20130073093A1 (en) * 2011-09-19 2013-03-21 Siemens Industry, Inc. Building automation system control with motion sensing
JP2013182811A (ja) * 2012-03-02 2013-09-12 Panasonic Corp 照明制御装置及び照明システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220144583A1 (en) * 2020-11-06 2022-05-12 Otis Elevator Company Elevator system response to custom passenger attributes
WO2023128014A1 (ko) * 2021-12-29 2023-07-06 한국전자기술연구원 실내 재실자를 인식하여 공조기를 제어하는 공조기 제어장치
KR20230101404A (ko) * 2021-12-29 2023-07-06 한국전자기술연구원 실내 재실자를 인식하여 공조기를 제어하는 공조기 제어장치
KR102558090B1 (ko) * 2021-12-29 2023-07-24 한국전자기술연구원 실내 재실자를 인식하여 공조기를 제어하는 공조기 제어장치
CN114777298A (zh) * 2022-03-30 2022-07-22 广州云雷智能科技有限公司 温度调节预测方法、装置、设备、存储介质及空调设备
CN114777298B (zh) * 2022-03-30 2023-09-22 广州云雷智能科技有限公司 温度调节预测方法、装置、设备、存储介质及空调设备

Similar Documents

Publication Publication Date Title
KR102314903B1 (ko) 영상 기반 건물 제어 방법 및 장치
US11595579B2 (en) Systems and methods for automatic exposure in high dynamic range video capture systems
CN101262617B (zh) 白平衡校正设备和方法
JP5726792B2 (ja) 情報処理装置、画像センサ装置及びプログラム
US6645066B2 (en) Space-conditioning control employing image-based detection of occupancy and use
KR101835552B1 (ko) 스마트 팩토리 작업환경 관제시스템
EP3414974A1 (en) Modular lighting fixture
CN111562745A (zh) 智能控制***和智能控制方法
JP2016171526A (ja) 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム
KR100958497B1 (ko) 영상 데이터의 움직임 검출을 이용한 조명 제어 장치 및 조명 제어 방법
WO2011032117A1 (en) Method and system for wildfire detection using a visible range camera
CN106127292A (zh) 流量计数方法和设备
CN113606749A (zh) 一种基于人员像素密度的分区按需通风控制方法
US10867491B2 (en) Presence detection system and method
CN117156637A (zh) 基于安防***的智能照明控制方法、装置、设备以及介质
KR102395440B1 (ko) 클라우드 기반 건물 관리 시스템 및 방법
CN112347937B (zh) 一种基于视觉感知的室内火灾监测***及方法
CN110972376A (zh) 一种自动控制家居灯具开关的方法及***
WO2019225912A1 (ko) 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기
JP2014002943A (ja) 照明制御装置
JP6495696B2 (ja) 画像収集装置、画像収集方法及びコンピュータプログラム
KR20230152410A (ko) 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR200191446Y1 (ko) 산불 감지 시스템
KR20200038189A (ko) 정보 출력 장치, 검지 시스템, 제어 방법, 및 프로그램
CN115100796A (zh) 一种基于边缘计算的电影院安全监控***

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant