KR20220028547A - 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법 - Google Patents
사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220028547A KR20220028547A KR1020200109671A KR20200109671A KR20220028547A KR 20220028547 A KR20220028547 A KR 20220028547A KR 1020200109671 A KR1020200109671 A KR 1020200109671A KR 20200109671 A KR20200109671 A KR 20200109671A KR 20220028547 A KR20220028547 A KR 20220028547A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- sensor
- terminal device
- image
- integrated
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004891 communication Methods 0.000 claims abstract description 22
- 238000012790 confirmation Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 32
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 230000001360 synchronised effect Effects 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 8
- 229910002092 carbon dioxide Inorganic materials 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 239000000428 dust Substances 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000035784 germination Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- -1 light Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Marine Sciences & Fisheries (AREA)
- Medical Informatics (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Mining & Mineral Resources (AREA)
- Life Sciences & Earth Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Environmental & Geological Engineering (AREA)
- Toxicology (AREA)
- Operations Research (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법이 개시된다.
본 발명에 일 실시예에 따르면, 통신망 상에서 정보를 동기화하여 통합관리하기 위한 시스템으로서, 영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 영상정보 수집부; 상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 센서정보 수집부; 상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 통합정보 생성부; 생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 정보 추출부; 및 상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 정보 제공부를 포함하는 것을 특징으로 한다.
본 발명에 일 실시예에 따르면, 통신망 상에서 정보를 동기화하여 통합관리하기 위한 시스템으로서, 영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 영상정보 수집부; 상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 센서정보 수집부; 상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 통합정보 생성부; 생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 정보 추출부; 및 상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 정보 제공부를 포함하는 것을 특징으로 한다.
Description
본 발명은 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법에 관한 것이다. 보다 상세하게는, 농업, 제조, 의료, 환경 분야 등에 적용되는 사물인터넷 기반의 센서정보를 CCTV에서 녹화되는 영상정보와 동기화하여 통합관리 할 수 있는 기술에 관한 것이다.
현재 일반적으로 구현되고 있는 CCTV 시스템은, 다수의 CCTV 카메라를 현장에 설치하고, 이를 통합관제센터에서 대형 모니터 화면을 통해 관리자가 실시간 모니터링 하는 방식이다.
이러한 CCTV 시스템에는 수많은 CCTV 카메라가 설치되어 있기 때문에, 모든 영상을 동시에 모니터링을 위해서 많은 인원이 필요하며, 인간의 시각에 전적으로 의존하는 방식이기 때문에, 정확하게 특정한 사건의 장면만을 모니터링 하는 것은 사실상 어렵다는 한계를 가지고 있다. 이러한 문제점을 보완하기 위해 객체 검출(object detection), 추적(tracking), 상황 인식(event detection) 등의 복합적인 영상처리기술(video processing)이 도입되고 있으나, 실시간으로 방대한 영상을 처리하여 특정 장면이나 객체만을 추출하는 것은 속도적인 측면이나 정확도 측면에서 구현에 많은 어려움을 겪고 있는 것이 현실이다.
이러한 기술의 발전 방향에 있어서, 최근 4차 산업혁명이 급속하게 진행됨에 따라, 사물에 통신기능을 탑재하여 네트워크와 결합한 사물인터넷(IoT: Internet of Things)을 CCTV 시스템과 연계하여 이상 상황을 감지하는 다양한 형태의 기술개발이 요구되고 있다.
이와 같이 CCTV 시스템과 연계된 사물 인터넷 기술은 농업 분야(스마트팜), 제조 분야(스마트 팩토리), 환경 분야, 의료 분야(원격 의료), 생활 분야(스마트 홈)과 같은 다양한 산업에서 응용될 수 있는데, 일 예로, 농업 분야의 스마트팜에서는 작물의 생장에 문제가 발생한 경우 CCTV를 통해 육안으로 확인하고, 이와 동시에 IoT 센서(단말) 마다 측정된 값을 별도로 확인하여, 수작업으로 동기를 맞춰서 원인을 파악하고 있다.
하지만, IoT 센서의 종류나 개수가 늘어나게 되면서, 정보 확인에 소요되는 시간이 기하급수적으로 증가하고 있으며, 특히 측정된 센서 데이터와 영상 데이터간의 동기화 오류가 발생할 수 있는 근본적인 문제점을 가지고 있다.
또한, 제조 분야의 스마트 팩토리에서도 빅데이터 기반의 인공지능 기술과 결합하여 진화를 거듭하고 있지만, CCTV와 IoT 단말이 설치된 환경에서 문제가 발생하였을 경우, CCTV는 타임레코드 기반 수작업으로 조회하고, 이와 별도로 IoT 단말의 측정된 값을 조회하여 일일이 맞춰가면서 원인을 찾아야만 하는 기술적인 한계를 가지고 있다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 문제점을 해결하기 위한 것으로서, 별도로 구성된 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합정보를 저장하고, 조회할 수 있도록 하는데 그 목적이 있다.
또한, 본 발명은 통합정보에서 센서정보를 기준으로 해당되는 영상정보를 추출하거나, 영상정보를 기준으로 해당되는 센서정보를 추출할 수 있도록 하는데 다른 목적이 있다.
또한, 본 발명은 센서정보 또는 영상정보에서 이벤트 발생 시, 관리자에게 별도의 확인 메시지를 제공할 수 있는데 또 다른 목적이 있다.
또한, 본 발명은 센서정보의 다양한 인터페이스(예를 들면, 시계열 그래프)를 제공하고, 이를 이용하여 편리한 동기화된 영상정보를 조회하는데 또 다른 목적이 있다.
본 발명의 상기 목적은, 통신망 상에서 정보를 동기화하여 통합관리하기 위한 시스템으로서, 영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 영상정보 수집부; 상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 센서정보 수집부; 상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 통합정보 생성부; 생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 정보 추출부; 및 상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 정보 제공부를 포함하는 것을 특징으로 하는 시스템에 의해 달성된다.
또한, 본 발명의 상기 목적은, 통신망 상에서 정보를 동기화하여 통합관리하기 위한 방법으로서, 영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 단계; 상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 단계; 상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 단계; 생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 단계; 및 상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 단계를 포함하는 것을 특징으로 하는 방법.에 의해서도 달성된다.
이때, 상기 이벤트는, 상기 관리자 단말장치에 의해 설정된 기준이거나 상기 관리자 단말장치에 의해 선택된 영역이며, 상기 설정된 기준은 상기 센서 단말장치에서 측정되는 측정값 기준이거나, 상기 영상촬영 장치에서 촬영되는 객체인식 기준이고, 상기 선택된 영역은 상기 센서정보의 시계열 그래프 상에서 상기 관리자 단말장치에 의해 선택된 시간 영역이거나, 상기 영상정보에서 상기 관리자 단말장치에 의해 선택된 객체 영역일 수 있다.
또한, 상기 정보 추출부는, 상기 센서 단말장치에서 측정되는 측정값과 상기 영상촬영 장치에서 촬영되는 객체인식을 서로 비교하여 이상 유무를 판단할 수 있다.
본 발명에 의하면, 별도로 구성되는 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합정보를 저장하고 조회할 수 있어, 수작업으로 영상정보와 센서의 측정값을 조회하여 매칭하는 번거로움과, 이에 따른 동기화 오류를 방지할 수 있다.
또한, 본 발명에 의하면, 통합정보에서 센서정보를 기준으로 해당되는 영상정보를 추출하거나, 영상정보를 기준으로 해당되는 센서정보를 추출할 수 있어, 보다 정확하고도 편리하게 관리자가 원하는 정보를 추출할 수 있으며, 일부 정보의 손실이나 시스템 고장을 여부를 확인할 수도 있다.
또한, 본 발명에 의하면, 센서정보 또는 영상정보에서 이벤트 발생 시, 관리자에게 별도의 확인할 수 있는 메시지를 제공하여 이상상황에 대하여 신속하게 대응할 수 있다.
또한, 본 발명에 의하면, 센서정보에 대한 다양한 인터페이스(예를 들면, 시계열 그래프)를 제공하고, 이를 이용하여 편리하게 동기화된 영상정보를 조회할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 전체 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 통합관리시스템(200)의 내부 구성을 상세하게 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 일례를 나타내는 인터페이스 화면이다.
도 4는 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 다른 일례를 나타내는 인터페이스 화면이다.
도 5는 본 발명의 일 실시예에 따른 이벤트 발생 시, 관리자에게 별도의 확인 메시지를 제공하는 일례를 나타내는 인터페이스 화면이다.
도 2는 본 발명의 일 실시예에 따른 통합관리시스템(200)의 내부 구성을 상세하게 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 일례를 나타내는 인터페이스 화면이다.
도 4는 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 다른 일례를 나타내는 인터페이스 화면이다.
도 5는 본 발명의 일 실시예에 따른 이벤트 발생 시, 관리자에게 별도의 확인 메시지를 제공하는 일례를 나타내는 인터페이스 화면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조, 특성 및 기능은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하며, 그 형태는 편의를 위하여 과장되어 표현될 수도 있다. 이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
[본 발명의 실시 예]
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따른 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 전체 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 통합관리시스템(200), 영상 촬영장치(300), 센서 단말장치(400), 관리자 단말장치(500) 및 운영서버(600)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은, 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행할 수 있는 네트워크 망으로, 유선 및/또는 무선과 같은 그 통신 양태를 가리지 않고 구성될 수 있다.
예를 들면, 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network), 종합정보통신망(ISDN: Integrated Services Digital Network), 무선랜(wireless LAN), 이동통신망(mobile communication network), 와이파이(Wireless Fidelity), 블루투스(Bluetooth) 또는 지그비(ZigBee)등 중에서 어느 하나이거나, 이들의 조합으로 연계되어 구성될 수 있는 다양한 형태의 유/무선통신망이다. 또한, 이러한 통신망(100)은 일정한 장소와 범위만 구축된 자가망과 연계될 수도 있다.
다음으로, 본 발명의 일 실시예에 따른 통합관리시스템(200)은 하나 또는 다수의 영상 촬영장치(300)에서 촬영된 영상정보 및 영상촬영 장치(300)와 대응되는 하나 또는 다수의 센서 단말장치(400)에서 측정되는 센서정보를 각각 수집하고, 이를 동기화하여 통합정보를 생성하고, 이를 기반으로 정보(영상정보, 센서정보)를 추출하는 기능을 수행하는 시스템일 수 있다.
또한, 통합관리시스템(200)은 동기화된 상기 통합정보에서 상기 센서정보를 기준으로, 해당되는 영상정보를 분석하여 추출하는 기능을 수행할 수 있다. 이때, 상기 센서정보는 관리자 단말장치(500)에 의해 설정된 기준[예를 들면, 온도, 습도, 가스농도, 진동 등에 관한 측정값(기준값)] 의해, 해당되는 영상정보를 추출하는 방식 또는 시계열의 그래프 상에서 관리자 단말장치(500)에 의해 선택된 영역(예를 들면, 특정 시간영역 및/또는 특정 측정값 영역)에서 해당되는 영상정보를 추출하는 방식이거나 이들을 조합한 방식일 수 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다.
또한, 통합관리시스템(200)은 동기화된 상기 통합정보에서 영상정보를 기준으로, 해당되는 센서정보를 분석하여 추출하는 기능을 수행할 수도 있다. 이때, 상기 영상정보는 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상 객체인식 기준)에 의해, 해당되는 센서정보를 추출하는 방식 또는 영상정보 상에서 관리자 단말장치(500)에 의해 선택된 영역(객체영역, 예를 들면, 특정 개체의 색상, 형상, 위치, 크기 영역)에서 해당되는 센서정보를 추출하는 방식이거나 이들을 조합한 방식일 수도 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다.
이러한 영상 객체인식기술은 영상의 프레임마다 객체(특정 사람, 사물 등)의 색상정보, 형상정보, 위치정보, 크기정보 등의 객체특성을 추출하여 처리할 수 있는 기술인데, 이미 자율주행기술 또는 카메라 영상인식기술 분야에서 공지된 기술이므로 본 발명에서는 상세한 설명을 생략한다.
또한, 통합관리시스템(200)은 동기화된 상기 통합정보에서 영상정보가 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상인식 기준)에 해당되는 경우, 이에 대응되는 센서정보를 추출하여 비교하는 기능을 수행할 수도 있다. 예를 들면, 영상정보에서 농장의 작물인 개체의 색상이 설정된 녹색이 아닌 노란색으로 인식될 경우, 해당 영역(시간)에 대응되는 센서정보(예를 들면, 온도, 습도, 조도, CO2 등)를 추출하여, 해당 영상정보와 해당 센서정보를 비교할 수 있다. 비교결과 센서정보의 변화(설정된 기준 범위 밖으로의 변화)가 없을 경우, 센서 단말장치(400)의 고장을 의심할 수 있고, 이를 근거로 해당 센서를 점검하는 과정을 수행할 수 있다.
또한, 통합관리시스템(200)은 이상에서 설명된 바와 같이 영상정보와 센서정보에서 이벤트가 발생할 경우, 관리자 단말장치(500)로 확인 메시지를 제공하는 기능을 수행 할 수 있는데, 이러한 본 발명의 일 실시예에 따른 통합관리시스템(200)은 도 2를 참조한 이하의 상세한 설명에 의해 구체적으로 이해될 수 있을 것이다.
다음으로, 본 발명의 일 실시예에 따른 영상 촬영장치(300)는, 광각 렌즈를 구비하여 대상물을 촬영하고, 촬영된 영상을 디지털 프레임 변환하여 영상정보로 전송하는 기능을 수행할 수 있는 영상 장치일 수 있다.
보다 구체적으로, 영상 촬영장치(300)는 사람, 사물, 환경 등의 대상물을 촬영하는 광학 렌즈를 구비하는 카메라 장치로, 촬영된 영상은 전송을 위해 디지털 압축하는 인코딩 과정을 수행할 수 있다. 또한 보안성을 강화하기 위해 암호화하여 전송할 수도 있다. 이러한 영상 촬영장치(300)는 이후 설명되는 센서 단말장치(400)와 특정 장소에 대응되도록 설치되어 통합관리시스템(200)에 의해 연동될 수 있는데, 예를 들면, 농업 분야(스마트팜, 예를 들면, 종묘의 발아환경과 영상), 환경 분야(예를 들면, 미세 먼지와 영상), 제조 분야(스마트 팩토리, 예를 들면, 공정 불량과 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등에 설치되어, 본 발명에 의한 사물인터넷 기반의 센서정보와 상기 영상정보를 동기화하여 통합관리 할 수 있다.
한편, 영상 촬영장치(300)로는 일반적인 CCTV용 카메라를 사용할 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 공지된 다양한 형태의 카메라를 제한 없이 채택하여 사용할 수도 있을 것이다.
다음으로, 본 발명의 일 실시예에 따른 센서 단말장치(400)는, 물리적인 양이나 변화를 감지하여 전기적인 신호로 변환(측정)하여 전송하는 기능을 수행하는 모듈로, 영상촬영 장치(300)와 대응되도록 위치하며 전기적인 신호의 측정값인 센서정보를 통합관리시스템(200)으로 전송하는 기능을 수행할 수 있다.
보다 구체적으로, 특정을 물리적인 조건(온도, 습도, 대기, 진동, 빛, 소리 등)을 검출하기 위하여 사용할 수 있는 센서 모듈로 구성될 수 있는데, 이러한 센서로는, 온도 센서, 습도 센서, 미세먼지 검출 센서, 가스농도 검출 센서, 진동 센서, 조도센서, 음향센서 등을 포함하는 것 중에서 어느 하나 이상일 수 있다.
이러한 센서 단말장치(400)는 앞서 설명된 영상 촬영장치(300)와 특정 장소(위치)에 대응되도록 하나 또는 다수개가 설치(예를 들면, 영상 촬영장치 1대 당 센서 단말장치 4대)되어, 본 발명에 의한 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템을 구현할 수 있다. 이때, 센서 단말장치(400)는 설정된 기준(측정값)에 따라, 이벤트 발생 여부를 판단하고, 설정된 기준(측정값)을 만족할 경우 이벤트가 발생한 것으로 판단하여, 센서정보에서 이벤트와 관련된 정보를 추출하여 통합관리시스템(200)으로 전송할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 관리자 단말장치(500)는, 통합관리시스템(200)으로부터 제공되는 본 발명에 의한 영상정보, 센서정보 및/또는 이들을 동기화한 통합정보를 전송받고, 이와 관련된 정보[예를 들면, 설정된 기준(측정값) 및/또는 선택된 영역 등]를 통합관리시스템(200)으로 전송하는 기능을 수행할 수 있는 디지털 기기일 수 있다.
보다 구체적으로, 관리자 단말장치(500)는, 동기화된 통합정보에서 센서정보 또는 영상정보를 분석하여 추출할 수 있도록, 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 온도, 습도, 가스농도, 진동 등에 관한 측정값) 또는 다른 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상 객체인식 기준)을 통합관리시스템(200)에 제공할 수 있다.
또한, 관리자 단말장치(500)는, 시계열의 그래프 상에서 선택된 영역(예를 들면, 특정 시간영역 및/또는 특정 기준값 영역) 또는 다른 선택된 영역(예를 들면, 특정 개체의 색상, 형상, 위치, 크기 영역)을 통합관리시스템(200)에 제공할 수도 있다. 이러한 관리자 단말장치(500)는 영상정보, 센서정보 및/또는 통합정보를 제공받고, 이벤트 정보를 설정(선택)할 수 있는 전용 웹(Web) 및/또는 앱(App) 프로그램이 통합관리시스템(200)과 연동되도록 구비(설치)되어 있을 수 있다.
이러한, 본 발명의 실시 예에 따른 관리자 단말장치(500)는 정보통신기기, 멀티미디어 단말장치, 유선 단말장치, 무선 단말장치 및 IP(Internet Protocol) 단말장치 등의 다양한 공지된 디지털 기기가 제한 없이 채택될 수 있다. 구체적으로, 단말장치는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet PC), IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, 디지털 사이니지 장치 등과 같이 메모리 수단을 구비하고 마이크로프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기로, 정보를 입력할 수 있는 키보드, 마우스 등의 입력수단을 구비하면서, 유/무선의 통신기능을 포함하고 있다면 얼마든지 본 발명에 따른 단말장치로서 채택될 수 있을 것이다.
또한, 이러한 관리자 단말장치(500)에는 상기 영상정보, 센서정보 및/또는 통합정보를 포함하는 정보 및 그 처리결과 등에 대한 정보를 표시할 수 있는 표시수단을 구비할 수 있다. 예를 들면, 전용 웹(Web) 및/또는 앱(App) 등을 통해 시각적으로 표현되는 정보들을 화면에 표시할 수 있다. 여기서, 표시수단은 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있다. 이때, 표시수단에 터치스크린(touch screen) 형태가 포함되어 구성될 수도 있어, 입력수단의 기능 중 일부 또는 전부를 수행할 수도 있다.
마지막으로, 본 발명의 일 실시예에 따른 운영서버(600)는 통합관리시스템(200), 영상 촬영장치(300), 센서 단말장치(400) 및/또는 관리자 단말장치(500)와 통신하는 네트워크의 운영서버 기능을 수행할 수 있다.
예를 들어, 운영서버(600)는 CCTV 네트워크의 운영서버일 수 있는데, 이때, 운영서버(600)는 네트워크망의 영상저장 장치인 NVR(Network Video Recorder), 중앙관제시스템인 CMS(central monitoring system), 영상감시시스템인 VMS(Video Management System)를 포함하여 구성될 수 있다. 특히, 이러한 운영서버(600)는 본 발명에 의한 통합관리시스템(200)와 연동되어 영상정보, 센서정보 및/또는 통합정보를 다양하게 활용할 수 있다.
한편, 본 발명의 일 실시예를 나타내는 도 1에서는 통합관리시스템(200)과 운영서버(600)가 별개로 구성되어 있는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 통합관리시스템(200)을 운영서버(600)에 포함되도록 구성할 수 있음은 자명할 것이다.
통합관리시스템(200)의 구성
이하의 상세한 설명에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 통합관리시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 통합관리시스템(200)의 내부 구성을 상세하게 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 통합관리시스템(200)은, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260), 통신부(270) 및 제어부(280)를 포함하여 구성될 수 있다.
이러한 본 발명의 일 실시예에 따르면, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260), 통신부(270) 및 제어부(280)는 그 중 적어도 일부가 영상 촬영장치(300), 센서 단말장치(400), 관리자 단말장치(500) 및/또는 운영서버(600)와 데이터를 송수신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 통합관리시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 통합관리시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명이 이에 한정되는 것은 아니다.
먼저, 본 발명의 일 실시예에 따른 영상정보 수집부(210)는, 영상 촬영장치(300)에서 촬영하여 전송되는 영상정보를 수집하고, 수집된 영상정보를 모니터링 할 수 있도록 이후 설명되는 정보 제공부(250)로 제공하는 기능을 수행할 수 있다. 이러한 영상정보 수집부(210)는 전송된 영상정보를 디코딩하여 모니터링 할 수 있도록 제공하는 기능을 수행할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 센서정보 수집부(220)는, 센서 단말장치(400)에서 측정된 측정값인 센서정보를 수집하고, 수집된 센서정보를 모니터링 할 수 있도록 이후 설명되는 정보 제공부(250)로 제공하는 기능을 수행할 수 있다. 이러한 센서정보 수집부(220)는 상기 센서정보에 포함된 측정값을 별도로 저장 관리할 수 있으며, 측정값을 분석하여 모니터링 할 수 있도록 제공하는 기능을 수행할 수도 있다.
다음으로, 본 발명의 일 실시예에 따른 통합정보 생성부(230)는, 수집된 상기 센서정보과 상기 영상정보를 동기화하여 통합정보를 생성하는 기능을 수행할 수 있다.
보다 구체적으로, 통합정보 생성부(230)는 영상정보 수집부(210)에서 제공되는 영상정보 및 센서정보 수집부(220)에서 제공되는 센서정보를 서로 동기화하여 통합정보를 생성하고 저장하는 기능을 수행할 수 있다. 예를 들면, 농업 분야(스마트팜, 예를 들면, 종묘의 발아환경과 영상), 환경 분야(예를 들면, 미세 먼지와 영상), 제조 분야(스마트 팩토리, 예를 들면, 공정 불량과 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등에 설치된 본 발명에 의한 사물인터넷 기반의 상기 센서정보와 상기 영상정보를 서로 동기화하여 통합정보 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 정보 추출부(240), 동기화된 상기 통합정보에서 센서정보를 기준으로, 해당되는 영상정보를 분석하여 추출하는 기능을 수행할 수 있다. 또한, 정보 추출부(240)는 동기화된 상기 통합정보에서 영상정보를 기준으로, 해당되는 센서정보를 분석하여 추출하는 기능을 수행할 수도 있다.
보다 구체적으로, 정보 추출부(240)는 상기 센서정보를 기준으로, 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 온도, 습도, 가스농도, 진동 등에 관하여 감지되어 측정된 측정값)에 의해, 해당되는 영상정보를 추출하는 방식 또는 시계열의 그래프 상에서 관리자 단말장치(500)에 의해 선택된 영역(예를 들면, 특정 시간영역 및/또는 특정 기준값 영역)에서 해당되는 영상정보를 추출하는 방식이거나 이들을 조합한 방식일 수 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다. 이러한 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 과정은 도 3 및 4를 참조한 이하의 상세한 설명에 의해 명확하게 이해될 수 있을 것이다.
또한, 정보 추출부(240)는 상기 영상정보를 기준으로, 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관한 영상 객체인식 기준)에 의해, 해당되는 센서정보를 추출하는 방식 또는 영상정보 상에서 관리자 단말장치(500)에 의해 선택된 영역(객체영역, 예를 들면, 특정 개체의 색상, 형상, 위치, 크기 영역)에서 해당되는 센서정보를 추출하는 방식이거나 이들을 조합한 방식일 수도 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다.
또한, 정보 추출부(240)는 동기화된 상기 통합정보에서 영상정보가 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상인식 기준)에 해당되는 경우, 이에 대응되는 센서정보를 추출하여 비교하는 기능을 수행할 수도 있다. 즉, 센서 단말장치(400)에서 측정된 측정값과 영상촬영 장치(300)에서 촬영된 객체인식을 서로 비교하여 이상 유무를 판단할 수 있는데, 예를 들면, 영상정보에서 농장의 작물인 개체의 색상(객체인식)이 설정된 녹색이 아닌 노란색으로 인식될 경우, 해당 영역(시간)에 대응되는 센서정보(예를 들면, 온도, 습도, 조도, CO2 등의 측정값)를 추출하여, 해당 영상정보와 해당 센서정보를 비교할 수 있다. 비교결과 센서정보의 변화(설정된 기준 범위 밖으로의 변화)가 없을 경우, 센서 단말장치(400)의 고장을 의심할 수 있고, 이를 근거로 관리자는 해당 센서를 점검하는 과정을 수행할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 정보 제공부(250)는 생성된 상기 통합정보를 관리자 단말장치(500)로 실시간 제공하는 기능을 수행할 수 있다. 또한, 추출된 상기 영상정보 또는 센서정보 중에서 이벤트가 발생할 경우, 관리자 단말장치(500)로 확인 메시지를 제공하는 기능을 수행 할 수 있는데, 이러한 본 발명의 일 실시예에 따른 이벤트에 따라 확인 메시지를 제공하는 방법은 도 5를 참조한 이하의 상세한 설명에 의해 구체적으로 이해될 수 있을 것이다.
다음으로, 본 발명의 일 실시예에 따른 데이터베이스(260)는, 영상정보, 센서정보, 통합정보 및/또는 관련정보를 저장할 수 있는 저장장치일 수 있다.
한편, 비록 도 2에서 데이터베이스(260)는 통합관리시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(260)는 통합관리시스템(200)과 별개로 구성하거나 운영서버(600)에 포함되도록 구성할 수도 있다. 이러한, 데이터베이스(260)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스(260)에 포함될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(270)는, 통합관리시스템(200)이 영상 촬영장치(300), 센서 단말장치(400), 관리자 단말장치(500) 및/또는 운영서버(600) 등과 같은 외부 장치와 통신할 수 있도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(280)는, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260) 및 통신부(270)간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(280)는 외부로부터의, 또는 통합관리시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260) 및 통신부(270)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
이상에서 설명된 본 발명에 따른 통합관리시스템(200)의 보다 구체적인 구성에 대한 이해를 돕기 위해, 이하의 상세한 설명에서는 본 발명에 따른 통합정보를 조회하고 분석하는 방법에 대하여, 일례를 들어 설명한다.
통합정보 조회 및 분석
이하의 상세한 설명에서는, 제품을 생산하는 제조 분야에서 상술된 본 발명에 의한 통합관리시스템(200)으로 스마트 팩토리(Smart Factory)를 구현하여, 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면으로 일례로 설명한다.
이는 설명의 편의를 위해 가장 대표적인 활용과정을 설명한 것으로, 본 발명이 이에 한정되는 것은 아니며, 농업 분야(스마트팜, 예를 들면, 종묘의 발아환경과 영상), 환경 분야(예를 들면, 미세 먼지와 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등의 전반에 걸쳐 적용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 일례를 나타내는 인터페이스 화면이다.
도 3을 참조하면, 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면의 좌측 상단의 메뉴부(S), 우측 상단의 센서정보(측정값)를 보여주는 그래프부(G), 좌측 하단에 영상정보의 특성을 보여주는 영상특성부(P) 및 우측 하단에 통합정보를 실시간으로 보여주는 제1 화면부(V1) 및 이벤트에 해당되는 통합정보를 보여주는 제2 화면부(V2)로 구성될 수 있다.
이러한 인터페이스 화면에서는 제품을 생산하는 공장 내부에 사물인터넷 기반의 센서정보를 측정하는 센서 단말장치(400)가 일례로, 2대 설치(미도시됨)될 수 있으며, 이에 대응되는 위치에 영상장치(300)가 1대 설치(미도시됨)되어, 센서정보와 영상정보를 각각 수집하여 디스플레이 할 수 있다.
이때, 센서 단말장치(400)는 일례로 가스농도 검출 센서, 진동 센서일 수 있는데, 공장 내부에 제품 생산 시 발생하는 가스 농도의 변화를 감지하여 공정의 이상 유무에 대한 정보를 확인할 수 있으며, 비정상정인 충격(진동)을 감지하여 설비 기계의 고장여부를 확인할 수 있는 기능을 수행할 수 있다.
먼저, 메뉴부(S)는 상태메뉴(실시간 CCTV, 영상분석)와 제어메뉴(영상녹화, 실시간 보기/숨기기, 영상화면 캡처)를 포함하여, 관리자의 선택에 따른 해당 정보를 확인할 수 있는 기능을 제공하는 인터페이스부이다.
이어서, 영상특성부(P)는 영상의 재생, 정지, 재생 속도 등을 조정할 수 있는 기능을 제공하는 인터페이스부이다.
이어서, 그래프부(G)는 센서정보(측정값)를 보여주는 화면으로, 상기 가스농도 검출 센서(센서 단말장치)와 진동 센서에서 측정된 가스 농도(CO2 ppm 단위)와 진동량(g 단위)를 시계열 그래프로 도시하여 디스플레이 할 수 있다.
이어서, 제1 화면부(V1)는 상기와 같은 영상정보와 센서정보를 동기화하여 생성한 통합정보를 실시간으로 보여주는 디스플레이 화면이다.
이어서, 관리자에 의해 그래프부(G)상에서 선택된 센서정보의 영역(10)이 이벤트로 처리되어‘장소: 공장1, 시간: 2020-05-07, 20:05:03, 센서정보: 가스농도(CO2 500ppm), 진동량(2g)’관련정보를 추출할 수 있으며, 이와 동기화된 영상정보도 함께 제2 화면부(V2)에 디스플레이 될 수 있다. 따라서, 관리자에 의해 선택된 영역(시간영역: 10)의 센서정보(가스농도, 진동량)가 현재보다 높았다는 것[가스농도(CO2 450 -> 500ppm), 충격량(1.5 -> 2g)]을 편리하게 확인할 수 있다.
또한, 도시되지는 않았지만, 관리자에 의해 설정된 기준(가스농도, 진동 기준값)에 의해, 자동으로 이벤트가 발생하여 센서정보를 추출할 수 있으며, 이와 동기화된 영상정보도 함께 제2 화면부(V2)에 디스플레이 될 수 있다.
이와 같이, ICT(Information and Communication Technology) 기술을 활용한 스마트 팩토리 기술을 통해 설계 및 개발, 제조 등의 제품생산 과정에서 공장내 환경, 설비와 기계에 사물인터넷(IoT)을 설치하여 공정 데이터를 실시간으로 수집하고, 이를 분석하여 생산성 및 품질을 향상시킬 수 있는 지능형 생산 공장을 구현할 수 있다.
도 4는 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 다른 일례를 나타내는 인터페이스 화면이다.
도 4를 참조하면, 상술된 도 3과 동일하게 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면에서 주변환경 정보를 센서정보와 영상정보로 각각 수집하여 디스플레이 할 수 있다. 사물인터넷 기반의 센서정보를 측정하는 센서 단말장치(400)가 일례로, 4대 설치(미도시됨: 온도 센서, 습도 센서, 조도 센서, 가스농도 검출 센서)될 수 있으며, 이에 대응되는 위치에 영상장치(300)가 1대 설치(미도시됨)될 수 있는데, 그래프부(G)는 센서정보(측정값) 중 온도와 습도를 보여주는 화면으로, 시계열 그래프로 도시하여 디스플레이 할 수 있다.
이어서, 제1 화면부(V1)는 상기와 같은 영상정보와 센서정보를 동기화하여 생성한 통합정보를 실시간으로 보여주는 디스플레이 화면이다.
이어서, 관리자에 의해 그래프부(G) 상에서 선택된 센서정보의 영역(시간영역, 10)이 이벤트로 처리되어‘장소: 환경1, 시간: 2020-08-12, 17:08:48, 온도: 24.7도, 습도: 58.8%, 조도: 1953.0Lx, CO2: 1003ppm’관련정보를 추출할 수 있으며, 이와 동기화된 영상정보도 함께 제2 화면부(V2)에 디스플레이 될 수 있다. 이러한 인터페이스 화면의 다른 구성의 설명은, 도 3을 참조하여 상술된 상세한 설명과 중복을 피하기 위하여 생략한다.
실시간 조회 및 이벤트 알림
이하의 상세한 설명에서는, 작물(버섯)을 재배하는 농장에서 본 발명에 의한 통합관리시스템(200)을 통해 스마트팜(smart farm)을 구현하여, 이벤트 발생 시, 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면으로 일례로 설명한다.
이는 설명의 편의를 위해 가장 대표적인 활용과정을 설명한 것으로, 본 발명이 이에 한정되는 것은 아니며, 환경 분야(예를 들면, 미세 먼지와 영상), 제조 분야(스마트 팩토리, 예를 들면, 공정 불량과 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등의 전반에 걸쳐 적용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 이벤트 발생 시, 관리자에게 별도의 확인 메시지를 제공하는 일례를 나타내는 인터페이스 화면이다.
도 5를 참조하면, 작물(버섯)을 재배하는 농장 내부에 사물인터넷 기반의 센서정보를 측정하는 센서 단말장치(400)가 일례로, 4대 설치(미도시됨)될 수 있으며, 이에 대응되는 위치에 영상장치(300)가 1대 설치(미도시됨)되어, 센서정보와 영상정보를 각각 수집할 수 있다.
이어서, 본 발명에 의한 통합관리시스템(200)를 통해 센서정보과 영상정보가 동기화되어 통합정보를 생성할 수 있는데, 화면(A)와 같이 관리자 단말장치(500)는 통합관리시스템(200)으로부터 실시간으로 통합정보를 제공받아 디스플레이하여 모니터링 할 수 있다.
이어서, 화면(B)와 같이, 관리자에 의해 설정된 기준(온도 17도, 습도 70%의 측정값)에 의해, 자동으로 이벤트가 발생하면, 확인 메시지(예를 들면, 문자 또는 알림)가 수신되고, 수신된 메시지에는‘1. 시간정보, 발생일: 2019.03.02, 발생시간: 19:50:03, 2. 장소정보, 주소: OOO, 제1 농장 1구역, 3. 이벤트 정보, 온도 16.5도, 습도 75.6%’가 포함되어 있어, 설정된 습도 기준값인 70% 이상일 경우에 해당하여 이벤트가 수신되었고, 관리자는 작물(버섯)을 재배하는 농장의 이벤트가 발생한 시간의 해당 영상정보(또는 통합정보)를 ‘영상 확인하기’버튼을 선택하여 제공받을 수 있다.
또한, 도시되지는 않았지만 기존에는 작물에 관수할 때 직접 밸브를 열고 모터를 작동해야 했다면, 스마트 팜에서는 상술된 온도, 습도의 센서정보를 이용하여 전자밸브가 설정값(측정값)에 맞춰 자동으로 관수할 수 있도록 제어할 수 있다.
이와 같이 본 발명에 의한 통합관리시스템(200)을 통해 작물(버섯)을 재배하는 농장을 스마트팜(smart farm)을 구현하면, 생육 단계별 정밀한 관리와 예측 등이 가능하여 수확량, 품질 등을 향상시켜 수익성을 높일 수 있다. 또한, 노동력과 에너지를 효율적으로 관리함으로써 생산비를 절감할 수 있다.
또한, ICT(Information and Communication Technology) 기술을 활용한 스마트팜 기술을 통해 사물인터넷(IoT)을 기반으로 환경 정보(온도, 습도, 이산화탄소, 빛, 토양 등)와 생육 정보에 대한 정확한 데이터를 수집하여, 스마트 농장, 스마트 온실, 스마트 축사, 스마트 양식장 등의 전 분야에 활용할 수 있을 것이다.
이상 설명된 본 발명에 따른 실시 예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 본 발명의 상세한 설명에서는 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시 예들에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해지는 것은 아니며, 후술하는 특허청구범위뿐만 아니라 그 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 통합관리시스템
210: 영상정보 수집부
220: 센서정보 수집부
230: 통합정보 생성부
240: 정보 추출부
250: 정보 제공부
260: 데이터베이스
270: 통신부
280: 제어부
300: 영상 촬영장치
400: 센서 단말장치
500: 관리자 단말장치
600: 운영서버
200: 통합관리시스템
210: 영상정보 수집부
220: 센서정보 수집부
230: 통합정보 생성부
240: 정보 추출부
250: 정보 제공부
260: 데이터베이스
270: 통신부
280: 제어부
300: 영상 촬영장치
400: 센서 단말장치
500: 관리자 단말장치
600: 운영서버
Claims (5)
- 통신망 상에서 정보를 동기화하여 통합관리하기 위한 시스템으로서,
영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 영상정보 수집부;
상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 센서정보 수집부;
상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 통합정보 생성부;
생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 정보 추출부; 및
상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 정보 제공부
를 포함하는 것을 특징으로 하는 시스템.
- 제1항에 있어서,
상기 이벤트는,
상기 관리자 단말장치에 의해 설정된 기준이거나 상기 관리자 단말장치에 의해 선택된 영역이며,
상기 설정된 기준은, 상기 센서 단말장치에서 측정되는 측정값 기준이거나, 상기 영상촬영 장치에서 촬영되는 객체인식 기준이고,
상기 선택된 영역은, 상기 센서정보의 시계열 그래프 상에서 상기 관리자 단말장치에 의해 선택된 시간영역이거나, 상기 영상정보에서 상기 관리자 단말장치에 의해 선택된 객체영역인 것을 특징으로 하는 시스템.
- 제2항에 있어서,
상기 정보 추출부는,
상기 센서 단말장치에서 측정되는 측정값과 상기 영상촬영 장치에서 촬영되는 객체인식을 서로 비교하여 이상 유무를 판단하는 것을 특징으로 하는 시스템.
- 통신망 상에서 정보를 동기화하여 통합관리하기 위한 방법으로서,
영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 단계;
상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 단계;
상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 단계;
생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 단계; 및
상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 단계
를 포함하는 것을 특징으로 하는 방법.
- 제4항에 있어서,
상기 이벤트는,
상기 관리자 단말장치에 의해 설정된 기준이거나 상기 관리자 단말장치에 의해 선택된 영역이며,
상기 설정된 기준은 상기 센서 단말장치에서 측정되는 측정값 기준이거나, 상기 영상촬영 장치에서 촬영되는 객체인식 기준이고,
상기 선택된 영역은, 상기 센서정보의 시계열 그래프 상에서 상기 관리자 단말장치에 의해 선택된 시간영역이거나, 상기 영상정보에서 상기 관리자 단말장치에 의해 선택된 객체영역인 것을 특징으로 하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200109671A KR102423255B1 (ko) | 2020-08-28 | 2020-08-28 | 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200109671A KR102423255B1 (ko) | 2020-08-28 | 2020-08-28 | 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220028547A true KR20220028547A (ko) | 2022-03-08 |
| KR102423255B1 KR102423255B1 (ko) | 2022-07-20 |
Family
ID=80813534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200109671A KR102423255B1 (ko) | 2020-08-28 | 2020-08-28 | 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102423255B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487031B1 (ko) * | 2022-04-29 | 2023-01-10 | (주)하이브시스템 | 이벤트 관리가 가능한 영상 전송 장치 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101470316B1 (ko) * | 2014-08-11 | 2014-12-09 | (주)엔토스정보통신 | 촬영 영역의 특성 설정에 따른 위험 감지 ｃｃｔｖ 시스템 및 그 방법 |
| KR20150034398A (ko) * | 2013-09-26 | 2015-04-03 | 서진이엔에스(주) | 객체인식 기반의 주차장 이벤트 검지 시스템 |
| KR101558419B1 (ko) | 2015-06-11 | 2015-10-07 | (주)프로브디지털 | 복수의 카메라를 이용한 영상처리장치 및 제어방법 |
| KR20180126227A (ko) * | 2017-05-17 | 2018-11-27 | 주식회사 에스더블유엠 | 차량 주행정보 관리 장치, 서버 및 차량 주행정보 관리 방법 |
| KR20190092227A (ko) * | 2018-09-17 | 2019-08-07 | 김명호 | 지능형 영상 분석에 의한 실영상 및 녹화영상 검색 시스템 |
| KR102028147B1 (ko) * | 2018-10-12 | 2019-10-04 | (주)파슨텍 | 이벤트 상황을 관제하는 통합 관제 시스템, 영상 분석 장치 및 지역 관제 서버 |
-
2020
- 2020-08-28 KR KR1020200109671A patent/KR102423255B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150034398A (ko) * | 2013-09-26 | 2015-04-03 | 서진이엔에스(주) | 객체인식 기반의 주차장 이벤트 검지 시스템 |
| KR101470316B1 (ko) * | 2014-08-11 | 2014-12-09 | (주)엔토스정보통신 | 촬영 영역의 특성 설정에 따른 위험 감지 ｃｃｔｖ 시스템 및 그 방법 |
| KR101558419B1 (ko) | 2015-06-11 | 2015-10-07 | (주)프로브디지털 | 복수의 카메라를 이용한 영상처리장치 및 제어방법 |
| KR20180126227A (ko) * | 2017-05-17 | 2018-11-27 | 주식회사 에스더블유엠 | 차량 주행정보 관리 장치, 서버 및 차량 주행정보 관리 방법 |
| KR20190092227A (ko) * | 2018-09-17 | 2019-08-07 | 김명호 | 지능형 영상 분석에 의한 실영상 및 녹화영상 검색 시스템 |
| KR102028147B1 (ko) * | 2018-10-12 | 2019-10-04 | (주)파슨텍 | 이벤트 상황을 관제하는 통합 관제 시스템, 영상 분석 장치 및 지역 관제 서버 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487031B1 (ko) * | 2022-04-29 | 2023-01-10 | (주)하이브시스템 | 이벤트 관리가 가능한 영상 전송 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102423255B1 (ko) | 2022-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10812761B2 (en) | Complex hardware-based system for video surveillance tracking | |
| CN109922310B (zh) | 目标对象的监控方法、装置及*** | |
| US9342594B2 (en) | Indexing and searching according to attributes of a person | |
| US10424175B2 (en) | Motion detection system based on user feedback | |
| US20220181020A1 (en) | System and method for remote patient monitoring | |
| US8704668B1 (en) | System for monitoring and alerting based on animal behavior in designated environments | |
| US20080201277A1 (en) | System architecture and process for automating intelligent surveillance center operation | |
| US11321588B2 (en) | System for identifying pests and monitoring information through image analysis, and monitoring method using same | |
| KR20110067791A (ko) | 작물의 병해충 진단 시스템 및 그 방법 | |
| WO2017057780A1 (ja) | 表示盤や操作盤のデータ収集装置、方法およびプログラム | |
| CN106464836A (zh) | 云视频服务中的智能变动选择 | |
| US20230093631A1 (en) | Video search device and network surveillance camera system including same | |
| CN115457446A (zh) | 一种基于视频分析的异常行为监管*** | |
| KR102423255B1 (ko) | 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법 | |
| CN106303457A (zh) | 基于无线定位技术的连续远程移动视频监控方法及*** | |
| US20230024701A1 (en) | Thermal imaging asset inspection systems and methods | |
| KR20160093253A (ko) | 영상 기반 이상 흐름 감지 방법 및 그 시스템 | |
| US9111237B2 (en) | Evaluating an effectiveness of a monitoring system | |
| KR102485816B1 (ko) | 이미지 수집장치를 이용한 작물 생육 분석 시스템 | |
| KR101060414B1 (ko) | 감시 시스템 및 그 감시 방법 | |
| De Dominicis et al. | Video-based fusion of multiple detectors to counter terrorism | |
| US20140325574A1 (en) | Perceptors and methods pertaining thereto | |
| CN108076312A (zh) | 基于深度摄像机的人数统计监控识别*** | |
| KR20230017963A (ko) | 머신비전 기반 pls 정보 관리 방법 및 시스템 | |
| US20230156160A1 (en) | Intelligent surveillance camera control and notification system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |