KR20190085376A - 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법 - Google Patents

출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법 Download PDF

Info

Publication number
KR20190085376A
KR20190085376A KR1020180003443A KR20180003443A KR20190085376A KR 20190085376 A KR20190085376 A KR 20190085376A KR 1020180003443 A KR1020180003443 A KR 1020180003443A KR 20180003443 A KR20180003443 A KR 20180003443A KR 20190085376 A KR20190085376 A KR 20190085376A
Authority
KR
South Korea
Prior art keywords
image
image processing
processing apparatus
unit
area
Prior art date
Application number
KR1020180003443A
Other languages
English (en)
Other versions
KR102078265B1 (ko
Inventor
최정국
Original Assignee
주식회사 티제이원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 티제이원 filed Critical 주식회사 티제이원
Priority to KR1020180003443A priority Critical patent/KR102078265B1/ko
Publication of KR20190085376A publication Critical patent/KR20190085376A/ko
Application granted granted Critical
Publication of KR102078265B1 publication Critical patent/KR102078265B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 실시예는 카메라로부터 모니터링 영역을 촬영한 제1 영상을 획득하는 단계; 통신부로부터 주변에 위치한 하나 이상의 디바이스로부터 각 디바이스의 실행 여부, 실행 시점 및 실행되는 동작을 포함하는 감지 데이터를 획득하는 단계; 상기 제1 영상 또는 상기 감지 데이터를 분석한 결과를 이용하여, 상기 제1 영상에 출현한 객체를 식별하는 단계; 및 상기 객체의 식별 정보를 이용하여 비활성 조건의 만족 여부를 판단하고, 판단 결과, 상기 객체의 식별 정보가 비활성 조건을 만족하는 경우, 통신부의 전송 기능을 비활성화시키는 단계;를 포함하는, 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치의 영상 제공 방법을 개시한다.

Description

출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법{Aapparatus of processing image and method of providing image thereof}
본 실시예들은 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법에 관한 것이다.
최근 많은 웹 상의 서비스 증가에 따라 보안 이슈가 크게 대두되고 있으며, 이러한 보안 문제로 인해 보안 카메라의 개인 생활 침해 문제 및 해킹에 대한 두려움 등이 제기되고 있다.
국내 공개특허공보 제2013-0003886호
본 발명의 실시예들은 프라이버시 침해와 보안의 어느 한쪽에 치우치지 않고 모두 만족할 수 있는 보안 시스템을 제공하고자 한다.
본 발명의 실시예들에 따른 영상 제공 방법은 카메라로부터 모니터링 영역의 제1 영상을 획득하는 단계; 통신부로부터 주변에 위치한 디바이스로부터 감지 데이터를 획득하는 단계; 상기 제1 영상 및 상기 감지 데이터를 분석한 결과를 이용하여, 상기 제1 영상에 출현한 객체를 식별하는 단계; 상기 객체의 식별 정보를 기초로 통신부의 전송 기능을 비활성화시키는 단계;를 포함할 수 있다.
본 발명의 실시예들에 따른 영상 제공 방법은 상기 객체의 식별 정보를 기초로, 상기 제1 객체의 출현 영역을 편집하는 단계;를 더 포함할 수 있다.
상기 객체를 식별하는 단계는 상기 제1 영상의 특정 영역을 분석하여 해당 영역에 포함된 객체 영역을 획득하고, 객체 영역에 포함된 제1 객체의 특징값들을 분석하여 상기 제1 객체의 식별 정보를 결정하는 점을 특징으로 할 수 있다.
상기 객체를 식별하는 단계는 상기 감지 데이터를 조합하여, 출현 객체의 이동 정보를 추론하는 단계;를 더 포함하고, 상기 제1 영상 및 상기 출현 객체의 이동 정보를 기초로 객체를 식별하는 것을 특징으로 할 수 있다.
상기 객체를 식별하는 단계는 상기 제1 영상을 분석하여 생체 정보를 인식하는 단계;를 더 포함하고, 상기 생체 정보 및 상기 이동 정보를 기초로 객체를 식별하는 것을 특징으로 할 수 있다.
상기 객체를 식별하는 단계는 상기 제1 영상으로부터 복수의 객체가 인식 또는 감지된 경우, 상기 생체 정보 및 상기 이동 정보를 페어링하고, 페어링된 생체 정보 및 이동 정보를 기초로 각 객체를 식별하는 점을 특징으로 할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치는 카메라로부터 모니터링 영역의 제1 영상을 획득하고 분석하는 영상 분석부; 통신부로부터 주변에 위치한 디바이스로부터 감지 데이터를 획득하고, 상기 감지 데이터를 분석하는 주변 정보 분석부; 상기 제1 영상 및 상기 감지 데이터를 분석한 결과를 이용하여, 상기 제1 영상에 출현한 객체를 식별하는 객체 식별부; 상기 객체의 식별 정보를 기초로 통신부의 전송 기능을 비활성화시키는 영상 처리부;를 포함할 수 있다.
상기 영상 처리부는 상기 객체의 식별 정보를 기초로, 상기 제1 객체의 출현 영역을 편집하는 점을 특징으로 할 수 있다.
상기 객체 식별부는 상기 제1 영상의 특정 영역을 분석하여 해당 영역에 포함된 객체 영역을 획득하고, 객체 영역에 포함된 제1 객체의 특징값들을 분석하여 상기 제1 객체의 식별 정보를 결정하는 점을 특징으로 할 수 있다.
상기 객체 식별부는 상기 감지 데이터를 조합하여, 출현 객체의 이동 정보를 추론하고, 상기 제1 영상 및 상기 출현 객체의 이동 정보를 기초로 객체를 식별하는 것을 특징으로 할 수 있다.
상기 객체 식별부는 상기 제1 영상을 분석하여 생체 정보를 인식하고, 상기 생체 정보 및 상기 이동 정보를 기초로 객체를 식별하는 것을 특징으로 할 수 있다.
상기 객체 식별부는 상기 제1 영상으로부터 복수의 객체가 인식 또는 감지된 경우, 상기 생체 정보 및 상기 이동 정보를 페어링하고, 페어링된 생체 정보 및 이동 정보를 기초로 각 객체를 식별하는 점을 특징으로 할 수 있다.
컴퓨터를 이용하여 본 발명의 실시예에 따른 영상 처리 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.
본 발명의 실시예들에 따른 영상 처리 장치, 영상 처리 방법 및 컴퓨터 프로그램은 주변의 디바이스로부터 수신한 감지 데이터 및 카메라로부터 수신한 영상을 기초로 영상에 포함된 객체를 식별할 수 있다.
또한, 본 발명의 실시예들에 따른 영상 처리 장치, 영상 처리 방법 및 컴퓨터 프로그램은 등록 객체에 의해 설정된 설정에 따라 등록 객체가 출현한 영상을 처리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보안 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 3 내지 도 5는 본 발명의 실시예들에 따른 영상 처리 방법의 흐름도들이다.
도 6a 및 도 6b는 객체의 출현 영역에 대해서 이펙트를 추가한 실시예들에 대한 것이다.
도 7a 및 도 7b는 영상 처리 장치에 의해 제공되는 얼굴 인식 기능을 설명하기 위한 도면이다.
도 8은 영상 처리 장치에 의해 제공되는 영역 설정 기능을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 보안 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 보안 시스템(1)은 카메라 그룹(10), 디바이스 그룹(30), 단말 그룹(50) 및 영상 처리 장치(70)를 포함할 수 있다. 보안 시스템의 카메라 그룹(10), 디바이스 그룹(30), 단말 그룹(50) 및 영상 처리 장치(70) 중 하나 이상의 구성요소는 하나의 장치에 구비되어 전기적으로 연결될 수 있다. 예를 들어, 카메라 그룹(10), 영상 처리 장치(70)은 하나의 장치로 구비되거나 통신망으로 연결된 분리된 장치에 각각 구비될 수 있다. 또한, 영상 처리 장치(70) 및 디바이스 그룹(30)은 하나의 장치로 구비되거나 통신망으로 연결된 분리된 장치들에 각각 구비될 수 있다. 카메라 그룹(10), 디바이스 그룹(30), 및 영상 처리 장치(70)는 하나의 장치로 구비되거나 통신망으로 연결된 분리된 장치에 각각 구비될 수 있다.
카메라 그룹(10)은 적어도 하나의 카메라(CAM1 내지 CAMn)를 포함할 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 특정 장소의 고정된 위치에 배치되고, 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라일 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 구동장치에 의하여 패닝 및/또는 틸팅 회전하거나, 줌 렌즈를 줌-인 또는 줌-아웃 하여 줌 배율을 조정하면서, 다양한 영상을 획득할 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외 또는 공원 등의 야외에 설치되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.
적어도 하나의 카메라(CAM1 내지 CAMn)는 자신에게 할당된 영역을 감시하면서 객체를 탐지할 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)에는 고유 식별 정보로서 ID가 부여될 수 있다. 적어도 하나의 카메라(CAM1 내지 CAMn)는 정해진 영역을 촬영하여 획득된 영상을 영상 처리 장치(70) 및/또는 단말 그룹(50)의 적어도 하나의 단말(UE1 내지 UEn)로 출력할 수 있다.
디바이스 그룹(30)은 적어도 하나의 디바이스(DE1 내지 DEn)를 포함할 수 있다. 적어도 하나의 디바이스(DE1 내지 DEn)는 상이한 감지 데이터를 획득하는 다수의 이기종 센서들일 수 있다. 적어도 하나의 디바이스(DE1 내지 DEn)는 오디오 센서, 모션 센서, 지문 센서, 홍채 센서 등을 포함할 수 있다. 적어도 하나의 디바이스(DE1 내지 DEn)는 적어도 하나의 카메라(CAM1 내지 CAMn)와 페어를 이루는 상태로 설치될 수 있다. 그러나, 적어도 하나의 카메라(CAM1 내지 CAMn)가 모션 인식 및 추적 기능을 갖는 경우 적어도 하나의 디바이스(DE1 내지 DEn)는 독립적으로 설치될 수 있다.
단말 그룹(50)은 적어도 하나의 사용자 단말(UE1 내지 UEn)을 포함할 수 있다. 적어도 하나의 사용자 단말(UE1 내지 UEn)은 고유 식별 정보로서 ID가 부여될 수 있다. ID는 얼굴, 음성, 지문, 홍채 등의 개인을 인증하는 생체 정보와 매핑될 수 있다. 적어도 하나의 사용자 단말(UE1 내지 UEn)은 각 사용자로부터의 입력을 수신하여 영상 처리 장치(70)로 전달하고, 영상 처리 장치(70)로부터 수신한 데이터를 화면에 표시할 수 있다.
적어도 하나의 사용자 단말(UE1 내지 UEn)은 노트북, 핸드헬드 장치, 스마트폰, 탭 등의 모바일 단말, 데스크 탑 컴퓨터, 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치일 수 있다.
영상 처리 장치(70)는 카메라 그룹(10) 및/또는 디바이스(DE1 내지 DEn) 그룹(30)으로 입력되는 영상 및 감지 데이터를 수신할 수 있다. 영상 처리 장치(70)는 본 발명의 실시예들에 따른 프라이버시 기능을 수행할 수 있다. 영상 처리 장치(70)는 수신한 영상 및 감지 데이터를 분석하고, 영상의 일부 또는 전부에 대한 블라인드 처리를 수행할 수 있다. 영상 처리 장치(70)는 수신한 영상 및 감지 데이터를 분석하고, 영상의 처리 방법을 결정할 수 있다. 영상 처리 장치(70)는 수신한 원본 영상 및/또는 블라인드 처리된 영상을 저장할 수 있다. 영상 처리 장치(70)는 사용자에게 설정된 보안 등급에 따라 원본 영상이 적어도 하나의 사용자 단말(UE1 내지 UEn)에 제공되지 않도록 할 수 있다. 영상 처리 장치(70)는 수신한 영상 및/또는 감지 데이터를 분석하고 이벤트를 검출할 수 있다. 영상 처리 장치(70)는 이벤트가 검출되면 적어도 하나의 단말(UE1 내지 UEn)에 알람을 제공할 수 있다.
영상 처리 장치(70)는 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터 전화번호, 단말고유 ID, ID/패스워드, 생체 정보, 패턴 중 적어도 하나를 수신하고, 기 저장된 ID/패스워드, 생체 정보, 패턴과 비교하여 사용자를 인증할 수 있다.
영상 처리 장치(70)는 적어도 하나의 카메라(CAM1 내지 CAMn) 및/또는 적어도 하나의 디바이스(DE1 내지 DEn)로부터 입력되는 생체 정보를 수신하고, 사용자를 식별할 수 있다.
일 실시예에서, 영상 처리 장치(70)는 적어도 하나의 카메라(CAM1 내지 CAMn)에 내장된 마이크로 칩이나, 마이크로 칩을 구비하는 회로 보드로 구현될 수 있다.
다른 실시예에서, 영상 처리 장치(70)는 적어도 하나의 카메라(CAM1 내지 CAMn), 적어도 하나의 디바이스(DE1 내지 DEn) 및 적어도 하나의 사용자 단말(UE1 내지 UEn)과 통신 네트워크, 예를 들면, LAN, TCP/IP로 연결될 수 있다. 통신 네트워크는 유선 네트워크 및 3G, 4G(LTE), 5G, 와이파이(WiFi), 와이브로(Wibro), 와이맥스(Wimax) 등과 같은 무선 인터넷 및 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등의 근거리 통신을 포함하는 무선 네트워크를 포함할 수 있다. 영상 처리 장치(70)는 와이파이(Wi-Fi) 통신 방식 및/또는 LTE 통신 방식을 지원하는 무선 접속 장치, 게이트웨이 등의 중계 장치, 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder) 등의 레코딩 장치, 인터넷 상에서 저장 기능을 제공하는 클라우드 컴퓨팅 장치 등일 수 있다.
영상 처리 장치(70)를 구성하는 구성요소들 중 적어도 일부가 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈 중 적어도 하나 이상을 포함하는 소프트웨어나 회로들로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 2를 참조하면, 영상 처리 장치(70)는 통신부(701), 영상 분석부(702), 주변 정보 분석부(703), 객체 식별부(704), 저장부(705), 영상 처리부(706), 데이터 관리부(707)를 포함할 수 있다.
통신부(701)는 외부 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 통신부(701)는 카메라 그룹(10) 및 디바이스(DE1 내지 DEn) 그룹(30)과 데이터를 송수신하는 제1 통신 모듈 및 단말 그룹(50)과 데이터를 송수신하는 제2 통신 모듈을 포함할 수 있다.
제1 통신 모듈은 카메라 그룹(10)으로부터 영상을 수신하고, 디바이스 그룹(30)으로부터 감지 데이터를 수신할 수 있다. 감지 데이터는 디바이스의 전원 관련 정보, 디바이스의 동작, 상태 정보를 포함할 수 있다. 제1 통신 모듈은 카메라 모듈(10)으로부터 PTZ값을 포함하는 카메라 제어 신호를 전송할 수 있다.
제2 통신 모듈은 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터 사용자 인증 정보를 수신하고, 인증된 사용자로부터의 영상 요청 신호에 응답하여 실시간 영상 또는 저장된 영상을 전송할 수 있다. 제2 통신 모듈은 적어도 하나의 사용자 단말(UE1 내지 UEn)로부터의 기능 실행 요청에 응답하여 프라이버시 기능 설정 메뉴를 제공하고, 설정 데이터를 수신할 수 있다. 제2 통신 모듈은 영상이 외부로 유출되는 것을 방지할 수 있다. 즉, 제2 통신 모듈은 영상 요청 신호가 수신되더라도 영상에 등록 객체가 출현하는 동안에는 영상이 외부로 전달되지 않도록 제어된다. 영상 요청 신호가 수신되더라도 영상에 등록 객체가 출현하는 동안에는 제2 통신 모듈은 비활성화될 수 있다. 또는 제2 통신 모듈이 비활성화되지 않고 영상에 설정된 전송 플래그에 따라 영상의 전송 여부를 결정할 수 있다.
영상 분석부(702)는 카메라를 통해 획득된 영상을 분석하여, 영상에 포함되는 생체 정보를 인식할 수 있다. 영상 분석부(702)는 인식된 생체 정보를 이용하여 영상의 출현 객체를 식별할 수 있다. 생체 정보는 얼굴, 음성, 지원 및 홍채 중 적어도 하나를 포함할 수 있다. 등록된 객체는 다양한 방법으로 등록된 객체를 말하며, 모니터링 영역에 대해서 소유자, 책임자, 관리자 등의 소정의 권한을 가진 자 일 수 있다. 또한, 등록된 객체는 단말 그룹(50)의 단말을 소유 및 사용하는 사용자일 수 있다. 영상 분석부(702)는 촬영된 영상의 일부에 생체 정보가 감지되는 경우, 생체 정보를 인식, 식별, 감지할 수 있는 해상도로 조절할 수 있다. 영상 분석부(702)는 지문, 홍채와 같이 신체의 일부를 감지하는 경우, 생체 정보를 감지할 수 있는 정도로 촬영 영역, 해상도, 배율 등을 조절할 수 있다. 영상 분석부(702)는 촬영된 영상의 일부에 생체 정보가 감지되는 경우, 생체 정보를 인식, 식별, 조절된 촬영 영역, 해상도, 배율 등으로 촬영된 영상을 통해 사용자의 생체 정보를 감지할 수 있다. 영상 분석부(702)는 영상에 출현한 객체를 식별하여, 촬영 여부, 촬영된 영상의 외부 전송 여부, 촬영된 영상의 저장 여부, 촬영된 영상의 모자이크 처리 여부 등을 결정할 수 있다. 이때, 영상에 출현한 객체의 보안 등급 또는 접근 권한 등을 고려할 수 있다. 즉, 객체의 보안 등급 또는 접근 권한 등을 고려하여 촬영 여부, 촬영된 영상의 외부 전송 여부, 촬영된 영상의 저장 여부, 촬영된 영상의 모자이크 처리 여부 등을 결정할 수 있다.
영상 분석부(702)는 카메라를 통해 획득된 영상을 분석하여 이동 정보를 인식하고, 인식된 이동 정보와 기존 이동 정보의 비교를 통해 객체를 식별할 수 있다. 예를 들어, 제1 사용자의 이동 경로가 화장실, 주방, 안방의 순서로 설정된 경우, 화장실, 주방, 안방의 순서로 이동하는 객체가 제1 사용자와 동일하다고 판단할 수 있다. 영상 분석부(702)는 영상에 포함된 객체의 이동 경로를 통해 객체를 식별할 수 있다. 영상 분석부(702)는 영상에 포함된 객체의 이동 경로를 통해 등록된 객체와 미등록된 객체를 식별할 수 있다. 이동 정보는 객체의 움직임, 위치 변화를 포함할 수 있다. 이동 정보는 객체의 위치와 대응되는 지점(예, 현관, 부엌, 화장실 등)을 포함할 수 있다. 이때, 영상 분석부(702)는 이동 정보 뿐만 아니라, 사용자의 인상 착의 정보를 추가적으로 더 고려할 수 있다. 예를 들어, 화장실, 주방, 안방 순서로 이동하는 객체가 복수로 설정된 경우, 각 객체의 인상 착의 정보인 신장, 체구, 체형 등의 특징을 추가적으로 등록하여 각 객체를 식별하는데 이용할 수 있다.
영상 분석부(702)는 영상을 분석하여 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킬 수 있다. 여기서, 이벤트라 함은, 미등록 객체의 출현, 얼굴 인식이 불가능한 얼굴 등장, 미등록 목소리, 비정상적인 음원(예를 들어, 유리 깨지는 소리, 경보음, 충돌음, 고함, 비명, 울음소리 등) 발생, 임계값 이상의 음성 발생 등과 같이 사용자에 의해 설정된 이벤트를 포함할 수 있다.
영상 분석부(702)는 영상 데이터의 분석 결과를 나타내는 메타 데이터를 생성하여 영상 데이터와 함께 처리할 수 있다. 영상 분석부(702)는 영상 데이터의 처리를 위해서 메타 데이터를 추가적으로 저장할 수 있다. 예를 들어, 제1 객체를 촬영한 영상은 제1 객체에 의해 등록된 미승인 객체에게는 전송, 공유되지 않을 수 있다. 제1 객체를 촬영한 영상 중에서, 특정 조건(샤워 장면, 자는 장면 등)을 만족하는 영상은 저장되지 않거나, 제1 객체가 포함된 영역이 표현되지 않도록 모자이크 처리할 수 있다. 메타 데이터는 텍스트(text) 기반의 메타 데이터 또는 영상(image) 기반의 메타 데이터를 포함할 수 있다. 메타 데이터는 영상 정보 및 이벤트 정보를 포함할 수 있다. 영상 정보는 영상 획득 시간, 영상 내 검출된 객체 정보를 포함할 수 있다. 이벤트 정보는 이벤트 유형, 이벤트 발생 영역, 이벤트 발생 시간 등을 포함할 수 있다. 본 발명의 실시예들은 이벤트 정보를 메타 데이터로 변환하고 영상 데이터와 함께 저장되도록 처리함으로써, 프라이버시를 위해서는 공유되지 않아야 하는 영상이 보안 등의 이유로 공개의 필요가 있는 경우라면, 원본 영상이 그대로 저장되고 다른 객체들과 공유되도록 처리할 수 있다. 이때, 출현 객체의 식별 정보 등으로 암호화함으로써, 출현 객체 만이 영상을 복호화하도록 처리할 수 있다. 주변 정보 분석부(703)는 주변에 인접하여 존재하고, 통신 기능을 가지며 전자 제품으로 기능하는 디바이스로부터 수신된 감지 데이터를 분석한다. 주변 정보 분석부(703)은 영상 촬영이 불가능한 경우, 또는 영상 촬영이 제한된 경우에 객체의 출현 및 출현된 객체를 식별하기 위해서, 전자 제품의 사용에 대한 감지 데이터(실행 여부, 실행 시점, 실행 동작 등)를 획득할 수 있다. 조명이 부재하여 객체의 식별가능한 촬영이 불가능한 경우, 사용자의 인위적인 촬영 장치의 방향 전환, 촬영 장치의 전원 제거 등의 경우에 주변 정보 분석부(703)는 촬영 영상이 없이 하나 이상의 디바이스로부터 수신한 감지 데이터를 이용하여 객체를 식별할 수 있다. 감지 데이터는 디바이스가 파워 온(power on)되는 시간, 디바이스의 현재 상태 정보(status), 디바이스가 파워 다운(power down)되는 시간을 포함할 수 있다. 주변 정보 분석부(703)는 적어도 하나의 디바이스로부터 수신된 감지 데이터들을 시간 순으로 리스팅하고 조합하여 객체의 이동 정보를 추론할 수 있다. 예를 들어, 제1 장치가 제1 시간에 파워 온 되고, 제2 장치가 제2 시간에 파워 온 된 것으로 감지된 경우, 출현 객체의 위치는 제1 장치의 인근에서 제2 장치의 인근으로 이동한 것이 된다. 출현 객체의 이동 정보가 제1 장치와 대응되는 제1 지점에서 제2 장치와 대응되는 제2 지점으로 이동하게 될 수 있다. 출현 객체의 이동 정보는 패턴화하여, 객체의 식별에 활용될 수 있다. 객체의 행동, 또는 이동 등은 객체 별로 정형화되는 점을 근거로 객체의 이동 정보를 이용하여 객체를 식별할 수 있다.
객체 식별부(704)는 영상 분석부(702), 및 주변 정보 분석부(703)을 통해 획득된 정보를 기초로 영상에 포함된 객체를 식별할 수 있다. 객체 식별부(704)는 생체 정보, 이동 정보를 기초로 객체를 식별할 수 있다. 객체 식별부(704)는 미리 저장된 생체 정보, 또는 미리 저장된 이동 정보와의 비교를 통해 객체를 식별하게 될 수 있다.
객체 식별부(704)는 영상의 객체 출현 영역에 포함된 특징값들을 추출하고, 상기 특징값들을 기초로 출현된 객체를 식별할 수 있다.
복수의 객체가 인식 또는 감지된 경우, 객체 식별부(704)는 획득된 생체 정보 및 이동 정보를 페어링하고, 페어링된 생체 정보 및 이동 정보를 통해 각 객체를 식별할 수 있다.
저장부(705)는 획득된 영상을 저장할 수 있다. 이때, 저장부(705)는 출현 객체와 관련된 정보를 이용하여 획득된 영상을 암호화 할 수 있다. 저장부(705)는 영상에 미등록 객체가 포함된 경우에는 영상을 획득된 그대로 저장할 수 있다. 저장부(705)는 영상에 등록 객체가 포함된 경우에는 영상을 저장하고, 별개의 영상을 편집하여 저장할 수 있다.
영상 처리부(706)는 영상에 출현한 객체에 따라 영상을 처리할 수 있다. 영상 처리부(706)는 영상에 출현한 객체에 대한 식별 정보를 기초로 각 객체의 보안 등급을 검색하고, 객체의 보안 등급을 고려하여 객체를 촬영한 영상을 처리할 수 있다. 객체의 보안 등급은 모니터링 영역과 관련하여 등록된 객체인지 여부로 결정될 수 있다. 예를 들어, ‘우리집’에 대해서, 우리 가족인 엄마, 아빠, 자녀 등은 등록된 객체로 보안 등급이 높게 설정될 수 있다. 등록되지 않은 객체는 보안 등급이 0 또는 -1과 같이 최저값으로 설정될 수 있다. 또한, 등록된 객체라고 하더라도, 모니터링 영역 내에서의 역할에 따라서 각 객체의 보안 등급은 다르게 설정될 수 있다. 예를 들어, ‘회사’에 대해서, 회사 내의 직급의 순서로, 즉, 사장, 상무, 부장, 차장, 과장 순서로 보안 등급은 낮게 설정될 수 있다. 객체의 보안 등급에 따라 객체를 촬영한 영상은 다르게 처리될 수 있다.
보안 등급이 ‘5’로 설정된 객체가 출현한 영상은 ‘5’ 미만의 보안 등급의 객체에게는 공유되지 않도록 처리할 수 있다. 보안 등급이 최고 값으로 설정된 객체가 출현한 영상은 해당 객체와 관련되어 등록된 관리자 단말기로만 공유될 수 있다. 선택적으로, 영상 처리부(706)는 출현 객체의 보안 등급과 무관하게 위험 상황 등의 이벤트가 발생되는 것으로 판단되는 경우에는, 객체 영상이 등록 객체에게 모두 공유되도록 처리할 수 있다.
다른 실시예에서, 영상 처리부(706)는 실시간으로 수신된 신호에 따라 전달되어야 하는 영상을 처리할 수 있다.
객체의 보안 등급 이외에도, 영상 처리부(706)는 영상 및 감지 데이터를 기초로 촬영 영상이 비활성 조건을 만족하는지 여부를 판단하고, 비활성 조건을 만족하는 경우, 영상의 일부 영역을 식별하기 어렵게 처리하거나, 통신부 등의 구성 요소 일부의 기능을 비활성화시킬 수 있다. 여기서, 비활성 조건은 객체의 보안 등급 이외의 공간 및 행동, 시간 구간 등으로 설정되는 것 일 수 있다. 예를 들어, ‘안방의 침대’와 대응되는 구역은 수면 시간 동안에 비활성 조건으로 등록될 수 있고, ‘안방의 침대’와 대응되는 구역은 수면 시간 동안에 촬영 영상은 일부 영역을 식별하기 어렵게 처리하거나 외부로의 전송 기능이 비활성화 될 수 있다.
영상 처리부(706)는 객체의 보안 등급, 영상에 출현된 객체 등을 기초로 출현 객체가 비활성 조건을 만족하는지 여부를 판단하고, 출현 객체가 비활성 조건을 만족하는 경우, 영상의 일부 영역을 식별하기 어렵게 처리하고, 영상을 전달한다. 영상 처리부(706)는 등록 객체의 출현에 따라 영상의 전송 자체가 차단 또는 비활성화 되도록 제어할 수 있다. 전송이 차단된다고 하더라도, 촬영된 영상은 저장부에 저장될 수 있다. 사후적으로, 특정 승인을 통해 원본 영상은 그대로 공개, 공유될 수 있다.
등록 객체의 출현이 감지되거나 비활성 조건을 만족하거나, 객체의 보안 등급이 기 설정된 임계 등급 이상인 경우, 영상 처리부(706)는 영상에 포함된 제1 출현 영역에 시각적 이펙트(그래픽 인터페이스 등)를 마스킹할 수 있다. 마스킹한다는 것은 영상 위에 이펙트를 추가하는 것으로, 대응 픽셀 값들에 다른 값들이 마스킹될 수 있다. 등록 객체의 출현이 감지되거나 비활성 조건을 만족하거나, 객체의 보안 등급이 기 설정된 임계 등급 이상인 경우, 영상 처리부(706)는 단말로부터의 요청에 응답하여 영상을 전송하지 않을 수 있으며, 출현 객체의 보안 등급 보다 높은 보안 등급을 가진 단말로부터의 요청에 응답하여 영상을 전송할 수 있다. 등록 객체의 출현이 감지되거나 비활성 조건을 만족하거나, 객체의 보안 등급이 기 설정된 임계 등급 이상인 경우, 영상 처리부(706)는 영상 자체를 저장하지 않을 수 있다. 등록 객체에 의해 미리 입력된 지시대로 촬영된 영상이 처리될 수 있다.
영상 처리부(706)은 영상에 출현한 객체들이 복수인 경우, 각 객체의 출현 영역을 상이하게 처리할 수 있다. 예를 들어, 보안 등급이 다른 객체들이 감지되거나 또는 등록 객체 및 미등록 객체의 출현이 모두 감지된 동안에는 영상 처리부(706)는 영상에 포함된 등록 객체(보안 등급이 임계 등급 보다 높은 객체)의 제2 출현 영역을 검출하고, 상기 제2 출현 영역에 시각적 이펙트를 마스킹(masking)하거나, 미등록 객체(보안 등급이 임계 등급 보다 낮은 객체)의 제3 출현 영역을 검출하고, 상기 제3 출현 영역을 제외한 나머지 영역에 시각적 이펙트를 마스킹(masking)할 수 있다.
등록 객체의 출현이 감지되거나 비활성 조건이 감지되는 경우, 또는 보안 등급이 임계 등급 이상의 객체의 출현이 감지되는 동안에는 영상 처리부(706)는 영상에 포함된 등록 객체(보안 등급이 임계 등급 보다 높은 객체)의 출현 영역에 시각적 이펙트를 포함시키는 것이 원칙이나 예외적으로 촬영이 필요한 위험 상황 등의 이벤트가 감지되게 되면 상기 시각적 이펙트를 제거한 원본 영상을 그대로 저장할 수 있다.
이벤트가 감지되는 경우에는 영상 처리부(706)는 이벤트의 감지에 응답하여 출현 객체 별로 등록된 관리자 단말로 위험 메시지를 전송할 수 있다. 이벤트가 감지된 시점으로부터 소정의 시간 간격 동안의 영상이 관리자 단말로 전송하도록 제어할 수 있다.
영상 처리부(706)는 정해진 촬영 중단 신호에 따라 촬영을 중단시킬 수 있다. 영상 처리부(706)는 객체의 음성, 객체의 행동, 특정 텍스트 입력에 따라 촬영을 중단 시킬 수 있다.
데이터 관리부(707)는 과거 시점의 영상을 관리할 수 있다. 데이터 관리부(707)는 영상을 요청하는 신호에 응답하여 제1 시간 구간에 촬영된 영상을 단말로 전송할 수 있다. 이때, 전송 여부는 단말에게 부여된 보안 등급에 따라 결정될 수 있다. 이때 전송되는 영상은 단말에게 부여된 보안 등급에 따라 상이할 수 있다. 보안 등급이 출현 객체의 보안 등급보다 낮은 경우, 식별이 어렵도록 영상 처리부(706)에 의해 처리된 영상이 수신될 수 있다. 보안 등급이 출현 객체의 보안 등급보다 높은 경우, 원본 영상이 수신될 수 있다.
객체의 출현 영역은 객체의 자세 등에 따라 다를 수 있다. 객체가 서 있는 경우 및 객체가 앉아 있는 경우 사이의 객체의 출현 영역은 달라지게 된다.
다른 실시예에서, 영상 처리 장치는 사용자의 모션, 제스처, 음성, 얼굴 등의 특징 검출에 의해 사용자를 검출하고, 식별할 수 있다. 영상 처리 장치는 식별된 사용자에 의해 지정된 영역(침실, 화장실 등)에 해당 사용자가 출현하면 자동으로 영상의 전송을 제한할 수 있다.
영상 처리 장치는 사용자가 모니터링 영역에서 소정 시간 동안 카메라를 응시하면 저장된 얼굴과 비교를 통해 사용자를 식별할 수 있다. 영상 처리 장치는 식별된 사용자가 설정한대로 영상을 처리하거나 영상의 전송을 제한할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치는 모니터링 영역에 발생된 출현 객체의 변화, 상황의 변화 등을 동적으로 감지하고, 감지된 결과에 따라 촬영 영상을 처리함으로써, 공개 또는 공유의 필요성이 낮거나 개인의 프라이버시를 침해하는 영상이 그대로 공개되는 것을 방지할 수 있다. 도 3 내지 도 5는 본 발명의 실시예들에 따른 영상 처리 방법의 흐름도들이다.
도 3를 참조하면, 영상 처리 방법은 영상 및 감지 데이터를 획득하는 단계(S110), 제1 영상을 분석하는 단계(S120), 감지 데이터를 분석하는 단계(S130), 제1 객체를 식별하는 단계(S140), 제1 영상을 처리하는 단계(S150)를 포함할 수 있다.
S110에서는 영상 처리 장치는 카메라로부터 모니터링 영역을 촬영한 제1 영상을 획득한다. 영상 처리 장치는 주변에 위치한 적어도 하나의 디바이스로부터 감지 데이터를 획득한다.
S120에서는 영상 처리 장치는 제1 영상을 분석한다.
영상 처리 장치는 영상을 분석하여 생체 정보를 인식할 수도 있다. 영상 처리 장치는 인식된 생체 정보를 이용하여 영상에 출현한 객체를 식별할 수 있다. 영상 처리 장치는 영상을 분석하여 이동 정보를 인식하고 인식된 이동 정보와 기존 이동 정보의 비교를 통해 객체를 식별할 수 있다. 영상 처리 장치는 영상을 분석하여 미등록 객체의 출현, 얼굴 인식이 불가능한 얼굴 등장, 미등록 음성, 유리 깨지는 소리, 경보음, 충돌음, 고함, 비명, 울음소리 등의 발생, 임계값 이상의 음성 발생 등의 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킬 수 있다. 영상 처리 장치는 영상 데이터의 분석 결과를 나타내는 메타 데이터를 생성할 수 있다.
S130에서는 영상 처리 장치는 주변에 인접하여 존재하고, 통신 기능을 가지며 전자 제품으로 기능하는 적어도 하나의 디바이스로부터 수신된 감지 데이터를 분석할 수 있다. 영상 처리 장치는 영상 촬영이 불가능한 경우, 영상 촬영이 제한된 경우에 객체의 출현 및 출현된 객체를 식별하기 위해서, 전자 제품의 사용과 관련된 감지 데이터를 요청하여 획득할 수 있다. 영상 처리 장치는 적어도 하나의 디바이스로부터 수신된 감지 데이터들을 조합하여 객체의 이동 정보를 추론할 수 있다.
S140에서는 영상 처리 장치는 제1 영상 또는 감지 데이터를 분석한 결과를 이용하여 제1 객체를 식별할 수 있다. 영상 처리 장치는 획득된 생체 정보 및 이동 정보를 페어링하고, 페어링된 생체 정보 및 이동 정보를 통해 각 객체를 식별할 수 있다. 예를 들어, 획득된 제1 생체 정보와 대응되는 객체의 이동 정보가 화장실, 부엌, 거실로 이어지는 경우, 이동 정보와 대응되는 객체를 검색하고, 검색된 객체가 상기 제1 생체 정보와 매칭되는지 여부를 산출함으로써, 영상 처리 장치는 객체를 식별할 수 있다.
S150에서는 영상 처리 장치는 식별된 결과를 이용하여 제1 영상의 소정의 영역에 시각적 이펙트를 포함시키거나, 제1 영상을 삭제할 수 있다.
영상 처리 장치는 영상에 출현한 객체에 대한 식별 정보를 기초로 각 객체의 보안 등급을 검색하고 객체의 보안 등급을 고려하여 객체를 촬영한 영상을 처리할 수 있다. 객체의 보안 등급은 모니터링 영역과 관련하여 등록된 객체인지 여부로 결정될 수 있다.
영상 처리 장치는 영상에 출현한 객체의 보안 등급 및 영상에 비활성 조건의 발생 여부 등을 기초로 영상의 일부 영역을 식별하기 어렵게 처리할 수 있다. 등록 객체의 출현이 감지되거나 비활성 조건을 만족하거나, 객체의 보안 등급이 기 설정된 임계 등급 이상인 경우, 영상 처리 장치는 영상에 포함된 제1 출현 영역에 시각적 이펙트를 마스킹할 수 있다.
추가적으로, 영상 처리 장치는 식별된 결과를 이용하여 제1 영상의 저장 영역을 결정할 수 있다. 등록 객체가 출현된 영상은 전기적으로 연결된 저장부(705)에 저장할 수 있다.
영상 처리 장치는 식별된 결과를 이용하여 제1 영상의 전송 플래그를 설정할 수 있다. 영상 처리 장치는 영상의 전송 플래그에 따라 영상의 전송 여부를 결정할 수 있다.
도 4를 참조하면, 영상 처리 방법은 단말로부터 영상 요청 신호를 수신하는 단계(S210), 단말의 액세스 권한이 있는지 여부를 판단하는 단계(220), 단말에게 영상을 전달하는 단계(S230)를 포함한다.
S210에서는 영상 처리 장치는 제1 단말로부터 영상 요청 신호를 수신할 수 있다. S220에서는 영상 처리 장치는 제1 단말에게 부여된 액세스 권한이 있는지 여부를 판단한다. 만약 제1 단말에게 부여된 액세스 권한이 있다면, 영상 처리 장치는 제1 단말에게 영상 요청 신호에 의해 지정된 영상을 전달할 수 있다. 액세스 권한은 절대적으로 설정되기도 하지만, 등록 객체에 의해 설정된 규칙에 따라 상대적으로 설정될 수 있다. 즉, 등록 객체는 자신이 출현한 영상에 대해서는 제한적으로 전송되도록 액세스 권한을 상대적으로 설정할 수 있다. 액세스 권한을 가지는 사용자의 단말은 영상에 출현된 객체에 따라 영상을 수신받지 못할 수 있다.
다른 실시예에서, 제1 단말에게 부여된 액세스 권한이 없는 경우에도, 영상 처리 장치는 제1 단말에게 부여된 액세스 권한 뿐만 아니라 제1 단말과 영상에 출현된 객체 사이의 매칭 여부를 판단하고, 제1 단말과 출현된 객체 사이의 매칭도가 기 설정된 매칭도 이상인 것으로 판단되는 경우, 제1 단말에게 영상을 제공할 수 있다. 영상에 출현된 객체는 등록 객체 또는 미등록 객체 일 수 있다. 액세스 권한은 객체의 보안 등급을 기초로 판단될 수 있다. 예를 들어, 사용자의 보안 등급이 임계 등급 이상이거나, 출현 객체의 보안 등급 보다 높은 경우, 사용자에게 액세스 권한이 있다고 판단될 수 있다.
영상 처리 장치는 액세스 권한이 없는 단말로부터의 영상 요청 신호가 수신되면, 영상 요청 신호의 응답으로 영상을 전달하지 않는다.
도 5를 참조하면, 영상 처리 방법은 제2 단말로부터 영상 요청 신호를 수신하는 단계(S310), 영상에 등록 객체가 있는지 여부를 판단하는 단계(S320), 영상을 그대로 전달하는 단계(S321), 영상이 미등록 객체가 있는지 여부를 판단하는 단계(S330), 제2 단말의 액세스 권한에 따라 영상을 처리하여 전달하는 단계(S331), 영상이 이벤트 발생 조건을 만족하는지 여부를 판단하는 단계(S340), 영상을 그대로 전달하는 단계(S341)을 포함할 수 있다.
S310에서는 영상 처리 장치는 제2 단말로부터 영상 요청 신호를 수신한다. 이때, 영상 요청 신호는 실시간으로 촬영된 영상이 아닌 과거의 촬영 영상에 대한 지정 정보를 포함할 수 있다. S320에서는 영상 처리 장치는 영상 요청 신호와 대응되는 영상에 등록 객체가 포함하는지 여부를 판단한다. 영상 처리 장치는 해당 영상과 연결된 메타 데이터를 분석하여 영상에 출현된 객체 중에서, 등록 객체가 있는지 여부를 결정할 수 있다. S321에서는 만약 영상에 등록 객체가 포함되어 있지 않다면, 영상 처리 장치는 영상 요청 신호의 응답으로 영상을 그대로 전달할 수 있다. 등록 객체가 출현하는 동안에는 영상 처리 장치는 촬영 영상
S330에서는 영상 처리 장치는 영상에 미등록 객체가 포함하는지 여부를 판단한다. 영상 처리 장치는 해당 영상과 연결된 메타 데이터를 분석하여 영상에 출현된 객체 중에서 미등록 객체가 있는지 여부를 결정할 수 있다. S331에서는 영상 처리 장치는 단말의 액세스 권한에 따라 영상을 처리하여 전달할 수 있다. 영상 처리 장치는 영상에 등록 객체 및 미등록 객체를 모두 포함하는 경우에는 등록 객체의 출현 영역 및 미등록 객체의 출현 영역을 다르게 편집하고, 편집한 영상을 미등록 객체의 처리 방식과 동일하게 처리할 수 있다. 미등록 객체의 출현 영역은 선명하게 보이도록 편집되고, 등록 객체의 출현 영역은 다른 이미지를 덧붙이거나 블러, 모자이크 처리 될 수 있다. 미등록 객체는 감시의 대상이 되는 객체로 볼 수 있으며, 미등록 객체가 출현한 경우에는 모니터링 영역의 촬영이 강화되도록 처리할 수 있다.
S340에서는 영상 처리 장치는 영상이 이벤트 발생 조건(미등록 객체의 출현, 얼굴 인식이 불가능한 얼굴 등장, 비정상적인 음원, 유리 깨지는 소리, 경보음, 충돌음, 고함, 비명, 울음소리 등의 발생, 임계값 이상의 음성 발생)을 만족하는지 여부를 판단한다. 영상 처리 장치는 해당 영상과 연결된 메타 데이터를 분석하여 영상이 이벤트 발생 조건을 만족하는지 여부를 판단할 수 있다. 영상 처리 장치는 영상이 이벤트 발생 조건을 만족하는 경우에는 영상에 등록 객체가 포함되어 있다고 하더라도, 영상을 그대로 전달할 수 있다. 위험 상황을 포함하는 영상은 그대로 전달되도록 제어할 수 있다.
도 6a 및 도 6b는 객체의 출현 영역에 대해서 이펙트를 추가한 실시예들에 대한 것이다.
본 발명의 실시예에 따른 영상 처리 장치는 등록 객체에 의해 설정된 방법으로 등록 객체의 출현 영역을 편집할 수 있다. 이때, 등록 객체의 출현 영역이 명확하게 드러나지 않도록 기 설정된 이미지(601)로 표현할 수 있다. 설정된 이미지(601)는 등록 객체에 대한 기본적인 정보를 포함하도록 구성될 수 있다.
영상 처리 장치는 등록 객체의 출현 영역의 모양을 등록 객체의 자세에 따라 변경할 수 있다. 영상 처리 장치는 등록 객체의 출현 영역을 포함하는 다양한 도형(602)으로 표현할 수 있다.
도 7a 및 도 7b는 영상 처리 장치에 의해 제공되는 얼굴 인식 기능을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 영상 처리 장치는 단말 그룹에 얼굴 인식 기능을 제공할 수 있다. 등록 객체는 미리 자신의 얼굴을 등록하는 절차를 수행할 수 있다. 도 7a에 도시된 바와 같이 단말을 통해 등록 객체를 촬영하는 기능이 제공된다. 등록 객체의 얼굴은 단말에 포함된 카메라를 통해 획득되며, 미리보기 영역(701)을 통해 제공될 수 있다. 촬영된 이미지에 대해서 저장하기(702) 또는 취소하기(703)의 아이콘이 제공된다.
도 8은 영상 처리 장치에 의해 제공되는 영역 설정 기능을 설명하기 위한 도면이다.
본 발명의 실시예들에 따른 영상 처리 장치는 모니터링 영역의 특정 영역을 프라이버시 영역으로 설정할 수 있다. 프라이버시 영역으로 설정된 영역에 대해서는 항상 이펙트를 추가해서 제공하도록 구현될 수 있다.
영역 설정 기능은 등록 객체에 의해서만 실행되며, 등록 객체는 구체적인 동작이 노출되지 않도록, 제1 구역(801), 제2 구역(802)를 프라이버시 영역으로 설정할 수 있다. 영상 처리 장치는 상기 설정에 따라 등록 객체가 출현되는 동안에는 제1 구역(801) 및 제2 구역(802)를 블러처리, 모자이크 처리, 이펙트 추가 등과 같이 불명확하게 표현할 수 있다. 미등록 객체 또는 다른 등록 객체가 출현되는 동안에는 영상 처리 장치는 제1 구역(801) 및 제2 구역(802)에 대해서 아무런 처리를 하지 않게 된다. 각 등록 객체는 자신의 모습이 공개되지 않도록 설정되는 프라이버시 영역을 미리 등록할 수 있다. 제1 등록 객체에 의해 설정된 프라이버시 영역에서는 제1 등록 객체의 모습은 다양한 방법으로 처리되어 표현될 수 있다. 그러나, 이벤트 발생 조건을 만족하는 이벤트가 감지되면 모니터링 기능을 강화하기 위해서 영상 처리 장치는 등록 객체에 의해 설정된 프라이버시 영역에 대한 처리를 제거할 수 있다.
(메타 데이터 및 영상 데이터 사이의 상관 관계 위주로 작성함)
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
10: 카메라 그룹 30: 디바이스 그룹
50: 단말 그룹 70: 영상 처리 장치
701: 통신부 702: 영상 분석부
703: 주변 정보 분석부 704: 객체 식별부
705: 저장부 706: 영상 처리부
707: 데이터 관리부

Claims (5)

  1. 카메라로부터 모니터링 영역을 촬영한 제1 영상을 획득하는 단계;
    통신부로부터 주변에 위치한 하나 이상의 디바이스로부터 각 디바이스의 실행 여부, 실행 시점 및 실행되는 동작을 포함하는 감지 데이터를 획득하는 단계;
    상기 제1 영상 또는 상기 감지 데이터를 분석한 결과를 이용하여, 상기 제1 영상에 출현한 객체를 식별하는 단계; 및
    상기 객체의 식별 정보를 이용하여 비활성 조건의 만족 여부를 판단하고, 판단 결과, 상기 객체의 식별 정보가 비활성 조건을 만족하는 경우, 통신부의 전송 기능을 비활성화시키는 단계;를 포함하는, 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치의 영상 제공 방법.
  2. 제1항에 있어서,
    상기 객체의 식별 정보를 기초로, 상기 제1 객체의 출현 영역을 나머지 영역과 다르게 시각적 이펙트를 추가하도록 편집하는 단계;를 더 포함하는, 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치의 영상 제공 방법.
  3. 카메라로부터 모니터링 영역의 제1 영상을 획득하고 분석하는 영상 분석부;
    통신부로부터 주변에 위치한 디바이스로부터 각 디바이스의 실행 여부, 실행 시점 및 실행되는 동작을 포함하는 감지 데이터를 획득하고, 상기 감지 데이터를 분석하는 주변 정보 분석부;
    상기 제1 영상 및 상기 감지 데이터를 분석한 결과를 이용하여, 상기 제1 영상에 출현한 객체를 식별하는 객체 식별부;
    상기 객체의 식별 정보를 이용하여 비활성 조건의 만족 여부를 판단하고, 판단 결과 상기 객체의 식별 정보가 비활성 조건을 만족하는 경우, 통신부의 전송 기능을 비활성화시키는 영상 처리부;를 포함하는, 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 영상 처리부는
    상기 객체의 식별 정보를 기초로, 상기 제1 객체의 출현 영역을 나머지 영역과 다르게 시각적 이펙트를 추가하도록 편집하는 점을 특징으로 하는 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치.
  5. 컴퓨터를 이용하여 제1항 내지 제2항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
KR1020180003443A 2018-01-10 2018-01-10 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법 KR102078265B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180003443A KR102078265B1 (ko) 2018-01-10 2018-01-10 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180003443A KR102078265B1 (ko) 2018-01-10 2018-01-10 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법

Publications (2)

Publication Number Publication Date
KR20190085376A true KR20190085376A (ko) 2019-07-18
KR102078265B1 KR102078265B1 (ko) 2020-02-19

Family

ID=67469498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180003443A KR102078265B1 (ko) 2018-01-10 2018-01-10 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법

Country Status (1)

Country Link
KR (1) KR102078265B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081545B1 (ko) * 2019-10-04 2020-02-25 진수용 교내 사고발생 방지를 위한 영상 분석 기반 모니터링 시스템 및 방법
CN111327821A (zh) * 2020-02-24 2020-06-23 珠海格力电器股份有限公司 智能摄像装置的控制方法、装置、计算机设备和存储介质
KR20220090234A (ko) * 2020-12-22 2022-06-29 엑스퍼트아이엔씨 주식회사 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632863B1 (ko) * 2021-05-28 2024-02-05 주식회사 베누펫 제스처와 음성 인식을 활용한 인공지능 목욕기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050077826A (ko) * 2004-01-28 2005-08-04 주식회사데이콤 카메라 내장형 이동 단말기를 이용한 인증 서비스 방법
KR20120035299A (ko) * 2010-10-05 2012-04-16 한국인터넷진흥원 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법
KR20130003886A (ko) 2011-07-01 2013-01-09 주식회사 인터파크에이치엠 보안 서비스 서버 및 스마트 보안 방법
KR101622610B1 (ko) * 2014-12-09 2016-05-23 주식회사 에스원 Uwb 센서를 이용한 홈 무선 네트워크 카메라 스마트 인증 시스템 및 이를 이용한 인증 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050077826A (ko) * 2004-01-28 2005-08-04 주식회사데이콤 카메라 내장형 이동 단말기를 이용한 인증 서비스 방법
KR20120035299A (ko) * 2010-10-05 2012-04-16 한국인터넷진흥원 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법
KR20130003886A (ko) 2011-07-01 2013-01-09 주식회사 인터파크에이치엠 보안 서비스 서버 및 스마트 보안 방법
KR101622610B1 (ko) * 2014-12-09 2016-05-23 주식회사 에스원 Uwb 센서를 이용한 홈 무선 네트워크 카메라 스마트 인증 시스템 및 이를 이용한 인증 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081545B1 (ko) * 2019-10-04 2020-02-25 진수용 교내 사고발생 방지를 위한 영상 분석 기반 모니터링 시스템 및 방법
CN111327821A (zh) * 2020-02-24 2020-06-23 珠海格力电器股份有限公司 智能摄像装置的控制方法、装置、计算机设备和存储介质
CN111327821B (zh) * 2020-02-24 2021-08-17 珠海格力电器股份有限公司 智能摄像装置的控制方法、装置、计算机设备和存储介质
KR20220090234A (ko) * 2020-12-22 2022-06-29 엑스퍼트아이엔씨 주식회사 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법

Also Published As

Publication number Publication date
KR102078265B1 (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
US10819904B2 (en) Image processing device and image providing method therefor
US10049515B2 (en) Trusted user identification and management for home automation systems
US10937290B2 (en) Protection of privacy in video monitoring systems
JP4829343B2 (ja) 情報処理装置、情報処理プログラム、情報処理方法
KR20190085376A (ko) 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법
US20170053504A1 (en) Motion detection system based on user feedback
CN110494898B (zh) 具有无线及面部识别的进入监控***
KR102237086B1 (ko) 안면인식 기능에 기초하여 5g 이동통신망의 이용이 가능한 통신 단말기를 통해 영상감시가 가능한 로비폰 제어 장치 및 방법
US20210407266A1 (en) Remote security system and method
JP6163466B2 (ja) 認証装置
WO2017161880A1 (zh) 一种区域监控报警***及报警方法
CN105704440A (zh) 用于保护隐私的视频保真度的情境调整的***及方法
EP3563359B1 (en) A method and a system for providing privacy enabled surveillance in a building
JP6336709B2 (ja) 警備装置、警備方法およびプログラム
JP4525351B2 (ja) セキュリティ装置
WO2023280273A1 (zh) 一种控制方法和***
KR20160053601A (ko) 영상 처리 장치 및 방법
CN111127838B (zh) 用于检测非活动对象的***和方法
JP2024056872A (ja) 滞在管理装置、滞在管理方法、及びプログラム
WO2023024729A1 (zh) 设备配置方法、电子装置和计算机可读存储介质
KR101778863B1 (ko) 홈 네트워크를 이용한 세대 방범시스템
Meliones et al. Privacy-preserving intelligent networked video surveillance for patient monitoring and alarm detection
JP5611729B2 (ja) 監視装置
JP7334686B2 (ja) 制御装置、プログラム、及び制御システム
KR20130104774A (ko) 영상 정보를 이용한 출입 관리 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant