KR20230032202A - 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템 - Google Patents

이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템 Download PDF

Info

Publication number
KR20230032202A
KR20230032202A KR1020210114763A KR20210114763A KR20230032202A KR 20230032202 A KR20230032202 A KR 20230032202A KR 1020210114763 A KR1020210114763 A KR 1020210114763A KR 20210114763 A KR20210114763 A KR 20210114763A KR 20230032202 A KR20230032202 A KR 20230032202A
Authority
KR
South Korea
Prior art keywords
video
image
event
speed
predetermined time
Prior art date
Application number
KR1020210114763A
Other languages
English (en)
Inventor
권기덕
허설
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210114763A priority Critical patent/KR20230032202A/ko
Publication of KR20230032202A publication Critical patent/KR20230032202A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템에 관한 것이다. 본 발명은 영상을 활용한 안전/보안 서비스를 이용하는 모든 고객들의 분쟁상황 발생 시 빠르고 정확하게 영상을 검색할 수 있으며, 또한 분쟁 시점 영상 검색 시 모니터링을 위한 물리적 시간 단축과 검색자가 원하는 영상을 빠르게 찾을 수 있는 모니터링 편의성을 위한 기능을 제공할 수 있다.

Description

이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템{EFFECTIVE IMAGE SEARCHING METHOD AND SYSTEM THEREOF FOR SEARCHING EVENT SITUATION}
본 발명은 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템에 관한 것이다.
최근 들어, 방범, 보안, 매장 관리 등 다양한 목적으로 건물 내부나 외부, 길거리 등에 안전/보안을 위한 CCTV 카메라를 설치하는 경우가 급속도로 증가하고 있다. CCTV 카메라의 주요 기능은 크게 3가지로 실시간 영상 관제, 영상 저장, 도난/화재/폭력 등 분쟁 상황 발생 시의 영상을 보는 영상 재생 기능이다. 그 중에서 가장 중요한 기능이 영상 재생 기능으로 문제가 발생한 시점의 영상을 찾기 위해 많은 시간이 소모된다. 또한, 카메라가 여러 대일 경우 영상 모니터링 시간은 증가하며, 동시에 여러 카메라를 모니터링하거나 검색 시간을 단축하기 위해 배속 재생을 할 경우 고객이 원하는 영상을 확인하지 못해 다시 모니터링 하는 경우도 종종 발생한다. 이러한 사유로 인해 많은 개발사에서 고객의 영상 모니터링 시간을 획기적으로 단축시키고, 중요 영상을 놓치지 않고 모니터링 가능한 효율적인 영상 검색 서비스 제공을 위해 다양한 방법이 제시되고 있다.
본 발명은 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.
또한, 영상을 확인하는 물리적인 시간을 획기적으로 단축하고, 분쟁 상황이 발생한 시점의 카메라 영상을 빠르게 찾을 수 있도록 한 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템을 제공함을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따른 이벤트 상황을 찾기 위한 효율적 영상 검색 방법의 일측면에 따르면, 영상 저장 서버가 카메라 촬영 영상을 저장하는 단계; 클라이언트가 상기 영상 저장 서버에 저장된 영상에서 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색을 요청하는 단계; 관제 서버가 상기 클라이언트로부터 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색 요청을 수신하는 단계; 인공지능 분석 서버가 상기 관제 서버로부터의 요청에 따라 상기 영상 저장 서버에서 소정 시간 동안 발생된 이벤트를 추출하는 단계; 및 영상 처리 서버가 상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 시분할 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 단계를 포함하고, 상기 영상 처리 서버가 상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 단계에서, 상기 영상 처리 서버는 재생되는 영상에서 이벤트 발생시 이벤트 발생 시점 전후로 기설정된 시간 동안의 영상을 저속으로 재생하는 단계를 포함할 수 있다.
상기 인공지능 분석 서버가 상기 관제 서버로부터의 요청에 따라 상기 영상 저장 서버에서 소정 시간 동안 발생된 이벤트를 추출하는 단계에서, 상기 인공지능 분석 서버에서 추출하는 이벤트는 침입, 훼손, 화재, 배회, 유기, 특정 인물 식별, 특정 물건 식별 이벤트 중 적어도 어느 하나의 이벤트를 포함할 수 있다.
상기 영상 처리 서버가 상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 단계에서, 상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정하는 단계를 포함할 수 있다.
상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 검색시간/N으로 영상 검색시간 분할을 통해 영상 모니터링 시간을 단축시키는 단계를 포함할 수 있다.
상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 N분할된 분할화면 수 만큼의 다채널을 통해 재생되는 영상 중에서 이벤트가 발생된 채널의 영상을 하이라이트하여 표시하는 단계를 포함할 수 있다.
상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정하는 경우 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작하는 단계를 포함할 수 있다.
상기 영상 처리 서버는 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작하는 경우 이벤트가 발생되지 않은 구간의 영상은 1 배속 속도를 초과하는 속도로 고속 재생하고, 이벤트가 발생된 시점 전후로 기설정된 시간 동안의 영상은 1 배속 속도 이하의 속도로 저속 재생하는 단계를 포함할 수 있다.
상기 영상 처리 서버는 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 역방향 배속을 지정하는 경우 상기 영상 저장 서버에 저장된 영상 파일을 GOP(Group Of Picture) 단위로 역방향 탐색하여 디코딩을 수행하는 단계; 및 상기 영상 처리 서버는 상기 디코딩된 영상을 역순으로 배열하여 비디오 프레임 샘플링을 수행함으로써 역방향 배속 처리하는 단계를 포함할 수 있다.
한편, 상기한 목적을 달성하기 위한 본 발명에 따른 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템의 일측면에 따르면, 카메라 촬영 영상이 저장되는 영상 저장 서버; 상기 영상 저장 서버에 저장된 영상에서 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색을 요청하는 클라이언트; 상기 클라이언트로부터 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색 요청을 수신하는 관제 서버; 상기 관제 서버로부터의 요청에 따라 상기 영상 저장 서버에서 소정 시간 동안 발생된 이벤트를 추출하는 인공지능 분석 서버; 및 상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 영상 처리 서버를 포함하고, 상기 영상 처리 서버는 재생되는 영상에서 이벤트 발생시 이벤트 발생 시점 전후로 기설정된 시간 동안의 영상을 저속으로 재생할 수 있다.
상기 인공지능 분석 서버에서 추출하는 이벤트는 침입, 훼손, 화재, 배회, 유기, 특정 인물 식별, 특정 물건 식별 이벤트 중 적어도 어느 하나의 이벤트를 포함할 수 있다.
상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정할 수 있다.
상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 검색시간/N으로 영상 검색시간 분할을 통해 영상 모니터링 시간을 단축시킬 수 있다.
상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 N분할된 분할화면 수 만큼의 다채널을 통해 재생되는 영상 중에서 이벤트가 발생된 채널의 영상을 하이라이트하여 표시할 수 있다.
상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정하는 경우 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작할 수 있다.
상기 영상 처리 서버는 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작하는 경우 이벤트가 발생되지 않은 구간의 영상은 1 배속 속도를 초과하는 속도로 고속 재생하고, 이벤트가 발생된 시점 전후로 기설정된 시간 동안의 영상은 1 배속 속도 이하의 속도로 저속 재생할 수 있다.
상기 영상 처리 서버는 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 역방향 배속을 지정하는 경우 상기 영상 저장 서버에 저장된 영상 파일을 GOP(Group Of Picture) 단위로 역방향 탐색하여 디코딩을 수행하고, 디코딩된 영상을 역순으로 배열하여 비디오 프레임 샘플링을 수행함으로써 역방향 배속 처리할 수 있다.
본 발명의 일 실시예에 따른 효과에 대해 설명하면 다음과 같다.
본 발명에 의하면, 본 발명은 영상을 활용한 안전/보안 서비스를 이용하는 모든 고객들의 분쟁상황 발생 시 빠르고 정확하게 영상을 검색할 수 있다.
또한, 분쟁 시점 영상 검색 시 모니터링을 위한 물리적 시간 단축과 검색자가 원하는 영상을 빠르게 찾을 수 있는 모니터링 편의성을 위한 기능을 제공할 수 있다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일실시예에 따른 이벤트 상황을 찾기 위한 효율적 영상 검색 방법을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 스마트 영상 검색 시간 분할 처리 시스템을 나타내는 도면이다.
도 3 본 발명의 일실시예에 따른 스마트 영상 검색을 위한 정방향 배속 처리 방법의 일예를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 스마트 영상 검색을 위한 역방향 배속 처리 방법의 일예를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 발명에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 이벤트 상황을 찾기 위한 효율적 영상 검색 방법을 나타내는 도면이다.
도시된 바와 같이, 영상 처리 서버는 클라이언트로부터 요청된 이벤트 상황을 찾기 위한 효율적 영상 검색을 위하여 먼저 검색 구간을 설정할 수 있다. 여기서, 검색 구간은 영상 검색을 위한 시작시점에서 종료시점까지의 구간을 의미할 수 있다.
이어서, 영상 처리 서버는 검색 구간 설정 후에는 침입/훼손/화재/배회/유기/특정 인물 식별/특정 물건 식별 등의 인공지능(AI, Artificial Intelligence) 이벤트를 설정할 수 있다. 여기서, 인공지능(AI, Artificial Intelligence) 이벤트는 인공지능을 기반으로 CCTV 카메라에서 감지할 수 있는 이벤트일 수 있으며, 이 외에 다른 유형의 AI 이벤트를 추가적으로 설정할 수 있음은 물론이다. 예를 들어, 영화 영상에서 어떤 특정 지점을 찾아 특정 인물이나 특정 물건을 식별할 수 있는 이벤트도 포함할 수 있다.
이어서, 영상 처리 서버는 설정된 영상 검색 구간의 영상을 효율적으로 모니터링하기 위한 분할화면 수(IF)를 설정할 수 있다. 이때, 분할화면 수(IF)를 1분할하는 경우 검색시간의 영상 재생을 수행하여 검색 요청한 시간과 동일한 모니터링 시간이 필요할 수 있으며, 만약, 분할화면 수(IF)를 N분할하는 경우에는 검색시간/N으로 영상 분할 처리를 하여 모니터링 시간을 줄일 수 있다.
이어서, 영상 처리 서버는 1분할 또는 N분할화면 수에 따라 해당 영상에 대하여 배속/역배속 영상 재생 시작을 할 수 있다. 즉, 영상 처리 서버는 1분할 또는 N분할화면 수에 따라 해당 영상에 대하여 정방향 배속이나 역방향 배속 처리를 할 수 있으며, 이에 대해서는 하기에서 보다 구체적으로 설명하기로 한다.
이어서, 영상 처리 서버는 1분할 또는 N분할화면 수에 따라 재생되는 영상에서 기설정한 침입/훼손/화재/배회/유기/특정 인물 식별/특정 물건 식별 등의 AI 이벤트가 발생하였는지를 확인할 수 있다.
확인 결과, 영상 처리 서버는 1분할 또는 N분할화면 수에 따라 재생되는 영상에서 침입/훼손/화재/배회/유기/특정 인물 식별/특정 물건 식별 등의 AI 이벤트가 발생한 경우에는 저속(0<M≤1)으로 배속/역배속 재생할 수 있다. 이때, 바람직하게는 이벤트 발생 시점 기준 전/후 N초 동안의 영상을 저속(0<M≤1)으로 배속/역배속 재생할 수 있다. 그러나, 영상 처리 서버는 재생되는 1분할 또는 N분할화면 영상에서 침입/훼손/화재/배회/유기/특정 인물 식별/특정 물건 식별 등의 AI 이벤트가 발생하지 않은 경우에는 상기 1분할 또는 N분할화면 수에 따라 배속/역배속으로 영상 재생을 시작하는 단계를 계속해서 수행할 수 있다.
이어서, 영상 처리 서버는 재생되는 영상의 분할화면 수(IF)가 해당 검색 영상의 끝(EOF, End Of File)인지를 확인하여 분할화면 수(IF)가 영상의 끝(EOF)인 경우에는 스마트 영상 검색을 종료할 수 있다. 그러나, 분할화면 수(IF)가 영상의 끝(EOF)이 아닌 경우에는 1분할 또는 N분할화면 수에 따라 배속/역배속으로 영상 재생을 시작하는 단계를 계속해서 수행할 수 있다.
도 2는 본 발명의 일실시예에 따른 스마트 영상 검색 시간 분할 처리 시스템을 나타내는 도면이다.
도시된 바와 같이, 클라이언트(100)는 특정 이벤트 상황을 확인하기 위하여 관제 서버(200)로 스마트 영상 검색 요청을 할 수 있다. 예를 들어, CCTV 카메라에서 촬영된 영상 파일에서 특정 구간의 4시간 영상에 대한 검색 요청을 할 수 있다.
관제 서버(200)는 영상 파일이 저장되어 있는 영상 저장 서버(300)로 스마트 영상 검색 요청이 발생하였음을 알리고, 인공지능 분석 서버(AI Analyzer Server)(400)는 인공지능을 기반으로 영상 저장 서버(300)로부터 AI 이벤트 정보를 추출하여 영상 처리 서버(500)로 전송할 수 있다.
영상 처리 서버(500)는 AI 이벤트 처리, 메타 데이터 처리, 영상 시분할 프로세스, 배속 재생/역재생 프로세스를 통해 영상을 처리할 수 있다. 여기서, AI 이벤트 처리는 검색 영상에서 침입/훼손/화재/배회/유기/특정 인물 식별/특정 물건 검색 등의 AI 이벤트 발생 유무에 따라 영상 재생 속도를 고속이나 저속으로 제어하는 프로세스일 수 있다. 메타 데이터 처리는 검색 영상과 AI 이벤트에 관한 정보를 메타 데이터로 제공하기 위한 프로세스일 수 있다. 그리고, 영상 시분할 프로세스는 클라이언트(100)로부터 검색 요청된 4시간 영상을 1시간 영상 4개로 분할하여 처리하기 위한 프로세스일 수 있으며, 배속 재생/역재생 프로세스는 영상 시분할 프로세스에서 4시간 영상을 1시간 영상 4개로 분할 처리된 영상으로 배속 재생/역재생하기 위한 프로세스일 수 있다.
클라이언트(100)는 영상 처리 서버(500)의 영상 시분할 프로세스와 배속 재생/역재생 프로세스에서 4시간 영상을 1시간 영상 4개로 분할 처리되어 재생되는 영상을 관제 프로그램을 통해서 다채널로 디스플레이할 수 있다. 즉, 4시간 영상을 4개 분할화면 수에 의해 분할된 화면에 따라 각각 0~60분, 60~120분, 120~180분, 180~240분 영상을 출력할 수 있다. 이와 같이 클라이언트의 관제프로그램을 통해 다채널로 시분할된 영상이 동시에 출력됨으로써 특정 이벤트 상황을 찾기 위한 영상 검색 시간을 단축시킬 수 있다.
도 3 본 발명의 일실시예에 따른 스마트 영상 검색을 위한 정방향 배속 처리 방법의 일예를 나타내는 도면이고, 도 4는 본 발명의 일실시예에 따른 스마트 영상 검색을 위한 역방향 배속 처리 방법의 일예를 나타내는 도면이다.
도시된 바와 같이, 영상 저장 서버(NAS)에 저장된 영상은 디먹서(DeMuxer)에서 비디오와 오디오가 분리되는 디먹싱 처리 과정을 거쳐 디코더(Decoder)에서 디코딩(Decoding)될 수 있다.
비디오 프레임 샘플러(Video frame sampler)는 디코더(Decoder)에서 디코딩(Decoding)된 원본 영상(Raw Image)을 지정된 배속에 맞게 샘플링(Sampling)을 수행할 수 있다. 여기서, 샘플링(Sampling)은 영상에서 일정한 간격으로 데이터를 추출하는 것으로서 이를 위해 비디오 프레임 샘플러(Video frame sampler)는 배속 지정, 이벤트 발생 시간, 이벤트 발생 앞/뒤 정 배속 재생 시간을 입력 파라미터(Input parameter)로 설정할 수 있다.
비디오 프레임 샘플러(Video frame sampler)의 배속 설정에 따른 프레임 샘플링(frame sampling)은 예를 들어, 도 3에 예시된 바와 같이 2배속, 4배속, 8배속으로 배속을 설정하여 각 배속 설정에 따른 프레임 샘플링(frame sampling)을 수행할 수 있다. 여기서, 각 배속 구간은 정상 구간과 n 배속 구간을 포함할 수 있다.
인코더(Encoder)는 이벤트가 발생한 이벤트 발생 구간은 샘플링(Sampling) 작업 없이 모든 원본 영상(Raw Image)을 인코딩 처리할 수 있다.
먹서(Muxer)는 인코더(Encoder)에서 인코딩 처리된 원본 영상(Raw Image)을 컨테이너 포맷에 따라 먹싱 처리할 수 있다.
패킷 처리기(Packetizer)는 먹서(Muxer)에서 먹싱 처리된 데이터를 패킷화할 수 있다.
한편, 역방향 탐색의 경우 도 4에서와 같이 디먹서(DeMuxer)는 영상 저장 서버(NAS)에 저장된 영상을 GOP(Group Of Picture) 단위로 파일을 역방향 탐색하여 디코더(Decoder)에서 디코딩을 수행할 수 있으며, 디코딩(Decoding)된 GOP(Group Of Picture) 단위의 원본 영상(Raw Image)을 역순으로 배열한 후 비디오 프레임 샘플링(Video frame sampling)을 수행함으로써 역방향 배속 처리할 수 있다. 디코딩(Decoding)된 GOP(Group Of Picture) 단위의 원본 영상(Raw Image)을 역순으로 배열하여 비디오 프레임 샘플링(Video frame sampling)을 수행하는 방식은 정방향 배속 처리 방식과 동일하므로 이에 대한 구체적인 설명은 생략하기로 한다.
고객이 구축형 및 클라우드 영상을 활용한 안전/보안 솔루션 사용 시 다양한 분쟁상황이 발생할 수 있고 그 원인을 찾기 위해 짧게는 몇십분에서 길게는 며칠의 영상을 검색할 수도 있다. 이때 고객이 원하는 영상을 찾기 위해 최악의 경우, 검색 요청한 시간과 동일한 모니터링 시간이 필요할 수 있다. 본 발명에서는 고객의 영상 모니터링을 AI 이벤트 기반(침입/화재/배회/유기/훼손/특정 인물 식별/특정 물건 식별 등)으로 이벤트가 발생하지 않은 무의미한 영상은 1 배속 속도를 초과하는 속도로 고속 재생하고 바람직하게는 2 내지 64배속으로 고속재생할 수 있으며, 이벤트가 발생한 유의미한 영상은 1배속 속도 이하의 속도로 저속재생하여 효율적으로 원하는 영상을 검색할 수 있도록 하였다. 또한, 고객이 검색하고자 하는 시간을 N 분할하여 검색 대상 영상이 한 화면에 동시에 재생되도록 함으로써 검색시간을 N배로 단축시켜 고객 영상 검색 시간을 획기적으로 단축시킬 수 있다.
즉, 본 발명에서는 이벤트 상황 확인을 위한 영상 검색 시 이벤트 미 발생 구간은 배속 재생을 통해 무의미한 영상 시청 시간은 절감시키고, 이벤트가 발생된 이벤트 발생 구간은 1배속 속도 이하의 속도로 저속 재생하여 분쟁이 발생한 영상을 정확하게 모니터링할 수 있다. 또한, 영상 검색 시 분할 화면 개수 만큼의 시간 분할을 통한 영상 모니터링을 통해 검색 시간을 단축시킬 수 있으며, 분할 화면 개수 만큼의 다채널 영상 모니터링 시 분쟁 발생 채널의 영상을 하이라이트하여 효율적 영상 모니터링 기능을 제공할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100 : 클라이언트
200 : 관제 서버
300 : 영상 저장 서버
400 : 인공지능(AI) 분석 서버
500 : 영상 처리 서버

Claims (16)

  1. 이벤트 상황을 찾기 위한 효율적 영상 검색 방법으로서,
    영상 저장 서버가 카메라 촬영 영상을 저장하는 단계;
    클라이언트가 상기 영상 저장 서버에 저장된 영상에서 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색을 요청하는 단계;
    관제 서버가 상기 클라이언트로부터 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색 요청을 수신하는 단계;
    인공지능 분석 서버가 상기 관제 서버로부터의 요청에 따라 상기 영상 저장 서버에서 소정 시간 동안 발생된 이벤트를 추출하는 단계; 및
    영상 처리 서버가 상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 시분할 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 단계를 포함하고,
    상기 영상 처리 서버가 상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 단계에서,
    상기 영상 처리 서버는 재생되는 영상에서 이벤트 발생시 이벤트 발생 시점 전후로 기설정된 시간 동안의 영상을 저속으로 재생하는 단계를 포함하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  2. 청구항 1에 있어서,
    상기 인공지능 분석 서버가 상기 관제 서버로부터의 요청에 따라 상기 영상 저장 서버에서 소정 시간 동안 발생된 이벤트를 추출하는 단계에서,
    상기 인공지능 분석 서버에서 추출하는 이벤트는 침입, 훼손, 화재, 배회, 유기, 특정 인물 식별, 특정 물건 식별 이벤트 중 적어도 어느 하나의 이벤트를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  3. 청구항 1에 있어서,
    상기 영상 처리 서버가 상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 단계에서,
    상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정하는 단계를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  4. 청구항 3에 있어서,
    상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 검색시간/N으로 영상 검색시간 분할을 통해 영상 모니터링 시간을 단축시키는 단계를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  5. 청구항 4에 있어서,
    상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 N분할된 분할화면 수 만큼의 다채널을 통해 재생되는 영상 중에서 이벤트가 발생된 채널의 영상을 하이라이트하여 표시하는 단계를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  6. 청구항 3에 있어서,
    상기 영상 처리 서버는 상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정하는 경우 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작하는 단계를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  7. 청구항 6에 있어서,
    상기 영상 처리 서버는 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작하는 경우 이벤트가 발생되지 않은 구간의 영상은 1 배속 속도를 초과하는 속도로 고속 재생하고, 이벤트가 발생된 시점 전후로 기설정된 시간 동안의 영상은 1 배속 속도 이하의 속도로 저속 재생하는 단계를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  8. 청구항 7에 있어서,
    상기 영상 처리 서버는 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 역방향 배속을 지정하는 경우 상기 영상 저장 서버에 저장된 영상 파일을 GOP(Group Of Picture) 단위로 역방향 탐색하여 디코딩을 수행하는 단계; 및
    상기 영상 처리 서버는 상기 디코딩된 영상을 역순으로 배열하여 비디오 프레임 샘플링을 수행함으로써 역방향 배속 처리하는 단계를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 방법.
  9. 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템으로서,
    카메라 촬영 영상이 저장되는 영상 저장 서버;
    상기 영상 저장 서버에 저장된 영상에서 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색을 요청하는 클라이언트;
    상기 클라이언트로부터 특정 이벤트 상황을 찾기 위한 소정 시간 동안의 영상 검색 요청을 수신하는 관제 서버;
    상기 관제 서버로부터의 요청에 따라 상기 영상 저장 서버에서 소정 시간 동안 발생된 이벤트를 추출하는 인공지능 분석 서버; 및
    상기 인공지능 분석 서버에서 추출된 이벤트가 포함된 소정 시간 동안의 영상을 기설정된 분할화면 수 만큼의 시분할 영상으로 분할하여 재생하고 재생되는 영상을 상기 클라이언트의 관제프로그램을 통해 다채널로 동시에 출력하는 영상 처리 서버를 포함하고,
    상기 영상 처리 서버는 재생되는 영상에서 이벤트 발생시 이벤트 발생 시점 전후로 기설정된 시간 동안의 영상을 저속으로 재생하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
  10. 청구항 9에 있어서,
    상기 인공지능 분석 서버에서 추출하는 이벤트는 침입, 훼손, 화재, 배회, 유기, 특정 인물 식별, 특정 물건 식별 이벤트 중 적어도 어느 하나의 이벤트를 포함하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
  11. 청구항 9에 있어서,
    상기 영상 처리 서버는,
    상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
  12. 청구항 11에 있어서,
    상기 영상 처리 서버는,
    상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 검색시간/N으로 영상 검색시간 분할을 통해 영상 모니터링 시간을 단축시키는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
  13. 청구항 12에 있어서,
    상기 영상 처리 서버는,
    상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 N분할로 설정한 경우 N분할된 분할화면 수 만큼의 다채널을 통해 재생되는 영상 중에서 이벤트가 발생된 채널의 영상을 하이라이트하여 표시하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
  14. 청구항 11에 있어서,
    상기 영상 처리 서버는,
    상기 소정 시간 동안의 영상을 모니터링하기 위한 분할화면 수를 1분할 또는 N분할로 설정하는 경우 상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
  15. 청구항 14에 있어서,
    상기 영상 처리 서버는,
    상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 정방향 배속이나 역방향 배속을 지정하여 영상 재생을 시작하는 경우 이벤트가 발생되지 않은 구간의 영상은 1 배속 속도를 초과하는 속도로 고속 재생하고, 이벤트가 발생된 시점 전후로 기설정된 시간 동안의 영상은 1 배속 속도 이하의 속도로 저속 재생하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
  16. 청구항 15에 있어서,
    상기 영상 처리 서버는,
    상기 1분할 또는 N분할로 분할된 분할화면 수에 따라 역방향 배속을 지정하는 경우 상기 영상 저장 서버에 저장된 영상 파일을 GOP(Group Of Picture) 단위로 역방향 탐색하여 디코딩을 수행하고, 디코딩된 영상을 역순으로 배열하여 비디오 프레임 샘플링을 수행함으로써 역방향 배속 처리하는 것을 특징으로 하는 이벤트 상황을 찾기 위한 효율적 영상 검색 시스템.
KR1020210114763A 2021-08-30 2021-08-30 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템 KR20230032202A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210114763A KR20230032202A (ko) 2021-08-30 2021-08-30 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210114763A KR20230032202A (ko) 2021-08-30 2021-08-30 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR20230032202A true KR20230032202A (ko) 2023-03-07

Family

ID=85513366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210114763A KR20230032202A (ko) 2021-08-30 2021-08-30 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR20230032202A (ko)

Similar Documents

Publication Publication Date Title
JP4099973B2 (ja) 映像データ送信方法及び映像データ受信方法、並びに映像監視システム
US7751632B2 (en) Intelligent, dynamic, long-term digital surveilance media storage system
US7869700B2 (en) Hierarchical data storage
AU2005306799B2 (en) Apparatus and method of storing video data
EP2215838B1 (en) Apparatus and method of storing video data
US20070201832A1 (en) Recording apparatus, recording method, program for recording method, recording medium recording program for recording method, reproducing apparatus, reproduction method, program for reproduction method, and recording medium recording program for reproduction method
CN101958136A (zh) 视频音频记录再现装置和视频音频记录再现方法
JP2009124298A (ja) 符号化映像再生装置及び符号化映像再生方法
JP2005176030A (ja) 映像保存システムおよび映像保存方法
KR20230032202A (ko) 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템
KR100786607B1 (ko) 디지털 영상 저장방법
CN117319587A (zh) 一种报警短视频录制方法、电子设备和存储介质
JP2003046948A (ja) 監視映像記録再生装置
JP2000152141A (ja) 情報記憶媒体、および動画音声記録再生装置
KR20080074460A (ko) 비디오 저장 시스템 및 그 백업 제어 방법
JP2005135554A (ja) 再生装置及び方法
KR101050448B1 (ko) 프리 알람 데이터의 시간 길이에 따른 프리 알람 버퍼링방법 및 장치
JP2012227615A (ja) 記録再生装置
KR20030085671A (ko) 영상파일 포맷 및 영상파일 생성 및 재생 방법
JP2004260389A (ja) デジタル映像の取込み、デジタル映像の圧縮、デジタル映像の記録をベースにモーション記録検知、映像のマルチ再生、映像のスケジュール記録またセンサー動作検知記録などを可能にすると同時にそれらの映像信号を狭域ネットワークｌａｎや広域ネットワークｗａｎ、又はインターネット経由で遠隔送受信をも可能とした映像信号を記録すると同時に映像表示や映像検索及び映像再生等が可能なプログラムを記録したコンピューター読取り可能な記録媒体、並びに処理可能な装置。
KR20060017387A (ko) 보안 시스템의 영상 디스플레이 방법
JP2004171067A (ja) データ管理方法およびデータ管理装置、データ管理プログラムならびにこれを記録した記録媒体
JP2005276383A (ja) 画像ファイル記録再生装置及び画像ファイル記録再生プログラム
KR20050097749A (ko) 감시 촬영 시스템의 녹화 및 재생 방법
KR20050075228A (ko) 디지털 기록재생장치 및 그의 기록재생방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal