KR102183475B1 - 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치 - Google Patents

단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR102183475B1
KR102183475B1 KR1020200123667A KR20200123667A KR102183475B1 KR 102183475 B1 KR102183475 B1 KR 102183475B1 KR 1020200123667 A KR1020200123667 A KR 1020200123667A KR 20200123667 A KR20200123667 A KR 20200123667A KR 102183475 B1 KR102183475 B1 KR 102183475B1
Authority
KR
South Korea
Prior art keywords
image recognition
unit
camera
model
analysis unit
Prior art date
Application number
KR1020200123667A
Other languages
English (en)
Inventor
장동윤
Original Assignee
주식회사 이노피아테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이노피아테크 filed Critical 주식회사 이노피아테크
Priority to KR1020200123667A priority Critical patent/KR102183475B1/ko
Application granted granted Critical
Publication of KR102183475B1 publication Critical patent/KR102183475B1/ko
Priority to US17/364,592 priority patent/US11228803B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치가 제시된다. 본 발명에서 제안하는 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 장치는 카메라가 아닌 경로를 통해 수신되는 영상을 수신하여 전처리하고, 분석부와 제1 스크린으로 송출하는 원격영상 송수신부, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 제1 영상인식 모델 및 제2 영상인식 모델 중 하나의 모델을 스위칭하여 분석부와 동기화 시키는 모델 실행부, 모델 실행부와 동기화된 모델에 따라 획득된 영상에서 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하는 분석부, 분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 제2 스크린으로 송출하는 송신부, 카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하는 카메라 처리부, 사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부, 분석부, 카메라 처리부 및 원격영상송수신부를 제어하는 제어부 및 분석부의 분석결과에 따라 송출할 연관 콘텐츠 및 관련 정보를 저장하고 외부 요청에 의해 연관 콘텐츠 및 관련 정보를 송신부로 전달하는 연관 콘텐츠 저장부를 포함한다.

Description

단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치{Method and Apparatus for Providing of section divided heterogeneous image recognition service in a single image recognition service operating environment}
본 발명은 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치에 관한 것이다.
기술의 발전과 시청자의 수요변화에 따라 방송 환경이 변화하고 있다. 종래의 아날로그 방송에서 디지털 방송으로 전환되고, 지상파 위주에서 케이블 방송과 위성 방송, 그리고 초고속 통신 네트워크를 이용한 멀티미디어 데이터의 제공 방식인 소위 IP-TV 서비스, 지상파 및 위성 DMB 서비스 등으로 방송 매체가 다양화되고 있는 상황이다.
디지털 방송은 종래의 아날로그 방송 방식에 비해 용량을 4~8배로 늘릴 수 있어 스포츠, 영화, 홈쇼핑, 음악 등 다양한 분야의 부가 서비스를 제공할 수 있게 되었고, 지상파 방송을 비롯하여 케이블 방송, 위성 방송, DMB 방송, IP-TV, DMB 등의 다양한 방송 형태가 제공됨에 따라 시청자의 선택 폭이 넓어지게 되었다.
종래기술에 따른 AI기반 영상인식을 제공하는 서비스 플랫폼은 서버와 같이 멀티 프로세서 운영이 가능한 환경에서는 각각의 프로세서에서 2종 이상의 종류가 다른 영상인식 기능을 동시에 처리하는 것이 가능하다. 그러나 멀티 프로세서 운영이 불가한 환경에서는 한번에 1종의 영상인식 기능만 제공하다. 예를 들어 단일 프로세서 탑재 디바이스는 카메라로 수집되는 영상에 대해 A 영상인식 모델을 적용하여 사람을 식별하고, 다른 곳에서 원격 수집되는 영상에 대해서는 B 영상인식 모델을 적용, 사물을 식별할 수 있다.
따라서, 단일 영상인식 서비스 운영환경에서 2종의 영상인식을 동시에 활용하여 서비스를 제공할 수 있는 방법을 필요로 한다.
한국 공개특허공보 10-2016-0141396호(2016.12.09.)
본 발명이 이루고자 하는 기술적 과제는 한번에 하나의 영상인식 서비스만 제공하는 단일 영상인식 서비스 운영환경에서 서비스 인지를 통한 2종 영상인식을 스위칭하여 동시 제공하기 위한 방법 및 장치를 제공하는데 있다. 2종 영상인식 서비스의 특성, 목적, 시간정보에 따라 2종 영상인식을 교대로 전환함으로써 사용자에게 2종의 영상인식 서비스를 동시에 제공하고자 한다.
일 측면에 있어서, 본 발명에서 제안하는 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 장치는 카메라가 아닌 경로를 통해 수신되는 영상을 수신하여 전처리하고, 분석부와 제1 스크린으로 송출하는 원격영상 송수신부, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 제1 영상인식 모델 및 제2 영상인식 모델 중 하나의 모델을 스위칭하여 분석부와 동기화 시키는 모델 실행부 -모델 실행부는, 제1 스크린을 통한 콘텐츠 재생 시, 제1 영상인식 모델을 분석부와 동기화 시키고, 제2 스크린을 통한 연관 콘텐츠 재생 시, 분석부와 제1 영상인식 모델의 동기화를 중지시키고, 제2 영상인식 모델을 분석부와 동기화 시킴-, 모델 실행부와 동기화된 모델에 따라 획득된 영상에서 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하는 분석부, 분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 제2 스크린으로 송출하는 송신부, 카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하는 카메라 처리부, 사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부, 분석부, 카메라 처리부 및 원격영상송수신부를 제어하는 제어부 및 분석부의 분석결과에 따라 송출할 연관 콘텐츠 및 관련 정보를 저장하고 외부 요청에 의해 연관 콘텐츠 및 관련 정보를 송신부로 전달하는 연관 콘텐츠 저장부를 포함한다.
모델 실행부는 제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 콘텐츠 사물인식 모드로 전환되어 콘텐츠 사물인식 모델을 분석부와 동기화 시켜, 분석부가 재생되는 영상에서 동기화된 콘텐츠 사물인식 모델을 이용하여 대상을 추출 및 식별하도록 하고, 분석부는, 동기화된 콘텐츠 사물인식 모델을 이용하여 제1 스크린을 통해 재생되고 있는 영상 내의 특정 사물을 인식하고, 인식되는 사물이 있는 경우, 해당 사물에 연관된 콘텐츠 및 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하며, 인식되는 사물이 없는 경우, 콘텐츠 사물인식 모델을 이용하여 사물인식 과정을 반복한다.
모델 실행부는 제2 스크린을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 콘텐츠 사물인식 모드로부터 카메라기반 영상인식 모드로 전환되어 분석부와 콘텐츠 사물인식 모델의 동기화를 중지시키고, 카메라기반 영상인식 모델을 분석부와 동기화 시킨다.
카메라 처리부는 제2 스크린을 통해 재생되고 있는 연관 콘텐츠를 시청하고 있는 사용자들의 영상을 카메라로 획득하고, 카메라를 통해 획득한 영상에 대하여 카메라기반 영상인식을 위한 전처리를 수행하고, 카메라기반 영상인식 모델과 동기화된 분석부로 송신하며, 카메라를 통한 영상 획득은 제2 스크린에서 재생되는 연관 콘텐츠의 종료 시점까지 계속된다.
분석부는 카메라를 통해 획득된 연관 콘텐츠를 시청하고 있는 사용자들의 영상으로부터 카메라기반 영상인식 모델을 이용하여 사용자들을 인식하고, 인식된 사용자들의 관련 정보를 분석 및 기록한다.
제어부는 사용자로부터 서비스 요구사항이 입력되는 경우, 모델생성부는 카메라기반 영상인식 모드를 유지하도록 제어하고, 분석부를 통해 해당 사용자를 인식하여 분석된 결과에 따른 연관 콘텐츠 및 관련 정보를 송출하도록 제어하며, 카메라기반 영상인식 모드가 완료되면, 모델 실행부는 다시 카메라기반 영상인식 모드로부터 콘텐츠 사물인식 모드로 전환시키고 콘텐츠 사물인식 과정을 반복한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법은 카메라가 아닌 경로를 통해 수신되는 영상을 원격영상 송수신부를 통해 수신하여 전처리하고, 분석부와 제1 스크린으로 송출하는 단계, 제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 제1 영상인식 모델을 분석부와 동기화 시키는 단계, 모델 실행부와 동기화된 제1 영상인식 모델에 따라 획득된 영상에서 분석부를 통해 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하는 단계, 분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 송신부를 통해 제2 스크린으로 송출하는 단계, 제2 스크린을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 분석부와 제1 영상인식 모델의 동기화를 중지시키고, 제2 영상인식 모델을 분석부와 동기화 시키는 단계, 카메라 처리부가 카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하여 분석하는 단계 및 제어부를 통해 사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부, 분석부, 카메라 처리부 및 원격영상송수신부를 제어하는 단계를 포함한다.
본 발명의 실시예들에 따른 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치는 한번에 하나의 영상인식 서비스만 제공하는 단일 영상인식 서비스 운영환경에서 서비스 인지를 통한 2종 영상인식을 스위칭하여 동시 제공할 수 있다. 2종 영상인식 서비스의 특성, 목적, 시간정보에 따라 2종 영상인식을 교대로 전환함으로써 사용자에게 2종의 영상인식 서비스를 동시에 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 이종 영상인식 서비스 제공 과정을 설명하기 위한 예시이다.
도 3은 본 발명의 일 실시예에 따른 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법을 설명하기 위한 흐름도이다.
본 발명에서 제안하는 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치는 이종의 영상인식 서비스의 특성, 목적, 시간정보에 따라 양 영상식별을 교대로 전환함으로써, 서비스 사용자에게 이종의 영상인식 서비스를 동시에 제공할 수 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 장치의 구성을 나타내는 도면이다.
단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 장치(100)는 원격영상 송수신부(110), 모델 실행부(120), 분석부(130), 송신부(140), 카메라 처리부(150), 제어부(160) 및 연관 콘텐츠 저장부(170)를 포함한다.
원격영상 송수신부(110)는 카메라가 아닌 경로를 통해 수신되는 영상을 수신하여 가공하고, 분석부(130)와 제1 스크린(181)으로 송출한다. 예를 들어, 서버로부터 사용자에게 나타내기 위한 메인 콘텐츠를 수신하여, 분석부(130)에서는 메인 콘텐츠의 사물인식을 수행하고, 제1 스크린(181)에서는 메인 콘텐츠를 사용자에게 나타내도록 할 수 있다.
모델 실행부(120)는 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 제1 영상인식 모델(121) 및 제2 영상인식 모델(122) 중 하나의 모델을 스위칭하여 분석부(130)와 동기화 시킨다. 본 발명의 실시예에 따른 모델 실행부(120)는, 제1 스크린(181)을 통한 콘텐츠 재생 시, 제1 영상인식 모델(121)을 분석부(130)와 동기화 시킬 수 있다. 그리고, 제2 스크린(182)을 통한 연관 콘텐츠 재생 시, 분석부(130)와 제1 영상인식 모델(121)의 동기화를 중지시키고, 제2 영상인식 모델(122)을 분석부(130)와 동기화 시킬 수 있다.
본 발명의 실시예에 따르면, 제1 스크린(181)을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 제1 영상인식 모델(121)(예를 들어, 콘텐츠 사물인식 모델)을 분석부(130)와 동기화 시켜, 분석부(130)가 재생되는 영상에서 동기화된 콘텐츠 사물인식 모델을 이용하여 대상을 추출 및 식별하도록 할 수 있다. 이때, 모델 실행부(120)는 이종 영상인식 서비스 중 콘텐츠 사물인식 모드로 전환되어 콘텐츠 사물인식 모델을 분석부와 동기화 시킨다.
이후, 분석부(130)는 모델 실행부(120)와 동기화된 모델에 따라 획득된 영상에서 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부(170) 및 송신부(140)로 전달한다. 다시 말해, 제1 스크린(181)에서 재생되고 있는 영상 내의 특정 사물을 인식하고, 인식되는 사물이 있는 경우, 해당 사물에 연관된 콘텐츠 및 관련 정보를 전달 할 수 있다. 인식되는 사물이 없는 경우, 콘텐츠 사물인식 모델을 이용하여 사물인식 과정을 반복한다.
그러면, 송신부(140)는 분석부(130)로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부(170)에 저장된 연관 콘텐츠 및 관련 정보를 제2 스크린(182)으로 송출한다. 제2 스크린(182)은 수신된 연관 콘텐츠를 사용자에게 나타낸다.
예를 들어, 제1 스크린(181)에 자동차가 포함된 영상이 재생되고 있는 경우, 콘텐츠 사물인식 모델과 동기화된 분석부(130)는 영상으로부터 자동차 및 앰블럼을추출 및 식별하고, 해당 자동차의 브랜드 관련 정보를 연관 콘텐츠 저장부(170) 및 송신부(140)로 전달할 수 있다. 연관 콘텐츠 저장부(170)가 해당 자동차의 브랜드의 홍보 영상 등을 저장하고 있는 경우, 송신부(140)는 해당 자동차의 브랜드의 홍보 영상을 사용자에게 나타내기 위해 제2 스크린(182)으로 송출할 수 있다.
제2 스크린(182)을 통한 연관 콘텐츠 재생 시, 모델 실행부(120)에 의해 분석부(130)와 제1 영상인식 모델(121)의 동기화는 중지되고, 제2 영상인식 모델(122)이 분석부(130)와 동기화된다.
본 발명의 실시예에 따르면, 제2 스크린(182)을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 분석부(130)와 제1 영상인식 모델(121)(예를 들어, 콘텐츠 사물인식 모델)의 동기화를 중지시키고, 제2 영상인식 모델(122)(예를 들어, 카메라기반 영상인식 모델)을 분석부(130)와 동기화 시킬 수 있다. 다시 말해, 모델 실행부(120)는 이종 영상인식 서비스 중 카메라기반 영상인식 모드로 전환시키고 카메라기반 영상인식 모델을 분석부와 동기화 시킨다.
제2 스크린(182)을 통해 연관 콘텐츠가 재생되면, 카메라 처리부(150)는 카메라를 통해 획득한 영상을 가공하여 분석부(130)로 송신한다. 예를 들어, 제2 스크린(182)에서 재생되고 있는 연관 콘텐츠를 시청하고 있는 사용자들의 영상을 카메라로 획득하고, 카메라 처리부(150)는 카메라를 통해 획득한 영상에 대하여 카메라기반 영상인식을 위한 전처리를 수행하고, 분석을 위해 카메라기반 영상인식 모델과 동기화된 분석부(130)로 송신할 수 있다. 이와 같은 카메라를 통한 영상 획득은 제2 스크린(182)에서 재생되는 연관 콘텐츠의 종료 시점까지 계속될 수 있다.
예를 들어, 제1 스크린(181)에서 인식된 자동차의 홍보 영상이 제2 스크린(182)에서 재생되면, 해당 홍보 영상을 시청하고 있는 사용자들의 영상을 카메라로 획득할 수 있다. 사용자들의 영상을 획득하면, 카메라기반 영상인식 모델과 동기화된 분석부(130)는 획득된 영상으로부터 사용자들을 인식하여 사용자들의 관련 정보를 분석 및 기록할 수 있다.
그리고, 제어부(160)를 통해 사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부(120), 분석부(130), 카메라 처리부(150) 및 원격영상송수신부(110)를 제어하도록 할 수 있다.
연관 콘텐츠 저장부(170)는 분석부(130)의 분석결과에 따라 송출할 연관 콘텐츠 및 관련 정보를 저장하고 외부 요청에 의해 연관 콘텐츠 및 관련 정보를 송신부(140)로 전달한다.
카메라기반 영상인식 모드가 완료되면, 모델 실행부(120)는 다시 카메라기반 영상인식 모드로부터 콘텐츠 사물인식 모드로 전환시키고 콘텐츠 사물인식 과정을 반복한다.
도 2는 본 발명의 일 실시예에 따른 이종 영상인식 서비스 제공 과정을 설명하기 위한 예시이다.
본 발명의 일 실시예에 따른 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 장치(200)는 원격영상 송수신부가 서버로부터 사용자에게 나타내기 위한 메인 콘텐츠를 수신하여, 분석부에서는 메인 콘텐츠의 사물인식을 수행하고, 제1 스크린(210)에서는 메인 콘텐츠를 사용자에게 나타내도록 할 수 있다.
제1 스크린(210)을 통한 메인 콘텐츠 재생 시, 모델 실행부는 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 제1 영상인식 모델(예를 들어, 콘텐츠 사물인식 모델)을 분석부와 동기화 시켜, 분석부가 재생되는 영상에서 동기화된 콘텐츠 사물인식 모델을 이용하여 대상을 추출 및 식별하도록 할 수 있다. 이때, 모델 실행부는 이종 영상인식 서비스 중 콘텐츠 사물인식 모드로 전환되어 콘텐츠 사물인식 모델을 분석부와 동기화 시킨다.
이후, 분석부는 모델 실행부와 동기화된 모델에 따라 획득된 영상에서 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달한다. 다시 말해, 제1 스크린(210)에서 재생되고 있는 영상 내의 특정 사물(예를 들어, 자동차 또는 자동차의 앰블럼(211))을 인식하고, 인식되는 사물이 있는 경우, 해당 사물에 연관된 콘텐츠 및 관련 정보를 전달 할 수 있다. 인식되는 사물이 없는 경우, 콘텐츠 사물인식 모델을 이용하여 사물인식 과정을 반복한다.
그러면, 송신부는 분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 제2 스크린(220)으로 송출한다. 제2 스크린(220)은 수신된 연관 콘텐츠를 사용자에게 나타낸다.
예를 들어, 제1 스크린(210)에 자동차가 포함된 영상이 재생되고 있는 경우, 콘텐츠 사물인식 모델과 동기화된 분석부는 영상으로부터 자동차 또는 자동차의 앰블럼(211)을 추출 및 식별하고, 해당 자동차의 브랜드 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달할 수 있다. 연관 콘텐츠 저장부가 해당 자동차의 브랜드의 홍보 영상 등을 저장하고 있는 경우, 송신부는 해당 자동차의 브랜드의 홍보 영상을 사용자에게 나타내기 위해 제2 스크린(220)으로 송출할 수 있다.
제2 스크린(220)을 통한 연관 콘텐츠 재생 시, 모델 실행부에 의해 분석부와 제1 영상인식 모델의 동기화는 중지되고, 제2 영상인식 모델이 분석부와 동기화된다.
본 발명의 실시예에 따르면, 제2 스크린(220)을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 분석부와 콘텐츠 사물인식 모델의 동기화를 중지시키고, 카메라기반 영상인식 모델을 분석부와 동기화 시킬 수 있다. 다시 말해, 모델 실행부는 이종 영상인식 서비스 중 카메라기반 영상인식 모드로 전환시키고 카메라기반 영상인식 모델을 분석부와 동기화 시킨다.
제2 스크린(220)을 통해 연관 콘텐츠가 재생되면, 카메라 처리부는 카메라를 통해 획득한 영상을 가공하여 분석부로 송신한다. 예를 들어, 제2 스크린(220)에서 재생되고 있는 연관 콘텐츠를 시청하고 있는 사용자들의 영상(230)을 카메라로 획득하고, 카메라 처리부는 카메라를 통해 획득한 영상(230)에 대하여 카메라기반 영상인식을 위한 전처리를 수행하고, 분석을 위해 카메라기반 영상인식 모델과 동기화된 분석부로 송신할 수 있다. 이와 같은 카메라를 통한 영상 획득은 제2 스크린(220)에서 재생되는 연관 콘텐츠의 종료 시점까지 계속될 수 있다.
예를 들어, 제1 스크린(210)에서 인식된 자동차의 홍보 영상이 제2 스크린(220)에서 재생되면, 해당 홍보 영상을 시청하고 있는 사용자들의 영상(230)을 카메라로 획득할 수 있다. 사용자들의 영상을 획득하면, 카메라기반 영상인식 모델과 동기화된 분석부는 획득된 영상으로부터 사용자들을 인식하여 사용자들의 관련 정보를 분석할 수 있다.
도 3은 본 발명의 일 실시예에 따른 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법을 설명하기 위한 흐름도이다.
제안하는 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법은 카메라가 아닌 경로를 통해 수신되는 영상을 원격영상 송수신부를 통해 수신하여 전처리하고, 분석부와 제1 스크린으로 송출하는 단계(310), 제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 제1 영상인식 모델을 분석부와 동기화 시키는 단계(320), 모델 실행부와 동기화된 제1 영상인식 모델에 따라 획득된 영상에서 분석부를 통해 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하는 단계(330), 분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 송신부를 통해 제2 스크린으로 송출하는 단계(340), 제2 스크린을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 분석부와 제1 영상인식 모델의 동기화를 중지시키고, 제2 영상인식 모델을 분석부와 동기화 시키는 단계(350), 카메라 처리부가 카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하여 분석하는 단계(360) 및 제어부를 통해 사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부, 분석부, 카메라 처리부 및 원격영상송수신부를 제어하는 단계(370)를 포함한다.
단계(310)에서, 카메라가 아닌 경로를 통해 수신되는 영상을 원격영상 송수신부를 통해 수신하여 전처리하고, 분석부와 제1 스크린으로 송출한다. 예를 들어, 서버로부터 사용자에게 나타내기 위한 메인 콘텐츠를 수신하여, 분석부에서는 메인 콘텐츠의 사물인식을 수행하고, 제1 스크린에서는 메인 콘텐츠를 사용자에게 나타내도록 할 수 있다.
단계(320)에서, 제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 제1 영상인식 모델을 분석부와 동기화 시킨다.
본 발명의 실시예에 따르면, 제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 콘텐츠 사물인식 모델(다시 말해, 제1 영상인식 모델)을 분석부와 동기화 시켜, 분석부가 재생되는 영상에서 동기화된 콘텐츠 사물인식 모델을 이용하여 대상을 추출 및 식별하도록 할 수 있다. 이때, 모델 실행부는 이종 영상인식 서비스 중 콘텐츠 사물인식 모드로 전환되어 콘텐츠 사물인식 모델을 분석부와 동기화 시킨다.
단계(330)에서, 모델 실행부와 동기화된 제1 영상인식 모델에 따라 획득된 영상에서 분석부를 통해 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달한다. 다시 말해, 제1 스크린에서 재생되고 있는 영상 내의 특정 사물을 인식하고, 인식되는 사물이 있는 경우, 해당 사물에 연관된 콘텐츠 및 관련 정보를 전달 할 수 있다. 인식되는 사물이 없는 경우, 콘텐츠 사물인식 모델을 이용하여 사물인식 과정을 반복한다.
단계(340)에서, 분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 송신부를 통해 제2 스크린으로 송출한다.
제2 스크린은 수신된 연관 콘텐츠를 사용자에게 나타낸다.
예를 들어, 제1 스크린에 자동차가 포함된 영상이 재생되고 있는 경우, 콘텐츠 사물인식 모델과 동기화된 분석부는 영상으로부터 자동차를 추출 및 식별하고, 해당 자동차의 브랜드 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달할 수 있다. 연관 콘텐츠 저장부가 해당 자동차의 브랜드의 홍보 영상 등을 저장하고 있는 경우, 송신부는 해당 자동차의 브랜드의 홍보 영상을 사용자에게 나타내기 위해 제2 스크린으로 송출할 수 있다.
단계(350)에서, 제2 스크린을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 분석부와 제1 영상인식 모델의 동기화를 중지시키고, 제2 영상인식 모델을 분석부와 동기화 시킨다.
본 발명의 실시예에 따르면, 제2 스크린을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 분석부와 콘텐츠 사물인식 모델(다시 말해, 제1 영상인식 모델)의 동기화를 중지시키고, 카메라기반 영상인식 모델(다시 말해, 제2 영상인식 모델)을 분석부와 동기화 시킬 수 있다. 다시 말해, 모델 실행부는 이종 영상인식 서비스 중 카메라기반 영상인식 모드로 전환시키고 카메라기반 영상인식 모델을 분석부와 동기화 시킨다.
단계(360)에서, 카메라 처리부가 카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하여 분석한다. 예를 들어, 제2 스크린에서 재생되고 있는 연관 콘텐츠를 시청하고 있는 사용자들의 영상을 카메라로 획득하고, 카메라 처리부는 카메라를 통해 획득한 영상에 대하여 카메라기반 영상인식을 위한 전처리를 수행하고, 분석을 위해 카메라기반 영상인식 모델과 동기화된 분석부로 송신할 수 있다. 이와 같은 카메라를 통한 영상 획득은 제2 스크린에서 재생되는 연관 콘텐츠의 종료 시점까지 계속될 수 있다.
예를 들어, 제1 스크린에서 인식된 자동차의 홍보 영상이 제2 스크린에서 재생되면, 해당 홍보 영상을 시청하고 있는 사용자들의 영상을 카메라로 획득할 수 있다. 사용자들의 영상을 획득하면, 카메라기반 영상인식 모델과 동기화된 분석부는 획득된 영상으로부터 사용자들을 인식하여 사용자들의 관련 정보를 분석할 수 있다.
연관 콘텐츠 저장부는 분석부의 분석결과에 따라 송출할 연관 콘텐츠 및 관련 정보를 저장하고 외부 요청에 의해 연관 콘텐츠 및 관련 정보를 송신부로 전달한다.
카메라기반 영상인식 모드가 완료되면, 모델 실행부는 다시 카메라기반 영상인식 모드로부터 콘텐츠 사물인식 모드로 전환시키고 콘텐츠 사물인식 과정을 반복한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

  1. 카메라가 아닌 경로를 통해 수신되는 영상을 수신하여 전처리하고, 분석부와 제1 스크린으로 송출하는 원격영상 송수신부;
    단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 제1 영상인식 모델 및 제2 영상인식 모델 중 하나의 모델을 스위칭하여 분석부와 동기화 시키는 모델 실행부 -모델 실행부는, 제1 스크린을 통한 콘텐츠 재생 시, 제1 영상인식 모델을 분석부와 동기화 시키고, 제2 스크린을 통한 연관 콘텐츠 재생 시, 분석부와 제1 영상인식 모델의 동기화를 중지시키고, 제2 영상인식 모델을 분석부와 동기화 시킴-;
    모델 실행부와 동기화된 모델에 따라 획득된 영상에서 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하는 분석부;
    분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 제2 스크린으로 송출하는 송신부;
    카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하는 카메라 처리부;
    사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부, 분석부, 카메라 처리부 및 원격영상송수신부를 제어하는 제어부; 및
    분석부의 분석결과에 따라 송출할 연관 콘텐츠 및 관련 정보를 저장하고 외부 요청에 의해 연관 콘텐츠 및 관련 정보를 송신부로 전달하는 연관 콘텐츠 저장부
    를 포함하는 이종 영상인식 서비스 제공 장치.
  2. 제1항에 있어서,
    모델 실행부는,
    제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 콘텐츠 사물인식 모드로 전환되어 콘텐츠 사물인식 모델을 분석부와 동기화 시켜, 분석부가 재생되는 영상에서 동기화된 콘텐츠 사물인식 모델을 이용하여 대상을 추출 및 식별하도록 하고,
    분석부는,
    동기화된 콘텐츠 사물인식 모델을 이용하여 제1 스크린을 통해 재생되고 있는 영상 내의 특정 사물을 인식하고, 인식되는 사물이 있는 경우, 해당 사물에 연관된 콘텐츠 및 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하며, 인식되는 사물이 없는 경우, 콘텐츠 사물인식 모델을 이용하여 사물인식 과정을 반복하는
    이종 영상인식 서비스 제공 장치.
  3. 제1항에 있어서,
    모델 실행부는,
    제2 스크린을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 콘텐츠 사물인식 모드로부터 카메라기반 영상인식 모드로 전환되어 분석부와 콘텐츠 사물인식 모델의 동기화를 중지시키고, 카메라기반 영상인식 모델을 분석부와 동기화 시키며,
    카메라 처리부는,
    제2 스크린을 통해 재생되고 있는 연관 콘텐츠를 시청하고 있는 사용자들의 영상을 카메라로 획득하고, 카메라를 통해 획득한 영상에 대하여 카메라기반 영상인식을 위한 전처리를 수행하고, 카메라기반 영상인식 모델과 동기화된 분석부로 송신하며, 카메라를 통한 영상 획득은 제2 스크린에서 재생되는 연관 콘텐츠의 종료 시점까지 계속되는
    이종 영상인식 서비스 제공 장치.
  4. 제3항에 있어서,
    분석부는,
    카메라를 통해 획득된 연관 콘텐츠를 시청하고 있는 사용자들의 영상으로부터 카메라기반 영상인식 모델을 이용하여 사용자들을 인식하고, 인식된 사용자들의 관련 정보를 분석하고,
    제어부는,
    사용자로부터 서비스 요구사항이 입력되는 경우, 모델 실행부는 카메라기반 영상인식 모드를 전환, 또는 유지하도록 제어하고, 분석부를 통해 해당 사용자를 인식하여 분석하며,
    카메라기반 영상인식 모드가 완료되면, 모델 실행부는 다시 카메라기반 영상인식 모드로부터 콘텐츠 사물인식 모드로 전환시키고 콘텐츠 사물인식 과정을 반복하는
    이종 영상인식 서비스 제공 장치.
  5. 카메라가 아닌 경로를 통해 수신되는 영상을 원격영상 송수신부를 통해 수신하여 전처리하고, 분석부와 제1 스크린으로 송출하는 단계;
    제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 제1 영상인식 모델을 분석부와 동기화 시키는 단계;
    모델 실행부와 동기화된 제1 영상인식 모델에 따라 획득된 영상에서 분석부를 통해 대상을 추출 및 식별하고, 추출 및 식별 결과에 따라 연관 콘텐츠 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하는 단계;
    분석부로부터 전달받는 연관 콘텐츠 관련 정보에 따라 연관 콘텐츠 저장부에 저장된 연관 콘텐츠 및 관련 정보를 송신부를 통해 제2 스크린으로 송출하는 단계;
    제2 스크린을 통한 연관 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 분석부와 제1 영상인식 모델의 동기화를 중지시키고, 제2 영상인식 모델을 분석부와 동기화 시키는 단계;
    카메라 처리부가 카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하여 분석하는 단계; 및
    제어부를 통해 사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부, 분석부, 카메라 처리부 및 원격영상송수신부를 제어하는 단계
    를 포함하는 이종 영상인식 서비스 제공 방법.
  6. 제5항에 있어서,
    제1 스크린을 통한 콘텐츠 재생 시, 단일 영상인식 서비스 운영환경에서 이종 영상인식 서비스를 제공하기 위해 모델 실행부를 통해 제1 영상인식 모델을 분석부와 동기화 시키는 단계는,
    콘텐츠 사물인식 모드로 전환되어 콘텐츠 사물인식 모델이 분석부와 동기화되고, 분석부를 통해 동기화된 콘텐츠 사물인식 모델을 이용하여 제1 스크린을 통해 재생되고 있는 영상 내의 대상을 추출 및 식별하고, 특정 사물을 인식하며,
    인식되는 사물이 있는 경우, 해당 사물에 연관된 콘텐츠 및 관련 정보를 연관 콘텐츠 저장부 및 송신부로 전달하고, 인식되는 사물이 없는 경우, 콘텐츠 사물인식 모델을 이용하여 사물인식 과정을 반복하는
    이종 영상인식 서비스 제공 방법.
  7. 제5항에 있어서,
    카메라 처리부가 카메라를 통해 획득한 영상을 전처리하여 분석부로 송신하여 분석하는 단계는,
    콘텐츠 사물인식 모드로부터 카메라기반 영상인식 모드로 전환되어 제2 스크린을 통해 재생되고 있는 연관 콘텐츠를 시청하고 있는 사용자들의 영상을 카메라로 획득하고, 카메라를 통한 영상 획득은 제2 스크린에서 재생되는 연관 콘텐츠의 종료 시점까지 계속되며, 획득된 영상에 대하여 카메라 처리부를 통해 카메라기반 영상인식을 위한 전처리를 수행하여 카메라기반 영상인식 모델과 동기화된 분석부로 송신하고,
    분석부가 카메라를 통해 획득된 연관 콘텐츠를 시청하고 있는 사용자들의 영상으로부터 카메라기반 영상인식 모델을 이용하여 사용자들을 인식하고, 인식된 사용자들의 관련 정보를 분석하고,
    제어부를 통해 사용자로부터 입력된 서비스 요구사항에 따라 모델 실행부, 분석부, 카메라 처리부 및 원격영상송수신부를 제어하는 단계는,
    사용자로부터 서비스 요구사항이 입력되는 경우, 제어부를 통해 모델생성부는 카메라기반 영상인식 모드를 전환, 또는 유지하도록 제어되고, 분석부는 해당 사용자를 인식하여 분석하도록 제어되며,
    카메라기반 영상인식 모드가 완료되면, 모델 실행부를 통해 다시 카메라기반 영상인식 모드로부터 콘텐츠 사물인식 모드로 전환되고 콘텐츠 사물인식 과정이 반복되는
    이종 영상인식 서비스 제공 방법.
KR1020200123667A 2020-09-24 2020-09-24 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치 KR102183475B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200123667A KR102183475B1 (ko) 2020-09-24 2020-09-24 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치
US17/364,592 US11228803B1 (en) 2020-09-24 2021-06-30 Method and apparatus for providing of section divided heterogeneous image recognition service in a single image recognition service operating environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200123667A KR102183475B1 (ko) 2020-09-24 2020-09-24 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102183475B1 true KR102183475B1 (ko) 2020-11-26

Family

ID=73679144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200123667A KR102183475B1 (ko) 2020-09-24 2020-09-24 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치

Country Status (2)

Country Link
US (1) US11228803B1 (ko)
KR (1) KR102183475B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056321A (ko) * 2011-08-04 2014-05-09 이베이 인크. 콘텐츠 디스플레이 시스템 및 방법
KR20160027576A (ko) * 2014-09-01 2016-03-10 유형근 얼굴인식형 인터랙티브 디지털 사이니지장치
KR20160141396A (ko) 2015-05-28 2016-12-09 주식회사 이노피아테크 제2 스크린으로 부가서비스 연동이 가능한 하이브리드 리모트 컨트롤 시스템 및 방법
KR20180000566A (ko) * 2016-06-23 2018-01-03 주식회사 케이티 맞춤형 광고 컨텐츠를 제공하는 디바이스, 컨텐츠 서버 및 디지털 사이니지 장치
KR20180121273A (ko) * 2017-04-28 2018-11-07 삼성전자주식회사 객체에 대응하는 콘텐트를 출력하기 위한 방법 및 그 전자 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050132420A1 (en) * 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
JP2007214663A (ja) * 2006-02-07 2007-08-23 Funai Electric Co Ltd テレビ放送視聴録画システム、録画再生装置及び視聴装置
KR101337876B1 (ko) * 2009-12-14 2013-12-06 한국전자통신연구원 영상보안시스템용 서버/카메라 및 영상보안시스템용 서버/카메라의 이벤트 처리 방법
US8577092B2 (en) * 2010-11-11 2013-11-05 Lg Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
KR101731346B1 (ko) * 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US20140245335A1 (en) * 2013-02-25 2014-08-28 Comcast Cable Communications, Llc Environment Object Recognition
JP6807268B2 (ja) * 2017-04-18 2021-01-06 日本電信電話株式会社 画像認識エンジン連携装置およびプログラム
KR102194499B1 (ko) * 2019-01-18 2020-12-23 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140056321A (ko) * 2011-08-04 2014-05-09 이베이 인크. 콘텐츠 디스플레이 시스템 및 방법
KR20160027576A (ko) * 2014-09-01 2016-03-10 유형근 얼굴인식형 인터랙티브 디지털 사이니지장치
KR20160141396A (ko) 2015-05-28 2016-12-09 주식회사 이노피아테크 제2 스크린으로 부가서비스 연동이 가능한 하이브리드 리모트 컨트롤 시스템 및 방법
KR20180000566A (ko) * 2016-06-23 2018-01-03 주식회사 케이티 맞춤형 광고 컨텐츠를 제공하는 디바이스, 컨텐츠 서버 및 디지털 사이니지 장치
KR20180121273A (ko) * 2017-04-28 2018-11-07 삼성전자주식회사 객체에 대응하는 콘텐트를 출력하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US11228803B1 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN109891899B (zh) 视频内容切换和同步***及用于在多种视频格式之间切换的方法
US8730354B2 (en) Overlay video content on a mobile device
JP6903653B2 (ja) 共通メディアセグメントの検出
CA2233444A1 (en) System for using media content in interactive digital media program
US11755936B2 (en) Systems and methods for determining that a media item is being presented
CN105103566B (zh) 用于识别视频片段以便显示上下文相关内容的***和方法
US11272261B2 (en) Cloud platform capable of providing real-time streaming services for heterogeneous applications including AR, VR, XR, and MR irrespective of specifications of hardware of user
KR20150083355A (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
KR20190101914A (ko) 스트리밍 장치 및 스트리밍 방법
KR102183475B1 (ko) 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치
KR20170005741A (ko) 이미지 기반 동영상 콘텐츠 제공 방법 및 그 시스템
CN113490064A (zh) 一种视频播放方法和设备及服务器
KR102275244B1 (ko) Tv를 통한 광고기반 무료 ott 서비스 시청 시 영상인식 기반 광고 콘텐츠 건너뛰기 처리 제공 방법 및 장치
KR102336805B1 (ko) 컨텐츠를 표시하는 도중 채널을 전환하는 방법 및 장치
CN116708867B (zh) 一种直播数据处理方法、装置、设备及存储介质
KR101502228B1 (ko) 방송용 가상화 시스템
CN113347501B (zh) 视频播放方法及装置
US11902603B2 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
CN112071337B (zh) 一种录音控制方法、装置、服务器和显示设备
KR20220025476A (ko) 방송 영상의 최초 시청 단말에 대한 광고 배너 제공 방법 및 그 장치
KR101189071B1 (ko) 멀티미디어 단말 및 ｕｓｂ셋탑, 이를 이용한 객체기반 콘텐츠 제공방법
KR101537842B1 (ko) 툴바를 통해 웹사이트에서 추출한 동영상을 인코딩, 저장하는 방법 및 클라우드 서비스
KR20180010291A (ko) 실시간 방송 화면의 지정 대상에 대한 부가 정보를 제공하기 위한 시스템 및 그 방법
KR20170083513A (ko) 실시간 방송 화면의 지정 대상에 대한 부가 정보를 제공하기 위한 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant