KR101840005B1 - 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템 - Google Patents

중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템 Download PDF

Info

Publication number
KR101840005B1
KR101840005B1 KR1020160023229A KR20160023229A KR101840005B1 KR 101840005 B1 KR101840005 B1 KR 101840005B1 KR 1020160023229 A KR1020160023229 A KR 1020160023229A KR 20160023229 A KR20160023229 A KR 20160023229A KR 101840005 B1 KR101840005 B1 KR 101840005B1
Authority
KR
South Korea
Prior art keywords
frame
image
streaming
failure
unit
Prior art date
Application number
KR1020160023229A
Other languages
English (en)
Other versions
KR20170100847A (ko
Inventor
김승모
Original Assignee
김승모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김승모 filed Critical 김승모
Priority to KR1020160023229A priority Critical patent/KR101840005B1/ko
Publication of KR20170100847A publication Critical patent/KR20170100847A/ko
Application granted granted Critical
Publication of KR101840005B1 publication Critical patent/KR101840005B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/12—Arrangements for observation, testing or troubleshooting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/6473—Monitoring network processes errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 스트리밍 영상제공 시스템에 관한 것으로, 보다 상세하게는 인코더 또는 카메라의 장애에 의해 사용자단말에 전송되는 영상이 끊기는 현상을 방지하여 중단없는 스트리밍 서비스를 제공이 가능하도록 한 스트리밍 영상제공 시스템에 관한 것이다.
본 발명의 실시예에 따른 스트리밍 영상제공 시스템은 영상의 단절이나 영상지연 등의 장애 발생시 상기 장애를 회복하기 위한 장애회복장치를 포함하고, 상기 장애회복장치는 스트리밍되는 영상의 장애를 인식하는 장애인식부; 스트리밍되는 영상에서 장애가 발생한 프레임을 찾는 장애프레임확인부; 상기 장애가 발생한 프레임으로부터 가장 최근 전송된 I프레임을 찾는 최근I프레임확인부; 상기 최근I프레임에 대한 지문데이터를 확인한 후 대체될 대체인코더의 영상으로부터 해당 지문데이터와 일치하는 지문데이터를 갖는 매칭I프레임을 찾는 매칭I프레임검색부; 상기 장애가 인식된 장애프레임으로부터 상기 최근I프레임까지의 프레임수인 장애프레임간격를 계산한 후 상기 매칭프레임검색부에서 검색된 매칭I프레임 뒷단에서 상기 장애프레임간격만큰 떨어진 프레임인 장애대응프레임을 찾는 장애대응프레임도출부; 및 상기 장애대응프레임 이후부터 상기 대체인코더의 영상을 스트리밍하는 대체영상전송부를 포함하여 구성된다.

Description

중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템{Streaming imaging system providing seamless streaming service}
본 발명은 스트리밍 영상제공 시스템에 관한 것으로, 보다 상세하게는 인코더 또는 카메라의 장애에 의해 사용자단말에 전송되는 영상이 끊기는 현상을 방지하여 중단없는 스트리밍 서비스를 제공이 가능하도록 한 스트리밍 영상제공 시스템에 관한 것이다.
스트리밍 영상제공시스템은 단말이나 네트워크 용량 등에 크게 구애받지 않고 사용자가 동영상을 즐길수 있도록 제공하고자 하는 시스템으로 MPEG표준 등의 제정과 함께 동영상파일을 사용자가에 제공하기 위한 대표적인 방법으로 사용되고 있는 기술이다.
도 1은 종래의 스트리밍 영상제공시스템의 구성을 보여주는 도면이고, 도 2는 도 1의 시스템에서 장애가 발생시 전달되는 프레임의 상태를 보여주는 도면이다.
도 1을 참조하면, 종래의 스트리밍 영상제공시스템은 영상을 촬영하기 위한 카메라, 영상파일을 인코딩하기 위한 인코더 및 상기 인코더에서 전송되는 영상파일을 스트리밍 방식으로 사용자에게 전달하기 위한 스트리밍서버 및 상기 스트리밍 서버로부터 전송되는 동영상을 사용자에게 보여주기 위한 사용자단말로 구성된다.
이러한 종래의 스트리밍 영상제공시스템의 경우 인코더에 장애가 발생하여 인코더가 정상적으로 동작하지 않을 경우 사용자에게 보여지는 영상이 끊기는 현상이 발생한다. 이처럼 영상이 끊기게 되면 상기 제 1인코더에서 전송하던 영상을 상기 제 2인코더에서 전송하도록 하기 위하여 인코더를 스위칭하는 동작을 수행한다. 이를 위해서는 상기 제 1인코더에서 전송하던 영상을 중단하고 다시 제 2인코더에서 전송되는 영상을 상영하기 위하여 상기 스트리밍 서버와 상기 사용자단말 간에 영상 상영 셋업을 다시 수행하게 되며 이 작업 수행하는데 수 초 정도의 시간이 소요되게 된다.
도 2는 도 1에서 보인 종래의 스트리밍 영상제공시스템에서 장애가 발생한 경우의 전송되는 프레임의 흐름을 보여주는 도면이며, 도 2를 참고하면 장애 발생시 인코더가 변경되는 작업이 수행되는 수 초 동안에는 사용자가 보던 영상이 아예 없어져버리는 것을 확인할 수 있다. 또는 이 작업이 수행되는 동안에 화면을 검정색 화면으로 유지되거나 아니면 상영되던 영상이 정지되어 더이상 움직이지 않는 정지화면 상태로 남아있게 하기도 하는데 어떤 방식을 사용하던 종래에는 이처럼 화면이 단절되게 된다는 문제점이 있다.
방송국에서 사용하는 먹스(MUX)장비와 같은 고가의 장비를 사용하는 경우에는 카메라들 중 어느 하나의 카메라에 장애가 발생하는 경우에는 빨리 다른 카메라를 연결하여 영상을 전송함으로써 시청자들에게는 화면의 끊김없이 영상을 제공하는 방식을 사용하기도 하지만, 이러한 먹스 장비는 매우 고가의 장비이기 때문에 일반적인 영상전송시스템에 적용하기 어렵다는 문제점이 있다.
또한, 먹스(MUX) 장비가 설치되어 있더라고 먹스 장비 뒷단에서 장애가 발생할 경우에는 먹스에 의해서도 장애 복구가 되지 않는다는 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로 본 발명에 따르면, 인코더에 장애가 발생하여 영상전송이 중단되더라도 사용자단말에서는 보고 있던 영상이 끊기지 않고 연속적으로 볼 수 있도록 중단 없는 스트리밍 서비스를 제공하는 스트리밍 영상제공시스템이 제공된다.
특히, 본 발명에 따르면, 인코더 뿐만 아니라 영상을 촬영하고 있는 카메라에 장애가 발생하여 영상전송이 중단되더라도 사용자단말에서는 보고 있던 영상이 끊기지 않고 연속적으로 볼 수 있도록 중단 없는 스트리밍 서비스를 제공하는 스트리밍 영상제공시스템이 제공된다.
삭제
삭제
삭제
삭제
본 발명의 실시예에 따른 사용자 단말에 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템은, 복수의 카메라; 상기 각 카메라의 영상을 인코딩하기 위한 인코더부; 및 상기 인코더부로부터 영상을 전송받아 유저에게 스트리밍 서비스를 제공하기 위한 스트리밍 서버;를 포함하고, 상기 스트리밍 서버는 영상의 단절이나 영상지연 등의 장애 발생시 상기 장애를 회복하기 위한 장애회복장치를 포함하고, 상기 장애회복장치는 상기 복수의 카메라들 중 제 1카메라에서 촬영되어 스트리밍되는 제 1영상의 장애를 인식하는 장애인식부; 스트리밍되는 제 1영상에서 장애가 발생한 프레임을 찾는 장애프레임확인부; 상기 장애가 발생한 프레임으로부터 가장 최근 전송된 I프레임인 최근I프레임을 찾는 최근I프레임확인부; 상기 최근I프레임에 저장되어 있는 제 1음성데이터를 확인하는 음성데이터확인부; 상기 복수의 카메라들 중에서 상기 제 1카메라가 아닌 나머지 카메라에서 촬영된 제 2영상의 음성데이터들에서 상기 제 1음성데이터와 매칭되는 제 2음성데이터를 검색하는 음성데이터매칭부; 및 상기 제 2영상에서 상기 음성데이터매칭부에서 검색된 상기 제 2음성데이터를 갖는 영상프레임인 음성매칭영상프레임을 검색하는 음성매칭영상프레임검색부; 상기 음성매칭영상프레임으로부터 연속되는 이후의 영상을 제공하는 대체영상제공부;를 포함하여 구성되는 것을 특징으로 한다.
삭제
삭제
삭제
삭제
본 발명에 따르면, 스트리밍 영상시스템을 통해 사용자에게 영상을 전달하는 과정에서 인코더 또는 카메라에 장애가 발생하더라도 예비 인코더 또는 예비 카메라의 영상을 중단없이 제공해줌으로써 사용자 단말에서는 보고 있던 영상이 끊기지 않고 연속적으로 볼 수 있도록 할 수 있다는 장점이 있다.
또한, 본 발명에 따르면 방송국에서 사용하는 먹스(MUX)와 같은 고가의 장비를 구비하지 않고서도 카메라나 인코더에서 장애 발생시 끊김없이 사용자에게 영상을 전송해 줄수 있다는 장점이 있다.
또한, 본 발명에 따르면 먹스(MUX) 장비가 설치되어 있더라고 먹스 장비 뒷단에서 장애가 발생할 경우에는 먹스에 의해서도 장애 복구가 되지 않는다는 단점을 보완하여 먹스 뒷단에서 발생하는 장애에 대해서도 스트리밍 서버에서 장애를 복구해주는 방식에 의해 사용자에게 중단없는 스트리밍 서비스가 가능하도록 한다는 장점이 있다.
도 1은 종래의 스트리밍 영상제공시스템의 구성을 보여주는 도면이고,
도 2는 도 1의 시스템에서 장애가 발생시 전달되는 프레임의 상태를 보여주는 도면이고,
도 3은 본 발명의 제 1실시예에 따른 스트리밍 영상제공 시스템의 구성을 보여주는 도면이고,
도 4는 본 발명의 제 1실시예에 따른 스트리밍 영상제공 시스템에서의 장애발생시 프레임의 흐름을 보여주는 도면이고,
도 5는 본 발명의 제 2실시예에 따른 스트리밍 영상제공 시스템의 구성을 보여주는 도면이고,
도 6은 전송되는 영상프레임들을 보여주는 도면이고,
도 7은 도 3의 장애회복장치의 구성을 보여주는 도면이고,
도 8은 도 5의 장애회복장치의 구성을 보여주는 도면이고,
도 9는 본 발명의 제 3실시예에 따른 스트리밍 영상제공 시스템의 장애회복장치의 구성을 보여주는 도면이다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
특히, 이하에서 설명하는 본 발명의 실시예에 따른 스트리밍 영상제공 시스템은 실시간 스트리밍 프로토콜(RTSP : Real-Time Streaming Protocol)에 의해 영상을 재생하는 RTSP기반의 영상제공 시스템이고, 이하에서 사용자 단말이라 함은 사용자 PC, 스마트폰이나 스마트패드와 같은 전자장치를 말한다..
[ 제 1실시예 ]
도 3은 본 발명의 제 1실시예에 따른 스트리밍 영상제공 시스템의 구성을 보여주는 도면이고, 도 4는 본 발명의 제 1실시예에 따른 스트리밍 영상제공 시스템에서의 장애발생시 프레임의 흐름을 보여주는 도면이며, 도 7은 도 3의 장애회복장치의 구성을 보여주는 도면이다.
도면들을 참조하면, 본 발명의 제 1실시예에 따른 스트리밍 영상제공 시스템은 카메라(400), 두 대의 인코더(310,320) 및 스트리밍 서버(200)로 구성되고, 각 사용자 단말(100)은 상기 스트리밍 서버(200)로부터 스트리밍 서비스를 제공받아 영상을 디스플레이한다.
상기 카메라(400)는 상기 사용자 단말(100)에 전송하기 위한 영상을 촬영하여 획득하기 위한 장치이고, 상기 두 대의 인코더(310,320)는 상기 카메라(400)의 영상을 인코딩하기 위한 것으로 제 1인코더(310) 및 제 2인코더(320)로 구성된다.
상기 인코더들(310,320)에는 상기 카메라(400)로부터 획득된 동일한 영상이 입력되어 인코딩되며, 결과적으로 하나의 인코더는 나머지 인코더의 백업 기능을 담당하게 된다.
상기 스트리밍 서버(200)는 상기 복수의 인코더로부터 영상을 전송받아 유저에게 스트리밍 서비스를 제공하기 위한 것으로, 상기 스트리밍 서버(200)는 영상의 단절이나 영상지연 등의 장애 발생시 상기 장애를 회복하기 위한 장애회복장치를 갖는다.
상기 장애회복장치(250)는 장애인식부(251), 장애프레임확인부(252), 최근I프레임확인부(253), 매칭I프레임검색부(254), 장애대응프레임도출부(255) 및 대체영상 전송부(256)로 구성된다.
상기 장애인식부(251)는 스트리밍되는 영상에 장애가 발생하였는지 여부를 인식하기 위한 것으로, 상기 제 1인코더(310)로부터 전송되던 영상이 갑자가 전송이 중단되거나 또는 영상전속 속도가 늦어지는 경우 이를 장애로 인식한다.
상기 장애프레임확인부(252)는 스트리밍되는 영상에서 장애가 발생한 프레임을 찾는다.
도 6은 전송되는 영상프레임들을 보여주는 도면으로 본 발명의 제 1실시예에서는 도 6의 상단에 있는 영상프레임들이 상기 제 1인코더(310)를 통해 전송되는 제 1영상의 영상프레임들이고 하단에 있는 영상프레임들이 상기 제 2인코더(320)를 통해 전송되는 제 2영상의 영상프레임들인 것으로 가정하여 설명하기로 한다.
도 6을 참조하면, 상기 제 1인코더(310)를 통해 전송되던 영상프레임들에서 F3영상프레임에서 장애가 발생하여 이후의 영상이 전송되지 않고 있다고 가정하면, 상기 장애인식부(251)는 일단 영상중단이 발생하였다는 것을 인식하고, 상기 장애프레임확인부(252)는 전송되던 영상에서 F3프레임의 영상에서 장애가 발생하였다는 것을 확인한다.
상기 최근I프레임확인부(253)는 상기 장애가 발생한 프레임으로부터 가장 최근 전송된 I프레임을 찾는다. 따라서 도 6을 참조하면, 상기 최근I프레임확인부(253)는 장애가 발생한 프레임인 F3프레임으로부터 가장 최근 전송된 I프레임인 F1프레임을 찾는다.
MPEG영상에서 영상프레임은 I프레임, P프레임 및 B프레임의 결합으로 이루어져 있으며, I프레임(Infra Frame)은 다른 이미지를 참조하지 않고 독립적으로 해독이 가능한 독립형 프레임으로, 비디오 순서열에 있는 첫번째 프레임은 항상 I프레임이고, P프레임은 프레임 사이의 예측(Predictive)을 의미하는 것으로서 이전의 I프레임 및 P프레임을 참조하여 프레임을 부호화하며, B프레임은 양측예측 프레임(Bi-predictive Inter Frame)으로 이전의 참조 프레임과 이후의 프레임 모두를 참조하는 프레임이다.
상기 매칭I프레임검색부(254)는 상기 최근I프레임에 대한 지문데이터를 확인한 후 대체될 대체인코더의 영상으로부터 해당 지문데이터와 일치하는 지문데이터를 갖는 I프레임인 매칭I프레임을 찾는다.
지문데이터는 각 영상프레임마다 부여되는 일종의 코드이며 각 프레임마다 해쉬코드 형태로 부여된다. 본 발명의 제 1실시예에서는 상기 제 1인코더와 상기 제 2인코더가 동일한 카메라로부터 획득되어 입력된 영상데이터를 인코딩하고 있기 때문에 각 인코더에서 인코딩되는 영상의 영상프레임에 대한 지문데이터는 동일한 것으로 볼 수 있다. 즉 제 1인코더에서 인코딩되는 영상의 영상프레임에 부여된 지문데이터와 동일한 지문데이터를 갖는 영상프레임이 상기 제 2인코더에서 인코딩되는 영상에 존재하게 된다.
따라서, 상기 매칭I프레임검색부(254)는 상기 제 1인코더에서 인코딩된 상기 최근 I프레임인 F1프레임에 대한 지문데이터를 확인한 후 이 지문데이터와 동일한 지문데이터를 갖는 영상프레임을 상기 제 2인코더에서 인코딩된 영상에서 찾는다.
도 6에서 상단과 하단의 영상프레임들이 동일한 영상프레임들이라고 가정하면, 상기 제 2인코더에서 인코딩된 영상에서 F21프레임이 상기 F1프레임에 매칭되는 매칭I프레임이 된다.
상기 장애대응프레임도출부(255)는 상기 장애가 인식된 장애프레임으로부터 상기 최근I프레임까지의 프레임수인 장애프레임간격을 계산한 후 상기 매칭프레임검색부에서 검색된 매칭I프레임 뒷단에서 상기 장애프레임간격만큰 떨어진 프레임인 장애대응프레임을 찾는다.
도 6을 참조하면, 제 1영상의 장애프레임인 F3영상프레임으로부터 최근I프레임인 F1까지의 프레임수인 장애프레임간격은 3이고, 매칭I프레임인 F21에서 3개의 프레임만큼 떨어진 프레임을 찾으면 F23프레임이므로 이렇게 찾아진 F23프레임이 장애대응프레임이 된다.
상기 대체영상전송부(256)는 상기 장애대응프레임인 F23프레임 이후부터 상기 대체인코더인 제 2인코더의 영상을 스트리밍한다.
[ 제 2실시예 ]
도 5는 본 발명의 제 2실시예에 따른 스트리밍 영상제공 시스템의 구성을 보여주는 도면이고, 도 8은 도 5의 장애회복장치의 구성을 보여주는 도면이다.
도 5를 참조하면, 본 발명의 제 2실시예에 따른 스트리밍 영상제공 시스템은 두 대의 카메라(410,420), 인코더(300) 및 스트리밍 서버(200)로 구성되고, 각 사용자 단말(100)은 상기 스트리밍 서버(200)로부터 스트리밍 서비스를 제공받아 영상을 디스플레이한다.
상기 두 대의 카메라(410,420)는 상기 사용자 단말(100)에 전송하기 위한 영상을 촬영하여 획득하기 위한 장치로서, 상기 두 대의 카메라(410,420)에서 획득된 영상은 상기 인코더(300)에서 인코딩된다.
본 발명의 제 2실시예에 따른 스트리밍 영상제공 시스템의 상기 스트리밍서버에 설치되는 장애회복장치(260)는 장애인식부(261), 장애프레임확인부(262), 최근I프레임확인부(263), 매칭I프레임검색부(264), 최신대체프레임확인부(265) 및 대체영상 전송부(266)로 구성된다.
상기 장애인식부(26)1는 스트리밍되는 영상에 장애가 발생하였는지 여부를 인식하기 위한 것으로, 상기 인코더(300)로부터 전송되던 영상이 갑자가 전송이 중단되거나 또는 영상전속 속도가 늦어지는 경우 이를 장애로 인식하고, 상기 장애프레임확인부(262)는 스트리밍되는 영상에서 장애가 발생한 프레임을 찾는다.
도 6을 참조하여 본 발명의 제 2실시예에 따른 스트리밍 영상제공 시스템의 장애회복 동작을 설명한다. 본 발명의 제 2실시예에서는 도 6의 상단에 있는 영상프레임들이 상기 제 1카메라(410)에서 획득되어 상기 인코더(3000를 통해 전송되는 제 2-1영상의 영상프레임들이고 하단에 있는 영상프레임들이 상기 제 2카메라(420)에서 획득되어 상기 인코더(300)를 통해 전송되는 제 2-2영상의 영상프레임들인 것으로 가정하여 설명하기로 한다.
먼저, 상기 인코더(300)를 통해 전송되던 영상프레임들에서 F3영상프레임에서 장애가 발생하여 이후의영상이 전송되지 않고 있다고 가정하면, 상기 장애인식부(261)는 일단 영상중단이 발생하였다는 것을 인식하고, 상기 장애프레임확인부(262)는 전송되던 영상에서 F3프레임의 영상에서 장애가 발생하였다는 것을 확인한다.
상기 최근I프레임확인부(263)는 상기 장애가 발생한 프레임으로부터 가장 최근 전송된 I프레임을 찾는다. 따라서 도 6을 참조하면, 상기 최근I프레임확인부(263)는 장애가 발생한 프레임인 F3프레임으로부터 가장 최근 전송된 I프레임인 F1프레임을 찾는다.
상기 매칭I프레임검색부(264)는 상기 최근I프레임에 대한 지문데이터를 확인한 후 대체될 영상으로부터 해당 지문데이터와 일치하는 지문데이터를 갖는 I프레임인 매칭I프레임을 찾는다.
본 발명의 제 2실시예에서는 상기 제 1카메라(410)와 상기 제 2카메라(420)로부터 획득되어 입력된 영상데이터를 상기 인코더(300)에서 인코딩하고 있고, 상기 제 1카메라(410)와 상기 제 2카메라(420)는 각각 서로 다른 영역의 영상을 획득하고 있을 수 있기 때문에 상기 인코더(300)에서 인코딩되는 영상의 영상프레임에 대한 지문데이터의 경우 상기 제 1카메라(410)로부터 획득된 영상과 상기 제 2카메라(420)로부터 획득된 영상의 지문데이터가 서로 일치하지 않고 다를 수 있다.
즉 제 1카메라(410)에서 획득되어 상기 인코더(300)에서 인코딩되는 영상의 영상프레임에 부여된 지문데이터와 동일한 지문데이터를 갖는 영상프레임이 제 2카메라(420)에서 획득되어 상기 인코더(300)에서 인코딩되는 영상의 영상프레임 중에서는 없는 상황이 발생할 수 있다.
상기 최신대체프레임확인부(265)는 이처럼 매칭되는 지문데이터가 없는 경우에는 인코더의 장애가 아니라 카메라의 장애로 인식하고, 상기 복수의 카메라들 중 제 2카메라에서 촬영된 제 2영상에서 가장 최신의 I프레임을 최신대체프레임으로 찾는다.
도 6을 참조하면, 상기 최근I프레임확인부(263)에서 상기 제 1카메라에서 획득된 영상인 2-1영상에서 장애가 발생한 프레임인 F3프레임으로부터 가장 최근 전송된 I프레임인 F1프레임을 찾은 다음, 상기 매칭I프레임검색부(264)가 상기 최근I프레임인 F1프레임에 대한 지문데이터를 확인하고 상기 F1프레임에 대한 지문데이터와 동일한 지문데이터가 상기 제 2카메라로부터 획득된 제 2-2영상에 존재하지 않을 경우에는 상기 제 2-2영상에서 가장 최신의 I프레임인 F29프레임을 최신대체프레임으로 찾는다.
그리고 상기 대체영상제공부(266)는 상기 대체될 제 2카메라의 상기 2-2영상의 최신의 I프레임으로 최신대체프레임으로 선택된 F29프레임으부터 연속되는 이후의 영상을 제공한다.
본 발명의 제 2실시예에서는 두 개의 카메라와 한 대의 인코더로 구성되는 스트리밍 영상제공 시스템을 예로 들어 설명하였지만, 상기 인코더에서 상기 두 대의 카메라로부터 획득되는 영상을 모두 인코딩하거나 아니면 두 대의 인코더가 구비되어 상기 두 대의 카메라로부터 획득되는 영상을 각각의 인코더가 각각 인코딩하거나 그 장애회복방법에 있어서는 동일한 방법이 적용되므로 어느 방식을 사용하더라도 본 발명의 제 2실시예에서 보인 발명의 사상 내에 포함되는 것이라 할 것이다.
[ 제 3실시예 ]
도 9는 본 발명의 제 3실시예에 따른 스트리밍 영상제공 시스템의 장애회복장치의 구성을 보여주는 도면이다.
본 발명의 제 3실시예에 따른 스트리밍 영상제공 시스템은 두 대의 카메라, 인코더 및 스트리밍 서버(200)로 구성되고, 각 사용자 단말(100)은 상기 스트리밍 서버(200)로부터 스트리밍 서비스를 제공받아 영상을 디스플레이한다.
상기 두 대의 카메라는 상기 사용자 단말(100)에 전송하기 위한 영상을 촬영하여 획득하기 위한 장치로서, 상기 두 대의 카메라에서 획득된 영상은 상기 인코더에서 인코딩된다.
도 9를 참조하면, 본 발명의 제 3실시예에 따른 스트리밍 영상제공 시스템의 상기 스트리밍서버에 설치되는 장애회복장치(270)는 장애인식부(271), 장애프레임확인부(272), 최근I프레임확인부(273), 음성데이터확인부(274), 음성데이터매칭부(275), 음성매칭영상프레임검색부(277) 및 대체영상 전송부(276)로 구성된다.
상기 장애인식부(271)는 스트리밍되는 영상에 장애가 발생하였는지 여부를 인식하기 위한 것으로, 인코더로부터 전송되던 영상이 갑자가 전송이 중단되거나 또는 영상전속 속도가 늦어지는 경우 이를 장애로 인식하고, 상기 장애프레임확인부(272)는 스트리밍되는 영상에서 장애가 발생한 프레임을 찾는다.
상기 음성데이터확인부(274)는 상기 최근I프레임에 저장되어 있는 제 1음성데이터를 확인하고, 상기 음성데이터매칭부(275)는 상기 상기 제 2카메라에서 촬영된 제 2영상의 음성데이터들에서 상기 제 1음성데이터와 매칭되는 제 2음성데이터를 검색한다.
상기 음성매칭영상프레임검색부(277)는 상기 제 2영상에서 상기 음성데이터매칭부에서 검색된 상기 제 2음성데이터를 갖는 영상프레임인 음성매칭영상프레임을 검색하고, 상기 대체영상제공부는 상기 음성매칭영상프레임으로부터 연속되는 이후의 영상을 제공한다.
도 6을 참조하여 본 발명의 제 3실시예에 따른 스트리밍 영상제공 시스템의 장애회복 동작을 설명한다. 본 발명의 제 3실시예에서는 도 6의 상단에 있는 영상프레임들이 상기 제 1카메라에서 획득되어 상기 인코더를 통해 전송되는 제 2-1영상의 영상프레임들이고 하단에 있는 영상프레임들이 상기 제 2카메라에서 획득되어 상기 인코더를 통해 전송되는 제 2-2영상의 영상프레임들인 것으로 가정하여 설명하기로 한다.
도 6을 참조하면, 상기 최근I프레임확인부(273)에서 상기 제 1카메라에서 획득된 영상인 3-1영상에서 장애가 발생한 프레임인 F3프레임으로부터 가장 최근 전송된 I프레임인 F1프레임인 최근I프레임을 찾은 다음, 상기 음성데이터확인부(274)에서 상기 최근I프레임인 F1프레임과 동기되어 저장되어 있는 제 1음성데이터를 확인하고, 상기 음성데이터매칭부(275)는 상기 상기 제 2카메라에서 촬영된 영상인 제 2영상의 음성데이터들에서 상기 제 1음성데이터와 매칭되는 제 2음성데이터를 검색한다. 도 6에서 F1프레임이 상기 제 2음성데이터와 동기되어 있는 영상프레임이라고 가정하면, 상기 음성매칭영상프레임검색부(277)는 상기 제 2영상에서 상기 음성데이터매칭부에서 검색된 상기 제 2음성데이터를 갖는 영상프레임인 F1프레임을 상기 음성매칭영상프레임을 검색하게 된다.
상기 대체영상제공부(276)는 상기 음성매칭영상프레임인 F1프레임으로부터 연속되는 이후의 영상을 제공한다.
본 발명의 제 3실시예에서는 두 개의 카메라와 한 대의 인코더로 구성되는 스트리밍 영상제공 시스템을 예로 들어 설명하였지만, 상기 인코더에서 상기 두 대의 카메라로부터 획득되는 영상을 모두 인코딩하거나 아니면 두 대의 인코더가 구비되어 상기 두 대의 카메라로부터 획득되는 영상을 각각의 인코더가 각각 인코딩하거나 그 장애회복방법에 있어서는 동일한 방법이 적용되므로 어느 방식을 사용하더라도 본 발명의 제 3실시예에서 보인 발명의 사상 내에 포함되는 것이라 할 것이다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.
100 : 사용자단말 200 : 스트리밍 서버
300,310,320 : 인코더 400,410,420 : 카메라
251,261,271 : 장애인식부 252,262,272 : 장애프레임 확인부
256,266,276 : 대체영상 전송부

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 사용자 단말에 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템에 있어서,
    복수의 카메라;
    상기 각 카메라의 영상을 인코딩하기 위한 인코더부; 및
    상기 인코더부로부터 영상을 전송받아 유저에게 스트리밍 서비스를 제공하기 위한 스트리밍 서버;를 포함하고,
    상기 스트리밍 서버는 영상의 단절이나 영상지연 등의 장애 발생시 상기 장애를 회복하기 위한 장애회복장치를 포함하고,
    상기 장애회복장치는:
    상기 복수의 카메라 중 제 1카메라에서 촬영되어 스트리밍되는 제 1영상의 장애를 인식하는 장애인식부;
    스트리밍되는 제 1영상에서 장애가 발생한 프레임을 찾는 장애프레임확인부;
    상기 장애가 발생한 프레임으로부터 가장 최근 전송된 I프레임인 최근I프레임을 찾는 최근I프레임확인부;
    상기 최근I프레임에 저장되어 있는 제 1음성데이터를 확인하는 음성데이터확인부;
    상기 복수의 카메라 중에서 상기 제 1카메라가 아닌 나머지 카메라에서 촬영된 제 2영상의 음성데이터들에서 상기 제 1음성데이터와 매칭되는 제 2음성데이터를 검색하는 음성데이터매칭부; 및
    상기 제 2영상에서 상기 음성데이터매칭부에서 검색된 상기 제 2음성데이터를 갖는 영상프레임인 음성매칭영상프레임을 검색하는 음성매칭영상프레임검색부;
    상기 음성매칭영상프레임으로부터 연속되는 이후의 영상을 제공하는 대체영상제공부;를 포함하여 구성되는 것을 특징으로 하는 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템.
  7. 제 6항에 있어서,
    상기 음성매칭영상프레임은 상기 I프레임데이터인 것을 특징으로 하는 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템.
  8. 제 6항에 있어서,
    상기 인코더부는 상기 카메라들의 수에 대응하는 수의 복수의 인코더로 구성되고,
    상기 스트리밍 서버는 상기 복수의 인코더로부터 영상을 전송받아 유저에게 스트리밍 서비스를 제공하는 것을 특징으로 하는 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템.
  9. 제 7항 또는 제 8항에 있어서,
    상기 스트리밍 영상제공 시스템은 실시간 스트리밍 프로토콜(RTSP : Real-Time Streaming Protocol)에 의해 영상을 재생하는 RTSP기반의 영상제공 시스템인 것을 특징으로 하는 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템.
  10. 제 6항에 있어서,
    상기 사용자 단말은 퍼스널컴퓨터, 스마트폰 또는 스마트패드 중 어느 하나인 것을 특징으로 하는 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템.
KR1020160023229A 2016-02-26 2016-02-26 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템 KR101840005B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160023229A KR101840005B1 (ko) 2016-02-26 2016-02-26 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160023229A KR101840005B1 (ko) 2016-02-26 2016-02-26 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템

Publications (2)

Publication Number Publication Date
KR20170100847A KR20170100847A (ko) 2017-09-05
KR101840005B1 true KR101840005B1 (ko) 2018-03-19

Family

ID=59924995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160023229A KR101840005B1 (ko) 2016-02-26 2016-02-26 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템

Country Status (1)

Country Link
KR (1) KR101840005B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230018568A (ko) 2021-07-30 2023-02-07 주식회사 볼트홀 컨텐츠 영상의 스트리밍 방법, 그리고 이를 구현하기 위한 사용자 단말

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192584B1 (ko) * 2019-04-16 2020-12-17 (주)디디오넷코리아 무정지 생방송 영상 송출을 위한 엔코더 다중화 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100626419B1 (ko) * 2001-01-03 2006-09-20 노키아 코포레이션 비디오 전송에서 비트 스트림들간의 교환
JP2007500464A (ja) * 2003-07-26 2007-01-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 放送メディアのコンテンツ識別表示

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100626419B1 (ko) * 2001-01-03 2006-09-20 노키아 코포레이션 비디오 전송에서 비트 스트림들간의 교환
JP2007500464A (ja) * 2003-07-26 2007-01-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 放送メディアのコンテンツ識別表示

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230018568A (ko) 2021-07-30 2023-02-07 주식회사 볼트홀 컨텐츠 영상의 스트리밍 방법, 그리고 이를 구현하기 위한 사용자 단말

Also Published As

Publication number Publication date
KR20170100847A (ko) 2017-09-05

Similar Documents

Publication Publication Date Title
JP5731672B2 (ja) 暗黙基準フレームを用いる動画像符号化システム
US11206371B2 (en) Techniques to overcome communication lag between terminals performing video mirroring and annotation operations
US8659638B2 (en) Method applied to endpoint of video conference system and associated endpoint
JP5185104B2 (ja) カメラパラメータを利用した多視点画像の符号化装置と生成装置、及びその方法、並びにこれを行うためのプログラムが記録された記録媒体
CN105491353B (zh) 一种远程监控方法和装置
KR20120130936A (ko) 감시 시스템
JP2013502636A (ja) 遠隔データバックアップ方法及びそれを用いた遠隔データバックアップシステム
CN109155840B (zh) 运动图像分割装置及监视方法
JP7182865B2 (ja) 表示制御装置、表示制御方法、およびプログラム
KR101840005B1 (ko) 중단없는 스트리밍 서비스를 제공하는 스트리밍 영상제공 시스템
US7949193B2 (en) Apparatus and method for compressing three-dimensional stereoscopic images
US20220199120A1 (en) Image processing device, image processing method, and image processing program
JP2007053717A (ja) 静止画像を共に出力する保安監視システム
CN106341698B (zh) 视频直播处理方法和装置以及存储介质和终端设备
KR102056854B1 (ko) 아이피(ip) 비디오 월 시스템 및 이의 구동방법
JP2001169175A (ja) 撮像装置、画像受信装置及び回線交換機
US20130251033A1 (en) Method of compressing video frame using dual object extraction and object trajectory information in video encoding and decoding process
KR102056858B1 (ko) 아이피(ip) 비디오 월 시스템 및 이의 구동방법
KR101352860B1 (ko) 다중 영상 시스템 및 이를 이용한 다중 영상 디스플레이 방법
JP6416465B2 (ja) 画像監視システムおよび画像送信方法
US20160142633A1 (en) Capture apparatuses of video images
JP2003284062A (ja) 監視システム
US20190394361A1 (en) Video monitoring method, server, and video monitoring system
CN114830674A (zh) 发送装置和接收装置
CN112437278A (zh) 一种协同监控***、装置及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant