KR101795958B1 - Adaptive control method, apparatus and user device for providing video in real time network cameras - Google Patents
Adaptive control method, apparatus and user device for providing video in real time network cameras Download PDFInfo
- Publication number
- KR101795958B1 KR101795958B1 KR1020160101287A KR20160101287A KR101795958B1 KR 101795958 B1 KR101795958 B1 KR 101795958B1 KR 1020160101287 A KR1020160101287 A KR 1020160101287A KR 20160101287 A KR20160101287 A KR 20160101287A KR 101795958 B1 KR101795958 B1 KR 101795958B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame rate
- image
- frame
- bit rate
- user terminal
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44236—Monitoring of piracy processes or activities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44245—Monitoring the upstream path of the transmission network, e.g. its availability, bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H04N5/23206—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 실시간 네트워크 카메라(Real time Network Camera; RNC)에서의 적응적 영상 제공 기술에 관한 것이다.BACKGROUND OF THE
최근 네트워크 이용의 폭발적인 증가는 네트워크 환경을 제한적으로 만들었으며, 네트워크 환경의 제한적 상황에서 사용자는 영상의 화질 저하가 있더라도 끊김 없는 스트리밍 서비스를 제공 받기를 원하고 있다.Recently, explosive increase of network usage has limited the network environment. In a limited network environment, the user desires to provide continuous streaming service even if the image quality deteriorates.
따라서 네트워크 상황이 좋을 경우는 고화질의 스트리밍 서비스를 지원받지만 네트워크 상황이 나빠지게 되면 화질 저하가 생기더라도 영상이 끊기지 않도록 하는 기술이 필요하다.Therefore, if the network situation is good, high-quality streaming service is supported. However, if the network situation is deteriorated, a technique of preventing the video from being broken even if the image quality deteriorates is needed.
이러한 사용자의 요구를 해결하고자, MPEG(Moving Picture Experts Group)에서는 DASH(Dynamic Adaptive Streaming over HTTP)라는 이름으로 적응적 스트리밍 서비스 기술을 표준화하고 있다.In order to solve such a demand, the Moving Picture Experts Group (MPEG) standardizes an adaptive streaming service technology called Dynamic Adaptive Streaming over HTTP (DASH).
DASH는 사용자가 네트워크 상황을 판단 또는 예측하여 사용자 단말기(클라이언트)에서 다양한 품질로 콘텐츠가 저장되어 있는 서버로 적절한 품질의 콘텐츠를 요청함으로써 적응적 스트리밍을 할 수 있는 서비스이다.The DASH is a service capable of adaptive streaming by requesting a proper quality content from a user terminal (client) to a server in which contents are stored in various qualities by judging or predicting a network situation.
DASH에서 서버는 여러 등급의 화질을 가지는 영상 비트 스트림을 미리 생성하여 저장하고, 저장된 비트 스트림들에 대하여 서버가 HTTP 형식의 URL을 통해 사용자 단말기로 정보를 제공하게 된다.In the DASH, the server generates and stores an image bitstream having various grades of image quality in advance, and the server provides information to the user terminal through the HTTP format URL for the stored bitstreams.
사용자는 이 정보를 이용하여 자신에게 필요한 혹은 자신의 네트워크 상황에 적절한 미디어 파일에 해당하는 URL을 요청하여 미디어 파일 서비스를 제공받을 수 있다.The user can receive a media file service by requesting a URL corresponding to a media file that is necessary for him or her, using his / her information.
이와 같은 DASH의 가장 큰 장점은 사용자가 직접 자신에게 적절한 미디어 파일을 선택하기 때문에 서버에서의 자원 분배 부담이 적어져 낮은 비용으로 서비스를 제공할 수 있다는 점이며, 네트워크 상황이 나쁠 경우 사용자는 낮은 미디어 파일을 선택하여 질(quality)을 저하시키지만 끊김 없는 영상 서비스를 제공 받을 수 있다는 점이다.The biggest advantage of DASH is that users can select the appropriate media file for themselves, so that it is possible to provide low-cost services by reducing the resource distribution burden on the server. If the network situation is bad, The choice of file reduces the quality but provides seamless video service.
한편, 재난이나 사고 발생과 같은 특수 상황의 경우, 갑작스런 트래픽 양의 증가나 스위치/라우터의 고장은 전체 네트워크의 최대 비트 전송률(bits/s)의 감소를 일으키게 된다.On the other hand, in special situations such as disasters or accidents, sudden increases in traffic volume or switch / router failures result in a decrease in the maximum bit rate (bits / s) of the entire network.
이때 DASH에서 고해상도 영상을 스트리밍하는 서버가 이를 인지하지 못하고 기존의 고해상도 영상으로 스트리밍 서비스를 지속하는 경우 전송이 불가능한 상황이 발생할 수 있다.In this case, a server that streams a high-resolution image in DASH does not recognize it, and transmission may not be possible if the streaming service continues with a conventional high-resolution image.
그러나, 종래의 DASH에서는 전술한 바와 같이 끊김 없는 실시간 영상 스트리밍을 목적으로 하므로, 상기 재난이나 사고 발생과 같은 특수 상황의 경우에도 무조건 낮은 해상도의 영상 서비스를 제공하는 문제가 있다.However, since the conventional DASH aims at seamless real-time video streaming as described above, there is a problem that a low-resolution video service is unconditionally provided even in a special situation such as a disaster or an accident.
즉, 재난이나 사고 발생과 같은 특수 상황에서는 끊김이 없는 낮은 해상도의 영상 보다는 다소 끊김이 존재하더라도 일정 해상도의 영상을 제공받는 것이 현장 상황을 더 정확하게 파악하는데 도움이 될 수 있다.That is, in a special situation such as a disaster or an accident, receiving a certain resolution image may help to grasp the situation more accurately even if there is some discontinuity rather than a low resolution image which is not interrupted.
이에, 재난이나 사고와 같은 특수 상황에서 실시간 네트워크 카메라(Real time Network Camera; RNC)를 지원하는 네트워크의 전송 상태가 악화되는 경우, 전송되는 스트리밍 영상의 일부 정보들이 소실되더라도 영상의 복원이 용이하고 일정 해상도의 영상을 제공할 수 있는 방안이 요구되고 있다.Accordingly, when the transmission state of a network supporting a real-time network camera (RNC) deteriorates in a special situation such as a disaster or an accident, even if some information of the streaming image transmitted is lost, There is a demand for a method capable of providing a resolution image.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 재난이나 사고와 같은 특수 상황에서 실시간 네트워크 카메라(Real time Network Camera; RNC)를 지원하는 네트워크의 전송 상태가 악화되는 경우, 전송되는 스트리밍 영상의 일부 정보들이 소실되더라도 영상의 복원이 용이하고 일정 해상도의 영상을 제공하는 방안을 제안하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the conventional art, and it is an object of the present invention to provide a streaming video streaming apparatus, We propose a method to provide images with a certain resolution and easy to reconstruct images even if some information is lost.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 제공 장치는 촬영된 영상을 실시간으로 획득하는 영상 획득부 및 상기 획득되는 영상을 인코딩하는 인코딩부를 포함하되, 상기 인코딩부는 사용자 단말기로부터 요청된 프레임 레이트에 상응하여 GOP(Group Of Picture)의 P 프레임의 비율을 조절하여 인코딩하는 것을 특징으로 한다.In order to achieve the above object, an image providing apparatus according to an embodiment of the present invention includes an image acquiring unit for acquiring a captured image in real time, and an encoding unit for encoding the acquired image, (P frame) of a GOP (Group Of Picture) according to a frame rate requested by the user.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 사용자 단말기는 최대 비트 레이트를 이용하여 현재 네트워크의 전송 상태를 판단하는 네트워크 상태 감지부, 상기 판단된 네트워크의 상태에 상응하는 프레임 레이트를 계산하는 프레임 레이트 계산부 및 상기 계산된 프레임 레이트로 실시간 영상을 전송하도록 요청하는 메시지가 영상 제공 장치로 전송되고, 상기 영상 제공 장치로부터 상기 계산된 프레임 레이트로 실시간 영상이 수신되면, 상기 수신되는 실시간 영상을 디코딩하는 디코딩부를 포함하되, 상기 수신되는 실시간 영상은 상기 계산된 프레임 레이트에 상응하여 GOP(Group Of Picture)의 P 프레임 비율이 조절되어 인코딩되는 것을 특징으로 한다.In order to achieve the above object, a user terminal according to an embodiment of the present invention includes a network state detection unit for determining a transmission state of a current network using a maximum bit rate, a frame rate And a message requesting transmission of the real-time image at the calculated frame rate is transmitted to the image providing apparatus, and when the real-time image is received at the calculated frame rate from the image providing apparatus, And a decoding unit for decoding a real-time image, wherein the received real-time image is encoded by adjusting a P frame rate of a group of pictures (GOP) corresponding to the calculated frame rate.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 제공 장치가 영상을 제공하는 방법은 (a) 촬영된 영상을 실시간으로 획득하는 단계 및 (b) 상기 획득되는 영상을 인코딩하는 단계를 포함하되, 상기 (b) 단계는 사용자 단말기로부터 요청된 프레임 레이트에 상응하여 GOP(Group Of Picture)의 P 프레임의 비율을 조절하여 인코딩하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method for providing an image by an image providing apparatus, including the steps of: (a) acquiring a photographed image in real time; and (b) Wherein the step (b) comprises adjusting a ratio of a P frame of a GOP (Group Of Picture) according to a frame rate requested from the user terminal.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 사용자 단말기가 영상을 제공하는 방법은 (a) 최대 비트 레이트를 이용하여 현재 네트워크의 전송 상태를 판단하는 단계, (b) 상기 판단된 네트워크의 상태에 상응하는 프레임 레이트를 계산하는 단계 및 (c) 상기 계산된 프레임 레이트로 실시간 영상을 전송하도록 요청하는 메시지가 영상 제공 장치로 전송되고, 상기 영상 제공 장치로부터 상기 계산된 프레임 레이트로 실시간 영상이 수신되면, 상기 수신되는 실시간 영상을 디코딩하는 단계를 포함하되, 상기 수신되는 실시간 영상은 상기 계산된 프레임 레이트에 상응하여 GOP(Group Of Picture)의 P 프레임 비율이 조절되어 인코딩되는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of providing a video according to an embodiment of the present invention includes: (a) determining a transmission state of a current network using a maximum bit rate; (b) (C) transmitting a message requesting to transmit a real-time image at the calculated frame rate to an image providing apparatus, and transmitting the message from the image providing apparatus at the calculated frame rate And decoding the received real-time image when the real-time image is received, wherein the received real-time image is encoded with a P frame rate of a GOP (Group Of Picture) adjusted according to the calculated frame rate .
본 발명의 일 실시예에 따르면, 재난이나 사고 발생과 같은 특수 상황에서 저해상도 영상의 연속적인 스트리밍 보다는 다소 끊김이 존재하더라도 일정 해상도의 영상을 제공함으로써 현장 상황을 보다 정확하게 파악하는데 도움을 줄 수 있다.According to an embodiment of the present invention, it is possible to more accurately grasp the situation of a scene by providing a certain resolution image even if there is some discontinuity rather than continuous streaming of a low resolution image in a special situation such as a disaster or an accident.
또한, 현상 상황에 대한 정확한 파악이 가능하므로 신속한 대처 방안을 마련하는데 도움을 줄 수 있다.In addition, since it is possible to grasp the development situation accurately, it can help to prepare a quick action plan.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.
도 1은 본 발명의 일 실시예에 따른 실시간 네트워크 카메라에 대한 적응적 영상 전송 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 적응적 영상 제공 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말기의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 적응적 영상 제공 장치의 동작 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기의 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 MPD의 계층적 구조를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 HTTP 메시지의 구조를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자 단말기의 프레임 레이트와 해상도 변경을 위한 사용자 인터페이스를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 적응적 영상 제공을 도시한 도면이다.1 is a block diagram illustrating a configuration of an adaptive image transmission system for a real-time network camera according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of an adaptive image providing apparatus according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of a user terminal according to an embodiment of the present invention.
4 is a flowchart illustrating an operation of an adaptive image providing apparatus according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating an operation of a user terminal according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a hierarchical structure of an MPD according to an embodiment of the present invention.
7 is a diagram illustrating a structure of an HTTP message according to an embodiment of the present invention.
8 is a diagram illustrating a user interface for changing a frame rate and a resolution of a user terminal according to an exemplary embodiment of the present invention.
9 is a diagram illustrating an adaptive image providing according to an embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" .
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 실시간 네트워크 카메라에 대한 적응적 영상 제공 시스템의 구성을 도시한 도면이다.1 is a block diagram illustrating a configuration of an adaptive image providing system for a real-time network camera according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 실시간 네트워크 카메라에 대한 적응적 영상 제공 시스템(이하, ‘적응적 영상 제공 시스템’이라 칭함)(100)은 적응적 영상 제공 장치(110) 및 사용자 단말기(120)를 포함할 수 있다.An adaptive
참고로, 본 발명에서는 재난이나 사고 발생과 같은 특수 상황에서 갑작스런 트래픽 양의 증가나 스위치/라우터의 고장 등으로 네트워크의 전송 상태가 악화되는 상태를 가정하도록 한다.For reference, the present invention assumes a state in which the transmission state of the network deteriorates due to an abrupt increase in the amount of traffic or a failure of a switch / router in a special situation such as a disaster or an accident.
각 구성 요소를 간략히 설명하면, 적응적 영상 제공 장치(110)는 실시간 네트워크 카메라(Real time Network Camera, 이하 ‘RNC’라 칭함)를 포함하거나 RNC와 연결되어 실시간으로 영상을 획득할 수 있으며, 획득된 영상을 인코딩하여 사용자 단말기(120)로 제공할 수 있다.The adaptive
여기서 적응적 영상 제공 장치(110)는 H.264를 이용하여 인코딩을 수행할 수 있다. 물론 인코딩 형식은 H.264로 한정되는 것은 아니며, 다양한 인코딩 형식이 사용될 수 있다.Here, the adaptive
그리고 적응적 영상 제공 장치(110)는 DASH 표준과 프로토콜들을 이용하여 인코딩된 미디어 파일을 사용자 단말기(120)로 제공할 수 있다.The adaptive
또한, 적응적 영상 제공 장치(110)는 사용자 단말기(120)가 적응적 영상 제공 장치(110)와 연결 시(예를 들어 처음 연결될 때), 사용자 단말기(120)로 미디어 프리젠테이션 디스크립션(Media Presentation Description, 이하 ‘MPD’라 칭함)을 전송하여 적응적 영상 제공 장치(110)가 제공할 수 있는 미디어 파일에 대한 정보를 제공할 수 있다.In addition, the adaptive
여기서, 상기 MPD는 적응적 영상 제공 장치(110)가 제공하는 RNC의 촬영 영상인 미디어 파일에 대한 정보를 포함하는 것으로서, 각 미디어 파일의 시작 시간과 종료 시간, 사용 언어, 네트워크 대역폭, 영상의 품질과 크기, URL 정보 등을 포함할 수 있다.Here, the MPD includes information on a media file, which is an image shot by an RNC provided by the adaptive
또한, 적응적 영상 제공 장치(110)는 사용자 단말기(120)로부터 수신되는 HTTP 요청 메시지를 분석하고, 해당 요청 메시지에 포함된 프레임 레이트(frame rate)의 설정(요청) 값에 따라서, 해당 프레임 레이트로 실시간 영상을 사용자 단말기(120)로 제공할 수 있다.In addition, the adaptive
후술하겠지만, 적응적 영상 제공 장치(110)는 사용자 단말기(120)로부터 요청된 프레임 레이트에 기초하여, 실시간 영상의 화상 집합(Group Of Picture)에서 P 프레임의 비율을 조절하여 인코딩을 수행하고, P 프레임의 비율이 조절된 실시간 영상을 사용자 단말기(120)로 제공한다.As will be described later, the adaptive
여기서 ‘P 프레임의 비율을 조절’한다는 것은 P 프레임을 제거하거나, 삭제된 P 프레임의 개수를 다시 증가시킴으로써 ‘I 프레임의 비율을 조절’한다는 의미로 해석될 수 있다.Here, 'adjusting the ratio of P frames' can be interpreted as removing the P frames or increasing the number of deleted P frames to 'adjust the ratio of I frames'.
예를 들어 프레임 레이트를 감소시킬 때, 감소되는 프레임 레이트에 따라서 적절하게 P 프레임을 제거한다면, I 프레임의 비율은 증가하게 된다.For example, when reducing the frame rate, if the P frame is appropriately removed according to the decreasing frame rate, the ratio of the I frame is increased.
따라서, 연속적인 스트리밍 보다는 다소 끊김이 존재하더라도 I 프레임의 비율이 증가하므로, 정상적인 스트리밍 서비스가 어려운 상황에서 데이터가 일부 소실되어도 영상의 복원이 용이할 수 있다.Therefore, even if there is some discontinuity rather than continuous streaming, the ratio of I frames increases, so that the image can be easily restored even if a part of data is lost in a normal streaming service.
네트워크의 갑작스러운 트래픽 양의 증가나 스위치/라우터의 고장으로 인해 사용자 단말기(120)에서 정상적인 스트리밍 서비스가 이루어지지 않는 경우, 프레임 레이트를 감소시키는 것은 최대 허용 가능한 비트 레이트를 감소시키는 효과가 있다.If the normal streaming service is not performed in the
참고로, 적응적 영상 제공 장치(110)는 실시예에 따라서 RNC에 포함되거나 아파치(Apache) 웹 서버, HTTP 웹 서버 또는 미디어 콘텐츠를 제공하는 미디어 서버 등의 서버에 포함될 수 있으며, 적응적 영상 제공 장치(110)에서 영상을 획득하고 인코딩하는 구성은 RNC에, 인코딩된 미디어 파일을 사용자 단말기(120)로 전송하는 구성은 상기 서버에 각각 포함될 수도 있다.For reference, the adaptive
이하에서는, 적응적 영상 제공 장치(110)가 RNC에 포함되는 경우를 설명하도록 한다.Hereinafter, the case where the adaptive
또한, 적응적 영상 제공 장치(110)는 네트워크로 사용자 단말기(120)와 연결될 수 있다.In addition, the adaptive
참고로 네트워크는 인터넷, 미디어 방송 네트워크, IP 기반 통신 시스템 등을 포함할 수 있으며, 적응적 영상 제공 장치(110)를 사용자 단말기(120)들에 연결하는 다양한 중간 노드들을 포함하거나 그 노드들에 연결될 수 있다.For reference, the network may include the Internet, a media broadcast network, an IP-based communication system, and the like, and may include various intermediate nodes connecting the adaptive
여기서 중간 노드들은 무선 전송 포인트들, 예를 들어 eNodeB들이나 다른 이동 통신 기지국들, 네트워크 서비스 제공자 노드들, 게이트웨이들, 회사 또는 기관 등의 중간 서버들, 중계 스테이션들, 또는 액세스 포인트들을 포함할 수 있다.Wherein the intermediate nodes may include wireless transmission points, e. G., ENodeBs or other mobile communication base stations, network service provider nodes, gateways, intermediate servers such as companies or institutions, relay stations, or access points .
한편, 사용자 단말기(120)는 DASH 클라이언트로서 적응적 영상 제공 장치(110)와 전술한 네트워크를 통해 연결될 수 있으며, DASH 표준 및 프로토콜들을 이용하여 적응적 영상 제공 장치(110)로부터 스트리밍되는 실시간 영상를 수신하여 화면에 표시할 수 있다.Meanwhile, the
이를 위해 사용자 단말기(120)는 적응적 영상 제공 장치(110)와 처음 연결 시 적응적 영상 제공 장치(110)로부터 MPD를 수신하고, 수신된 MPD를 분석하여 사용자가 원하는 영상의 프레임 레이트와 해상도를 HTTP 요청 메시지에 포함시켜 적응적 영상 제공 장치(110)로 전송할 수 있다.To this end, the
만일, 갑작스러운 트래픽 양의 증가나 스위치/라우터의 고장으로 인해 스트리밍 서비스가 정상적으로 이루어지지 않는 경우, 사용자 단말기(120)는 네트워크의 전송 상태에 따른 프레임 레이트를 계산하고, 계산된 프레임 레이트로 실시간 영상이 전송되도록 요청하는 HTTP 요청 메시지를 적응적 영상 제공 장치(110)로 전송할 수 있다.If the streaming service is not normally performed due to a sudden increase in the amount of traffic or a failure of the switch / router, the
이때, 상기 요청되는 프레임 레이트는 현재 네트워크 전송 상태가 악화된 상태이므로 현재 프레임 레이트보다 더 낮은 값으로 계산될 수 있다.At this time, the requested frame rate may be calculated to be lower than the current frame rate since the current network transmission state is deteriorated.
사용자 단말기(120)는 적응적 영상 제공 장치(110)로부터 현재 프레임 레이트보다 더 낮아진 프레임 레이트로 스트리밍되는 실시간 영상을 디코딩하여 화면에 디스플레이할 수 있다.The
참고로, 사용자 단말기(120)는 적응적 영상 제공 장치(110)로부터 스트리밍되는 실시간 영상을 디코딩할 때, 적응적 영상 제공 장치(110)에서 제거한 P 프레임의 위치 및 개수에 대한 정보는 미리 약속된 규약에 따라서 파악할 수 있다.When the
만일 네트워크 전송 상태가 다시 양호해지는 경우, 사용자 단말기(120)는 네트워크의 전송 상태에 따른 프레임 레이트를 계산하고, 계산된 프레임 레이트로 실시간 영상이 전송되도록 요청 하는 HTTP 요청 메시지를 적응적 영상 제공 장치(110)로 전송할 수 있다.If the network transmission state becomes good again, the
여기서 상기 요청되는 프레임 레이트는 현재 네트워크 전송 상태가 양호한 상태이므로 현재 프레임 레이트보다 더 높은 값으로 계산될 수 있다.The requested frame rate may be calculated to be higher than the current frame rate since the current network transmission state is in a good state.
또한, 전술한 바와 같이 적응적 영상 제공 장치(110)로부터 프레임 레이트가 낮춰진 실시간 영상을 수신하더라도 여전히 스트리밍 서비스가 정상적으로 이루어지지 않는다면, 사용자 단말기(120)는 MPD를 분석한 결과에 따라서 현재 설정된 해상도보다 더 낮은 해상도(예를 들어 한 단계 낮은 해상도)로 실시간 영상이 전송되도록 요청하는 HTTP 요청 메시지를 적응적 영상 제공 장치(110)로 전송하여 해상도가 낮아진 실시간 영상을 수신할 수 있다.In addition, if the streaming service is not normally performed even if the real-time video having the lowered frame rate is received from the adaptive
이후, 한 단계 낮은 해상도에서도 여전히 스트리밍 서비스가 정상적으로 이루어지지 않는다면, 사용자 단말기(120)는 현재 네트워크의 전송 상태에 따른 프레임 레이트를 계산하고, 계산된 프레임 레이트로 실시간 영상이 전송되도록 요청하는 HTTP 요청 메시지를 적응적 영상 제공 장치(110)로 전송할 수 있다.If the streaming service is not normally performed even at a lower resolution, the
이하, 도 2 및 도 3을 참조하여 적응적 영상 제공 장치(110)와 사용자 단말기(120)의 구성을 상세하게 설명하도록 한다.Hereinafter, the configurations of the adaptive
도 2는 본 발명의 일 실시예에 따른 적응적 영상 제공 장치(110)의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of an adaptive
본 발명의 일 실시예에 따른 적응적 영상 제공 장치(110)는 영상 획득부(111), 인코딩부(112), 전송부(113), 제어부(114) 및 메모리(115)를 포함할 수 있다.The adaptive
각 구성 요소를 설명하면, 영상 획득부(111)는 RNC로부터 실시간으로 촬영되는 영상을 획득하여 인코딩부(112)로 제공할 수 있으며, 인코딩부(112)는 영상 획득부(111)로부터 제공되는 실시간 영상을 H.264로 인코딩하여 JES(JPEG Elementary Stream) 데이터 형식으로 저장할 수 있다.The
여기서 인코딩부(112)가 인코딩 시 사용하는 형식은 H.264로 한정되는 것은 아니며, 실시예에 따라서 다양한 인코딩 형식이 사용될 수 있다.Here, the format used by the
또한, 인코딩부(112)는 사용자 단말기(120)에서 요청한 프레임 레이트에 상응하여, 영상의 GOP에서 P 프레임의 비율을 조절하여 인코딩을 수행할 수 있다.In addition, the
참고로, GOP는 영상의 기본 단위로서 I 프레임(Intra frame), P 프레임(Predictive intra frame) 및 B 프레임(Bi-predictive Inter Frame)으로 구성된다.For reference, a GOP is composed of an I frame (Intra frame), a P frame (Predictive intra frame), and a B frame (Bi-predictive Inter Frame) as basic units of an image.
I 프레임은 다른 이미지를 참조하지 않고 독립적으로 디코딩 될 수 있는 프레임으로서 영상 프레임 시퀀스의 첫 번째 이미지는 항상 I 프레임이며, 새로운 뷰어를 위해서나 전송 비트 스트림이 손상된 경우 재동기화의 시작점, 빨리 감기, 되감기 또는 무작위 디코더 등을 구현하기 위해 사용된다.An I frame is a frame that can be decoded independently without reference to other images, the first image in the sequence of video frames is always an I frame and may be used for new viewers or for the beginning of a resynchronization, fast forward, rewind, It is used to implement random decoders and so on.
그리고 P 프레임은 I 프레임 및 앞서 전송된 P 프레임들을 참조하여 생성되며, 일반적으로 I 프레임보다 적은 비트를 요구하지만, 이전 P 프레임과 I 프레임에 의존하므로 전송 오류에 대해 매우 민감하다.The P frame is generated by referring to the I frame and the previously transmitted P frames, and generally requires fewer bits than the I frame, but is very sensitive to transmission errors since it relies on the previous P frame and I frame.
마지막으로 B 프레임은 이전과 이후의 프레임을 모두 참조하여 생성된다. B 프레임은 P 프레임보다 더 적은 비트를 요구하지만, 이전과 이후의 프레임을 모두 참조하는 특성 때문에 인코딩 시 I 프레임과 P 프레임에 비해 더 많은 자원을 소모한다(본 발명의 일 실시예에서는 제한된 계산 자원을 가지고 실시간으로 촬영된 영상을 인코딩하므로 GOP에서 B 프레임을 제외한 I 프레임과 P 프레임만을 사용하도록 한다).Finally, the B frame is generated by referring to both previous and subsequent frames. The B frame requires fewer bits than the P frame, but it consumes more resources in encoding than the I frame and the P frame due to the nature of referencing both the previous and subsequent frames (in one embodiment of the invention, So that only the I frame and the P frame excluding the B frame are used in the GOP).
전술한 바와 같은 I 프레임과 P 프레임의 특성으로 인해, 인코딩된 영상을 사용자 단말기(120)로 전송 시 네트워크의 불안정 등으로 P 프레임이 소실되더라도, 사용자 단말기(120)는 I 프레임을 통해 디코딩이 가능하므로 영상을 복원할 수 있다.Due to the characteristics of the I frame and the P frame, when the encoded image is transmitted to the
그러나, 영상을 전송하는 도중 I 프레임이 소실된다면 해당 영상의 복원은 불가능하게 된다.However, if the I frame is lost during the transmission of the video, the video can not be restored.
결국, 네트워크의 갑작스러운 트래픽 양의 증가나 스위치/라우터의 고장 등으로 인해 네트워크가 불안정한 상태에서, 영상을 인코딩 시 일정 해상도를 가지는 I 프레임의 비율을 높인다면, 사용자 단말기(120)는 네트워크가 불안정한 상태에서도 일정 해상도의 영상을 복원하기가 용이할 수 있다.As a result, if the network is unstable due to an abrupt increase in the amount of traffic in the network, a failure of the switch / router, or the like, the
이때, I 프레임의 비율을 높이기 위해 본 발명의 일 실시예에서는 하나 이상의 P 프레임을 제거할 수 있다.At this time, one or more P frames may be removed in an embodiment of the present invention in order to increase the ratio of I frames.
그런데, 전술한 바와 같이 P 프레임을 제거하여 I 프레임의 비율을 높이는 것은 네트워크가 불안정한 상태이기 때문이며, 네트워크가 불안정한 상태에서는 허용 가능한 최대 비트 레이트가 감소될 수 밖에 없다.However, as described above, removing the P frame to increase the ratio of the I frame is because the network is in an unstable state. In a state where the network is unstable, the maximum allowable bit rate is inevitably reduced.
이에, 사용자 단말기(120)는 현재 네트워크의 최대 비트 레이트를 고려한 프레임 레이트를 계산하고, 계산된 프레임 레이트(현재 프레임 레이트보다 더 낮은 프레임 레이트)로 실시간 영상이 전송되도록 요청하며, 인코딩부(112)는 사용자 단말기(120)에서 요청된 프레임 레이트에 상응하여P 프레임을 제거할 수 있다.Accordingly, the
따라서, 더 낮아진 프레임 레이트로 실시간 영상을 스트리밍하므로 사용자 단말기(120)에서 재생되는 영상은 다소 끊김이 있겠지만, P 프레임이 제거된 만큼 I 프레임의 비율이 증가하였으므로, 사용자 단말기(120)는 네트워크가 불안정한 상태에서도 일정 해상도의 영상을 용이하게 복원하여 화면에 디스플레이할 수 있다.Accordingly, since the real-time image is streamed at a lower frame rate, the image reproduced by the
또한, 네트워크가 다시 안정적인 상태가 되어, 사용자 단말기(120)로부터 현재 네트워크의 최대 비트 레이트를 고려한 프레임 레이트(현재 프레임 레이트보다 더 높은 프레임 레이트)로 실시간 영상이 전송되도록 요청하는 요청 메시지가 수신되면, 인코딩부(112)는 사용자 단말기(120)에서 요청된 프레임 레이트에 상응하여 P 프레임을 다시 증가시켜 실시간 영상을 인코딩할 수 있다.Also, when the network becomes stable again and a request message is received from the
인코딩부(112)는 전술한 바와 같이 사용자 단말기(120)로부터 요청되는 프레임 레이트에 따라서 P 프레임의 비율을 조절하여 인코딩을 수행할 수 있으며, 사용자 단말기(120)는 미리 정해진 규약에 따라서, 인코딩 시 제거되는 P 프레임의 개수와 위치를 파악할 수 있다.The
한편, 전송부(113)는 사용자 단말기(120)와 처음 연결 시, 사용자 단말기(120)로 MPD를 제공할 수 있으며, 사용자 단말기(120)로부터 수신되는 HTTP 요청 메시지에 대한 HTTP 응답 메시지를 생성하여 전송할 수 있다.Meanwhile, when first connecting to the
여기서, MPD는 적응적 영상 제공 장치(110)가 제공할 수 있는 실시간 영상의 미디어 파일에 대한 정보를 포함할 수 있다.Here, the MPD may include information on a media file of a real-time image that the adaptive
사용자 단말기(120)에서 전송하는 HTTP 요청 메시지와, 전송부(113)에서 전송하는 HTTP 응답 메시지에 대해서는 도 7을 참조하여 후술하도록 한다.An HTTP request message transmitted from the
참고로, HTTP는 양방향이 아니기 때문에 사용자 단말기(120)가 적응적 영상 제공 장치(110)로 HTTP 요청 메시지을 전송해야만 적응적 영상 제공 장치(110)가 HTTP 응답 메시지를 전송 할 수 있다.For reference, since the HTTP is not bidirectional, the adaptive
또한, 전송부(113)는 사용자 단말기(120)와 연결되었을 때, 기본으로 설정된 프레임 레이트와 해상도로 실시간 영상을 사용자 단말기(120)로 제공할 수 있다.When the
또한, 전송부(113)는 사용자 단말기(120)로부터 수신되는 HTTP 요청 메시지에 설정된 프레임 레이트와 해상도로 실시간 영상을 사용자 단말기(120)로 제공할 수 있다.Also, the
한편, 제어부(114)는 적응적 영상 제공 장치(110)의 상기 구성 요소들, 즉, 영상 획득부(111), 인코딩부(112), 전송부(113)가 전술한 동작을 수행하도록 제어할 수 있으며, 메모리(115) 또한 제어할 수 있다.The
한편, 메모리(115)는 제어부(114)가 적응적 영상 제공 장치(110)의 상기 구성 요소들이 전술한 동작을 수행하도록 제어하는 알고리즘과 해당 제어 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.The
도 3은 본 발명의 일 실시예에 따른 사용자 단말기(120)의 구성을 도시한 도면이다.3 is a diagram illustrating a configuration of a
본 발명의 일 실시예에 따른 사용자 단말기(120)는MPD 분석부(121), 디코딩부(122), 네트워크 상태 감지부(123), 프레임 레이트 계산부(124), 해상도 변경 설정부(125), 제어부(126) 및 메모리(127)를 포함할 수 있다.The
참고로, 사용자 단말기(120)는 스마트폰, 휴대폰, PDA, PMP, 태블릿 컴퓨터 등이 이동 통신 단말기와 데스크탑 컴퓨터, 노트북 컴퓨터, TV와 연결되는 셋탑 박스 등 네트워크를 통해 적응적 영상 제공 장치(110)와 연결되어 이하의 동작을 수행할 수 있는 모든 장치를 포함할 수 있다.The
또한, 사용자 단말기(120)에는 본 발명의 실시예에 따른 적응적 영상 제공을 위한 애플리케이션이 설치될 수 있으며, 애플리케이션의 구동에 의해서 이하의 동작이 수행될 수 있다.In addition, an application for providing an adaptive image according to an embodiment of the present invention may be installed in the
각 구성 요소를 설명하면, MPD 분석부(121)는 사용자 단말기(120)가 적응적 영상 제공 장치(110)와 처음으로 연결될 때 수신된 MPD를 분석하여, 적응적 영상 제공 장치(110)에서 제공 가능한 실시간 영상에 대한 다양한 정보, 예를 들어 각 영상의 유지 기간과 유지 기간 동안의 비트 레이트, 인코딩 버전, 각 영상에 대해 요청 가능한 프레임 전송 속도와 해상도에 대한 정보 등을 획득할 수 있다.The
MPD의 구체적인 내용에 대해서는 도 6을 참조하여 후술하도록 한다.Details of the MPD will be described later with reference to FIG.
한편, 디코딩부(122)는 적응적 영상 제공 장치(110)로부터 수신되는 영상을 디코딩할 수 있다.Meanwhile, the
참고로, 디코딩부(122)는 적응적 영상 제공 장치(110)에서 영상을 인코딩 시 P 프레임의 비율이 조절된 경우, 미리 정해진 규약에 따라서, 인코딩 시 제거된 P 프레임의 개수와 위치를 파악할 수 있다.For reference, when the ratio of the P frame is adjusted when the image is encoded by the adaptive
그리고, 네트워크의 갑작스러운 트래픽 양의 증가나 스위치/라우터의 고장 등으로 인해 네트워크가 불안정한 상태에서도, 인코딩 시 제거된 P 프레임으로 인해 I 프레임의 비율이 증가되므로 디코딩부(122)는 일정 해상도의 영상을 용이하게 복원할 수 있다.Also, even when the network is unstable due to a sudden increase in the traffic amount of the network or a failure of the switch / router, the ratio of the I frame is increased due to the P frame removed in the encoding, Can be easily restored.
한편, 네트워크 상태 감지부(123)는 현재 네트워크 전송 상태를 감지하고 판단할 수 있다. 여기서, ‘네트워크 전송 상태’는 현재 네트워크의 최대 비트 레이트를 이용하여 판단할 수 있다.Meanwhile, the network
일 실시예로서, 미리 정해진 각 상태(예를 들어 좋음, 보통, 나쁨 등)별 임계 값을 기준으로 현재의 최대 비트 레이트가 속한 범위를 현재 네트워크 전송 상태로 판단할 수 있다.In one embodiment, the range of the current maximum bit rate may be determined to be the current network transmission state based on a threshold value for each predetermined state (for example, good, normal, bad, etc.).
구체적으로, 네트워크 상태 감지부(123)는 적응적 영상 제공 장치(110)와 사용자 단말기(120) 사이의 최대 비트 레이트를 아래의 [수학식 1]과 [수학식 2]를 이용하여 계산할 수 있다.More specifically, the network
여기서, ‘C’는 프레임 하나를 표현하는데 필요한 비트 수(bits)이며,‘W’와 ‘H’는 전송하려는 영상의 해상도에 따른 높이와 너비에 해당하는 픽셀 수이다.Here, 'C' is the number of bits required to represent one frame, and 'W' and 'H' are the number of pixels corresponding to the height and width according to the resolution of the image to be transmitted.
그리고 ‘B’는 하나의 픽셀 당의 비트 수(bits/pixel)이며 ‘A’는 영상의 압축률이다.'B' is the number of bits per pixel (bits / pixel) and 'A' is the compression ratio of the image.
참고로, 영상의 압축률은 적응적 영상 제공 장치(110)가 사용하는 압축 방식에 따라 상이하며 0에서 1의 사이의 값을 가질 수 있다. 그리고 상기 [수학식 1]을 계산하는데 필요한 각 파라미터 값은 MPD 분석부(121)에서 MDP를 분석한 결과로부터 획득될 수 있다.For reference, the compression rate of an image differs depending on a compression method used by the adaptive
여기서, ‘R’은 최대 비트 레이트이고, ‘C’는 전송된 프레임들의 비트 수이며, ‘T’는 전송된 프레임들의 비트 수를 모두 더한 값을 전송하는데 경과한 시간이다.Here, 'R' is the maximum bit rate, 'C' is the number of bits of the transmitted frames, and 'T' is the elapsed time to transmit the sum of the number of bits of the transmitted frames.
즉, 현재 네트워크의 최대 비트 레이트는 이전에 전송된 프레임 용량 정보와 전송 시간 정보에 기초하여 계산될 수 있다.That is, the maximum bit rate of the current network can be calculated based on the previously transmitted frame capacity information and transmission time information.
네트워크 상태 감지부(123)는 일정 주기 마다 또는 프레임 레이트나 해상도가 변경된 경우 계산되어 갱신될 수 있다.The network
한편, 프레임 레이트 계산부(124)는 네트워크 상태 감지부(123)에서 계산된 현재 네트워크의 전송 상태에 따른 프레임 레이트를 계산할 수 있다. Meanwhile, the
앞서 설명하였지만, 본 발명은 네트워크가 불안정한 상태에서도 P 프레임의 비율을 조절하여 영상의 복원이 용이하도록 하되, 다소 끊김이 발생하더라도 일정 해상도의 영상이 제공되도록 하는 것을 하나의 목적으로 한다.As described above, it is an object of the present invention to provide a method and apparatus for adjusting a ratio of a P frame so as to facilitate image restoration even when the network is unstable.
따라서, 현재 네트워크가 불안정한 상태라고 판단되기 이전의 영상 해상도를 유지하면서, 현재 네트워크의 전송 상태에 적합한 프레임 레이트를 찾기 위해 다음과 같은 방법을 사용할 수 있다.Therefore, the following method can be used to find the frame rate suitable for the current transmission state of the network while maintaining the video resolution before the current network is determined to be unstable.
일 실시예로서, 프레임 레이트 계산부(124)는 아래의 [수학식 3]과 [수학식 4]를 이용하여 현재 네트워크의 상태(최대 비트 레이트 R)에 적합한 프레임 레이트 F(이하 ‘적응적 프레임 레이트’라 칭함)를 계산할 수 있다.In one embodiment, the
프레임 레이트 계산부(124)는 [수학식 3]과 [수학식 4]를 이용하여 계산된 적응적 프레임 레이트가 새로운 HTTP 요청 메시지를 통해 적응적 영상 제공 장치(110)로 전송되도록 할 수 있다.The
참고로, 전술한 바와 같이 전송 프레임 레이트를 한 번에 계산하게 되면 현재의 네트워크 전송 상태에 빠르게 대응할 수 있는 장점이 있다.For reference, if the transmission frame rate is calculated at a time as described above, there is an advantage that it can cope with the current network transmission state quickly.
현재 네트워크의 전송 상태에 적합한 프레임 레이트를 찾는 다른 실시예로서, 프레임 레이트 계산부(124)는 일정 시간 동안(x초)의 비트 레이트 평균 값(D)과 최대 비트 레이트(R)를 주기적으로 비교하여 적응적 프레임 레이트(F)를 계산할 수 있다.The
구체적으로, 1) D > R인 경우, 2) D << R인 경우 및 3) D≤R 인 경우에 따라서 적응적 프레임 레이트는 달라질 수 있다.Concretely, the adaptive frame rate may vary depending on 1) D> R, 2) D << R, and 3) D? R.
먼저 1) D > R인 경우는 현재 네트워크의 비트 레이트가 최대 비트 레이트보다 높은 경우로서, 프레임 레이트 계산부(124)는 비트 레이트가 현재보다 낮게 조절되도록 프레임 레이트를 계산할 수 있다.First, in the case of 1) D> R, the
이 경우 적응적 영상 제공 장치(110)에서는 P 프레임의 비율을 낮게 조절하여 인코딩하게 되므로 상대적으로 I 프레임의 비율이 증가하게 된다.In this case, in the adaptive
또한, 2) D << R인 경우는 현재 네트워크의 비트 레이트가 최대 비트 레이터보다 월등히 낮은 경우로서, 프레임 레이트 계산부(124)는 비트 레이트가 이전보다 높은 상황에서 영상이 제공되도록 프레임 레이트를 계산할 수 있다.2) If D << R, the
이 경우 적응적 영상 제공 장치(110)에서는 영상 규격에 지정된 전송 프레임 레이트의 범위 내에서 P 프레임의 비율을 높여 인코딩하게 된다.In this case, in the adaptive
마지막으로 3) D≤R 인 경우는 현재 네트워크의 비트 레이트와 최대 비트 레이트가 비슷한 경우(즉, 동일하거나 미리 정해진 범위 내에 속하는 경우)로서, 프레임 레이트 계산부(124)는 현재 프레임 레이트가 유지되도록 할 수 있다.Lastly, if D < R, the
프레임 레이트 계산부(124)는 전술한 방법으로 계산된 적응적 프레임 레이트로 영상을 전송해줄 것을 요청하는 HTTP 요청 메시지를 적응적 영상 제공 장치(110)로 전송할 수 있다.The frame
한편, 해상도 변경 설정부(125)는 프레임 레이트 계산부(124)에서 계산된 프레임 레이트가 미리 정해진 임계 값 미만이면, 적응적 영상 제공 장치(110)가 제공하는 영상의 허용 가능한 해상도에 따라서, 적응적 영상 제공 장치(110)로 해상도 변경을 요청할 수 있다.On the other hand, if the frame rate calculated by the
이는, 사용자 단말기(120)가 적응적 영상 제공 장치(110)와 처음 연결 시 수신한 MPD에 대한 분석 결과에 기반한 것으로서, 해상도 변경 설정부(125)는 MPD 분석부(121)에서 분석된 결과에 기반하여 적응적 영상 제공 장치(110)가 제공하는 해상도를 알고 있으므로, 허용 가능한 해상도를 사용자에게 선택하도록 하고, 사용자가 선택한 해상도로 영상을 전송해줄 것을 요청하는 HTTP 요청 메시지를 적응적 영상 제공 장치(110)로 전송할 수 있다.This is based on the analysis result of the MPD received when the
물론, 사용자가 해상도를 선택하지 않고, 해상도 변경 설정부(125)가 현재의 해상도보다 낮은 해상도를 단계적으로 선택하여 HTTP 요청 메시지를 전송할 수도 있다.Of course, the user may not select the resolution, and the resolution
전술한 바와 같이 프레임 레이트 계산부(124)의 계산에 따라서 프레임 레이트를 낮추는 경우, 사용자의 입장에서는 끊김이 존재하는 영상을 시청하게 되지만, 재난 또는 사고 발생 현장에 대한 정확하고 명확한 영상(이전과 동일한 해상도임)을 서비스 받음으로써 RNC의 중요한 역할인 관찰 또는 감시의 역할을 수행해나갈 수 있게 된다.As described above, when the frame rate is lowered according to the calculation of the frame
만일 네트워크의 심각한 문제 발생으로 인해 최대 비트 레이트 자체가 급격하게 낮아져 허용 가능한 프레임 레이트 역시 급격하게 낮게 계산되는 경우 해상도를 적절하게 조정하여 문제를 해결할 수 있다.If the maximum bit rate itself drops sharply due to a serious problem in the network, and the allowable frame rate is also rapidly reduced, the problem can be solved by appropriately adjusting the resolution.
한편, 제어부(126)는 사용자 단말기(120)의 구성 요소들, 즉, MPD 분석부(121), 디코딩부(122), 네트워크 상태 감지부(123), 프레임 레이트 계산부(124) 및 해상도 변경 설정부(125)가 각각 전술한 동작들을 수행하도록 제어할 수 있으며, 메모리(127) 또한 제어할 수 있다.The
한편, 메모리(127)는 제어부(126)가 사용자 단말기(120)의 상기 구성 요소들이 각각 전술한 동작을 수행하도록 제어하는데 필요한 알고리즘과, 제어 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.Meanwhile, the
도 4는 본 발명의 일 실시예에 따른 적응적 영상 제공 장치(110)의 동작 과정을 도시한 흐름도이다.4 is a flowchart illustrating an operation process of the adaptive
참고로, 적응적 영상 제공 장치(110)는 RNC를 통해서 촬영되는 실시간 영상을 인코딩하여 저장하고 있는 상태이다.For reference, the adaptive
먼저, 적응적 영상 제공 장치(110)는 사용자 단말기(120)와 처음으로 연결 시 MPD를 사용자 단말기(120)로 제공한다(S401).First, the adaptive
S401 후, 적응적 영상 제공 장치(110)는 MPD에 기본으로 설정된 프레임 레이트와 해상도로 실시간 영상을 사용자 단말기(120)로 제공한다(S402).After S401, the adaptive
S402 후, 적응적 영상 제공 장치(110)는 사용자 단말기(120)로부터 HTTP 요청 메시지를 수신하고 이를 분석한다(S403).After S402, the adaptive
S403 결과, 네트워크의 불안정으로 인한 프레임 레이트 조절 요청인 경우, 적응적 영상 제공 장치(110)는 HTTP 요청 메시지에 설정된 프레임 레이트에 상응하여 GOP의 P 프레임 비율을 낮춰 인코딩을 수행한다(S404).If it is determined in step S403 that the frame rate adjustment request is due to instability of the network, the adaptive
S404 후, 적응적 영상 제공 장치(110)는 P 프레임 비율을 낮춰 인코딩한 영상에 대한 정보를 포함하는 HTTP 응답 메시지를 생성하여 사용자 단말기(120)로 전송한다(S405).After step S404, the adaptive
이때 적응적 영상 제공 장치(110)는 촬영된 영상의 협정 시계시(Coordinated Universal Time; UTC) 및 실시간으로 촬영하는 RNC의 주변에 위치하는 하나 이상의 센서로부터 획득되는 센싱 정보 중 하나 이상을 HTTP 응답 메시지에 더 포함시킬 수 있다.At this time, the adaptive
S405 후, 적응적 영상 제공 장치(110)는 P 프레임의 비율을 낮춰 인코딩된 실시간 영상을 HTTP 요청 메시지에 설정된 프레임 레이트로 사용자 단말기(120)로 제공한다(S406).After step S405, the adaptive
S406 후, 적응적 영상 제공 장치(110)는 S403의 과정을 수행한다.After S406, the adaptive
그 결과 네트워크의 불안정으로 인한 해상도 조절 요청인 경우, 적응적 영상 제공 장치(110)는 HTTP 요청 메시지에 설정된 해상도로 인코딩을 수행한다(S407).As a result, in the case of a resolution adjustment request due to network instability, the adaptive
S407 후, 적응적 영상 제공 장치(110)는 해상도를 변경하여 인코딩된 영상에 대한 정보를 포함하는 HTTP 응답 메시지를 생성하여 사용자 단말기(120)로 전송한다(S408).After step S407, the adaptive
S408 후, 적응적 영상 제공 장치(110)는 해상도를 변경하여 인코딩된 실시간 영상을 HTTP 요청 메시지에 설정된 프레임 레이트로 사용자 단말기(120)로 제공한다(S409).After step S408, the adaptive
참고로, 도 4에서는 사용자 단말기(120)의 요청에 따라서 프레임 레이트를 먼저 변경하고 그 이후에 해상도를 변경하는 것으로 설명하였지만, 실시예에 따라서 해상도를 먼저 변경하고 그 이후에 프레임 레이트를 변경할 수 있다.4, the frame rate is changed first according to a request from the
또한, 실시예에 따라서는 HTTP 요청 메시지에 프레임 레이트와 해상도에 대한 변경 요청이 모두 포함될 수 있으며, 이 경우 프레임 레이트와 해상도를 함께 변경할 수도 있다.In addition, according to the embodiment, the HTTP request message may include both the frame rate and the change request for the resolution. In this case, the frame rate and the resolution may be changed together.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기의 동작 과정을 도시한 흐름도이다.5 is a flowchart illustrating an operation of a user terminal according to an embodiment of the present invention.
적응적 영상 제공 장치(110)와 처음 연결 시, 사용자 단말기(120)는 적응적 영상 제공 장치(110)로부터 MPD를 수신하고 이를 분석한다(S501).Upon initial connection with the adaptive
S501 후, 사용자 단말기(120)는 적응적 영상 제공 장치(110)로부터 MPD에 기본으로 설정된 프레임 레이트와 해상도의 미디어 스트림을 제공받는다(S502).After step S501, the
S502 후, 사용자 단말기(120)는 현재 네트워크의 상태를 판단하여 프레임 레이트를 계산한다.After S502, the
즉, 최대 비트 레이트(R)를 계산하고 최근 x초 동안의 비트 레이트 평균인 현재 비트 레이트(D)와 비교한다(S503).That is, the maximum bit rate R is calculated and compared with the current bit rate D which is the bit rate average for the latest x seconds (S503).
S503 결과, D > R인 경우, 사용자 단말기(120)는 비트 레이트가 현재보다 낮게 조절되도록 프레임 레이트를 계산한다(S504).As a result of S503, if D> R, the
즉, P 프레임의 비율을 낮게 조절되도록 프레임 레이트를 계산한다.That is, the frame rate is calculated so that the ratio of the P frame is controlled to be lower.
만일 S503 결과, D << R인 경우, 사용자 단말기(120)는 비트 레이트가 이전보다 높은 상황에서 실시간 영상이 제공되도록 프레임 레이트를 계산한다(S505).If it is determined in step S503 that D << R, the
즉, 영상 규격에 지정된 전송 프레임 레이트의 범위 내에서 P 프레임의 비율이 높아지도록 프레임 레이트를 계산한다.That is, the frame rate is calculated such that the ratio of the P frame is higher within the range of the transmission frame rate specified in the video standard.
만일 S503 결과, D≤R 인 경우, 사용자 단말기(120)는 현재 프레임 레이트가 그대로 유지되도록 한다(S506).If it is determined in step S503 that D? R, the
S504 또는 S505 후, 사용자 단말기(120)는 계산된 프레임 레이트로 영상을 전송해줄 것을 요청하는 HTTP 요청 메시지를 생성하여 적응적 영상 제공 장치(110)로 전송한다(S507).After step S504 or step S505, the
S507 후, 사용자 단말기(120)는 전술한 과정을 통해 계산된 프레임 레이트가 미리 정해진 임계 값 미만이면, MPD 분석에 기반한 영상의 허용 가능한 해상도에 따라서, 적응적 영상 제공 장치(110)로 해상도 변경을 요청하는 HTTP 요청 메시지를 생성하여 적응적 영상 제공 장치(110)로 전송한다(S508).After step S507, when the frame rate calculated through the above-described process is less than a predetermined threshold value, the
참고로, 도 5에서는 사용자 단말기(120)가 현재 네트워크의 상태에 따라서 프레임 레이트 변경을 먼저 요청하고 그 이후에 해상도 변경을 요청하는 것으로 설명하였지만, 실시예에 따라서 해상도 변경을 먼저 요청하고 그 이후에 프레임 레이트 변경을 요청할 수 있다.5, the
또한, 실시예에 따라서는 프레임 레이트와 해상도 변경을 함께 요청할 수도 있다.Also, depending on the embodiment, the frame rate and the resolution change may be requested together.
도 6은 본 발명의 일 실시예에 따른 MPD의 계층적 구조를 도시한 도면이다.FIG. 6 is a diagram illustrating a hierarchical structure of an MPD according to an embodiment of the present invention.
MPD(Media Presentation Description)는 XML 형식의 디스크립션으로서, 사용자 단말기(120)는 적응적 영상 제공 장치(110)와 처음 연결 시 적응적 영상 제공 장치(110)로부터 MPD를 수신할 수 있다.The MPD (Media Presentation Description) is a description in XML format. The
MPD는 하나 이상의 Period로 구성되어 있고, 각 Period는 Adaptation set들로 구성되어 있으며, 각 Adaptation set들은 하나 이상의 Representation으로 구성되어 있으며 각 Representation들은 하나 이상의 Segment로 구성된다.MPD consists of one or more Periods, each Period consists of adaptation sets, each Adaptation Set consists of one or more Representations and each Representation consists of one or more Segments.
MPD의 하위 레벨인 Period는 MPD 내의 미디어 파일을 일정한 시간 간격으로 잘라주는 역할을 하고, Period의 하위 레벨인 Adaptation set은 미디어 파일의 언어, 네트워크 대역폭 등이 기술되어 있으며, Adaptation set 의 하위 레벨인 Representation은 영상의 품질과 크기 등을 기술하고, Segment는 미디어 파일을 전송하기 위한 최소 단위로 URL 정보를 포함한다.The lower level of the MPD, Period, cuts the media files in the MPD at regular intervals. The adaptation set, which is a lower level of the Period, describes the media file language and network bandwidth. Describes the quality and size of the image, and the segment includes URL information as a minimum unit for transmitting the media file.
즉, MPD는 미디어 파일의 서비스 시작과 끝 시간, 영상 정보, 콘텐츠의 특성, URL 정보 등을 포함하고 있다.That is, MPD includes service start and end times of media files, image information, characteristics of contents, and URL information.
DASH 시스템에서 사용자 단말기(120)는 MPD XML 파일을 분석하고, MPD에 포함된 정보에 기초하여 자신에게 적합한 Adaptation set과 Representation을 선택할 수 있다.In the DASH system, the
그에 따라 적응적 영상 제공 장치(110)가 해당 Representation의 Segment들을 전송하면 사용자 단말기(120)는 버퍼에 Segment를 저장하고, 버퍼에 충당된 Segment에 해당하는 멀티미디어 파일을 재생한다.Accordingly, when the adaptive
Segment는 DASH 시스템에서 미디어 데이터를 표현 할 수 있는 가장 작은 단위의 데이터 유닛이며, 멀티미디어 파일은 버퍼에 Segment가 충당 되어야만 플레이될 수 있다.A segment is the smallest unit of data that can represent media data in a DASH system. Multimedia files can only be played if a segment is allocated to the buffer.
즉, 멀티미디어 데이터는 다중의 Segment들로 나누어져 구성된다. 각각의 Segment는 고유한 URL를 할당 받고, Segment의 순서와 시작 시간, 지속 시간(duration)을 가지고 있다.That is, the multimedia data is divided into multiple segments. Each segment is assigned a unique URL, and has a sequence of segments, a start time, and a duration.
Representation은 Segment를 포함하는 레벨로서, 각각의 Representation은 영상의 비트 레이트, 즉 영상의 품질에 따라 분류된다.Representation is a level that includes a segment, and each Representation is classified according to the bit rate of the image, that is, the quality of the image.
Representation은 영상의 품질을 나타내 주기 때문에, 높은 품질의 Representation을 선택하는 것이 QoS를 보장할 수 있다.Representation represents the quality of the image, so choosing a high quality representation can guarantee QoS.
사용자 단말기(120)는 자신과 적응적 영상 제공 장치(110) 간의 최대 비트 레이트를 계산하고, 최대 비트 레이트를 넘지 않는 Representation 을 선택할 수 있다.The
도 7은 본 발명의 일 실시예에 따른 HTTP 메시지의 구조를 도시한 도면이다.7 is a diagram illustrating a structure of an HTTP message according to an embodiment of the present invention.
HTTP 응답 메시지와 요청 메시지의 형태는 기본적인 HTTP 프로토콜의 메시지를 따른다.The HTTP response message and the form of the request message follow the message of the basic HTTP protocol.
HTTP 요청 메시지에서, 사용자 단말기(120)는 프레임 레이트 변경에 관한 내용을 HTTP 요청 메시지 내 헤더에 추가할 수 있다.In the HTTP request message, the
또한, HTTP 응답 메시지에서, 적응적 영상 제공 장치(110)는 HTTP 응답 메시지의 헤더에 UTC(Coordinated Universal Time) 시간 정보 및 온도 감지 센서나 가스 누출 감지 센서 등으로부터 획득되는 센싱 정보 중 하나 이상을 추가할 수 있다.In addition, in the HTTP response message, the adaptive
상기 추가되는 정보는 Header field name에 정의되고 value에 그 헤더에 해당되는 값이 저장되어 메시지의 형태를 갖게 된다The added information is defined in a header field name, and a value corresponding to the header is stored in a value to have the form of a message
참고로, HTTP는 기본적으로 전송 계층 프로토콜 TCP를 사용하지만, 본 발명에서는 네트워크의 상태가 악화됨에 따라 신뢰성을 위한 TCP의 부가적인 동작 간소화, 패킷 전송 오류 등이 중요하지 않을 경우 등에는 실시간 정보에 송수신단의 포트 정보만 입력되어 있는 UDP 프로토콜을 사용할 수 있다.For reference, HTTP basically uses the transport layer protocol TCP. However, in the present invention, when the state of the network deteriorates and the simplification of the additional operation of the TCP for reliability and the packet transmission error are not important, It is possible to use the UDP protocol in which only the port information of the terminal is inputted.
즉, 전송 계층 프로토콜의 적응적 전환 방식을 도입하여 제어 메시지는 TCP를 이용하고, 실시간 영상인 미디어 데이터는 UDP를 사용하여 높은 해상도의 영상을 비교적 빠른 시간에 전송할 수 있다.That is, by adopting the adaptive switching method of the transport layer protocol, it is possible to transmit a high resolution image in a comparatively short time by using TCP as a control message and UDP as a media data as a real time image.
도 8은 본 발명의 일 실시예에 따른 사용자 단말기의 프레임 레이트와 해상도 변경을 위한 사용자 인터페이스를 도시한 도면이다.8 is a diagram illustrating a user interface for changing a frame rate and a resolution of a user terminal according to an exemplary embodiment of the present invention.
도 8에 도시된 바와 같이, 현재 네트워크의 상태에 따라서 프레임 레이트와 해상도를 변경할 수 있다.As shown in FIG. 8, the frame rate and the resolution can be changed according to the current state of the network.
프레임 레이트의 변경하는 경우, 현재 네트워크의 상태에 따라서 사용자 단말기(120)에 의해 계산된 프레임 레이트가 화면에 표시될 수 있다.In the case of changing the frame rate, the frame rate calculated by the
그리고 해상도를 변경하는 경우, 현재의 해상도보다 한 단계 낮은 해상도에 표시가 되어 사용자가 해당 해상도로 변경을 요청하도록 할 수 있다.When the resolution is changed, the resolution is displayed at a lower resolution than the current resolution, and the user can request the resolution to be changed to the resolution.
이때, MPD에 기록된 변경 가능한 해상도의 범위도 함께 표시될 수 있다.At this time, the range of the changeable resolution recorded in the MPD can also be displayed together.
도 9는 본 발명의 일 실시예에 따른 적응적 영상 제공을 도시한 도면이다.9 is a diagram illustrating an adaptive image providing according to an embodiment of the present invention.
해상도 1080p(1920x1080)의 HD 화질과 80% 이상의 압축률을 제공하는 CCTV가 초당 30개의 프레임을 전송하는 RNC-DASH에서 H.264 스펙에 근거하여 최대 비트 전송률을 20Mbps로 가정하면 도 9의 (a)와 같다.Assuming that the maximum bit rate is 20Mbps based on the H.264 specification in the RNC-DASH, in which the CCTV providing the HD picture quality of 1080p (1920x1080) and the compression rate of 80% or more transmits 30 frames per second, .
평상시에는 20Mbps를 지원하는 네트워크의 상태가 재난 발생과 같은 특정한 상황에 이르게 되어 최대 비트 전송률이 2Mbps로 급격히 감소된 경우가 도 9의 (b)와 같다.In the normal case, the state of the network supporting 20 Mbps leads to a specific situation such as the occurrence of a disaster, so that the maximum bit rate is drastically reduced to 2 Mbps as shown in FIG. 9 (b).
만일 적응적 영상 제공 장치(110)가 평상시와 동일하게 1080p의 해상도와 30의 프레임 레이트로 전송을 하게 되면, 사용자 단말기(120)에서는 정상적인 스트리밍 서비스가 불가능하게 된다.If the adaptive
이때 전술한 바와 같이, 사용자 단말기(120)는 현재 네트워크의 최대 비트 레이트에 상응하는 적응적 프레임 레이트(3 frames/s)를 계산하고, RNC-DASH 요청 메시지를 통해 현재보다 낮은 프레임 레이트(3 frames/s)로 실시간 영상이 전송되도록 요청한다(도 9의 (c)).At this time, as described above, the
만일 요청하는 적응적 프레임 레이트 3 frames/s가 사용자 입장에서 실시간 영상 서비스에 있어 효용성이 없어지는 문제가 발생하게 되면, 즉, 실시간 영상 서비스에 있어 효용성이 없어지는 미리 정해진 임계 값 미만이면, MPD에 기록된 정보에 근거하여 적응적 영상 제공 장치(110)가 지원하는 해상도 중 현재보다 낮은 해상도를 선택하게 되고, 다시 계산된 결과의 적응적 프레임 레이트 전송을 요청한다(도 9의 (d)).If the requested adaptive frame rate of 3 frames / s is ineffective for the user in the real-time image service, that is, less than a predetermined threshold value, Selects a lower resolution than the resolution supported by the adaptive
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
100 : 적응적 영상 제공 시스템
110 : 적응적 영상 제공 장치
111 : 영상 획득부
112 : 인코딩부
113 : 전송부
120 : 사용자 단말기
121 : MPD 분석부
122 : 디코딩부
123 : 네트워크 상태 감지부
124 : 프레임 레이트 계산부
125 : 해상도 변경 설정부
126 : 제어부
127 : 메모리100: adaptive image providing system
110: adaptive image providing device
111:
112: encoding section
113:
120: User terminal
121: MPD analysis section
122: decoding section
123: Network status detection unit
124: Frame rate calculation unit
125: Resolution Change Setting Unit
126:
127: Memory
Claims (20)
상기 획득되는 영상을 인코딩하는 인코딩부
상기 인코딩된 영상을 사용자 단말기로 제공하는 전송부
를 포함하되,
상기 인코딩부는
사용자 단말기로부터 네트워크 상태에 적합한 프레임 레이트 정보를 헤더 정보에 포함시킨 HTTP 요청 메시지를 수신하고, 상기 사용자 단말기로부터 요청되는 프레임 레이트에 기초하여 GOP(Group Of Picture)의 P 프레임을 제거하거나 제거된 P 프레임을 증가시킴으로써 프레임의 비율을 조절하여 인코딩하며,
상기 전송부는 상기 HTTP 요청 메시지에 응답하는 HTTP 응답 메시지를 상기 사용자 단말기에 전송하고, 상기 HTTP 응답 메시지는 상기 촬영된 영상의 협정 시계시(Coordinated Universal Time; UTC) 및 상기 영상을 촬영하는 실시간 네트워크 카메라(Real time Network Camera; RNC)의 주변에 위치하는 하나 이상의 센서로부터 획득되는 센싱 정보 중 하나 이상을 헤더 정보로 포함하며,
상기 사용자 단말기는 최대 비트 레이트와 전송된 프레임들의 비트수를 이용하여 상기 네트워크 상태에 적합한 프레임 레이트를 연산하는 것을 특징으로 하는 영상 제공 장치.
An image acquisition unit for acquiring a photographed image in real time; And
An encoding unit for encoding the obtained image,
A transmission unit for providing the encoded image to a user terminal,
, ≪ / RTI &
The encoding unit
The method includes receiving an HTTP request message including header information from the user terminal in a frame rate suitable for a network state, removing a P frame of a GOP (Group Of Picture) based on a frame rate requested by the user terminal, By adjusting the ratio of the frames,
The transmitting unit transmits an HTTP response message to the user terminal in response to the HTTP request message, and the HTTP response message includes a Coordinated Universal Time (UTC) of the captured image and a real-time network camera And sensing information obtained from one or more sensors located in the vicinity of a Real Time Network Camera (RNC) as header information,
Wherein the user terminal computes a frame rate suitable for the network state using the maximum bit rate and the number of bits of the transmitted frames.
상기 인코딩부는
상기 요청된 프레임 레이트가 미리 정해진 임계 값 미만인 경우, 상기 사용자 단말기로부터 요청된 해상도로 상기 영상을 인코딩하는 것을 특징으로 하는 영상 제공 장치.
The method according to claim 1,
The encoding unit
Wherein the encoding unit encodes the image at a resolution requested by the user terminal if the requested frame rate is less than a predetermined threshold value.
상기 P 프레임의 비율은
현재 네트워크의 전송 상태에 따라서 상기 사용자 단말기로부터 요청된 상기 프레임 레이트에 상응하여 조절되되
상기 요청된 프레임 레이트가 현재 프레임 레이트보다 낮은 경우 감소하고, 상기 요청된 프레임 레이트가 현재 프레임 레이트보다 높은 경우 증가하는 것을 특징으로 하는 영상 제공 장치.
The method according to claim 1,
The ratio of the P frame is
Wherein the frame rate is adjusted according to the frame rate requested from the user terminal according to the transmission state of the current network
And decreases when the requested frame rate is lower than the current frame rate, and increases when the requested frame rate is higher than the current frame rate.
상기 인코딩된 영상을 상기 사용자 단말기로 제공하는 전송부
를 더 포함하되,
상기 전송부는
상기 사용자 단말기로부터 요청된 프레임 레이트로 상기 인코딩된 영상을 제공하는 것을 특징으로 하는 영상 제공 장치.
The method according to claim 1,
A transmission unit for providing the encoded image to the user terminal,
Further comprising:
The transmitter
And provides the encoded image at a frame rate requested by the user terminal.
상기 판단된 네트워크의 상태에 적합한 프레임 레이트를 계산하는 프레임 레이트 계산부; 및
상기 네트워크 상태에 적합한 프레임 레이트가 헤더 정보로 포함된 HTTP 요청 메시지를 영상 제공 장치에 전송하고, 상기 영상 제공 장치로부터 실시간 영상이 수신되면, 상기 수신되는 실시간 영상을 디코딩하는 디코딩부
를 포함하되,
상기 수신되는 실시간 영상은
상기 네트워크 상태에 적합한 프레임 레이트에 기초하여 GOP(Group Of Picture)의 P 프레임을 제거하거나 제거된 P 프레임을 증가시킴으로써 프레임의 비율을 조절하여 인코딩된 영상이고,
상기 영상 제공 장치는 상기 HTTP 요청 메시지에 응답하는 HTTP 응답 메시지를 전송하고, 상기 HTTP 응답 메시지는 상기 촬영된 영상의 협정 시계시(Coordinated Universal Time; UTC) 및 상기 영상을 촬영하는 실시간 네트워크 카메라(Real time Network Camera; RNC)의 주변에 위치하는 하나 이상의 센서로부터 획득되는 센싱 정보 중 하나 이상을 헤더 정보로 포함하며
상기 프레임 레이트 계산부는 최대 비트 레이트와 전송된 프레임들의 비트수를 이용하여 상기 네트워크 상태에 적합한 프레임 레이트를 계산하는
것을 특징으로 하는 사용자 단말기.
A network state detection unit for determining a transmission state of the current network using a maximum bit rate;
A frame rate calculator for calculating a frame rate suitable for the determined state of the network; And
A decoding unit for decoding the received real-time image when the real-time image is received from the image providing apparatus, and for transmitting the HTTP request message including the frame rate suitable for the network state as header information to the image providing apparatus,
, ≪ / RTI &
The received real-
A P frame of a GOP (Group Of Picture) is removed or a P frame is removed based on a frame rate suitable for the network condition,
The image providing apparatus transmits an HTTP response message responding to the HTTP request message, and the HTTP response message includes a Coordinated Universal Time (UTC) of the captured image and a real time network camera (Real time Network Camera (RNC), the sensing information being obtained from at least one sensor located in the periphery of the RNC
The frame rate calculation unit calculates a frame rate suitable for the network state using the maximum bit rate and the number of bits of transmitted frames
And a user terminal.
상기 네트워크 상태 감지부는
전송된 프레임 용량 정보와 전송 시간 정보에 기초하여 상기 최대 비트 레이트를 계산하는 것을 특징으로 하는 사용자 단말기.
The method according to claim 6,
The network status detection unit
And calculates the maximum bit rate based on the transmitted frame capacity information and transmission time information.
상기 프레임 레이트 계산부는
최대 비트 레이트와 일정 시간 동안의 비트 레이트 평균으로 계산되는 현재 비트 레이트에 기초하여 주기적으로 상기 프레임 레이트를 계산하되,
상기 현재 비트 레이트가 상기 최대 비트 레이트보다 크면 상기 계산된 프레임 레이트는 현재 프레임 레이트보다 더 낮고,
상기 현재 비트 레이트가 상기 최대 비트 레이트보다 미리 정해진 기준 값 미만이면 상기 계산된 프레임 레이트는 현재 프레임 레이트보다 더 높으며,
상기 현재 비트 레이트가 상기 최대 비트 레이트보다 동일하거나 미리 정해진 범위 내에 속하면 상기 계산된 프레임 레이트는 현재 비트 레이트와 동일한 것을 특징으로 하는 사용자 단말기.
The method according to claim 6,
The frame rate calculator
Calculating the frame rate periodically based on a maximum bit rate and a current bit rate calculated as a bit rate average over a period of time,
Wherein if the current bit rate is greater than the maximum bit rate then the calculated frame rate is lower than the current frame rate,
Wherein the calculated frame rate is higher than the current frame rate if the current bit rate is less than a predetermined reference value above the maximum bit rate,
Wherein the calculated frame rate is equal to the current bit rate if the current bit rate is equal to or less than the maximum bit rate.
상기 계산된 프레임 레이트가 미리 정해진 임계 값 미만이면, 상기 수신되는 실시간 영상의 해상도가 변경되도록 해상도 변경을 설정하는 해상도 변경 설정부
를 더 포함하는 것을 특징으로 하는 사용자 단말기.
The method according to claim 6,
A resolution change setting unit for setting a resolution change so that the resolution of the received real time image is changed if the calculated frame rate is less than a predetermined threshold value,
The user terminal further comprising:
(a) 최대 비트 레이트를 이용하여 현재 네트워크의 전송 상태를 판단하는 단계;
(b) 상기 판단된 네트워크의 전송 상태에 적합한 프레임 레이트를 계산하는 단계; 및
(c) 상기 계산된 프레임 레이트로 실시간 영상을 전송하도록 요청하는 메시지가 영상 제공 장치로
전송되고, 상기 영상 제공 장치로부터 상기 계산된 프레임 레이트로 실시간 영상이 수신되면, 상
기 수신되는 실시간 영상을 디코딩하는 단계
를 포함하되,
상기 요청하는 메시지는 상기 계산된 프레임 레이트가 헤더 정보로 포함된 HTTP 요청 메시지이며,
상기 수신되는 실시간 영상은
상기 계산된 프레임 레이트에 기초하여 GOP(Group Of Picture)의 P 프레임을 제거하거나 제거된 P 프레임을 증가시킴으로써 프레임의 비율을 조절하여 인코딩된 영상이고,
상기 영상 제공 장치는 상기 HTTP 요청 메시지에 응답하는 HTTP 응답 메시지를 전송하고, 상기 HTTP 응답 메시지는 촬영된 영상의 협정 시계시(Coordinated Universal Time; UTC) 및 상기 영상을 촬영하는 실시간 네트워크 카메라(Real time Network Camera; RNC)의 주변에 위치하는 하나 이상의 센서로부터 획득되는 센싱 정보 중 하나 이상을 헤더 정보로 포함하며,
상기 (b) 단계는 최대 비트 레이트와 전송된 프레임들의 비트수를 이용하여 상기 네트워크 상태에 적합한 프레임 레이트를 계산하는 것을 특징으로 하는 영상 제공 방법.
A method for providing a user terminal with an image,
(a) determining a transmission state of the current network using a maximum bit rate;
(b) calculating a frame rate suitable for the determined transmission state of the network; And
(c) a message requesting to transmit a real-time image at the calculated frame rate is transmitted to the image providing apparatus
And when the real-time image is received at the calculated frame rate from the image providing apparatus,
And decoding the received real-time image
, ≪ / RTI &
The request message is an HTTP request message including the calculated frame rate as header information,
The received real-
A P frame of a GOP (Group Of Picture) is removed or a P frame is removed, based on the calculated frame rate,
The image providing apparatus transmits an HTTP response message in response to the HTTP request message, and the HTTP response message includes a Coordinated Universal Time (UTC) of the captured image and a real time network camera And sensing information obtained from one or more sensors located around the network camera (RNC) as header information,
Wherein the step (b) calculates a frame rate suitable for the network state using the maximum bit rate and the number of transmitted frames.
상기 (a) 단계는
전송된 프레임 용량 정보와 전송 시간 정보에 기초하여 상기 최대 비트 레이트를 계산하는 것을 특징으로 하는 영상 제공 방법.
16. The method of claim 15,
The step (a)
Wherein the maximum bit rate is calculated based on the transmitted frame capacity information and the transmission time information.
상기 (b) 단계는
최대 비트 레이트와 일정 시간 동안의 비트 레이트 평균으로 계산되는 현재 비트 레이트에 기초하여 주기적으로 상기 프레임 레이트를 계산하되,
상기 현재 비트 레이트가 상기 최대 비트 레이트보다 크면 상기 계산된 프레임 레이트는 현재 프레임 레이트보다 더 낮고,
상기 현재 비트 레이트가 상기 최대 비트 레이트보다 미리 정해진 기준 값 미만이면 상기 계산된 프레임 레이트는 현재 프레임 레이트보다 더 높으며,
상기 현재 비트 레이트가 상기 최대 비트 레이트보다 동일하거나 미리 정해진 범위 내에 속하면 상기 계산된 프레임 레이트는 현재 비트 레이트와 동일한 것을 특징으로 하는 영상 제공 방법.
16. The method of claim 15,
The step (b)
Calculating the frame rate periodically based on a maximum bit rate and a current bit rate calculated as a bit rate average over a period of time,
Wherein if the current bit rate is greater than the maximum bit rate then the calculated frame rate is lower than the current frame rate,
Wherein the calculated frame rate is higher than the current frame rate if the current bit rate is less than a predetermined reference value above the maximum bit rate,
Wherein the calculated frame rate is equal to the current bit rate if the current bit rate is equal to or less than the maximum bit rate.
(d) 상기 계산된 프레임 레이트가 미리 정해진 임계 값 미만이면 상기 수신되는 실시간 영상의 해상도가 변경되도록 해상도 변경을 설정하는 단계
를 더 포함하는 것을 특징으로 하는 영상 제공 방법.
16. The method of claim 15,
(d) setting a resolution change so that the resolution of the received real-time image is changed if the calculated frame rate is less than a predetermined threshold value
Further comprising the steps of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160101287A KR101795958B1 (en) | 2016-08-09 | 2016-08-09 | Adaptive control method, apparatus and user device for providing video in real time network cameras |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160101287A KR101795958B1 (en) | 2016-08-09 | 2016-08-09 | Adaptive control method, apparatus and user device for providing video in real time network cameras |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101795958B1 true KR101795958B1 (en) | 2017-12-01 |
Family
ID=60921852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160101287A KR101795958B1 (en) | 2016-08-09 | 2016-08-09 | Adaptive control method, apparatus and user device for providing video in real time network cameras |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101795958B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113949825A (en) * | 2021-11-03 | 2022-01-18 | 江苏金视传奇科技有限公司 | High-information-content image efficient transmission method and system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100968266B1 (en) * | 2009-10-28 | 2010-07-06 | 주식회사 인비전트 | Controlling system for transmitting data of real time and method for transmitting data of real time |
| JP4834340B2 (en) * | 2005-07-14 | 2011-12-14 | キヤノン株式会社 | Information processing apparatus and method and program thereof |
| WO2014112416A1 (en) * | 2013-01-15 | 2014-07-24 | シャープ株式会社 | Video supply device, video acquisition device, and program |
| JP2014187510A (en) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | System, method, program and server for streaming distribution |
-
2016
- 2016-08-09 KR KR1020160101287A patent/KR101795958B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4834340B2 (en) * | 2005-07-14 | 2011-12-14 | キヤノン株式会社 | Information processing apparatus and method and program thereof |
| KR100968266B1 (en) * | 2009-10-28 | 2010-07-06 | 주식회사 인비전트 | Controlling system for transmitting data of real time and method for transmitting data of real time |
| WO2014112416A1 (en) * | 2013-01-15 | 2014-07-24 | シャープ株式会社 | Video supply device, video acquisition device, and program |
| JP2014187510A (en) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | System, method, program and server for streaming distribution |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113949825A (en) * | 2021-11-03 | 2022-01-18 | 江苏金视传奇科技有限公司 | High-information-content image efficient transmission method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108810636B (en) | Video playing method, virtual reality equipment, server, system and storage medium | |
| US10397294B2 (en) | Bandwidth adaptation for dynamic adaptive transferring of multimedia | |
| US20150163273A1 (en) | Media bit rate estimation based on segment playback duration and segment data length | |
| US20150381690A1 (en) | Server side adaptive bit rate control for http streaming clients | |
| US8254441B2 (en) | Video streaming based upon wireless quality | |
| JP2016530751A (en) | A concept for determining the quality of media data streams with varying quality versus bit rate | |
| WO2014149257A1 (en) | Video streaming with buffer occupancy prediction based quality adaptation | |
| US20160182594A1 (en) | Adaptive streaming | |
| KR101863965B1 (en) | Apparatus and method for providing adaptive multimedia service | |
| JP5882320B2 (en) | Method and apparatus for evaluating the quality of a video signal during encoding or compression of the video signal | |
| KR20150045958A (en) | Content-dependent video quality model for video streaming services | |
| AU2021200428B2 (en) | System and method for automatic encoder adjustment based on transport data | |
| KR101718127B1 (en) | Content packaging system and streaming method for context aware streaming service | |
| CN111741248A (en) | Data transmission method, device, terminal equipment and storage medium | |
| JP2017069849A (en) | Video control device, video distribution system and video control method | |
| KR102050417B1 (en) | System and method for networking | |
| JP2010098441A (en) | Video data transmission device, video distribution system, video quality evaluating method, and program | |
| KR101795958B1 (en) | Adaptive control method, apparatus and user device for providing video in real time network cameras | |
| CN113630576A (en) | Adaptive video streaming system and method | |
| CN114866763A (en) | Video quality evaluation method and device, terminal equipment and storage medium | |
| Kumar et al. | Double sarsa based machine learning to improve quality of video streaming over HTTP through wireless networks | |
| JP2010081157A (en) | Image quality estimation apparatus, method, and program | |
| KR20090071873A (en) | System and method for controlling coding rate using quality of image | |
| EP2884742B1 (en) | Process for increasing the resolution and the visual quality of video streams exchanged between users of a video conference service | |
| KR20130122117A (en) | Method and apparatus for transmitting a moving image in a real time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |