KR102123885B1 - 표시 장치 - Google Patents

표시 장치 Download PDF

Info

Publication number
KR102123885B1
KR102123885B1 KR1020160115426A KR20160115426A KR102123885B1 KR 102123885 B1 KR102123885 B1 KR 102123885B1 KR 1020160115426 A KR1020160115426 A KR 1020160115426A KR 20160115426 A KR20160115426 A KR 20160115426A KR 102123885 B1 KR102123885 B1 KR 102123885B1
Authority
KR
South Korea
Prior art keywords
video
storage amount
unit
temporary storage
bit rate
Prior art date
Application number
KR1020160115426A
Other languages
English (en)
Other versions
KR20170104913A (ko
Inventor
아키라 후지이
수레쉬 무랄리
Original Assignee
후지제롯쿠스 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지제롯쿠스 가부시끼가이샤 filed Critical 후지제롯쿠스 가부시끼가이샤
Publication of KR20170104913A publication Critical patent/KR20170104913A/ko
Application granted granted Critical
Publication of KR102123885B1 publication Critical patent/KR102123885B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치의 상태에 맞춰서 변화되게 하는 것을 과제로 한다.
이러한 과제를 해결하기 위한 수단으로서, 표시부(111)는, 일시적으로 기억된 동영상의 데이터를 판독하면서 그 동영상을 표시한다. 표시부(111)는, 동영상을 표시하는 표시 영역의 사이즈에 따라서 동영상의 비트레이트를 변경한다. 일시 기억량 제어 처리부(110)는, 일시 기억부(108)에 기억되는 동영상의 데이터의 일시 기억량을, 그 동영상을 표시하는 장치 자신의 상태에 따른 양으로 하기 위한 기억량 제어 처리를 행한다. 일시 기억량 제어 처리부(110)는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역의 사이즈의 상태를 장치 자신의 상태로 해서, 일시 기억량을 그 사이즈에 따른 양으로 하기 위한 처리를, 기억량 제어 처리로서 행한다.

Description

표시 장치{DISPLAY APPARATUS}
본 발명은, 표시 장치에 관한 것이다.
스트리밍 전송된 동영상을 표시하는 기술에서는, 동영상의 화질의 높이나 재생의 계속성(재생이 도중에 끊기지 않는 것) 같은 재생 품질이 중요하다. 이들 재생 품질을 향상시키기 위하여, 예를 들면 특허문헌 1에는, 패킷 통신망의 회선 속도에 따라서 전송되는 화상 부호화 신호의 정보량을 변경하는 기술이 개시되어 있다.
일본 특개2004-88480호 공보
스트리밍 전송되는 동영상을 표시하는 표시 장치는, 동영상의 데이터를 일시적으로 기억하면서 그 동영상을 표시하는 것이 일반적이다. 그 일시적으로 기억한 데이터의 양이 많을수록, 예를 들면 통신이 도중에 끊어진 때여도 표시가 계속되는 시간이 길어진다. 한편, 예를 들면 표시 중에 비트레이트를 변경 가능한 MPEG-DASH 등의 스트리밍 전송에서는, 일시적으로 기억한 데이터의 양이 많으면, 비트레이트를 큰 값으로 변경해도, 일시적으로 기억된 데이터의 표시가 끝날 때까지는 작은 값의 비트레이트, 즉 낮은 화질에서의 표시가 계속되게 된다.
그래서, 본 발명은, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치의 상태에 맞춰서 변화되게 하는 것을 목적으로 한다.
[1] 본 발명의 일 실시형태에 따른 표시 장치는, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억하는 일시 기억부와, 일시적으로 기억된 상기 데이터를 판독하면서 상기 동영상을 표시하는 표시부와, 상기 일시 기억부에 기억되는 상기 동영상의 데이터의 일시 기억량을, 상기 동영상을 표시하는 장치 자신의 상태에 따른 양으로 하기 위한 기억량 제어 처리를 행하는 처리부를 구비하는 것을 특징으로 한다.
[2] 상기 [1]의 표시 장치에 있어서, 상기 동영상은, 표시 중에 비트레이트를 변경 가능한 동영상이어도 되고, 상기 표시부는, 상기 동영상을 표시하는 표시 영역의 사이즈에 따라서 당해 동영상의 비트레이트를 변경해도 되고, 상기 처리부는, 상기 표시 영역의 사이즈의 상태를 상기 장치 자신의 상태로 해서, 상기 일시 기억량을 당해 사이즈에 따른 양으로 하기 위한 처리를, 상기 기억량 제어 처리로서 행해도 된다.
[3] 상기 [2]의 표시 장치에 있어서, 상기 표시부는, 상기 표시 영역이 확대되면 상기 비트레이트를 큰 값으로 변경해도 되고, 상기 처리부는, 상기 표시 영역의 사이즈가 확대되는 상태가 상기 장치 자신의 상태일 경우, 상기 일시 기억량을 증가시키기 위한 처리를 상기 기억량 제어 처리로서 행해도 된다.
[4] 상기 [3]의 표시 장치에 있어서, 상기 일시 기억부가 상기 데이터를 일시적으로 기억하는 양에 상한이 정해져 있어도 되고, 상기 처리부는, 상기 일시 기억량을 상기 상한까지의 범위에서 증가시키기 위한 처리를 상기 기억량 제어 처리로서 행해도 된다.
[5] 상기 [2]∼[4] 중 어느 하나의 표시 장치에 있어서, 상기 표시부는, 상기 표시 영역이 축소되면 상기 비트레이트를 작은 값으로 변경해도 되고, 상기 처리부는, 상기 표시 영역의 사이즈가 축소되는 상태가 상기 장치 자신의 상태일 경우, 상기 일시 기억량을 감소시키기 위한 처리를 상기 기억량 제어 처리로서 행해도 된다.
[6] 상기 [1]의 표시 장치에 있어서, 상기 처리부는, 장치 자신의 방향의 상태를 상기 장치 자신의 상태로 해서, 상기 일시 기억량을 당해 방향에 따른 양으로 하기 위한 처리를, 상기 기억량 제어 처리로서 행해도 된다.
[7] 상기 [1]의 표시 장치에 있어서, 상기 처리부는, 장치 자신의 이동 속도의 상태를 상기 장치 자신의 상태로 해서, 상기 일시 기억량을 당해 이동 속도에 따른 양으로 하기 위한 처리를, 상기 기억량 제어 처리로서 행해도 된다.
[8] 상기 [1]의 표시 장치에 있어서, 상기 처리부는, 장치 자신의 위치의 상태를 상기 장치 자신의 상태로 해서, 상기 일시 기억량을 당해 위치에 따른 양으로 하기 위한 처리를, 상기 기억량 제어 처리로서 행해도 된다.
[9] 상기 [1]의 표시 장치에 있어서, 상기 처리부는, 장치 자신과 다른 장치의 접속 상태를 상기 장치 자신의 상태로 해서, 상기 일시 기억량을 당해 접속 상태에 따른 양으로 하기 위한 처리를, 상기 기억량 제어 처리로서 행해도 된다.
[1]의 표시 장치에 의하면, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치의 상태에 맞춰서 변화되게 할 수 있다.
[2]의 표시 장치에 의하면, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치의 표시 영역의 사이즈에 맞춰서 변화되게 할 수 있다.
[3]의 표시 장치에 의하면, 일시 기억량을 증가시키지 않는 경우에 비해서, 동영상의 중단이 일어나기 어렵게 할 수 있다.
[4]의 표시 장치에 의하면, 일시 기억량이 지나치게 증가하는 것을 방지할 수 있다.
[5]의 표시 장치에 의하면, 일시 기억량을 감소시키지 않는 경우에 비해서, 이후에 표시 영역 사이즈가 확대된 경우에 저화질의 화상이 재생되는 시간을 짧게 할 수 있다.
[6]의 표시 장치에 의하면, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치 자신의 방향에 맞춰서 변화되게 할 수 있다.
[7]의 표시 장치에 의하면, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치 자신의 이동 속도에 맞춰서 변화되게 할 수 있다.
[8]의 표시 장치에 의하면, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치 자신의 위치에 맞춰서 변화되게 할 수 있다.
[9]의 표시 장치에 의하면, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양을 장치 자신과 다른 장치의 접속 상태에 맞춰서 변화되게 할 수 있다.
도 1은 실시예에 따른 동영상 전송 시스템의 전체 구성을 나타내는 도면.
도 2는 스트리밍 전송의 구조를 나타내는 도면.
도 3은 스마트폰의 하드웨어 구성을 나타내는 도면.
도 4는 동영상 전송 장치의 하드웨어 구성을 나타내는 도면.
도 5는 각 장치가 실현하는 기능 구성을 나타내는 도면.
도 6a는 표시 영역에 표시된 동영상의 예를 나타내는 도면.
도 6b는 표시 영역에 표시된 동영상의 예를 나타내는 도면.
도 7은 비트레이트 테이블의 일례를 나타내는 도면.
도 8은 세그먼트 데이터수 테이블의 일례를 나타내는 도면.
도 9는 스트리밍 전송 처리에 있어서의 각 장치의 동작 수순의 일례를 나타내는 도면.
도 10은 변형예의 세그먼트 데이터수 테이블의 일례를 나타내는 도면.
도 11은 변형예의 스마트폰이 실현하는 기능 구성을 나타내는 도면.
도 12는 세그먼트 데이터수 테이블의 일례를 나타내는 도면.
도 13은 변형예의 스마트폰이 실현하는 기능 구성을 나타내는 도면.
도 14는 세그먼트 데이터수 테이블의 일례를 나타내는 도면.
도 15는 변형예의 스마트폰의 하드웨어 구성을 나타내는 도면.
도 16은 스마트폰이 실현하는 기능 구성을 나타내는 도면.
도 17은 세그먼트 데이터수 테이블의 일례를 나타내는 도면.
도 18은 변형예의 스마트폰의 하드웨어 구성을 나타내는 도면.
도 19는 스마트폰이 실현하는 기능 구성을 나타내는 도면.
도 20은 세그먼트 데이터수 테이블의 일례를 나타내는 도면.
도 21은 변형예의 동영상 전송 시스템의 전체 구성을 나타내는 도면.
도 22는 서버 장치의 하드웨어 구성을 나타내는 도면.
도 23은 각 장치가 실현하는 기능 구성을 나타내는 도면.
[1] 실시예
도 1은 실시예에 따른 동영상 전송 시스템(1)의 전체 구성을 나타낸다. 동영상 전송 시스템(1)은, 유저가 이용하는 재생 장치에 동영상을 스트리밍 전송하는 시스템이다. 동영상의 스트리밍 전송이란, 동영상을 복수의 구간으로 분할하고, 각 구간의 동영상을 나타내는 세그먼트 데이터를 재생되는 순서대로 송수신시키면서 순차 재생시키는 구조에 의한 동영상의 전송이다. 세그먼트 데이터는, 예를 들면 1초 내지 10초 정도의 구간을 나타내는 데이터이다.
동영상 전송 시스템(1)은, 통신 회선(2)과, 스마트폰(10)과, 동영상 전송 장치(20)를 구비한다. 통신 회선(2)은, 예를 들면 이동체 통신망 및 인터넷 등을 포함하고, 장치끼리의 데이터의 주고받기를 중개하는 시스템이다. 통신 회선(2)에는, 스마트폰(10)이 무선으로 접속되고, 동영상 전송 장치(20)가 유선으로 접속되어 있다(이들은 일례이고, 유선·무선 중 어느 쪽으로 접속되어 있어도 됨).
스마트폰(10)은, 동영상 전송 시스템(1)에 있어서 스트리밍 전송되는 동영상을 표시하는 표시 장치이다. 스마트폰(10)은, 유저에 의해서 휴대되고, 다양한 장소에서 이용된다. 동영상 전송 장치(20)는, 전체적으로 하나의 동영상을 나타내는 복수의 세그먼트 데이터를 기억하고, 그들의 세그먼트 데이터를 재생되는 순서대로 순차 송신함으로써 동영상을 스트리밍 전송하는 정보 처리 장치이다.
동영상 전송 시스템(1)에 있어서는, 예를 들면 MPEG(Moving Picture Experts Group)-DASH(Dynamic Adaptive Streaming over HTTP)라 불리는 규격에 준거해서, 재생 중에 비트레이트를 변경 가능한 동영상이 스트리밍 전송된다. 본 실시예의 스트리밍 전송에서는, 복수의 비트레이트가 미리 정해져 있다.
도 2는 스트리밍 전송의 구조를 나타낸다. 본 실시예의 동영상 전송 장치(20)는, 비트레이트가 「대」, 「중」, 「소」인 동영상을 각각 나타내는 세그먼트 데이터 그룹(A1, A2, A3)을 기억하고 있다. 비트레이트란, 1초간 송수신되는 데이터량(단위는 Mbps(초당 메가비트)나 MB/sec(초당 메가바이트))이다. 이들 세그먼트 데이터 그룹이 나타내는 동영상은, 비트레이트가 클수록, 동영상의 해상도가 높거나, 프레임 레이트도 크거나 한다.
스마트폰(10)은, 동영상의 스트리밍 전송을 요구할 때에, 전송시킬 동영상의 비트레이트를 지정한다. 동영상 전송 장치(20)는, 지정된 비트레이트의 세그먼트 데이터 그룹으로부터 순차 세그먼트 데이터를 판독해서 송신한다. 스마트폰(10)은, 수신한 세그먼트 데이터를 일시적으로 기억하고(캐시하고), 캐시한 세그먼트 데이터를 판독해서 재생한다.
또한, 스마트폰(10)이, 동영상의 재생 중에, 재생 중인 동영상과는 다른 비트레이트를 지정해서 전송을 요구하면, 동영상 전송 장치(20)는, 그 요구를 수취하고나서는 지정된 새로운 비트레이트의 세그먼트 데이터를 송신한다. 스마트폰(10)은, 그 세그먼트 데이터를 수신하면, 그때까지의 비트레이트의 세그먼트 데이터가 나타내는 동영상에 계속해서, 새로운 비트레이트의 세그먼트 데이터가 나타내는 동영상을 재생한다. 이와 같이, 세그먼트 데이터 그룹(A1, A2, A3)은, 복수의 구간이 순서대로 스트리밍 전송되며 재생 중에 비트레이트를 변경 가능한 동영상을 나타낸다.
도 3은 스마트폰(10)의 하드웨어 구성을 나타낸다. 스마트폰(10)은, CPU(Central Processor Unit)(11)와, RAM(Random Access Memory)(12)과, ROM(Read Only Memory)(13)과, NIC(Network Interface Card)(14)와, 플래시 메모리(15)와, 터치스크린(16)과, 스피커(17)와, 센서(18)를 구비하는 컴퓨터이다. CPU(11)는, RAM(12)을 워크 에어리어로서 이용해서 ROM(13)이나 플래시 메모리(15)에 기억되어 있는 프로그램을 실행시킴으로써 각 부의 동작을 제어한다. NIC(14)는, 안테나 및 통신 회로 등을 가지며, 예를 들면 이동체 통신의 규격에 준거한 무선 통신을 행한다.
플래시 메모리(15)는, CPU(11)가 제어에 이용하는 데이터나 프로그램을 기억한다. 이 프로그램에는, 본 실시예에서는 브라우저의 프로그램이 포함되어 있고, 이 브라우저 상에서 실행되는 Java(등록 상표) script에 의해 후술하는 본 발명의 기능이 실현된다. 또, 이에 한하지 않으며, 본 발명의 기능을 실현하는 애플리케이션 프로그램이 기억되어 있어도 된다. 터치스크린(16)은, 표시 수단인 디스플레이와, 디스플레이의 표면에 설치된 터치패널을 구비하고, 화상을 표시함과 함께, 유저로부터의 조작을 접수한다. 스피커(17)는, 소리를 나타내는 소리 데이터를 아날로그 신호로 변환해서 방음(放音)한다. 센서(18)는, 예를 들면 3축의 지자기(地磁氣) 센서이고, 장치 자신의 기울기를 나타내는 데이터를 CPU(11)에 공급한다.
도 4는 동영상 전송 장치(20)의 하드웨어 구성을 나타낸다. 동영상 전송 장치(20)는, CPU(21)와, RAM(22)과, ROM(23)과, NIC(24)와, HDD(Hard Disk Drive)(25)를 구비하는 컴퓨터이다. CPU(21)부터 ROM(23)까지는, 도 3에 나타내는 동명의 하드웨어와 각각 공통되는 것이다. NIC(24)는, 통신 회로를 갖고, 통신 회선(2)을 통한 통신을 행한다. HDD(25)는, CPU(21)가 제어에 이용하는 데이터나 프로그램을 기억하고 있다.
동영상 전송 시스템(1)이 구비하는 각 장치의 CPU가 프로그램을 실행시켜서 각 부를 제어함으로써, 이하에 기술하는 기능이 실현된다.
도 5는 각 장치가 실현하는 기능 구성을 나타낸다. 스마트폰(10)은, 비트레이트 정보 취득부(101)와, 표시 영역 사이즈 특정부(102)와, 캐시량 특정부(103)와, 통신 속도 특정부(104)와, 비트레이트 결정부(105)와, 전송 요구부(106)와, 세그먼트 데이터 수신부(107)와, 일시 기억부(108)와, 동영상 재생부(109)와, 일시 기억량 제어 처리부(110)를 구비한다. 동영상 전송 장치(20)는, 세그먼트 데이터 기억부(201)와, 비트레이트 정보 기억부(202)와, 비트레이트 정보 송신부(203)와, 세그먼트 데이터 판독부(204)와, 세그먼트 데이터 송신부(205)를 구비한다.
동영상 전송 장치(20)의 세그먼트 데이터 기억부(201)는, 장치 자신이 스트리밍 전송하는 동영상의 세그먼트 데이터를 기억한다. 세그먼트 데이터 기억부(201)는, 도 2의 설명에서 기술한 바와 같이, 복수의 비트레이트의 동영상을 나타내는 세그먼트 데이터를 기억한다. 각 세그먼트 데이터는, 통신량을 적게 하기 위하여, 예를 들면 기준으로 되는 프레임과, 그 프레임의 차분을 나타내는 데이터에 인코딩(압축)되어 있다.
비트레이트 정보 기억부(202)는, 세그먼트 데이터 기억부(201)에 기억되어 있는 장치 자신이 스트리밍 전송하는 동영상의 복수의 비트레이트를 나타내는 비트레이트 정보(예를 들면 MPEG-DASH에 있어서의 MPD(Media Presentation Description))를 기억한다. 비트레이트 정보 기억부(202)는, 도 2의 예이면, 세그먼트 데이터 그룹(A1, A2, A3)이 각각 나타내는 동영상의 비트레이트를 나타내는 비트레이트 정보를 기억한다. 이 비트레이트 정보는, 예를 들면 동영상 전송 장치(20)의 운용자에 의해 동영상의 세그먼트 데이터가 기억될 때에 기억된다.
스마트폰(10)의 비트레이트 정보 취득부(101)는, 동영상의 스트리밍 전송을 요구할 때에, 그 동영상의 복수의 비트레이트를 나타내는 비트레이트 정보를 취득한다. 예를 들면 스마트폰(10)이 표시한 웹페이지에 동영상 전송 장치(20)가 스트리밍 전송하는 동영상에의 링크가 덧붙여져 있고, 유저가 그 링크를 선택하는 조작을 행하면, 비트레이트 정보 취득부(101)는, 동영상 전송 장치(20)에 대해서 그 동영상의 비트레이트 정보를 요구하는 요구 데이터를 송신한다. 이 요구 데이터에는, 동영상을 특정하는 정보((예를 들면 MPEG-DASH에 있어서의 MPD)파일의 URL(Uniform Resource Locator) 등)가 포함되어 있다.
동영상 전송 장치(20)의 비트레이트 정보 송신부(203)는, 스마트폰(10)으로부터 송신되어 온 요구 데이터를 수취하면, 그 요구 데이터에 의해 특정되는 동영상, 즉 장치 자신에게 기억되어 있는 동영상의 비트레이트 정보를 비트레이트 정보 기억부(202)로부터 판독해서 요구처(본 실시예에서는 스마트폰(10))에 송신한다. 비트레이트 정보 취득부(101)는, 이렇게 해서 송신되어 온 비트레이트 정보를 취득한다. 비트레이트 정보 취득부(101)는, 취득한 비트레이트 정보를 비트레이트 결정부(105)에 공급한다.
비트레이트 결정부(105)는, 비트레이트 정보 취득부(101)에 의해 취득된 비트레이트 정보가 나타내는 복수의 비트레이트 중 어느 하나를 재생될 동영상의 비트레이트로서 결정한다. 비트레이트의 결정 방법에 대해서는 추후 상세하게 설명한다. 비트레이트 결정부(105)는, 비트레이트의 결정을 정해진 시간 간격으로 반복해서 행한다. 이 시간 간격으로서는, 예를 들면 정해진 개수의 세그먼트 데이터가 나타내는 동영상의 재생 시간 간격(예를 들면 재생 시간이 2초간으로 정해진 개수가 2개이면 4초마다 등)이 이용된다. 비트레이트 결정부(105)는, 비트레이트를 결정할 때마다, 결정한 비트레이트를 전송 요구부(106)에 통지한다.
전송 요구부(106)는, 비트레이트 결정부(105)에 의해 결정된 비트레이트로 의 동영상의 스트리밍 전송을, 그 동영상을 스트리밍 전송할 장치(본 실시예에서는 동영상 전송 장치(20))에 요구한다. 비트레이트 결정부(105)가 결정한 비트레이트가 변화되면, 전송 요구부(106)가 스트리밍 전송을 요구하는 동영상의 비트레이트도 변화된다.
또한, 전송 요구부(106)는, 송신하는 세그먼트 데이터의 개수를 지정해서 이 요구를 행한다. 전송 요구부(106)에 의한 전송 요구는, 비트레이트 결정부(105)가 비트레이트를 결정할 때마다 행한다. 그 때문에, 전송 요구부(106)가 지정하는 세그먼트 데이터의 개수가 많을수록, 이전 장면의 동영상이 전송되게 된다.
동영상 전송 장치(20)의 세그먼트 데이터 판독부(204)는, 외부 장치로부터 동영상의 스트리밍 전송이 요구되면, 요구된 동영상의 세그먼트 데이터를 판독한다. 세그먼트 데이터 판독부(204)는, 스마트폰(10)으로부터 송신되어 온 지정 데이터를 수취하면, 그 지정 데이터에 의해 지정되는 비트레이트의 세그먼트 데이터 그룹으로부터, 그 지정 데이터에 의해 지정되는 개수의 세그먼트 데이터를 동영상의 처음부터 판독한다.
세그먼트 데이터 판독부(204)는, 그 후에도, 판독 완료의 세그먼트 데이터에 이어서 지정된 개수의 세그먼트 데이터를 판독하는 처리를, 한번에 판독하는 세그먼트 데이터가 나타내는 동영상 부분의 재생 시간 또는 그보다도 짧은 시간 간격으로 반복해서 행한다. 세그먼트 데이터 판독부(204)는, 지정되는 비트레이트가 도중에 변화하면, 새로운 비트레이트의 세그먼트 데이터 중 재생 개소가 이어지는 부분으로부터 지정된 개수의 세그먼트 데이터를 판독한다. 세그먼트 데이터 판독부(204)는, 세그먼트 데이터를 판독할 때마다, 판독한 세그먼트 데이터를 세그먼트 데이터 송신부(205)에 공급한다.
세그먼트 데이터 송신부(205)는, 공급된 세그먼트 데이터를, 지정 데이터의 송신원, 즉 동영상의 스트리밍 전송을 요구해 온 요구처(본 실시예에서는 스마트폰(10))에 송신한다. 스마트폰(10)의 세그먼트 데이터 수신부(107)는, 동영상 전송 장치(20)로부터 송신되어 온 세그먼트 데이터를 수신한다. 세그먼트 데이터 수신부(107)는, 수신한 세그먼트 데이터를 일시 기억부(108)에 공급한다.
일시 기억부(108)는, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억한다. 상세하게는, 일시 기억부(108)는, 세그먼트 데이터 수신부(107)가 수신한 세그먼트 데이터를, 그 세그먼트 데이터가 나타내는 동영상 부분이 재생될 때까지 일시적으로 기억한다.
동영상 재생부(109)는, 일시 기억부(108)에 세그먼트 데이터가 기억되면, 기억된 세그먼트 데이터를 순차 판독하고, 판독한 세그먼트 데이터가 나타내는 동영상을 순차 재생한다. 전술한 바와 같이 세그먼트 데이터는 인코딩되어 있으므로, 동영상 재생부(109)는, 세그먼트 데이터를 디코딩해서 재생한다. 동영상 재생부(109)는, 재생한 동영상을 표시 영역에 표시하지만, 장치 자신의 방향에 따라서 다른 표시 영역에 동영상을 표시한다.
도 6a, 도 6b는 표시 영역에 표시된 동영상의 예를 나타낸다. 도 6a, 도 6b에서는, 도 2에 나타내는 터치스크린(16)의 표시면(161)에 동영상이 표시되어 있다. 표시면(161)은 장변(162)과 단변(163)으로 둘러싸인 장방형의 면이다. 도 6a의 (a)에서는, 표시면(161)의 장변(162)이 연직을 따르도록 스마트폰(10)이 향하고 있는(이하 「세로 방향」이라 함) 경우의 표시 영역(B1)이 나타나 있다.
도 6a의 (b)에서는, 표시면(161)의 장변(162)이 수평 방향을 따르도록 스마트폰(10)이 향하고 있는(이하 「가로 방향」이라 함) 경우의 표시 영역(B2)이 나타나 있다. 표시 영역(B1 및 B2)에는 모두 인물을 투영한 동영상(C1)이 표시되어 있다. 동영상 재생부(109)는, 도 3에 나타내는 센서(18)가 측정한 장치 자신의 기울기에 의거해서 장치 자신이 세로 방향인지 가로 방향인지를 판단하여, 세로 방향이면 표시 영역(B1)에 동영상을 표시하고, 가로 방향이면 표시 영역(B2)에 동영상을 표시한다.
스마트폰(10)의 표시 영역 사이즈 특정부(102)는, 스트리밍 전송되는 동영상의 표시 영역 사이즈를 특정한다. 표시 영역 사이즈 특정부(102)는 본 발명의 「제1 특정부」의 일례이다. 표시 영역 사이즈 특정부(102)는, 동영상 재생부(109)에 대해서 동영상을 표시하고 있는 표시 영역의 종류(표시 영역(B1 및 B2) 중 어느 한쪽인지)를 조회한다. 동영상 재생부(109)는, 그 조회를 받으면, 동영상을 표시하고 있는 표시 영역의 종류를 표시 영역 사이즈 특정부(102)에 통지한다. 표시 영역 사이즈 특정부(102)는, 이렇게 해서 통지된 표시 영역의 종류에 따른 사이즈를 표시 영역 사이즈로서 특정한다.
표시 영역 사이즈 특정부(102)는, 표시 영역의 종류로서 표시 영역(B1)이 통지되었을 경우, 도 6의 (a)에 나타내는 장변의 길이(L1)와 단변의 길이(L2)를 곱한 값, 즉 표시 영역의 면적을 표시 영역 사이즈로서 특정한다. 또한, 표시 영역 사이즈 특정부(102)는, 표시 영역의 종류로서 표시 영역(B2)이 통지되었을 경우, 도 6의 (b)에 나타내는 장변의 길이(L3)와 단변의 길이(L4)를 곱한 값을 표시 영역 사이즈로서 특정한다.
또, 표시 영역(B1)의 단변은 표시면(161)의 장변(162)에 접하고, 표시 영역(B2)의 단변은 표시면(161)의 단변(163)과 접해 있었지만, 표시 영역의 사이즈 및 배치는 이것으로 한정되지 않는다. 동영상 재생부(109)는, 예를 들면 도 6b의 (c)에 나타내는 바와 같이, 장변도 단변도 표시면(161)의 장변(162) 및 단변(163)에 접하지 않는 표시 영역(B3)에 동영상(C1)을 표시해도 된다. 이 경우에도, 표시 영역 사이즈 특정부(102)는, 표시 영역(B3)의 장변의 길이(L5)와 단변의 길이(L6)를 곱한 값을 표시 영역 사이즈로서 특정한다. 표시 영역 사이즈 특정부(102)는, 상기한 바와 같이 특정한 표시 영역 사이즈를 나타내는 사이즈 정보(본 실시예에서는 표시 영역의 면적을 나타내는 정보)를 비트레이트 결정부(105) 및 일시 기억량 제어 처리부(110)에 공급한다.
스마트폰(10)의 캐시량 특정부(103)는, 스트리밍 재생에 있어서의 캐시량, 즉 스트리밍 재생되는 동영상의 이제부터 재생되는 개소에 대하여 일시적으로 기억되는 세그먼트 데이터의 데이터량을 특정한다. 캐시량 특정부(103)는 본 발명의 「제2 특정부」의 일례이다. 캐시량 특정부(103)는, 일시 기억부(108)가 일시적으로 기억하고 있는 세그먼트 데이터를 참조하고, 참조한 세그먼트 데이터가 재생되었을 경우에 있어서의 재생 시간을 전술한 캐시량으로서 특정한다. 예를 들면 캐시된 세그먼트 데이터가 2초간의 동영상을 나타내고 있고, 그 중의 0.5초분이 이미 재생되어 있으면, 캐시량 특정부(103)는, 1.5초분의 동영상이 캐시되어 있다고 특정하여, 그 초수를 나타내는 정보를 캐시량 정보로서 비트레이트 결정부(105) 및 일시 기억량 제어 처리부(110)에 공급한다.
스마트폰(10)의 통신 속도 특정부(104)는, 스트리밍 전송되는 동영상의 세그먼트 데이터의 수신에 있어서의 통신 속도를 특정한다. 통신 속도 특정부(104)는 본 발명의 「제3 특정부」의 일례이다. 통신 속도 특정부(104)는, 세그먼트 데이터 수신부(107)를 감시해서, 세그먼트 데이터 수신부(107)가 단위 시간에 수신한 세그먼트 데이터의 데이터 사이즈를 통신 속도로서 특정한다. 세그먼트 데이터 수신부(107)는, 예를 들면 1초간 10메가비트의 세그먼트 데이터가 수신되어 있으면 10Mbps를 통신 속도로서 특정한다. 세그먼트 데이터 수신부(107)는, 그렇게 해서 특정한 통신 속도를 나타내는 통신 속도 정보를 비트레이트 결정부(105)에 공급한다.
표시 영역 사이즈 특정부(102), 캐시량 특정부(103) 및 통신 속도 특정부(104)는, 각각의 특정의 처리를, 본 실시예에서는 비트레이트 결정부(105)가 비트레이트를 반복해서 결정하는 시간 간격과 공통의 시간 간격으로 행한다.
비트레이트 결정부(105)는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역의 사이즈와, 캐시량 특정부(103)에 의해 특정된 캐시량과, 통신 속도 특정부(104)에 의해 특정된 통신 속도에 따라서, 재생될 동영상의 비트레이트를 결정한다. 비트레이트 결정부(105)는, 예를 들면, 표시 영역의 사이즈와 비트레이트의 범위를 대응시킨 비트레이트 테이블을 이용한다.
도 7은 비트레이트 테이블의 일례를 나타낸다. 도 7의 예에서는, 스트리밍 전송에 있어서, 4.0Mbps, 2.0Mbps, 1.0Mbps, 0.5Mbps, 0.3Mbps라는 5가지의 비트레이트가 정해져 있는 것으로 한다. 그 경우에, 「문턱값 Th1 미만」이라는 표시 영역의 사이즈에 「2.0, 1.0, 0.5, 0.3」(단위는 모두 Mbps)이라는 비트레이트의 범위가 대응되어 있다. 또한, 「문턱값 Th1 이상 문턱값 Th2 미만」이라는 표시 영역의 사이즈에 「4.0, 2.0, 1.0, 0.5」, 「문턱값 Th2 이상」이라는 표시 영역 사이즈에 「4.0, 2.0, 1.0」이라는 비트레이트의 범위가 각각 대응되어 있다.
비트레이트 결정부(105)는, 표시 영역 사이즈 특정부(102)에 의해 특정된 표시 영역 사이즈에 대응되어 있는 비트레이트의 범위를 비트레이트 테이블로부터 판독한다. 비트레이트 결정부(105)는, 판독한 비트레이트의 범위를, 통신 속도 특정부(104)에 의해 특정된 통신 속도를 초과하지 않는 범위로 좁혀간다. 비트레이트 결정부(105)는, 예를 들면 문턱값 Th1 미만의 표시 영역의 사이즈가 특정되면 「2.0, 1.0, 0.5, 0.3」이라는 비트레이트의 범위를 판독하고, 1.2Mbps라는 통신 속도가 특정되면 2.0Mbps라는 비트레이트가 특정된 통신 속도를 초과해 있으므로, 그 이외의 「1.0, 0.5, 0.3」이라는 비트레이트의 범위로 좁혀간다.
비트레이트 결정부(105)는, 캐시량 특정부(103)에 의해 특정된 캐시량만큼 일시적으로 기억된 세그먼트 데이터가 나타내는 동영상이 재생된 경우의 재생 시간(이하 「캐시 재생 시간」이라 함)이 정해진 문턱값 Th3 이상일 경우에는, 좁혀진 범위 중에서 큰 것에서부터 정해진 순번까지의 비트레이트 중 어느 하나를 선택하여, 재생될 동영상의 비트레이트로서 결정한다. 비트레이트 결정부(105)는, 본 실시예에서는, 정해진 순번을 1번까지, 즉 최대의 비트레이트를 선택하여 결정한다. 비트레이트 결정부(105)는, 전술한 예와 같이 좁혀진 범위가 「1.0, 0.5, 0.3」이면, 이 중의 최대의 비트레이트인 「1.0」을 재생 동영상의 비트레이트로서 결정한다.
또한, 비트레이트 결정부(105)는, 캐시 재생 시간이 상기한 문턱값 Th3 미만일 경우에는, 좁혀진 범위 중에서 작은 것에서부터 정해진 순번까지의 비트레이트 중 어느 하나를 선택하여, 재생될 동영상의 비트레이트로서 결정한다. 본 실시예에서는, 최대의 비트레이트를 제외하는 비트레이트가 모두 포함되는 순번이 정해진다. 따라서, 비트레이트 결정부(105)는, 상기한 바와 같이 좁혀진 범위 중에서 최대의 것을 제외하는 비트레이트 중 어느 하나를 선택하여 결정한다.
비트레이트 결정부(105)는, 전술한 예와 같이 좁혀진 범위가 「1.0, 0.5, 0.3」이면, 이 중의 최대의 비트레이트인 「1.0」을 제외한 「0.5, 0.3」 중 어느 하나를 선택하여 재생 동영상의 비트레이트로서 결정한다. 비트레이트 결정부(105)는, 최종적으로 2 이상의 비트레이트로부터 어느 하나를 선택할 경우는, 예를 들면 동영상의 해상도를 중시해서 항상 그 중의 최대의 비트레이트를 선택해도 되며, 동영상의 계속성을 중시해서 항상 그 중의 최소의 비트레이트를 선택해도 된다.
비트레이트 결정부(105), 전송 요구부(106) 및 동영상 재생부(109)가 협동함으로써, 일시적으로 기억된 동영상의 데이터를 판독하면서 그 동영상을 표시하는 표시부(111)로서 기능한다. 표시부(111)는, 상기한 바와 같이, 그 동영상을 표시하는 표시 영역의 사이즈에 따라서 동영상의 비트레이트를 변경한다. 구체적으로는, 표시부(111)는, 표시 영역이 확대되면 비트레이트를 큰 값으로 변경하고, 표시 영역이 축소되면 비트레이트를 작은 값으로 변경한다.
일시 기억량 제어 처리부(110)는, 일시 기억부(108)에 기억되는 동영상의 데이터의 일시 기억량을, 그 동영상을 표시하는 장치 자신의 상태에 따른 양으로 하기 위한 기억량 제어 처리를 행한다. 일시 기억량 제어 처리부(110)는 본 발명의 「처리부」의 일례이다. 본 실시예에서는, 일시 기억량 제어 처리부(110)는, 표시 영역 사이즈 특정부(102)로부터 공급되는 사이즈 정보가 나타내는 표시 영역의 사이즈의 상태를 장치 자신의 상태로 해서, 일시 기억량을 그 사이즈에 따른 양으로 하기 위한 처리를, 기억량 제어 처리로서 행한다.
일시 기억량 제어 처리부(110)는, 표시 영역 사이즈의 상태와 세그먼트 데이터의 개수를 대응시킨 세그먼트 데이터수 테이블을 이용해서 상기 결정을 행한다.
도 8은 세그먼트 데이터수 테이블의 일례를 나타낸다. 도 8의 예에서는, 표시 영역 사이즈의 상태가 「확대 상태」이며 일시 기억량이 「상한 이하」의 상태이면 세그먼트 데이터의 개수를 「증가」시키고, 표시 영역 사이즈의 상태가 「확대 상태」이며 일시 기억량이 「상한을 초과함」 상태이면 세그먼트 데이터의 개수를 「0개」로 하는 것이 나타나 있다. 또한, 표시 영역 사이즈의 상태가 「축소 상태」이면 세그먼트 데이터의 개수를 「감소」시키는 것이 나타나 있다.
스마트폰(10)에서는, 일시 기억부(108)가 동영상의 데이터를 일시적으로 기억하는 양(일시 기억량)에 상한이 정해져 있는 것으로 한다. 이 상한은, 캐시된 데이터에 의해 RAM의 빈 용량이 적어져 동영상의 재생 이외의 처리가 지연되는 것을 방지하기 위하여, 예를 들면 유저가 설정해서 정해지게 되어 있다. 또, RAM의 빈 용량보다 충분히 밑돌고 있는 경우에도, 재생하기 위하여 일정 이상의 시간이 확보될 수 있는 일시 기억량의 상한이 정해져 있어도 된다.
일시 기억량 제어 처리부(110)는, 예를 들면 표시 영역의 사이즈가 확대되는 확대 상태가 장치 자신의 상태일 경우, 일시 기억량이 상한 이하이면, 일시 기억량을 증가시키기 위한 처리를 기억량 제어 처리로서 행한다. 일시 기억량 제어 처리부(110)는, 지난번 공급된 사이즈 정보가 나타내는 표시 영역의 사이즈보다도 금번 공급된 사이즈 정보가 나타내는 표시 영역의 사이즈 쪽이 크면, 확대 상태라고 판단한다. 일시 기억량 제어 처리부(110)는, 전송 요구부(106)가 요구하는 세그먼트 데이터의 개수를 결정하고, 결정한 개수로 세그먼트 데이터를 요구하는 것을 지시하는 지시 처리를, 기억량 제어 처리로서 행한다.
일시 기억량 제어 처리부(110)는, 전술한 바와 같이 확대 상태라고 판단했을 경우에는, 세그먼트 데이터수 테이블이 나타내는 바와 같이, 세그먼트 데이터의 개수를 증가시키는 결정을 한다. 일시 기억량 제어 처리부(110)는, 세그먼트 데이터의 개수를, 지난번의 개수로부터 증가시켜도 되며, 미리 정해진 기준의 수(예를 들면 전송 요구가 행해지는 간격으로 재생되는 세그먼트 데이터의 개수. 1세그먼트 데이터의 재생 시간이 2초이고 요구 간격이 4초이면 2개가 기준의 수로 됨)로부터 증가시켜도 된다.
어느 경우여도, 전송 요구부(106)가 요구하는 세그먼트 데이터의 개수가 증가하여, 보다 이전의 화면을 나타내는 세그먼트 데이터가 송신되고, 일시 기억부(108)에 기억되는 세그먼트 데이터의 데이터량, 즉 일시 기억량이 증가한다. 단, 일시 기억량 제어 처리부(110)는, 일시 기억량을 그 상한까지의 범위에서 증가시키기 위한 처리를 기억량 제어 처리로서 행한다.
일시 기억량 제어 처리부(110)는, 캐시량 특정부(103)로부터 공급되는 캐시량 정보가 나타내는 양(본 실시예에서는 캐시된 동영상의 초수(秒數))이 미리 정해진 상한에 도달한 경우에는, 표시 영역의 사이즈의 상태가 확대 상태여도, 다음의 세그먼트 데이터의 개수를 세그먼트 데이터수 테이블이 나타내는 바와 같이 0개로 결정함으로써, 일시 기억량이 상한을 초과하지 않도록 한다. 또, 이 경우의 세그먼트 데이터의 개수는, 0개로 제한하지 않고, 일시 기억량이 감소하는 개수이면 된다.
또한, 일시 기억량 제어 처리부(110)는, 표시 영역의 사이즈가 축소되는 축소 상태가 장치 자신의 상태일 경우, 일시 기억량을 감소시키기 위한 처리를 기억량 제어 처리로서 행한다. 일시 기억량 제어 처리부(110)는, 지난번 공급된 사이즈 정보가 나타내는 표시 영역의 사이즈보다도 금번 공급된 사이즈 정보가 나타내는 표시 영역의 사이즈 쪽이 작으면, 축소 상태라고 판단한다.
일시 기억량 제어 처리부(110)는, 축소 상태라고 판단했을 경우에는, 세그먼트 데이터수 테이블이 나타내는 바와 같이, 세그먼트 데이터의 개수를 감소시키는 결정을 행한다. 일시 기억량 제어 처리부(110)는, 세그먼트 데이터의 개수를, 지난번의 개수로부터 감소시켜도 되며, 전술한 미리 정해진 기준의 수로부터 감소시켜도 된다. 어느 경우여도, 전송 요구부(106)가 요구하는 세그먼트 데이터의 개수가 감소하여, 일시 기억부(108)에 기억되는 세그먼트 데이터의 데이터량, 즉 일시 기억량이 감소한다.
동영상 전송 시스템(1)이 구비하는 각 장치는, 상기한 구성에 의거해서, 동영상의 스트리밍 전송 처리를 행한다.
도 9는 스트리밍 전송 처리에 있어서의 각 장치의 동작 수순의 일례를 나타낸다. 도 9의 예에서는, 유저가 스마트폰(10)에 대해서 스트리밍 전송되는 동영상을 재생시키는 조작(동영상의 링크를 선택하는 조작 등)을 행하는 것을 계기로 동작 수순이 개시된다.
우선, 스마트폰(10)이, 동영상의 재생 조작을 접수한다(스텝S11). 다음으로, 스마트폰(10)(비트레이트 정보 취득부(101))이, 재생 조작을 접수한 동영상의 비트레이트 정보를 동영상 전송 장치(20)에 요구한다(스텝S12). 동영상 전송 장치(20)(비트레이트 정보 송신부(203))는, 요구된 동영상의 비트레이트 정보를 판독해서 스마트폰(10)에 송신한다(스텝S13). 스마트폰(10)(비트레이트 정보 취득부(101))은, 송신되어 온 비트레이트 정보를 취득한다(스텝S14).
계속해서, 스마트폰(10)(표시 영역 사이즈 특정부(102))이, 재생 조작을 접수한 동영상의 표시 영역의 사이즈를 특정한다(스텝S15). 다음으로, 스마트폰(10)(일시 기억량 제어 처리부(110))이, 특정된 사이즈에 따른 세그먼트 데이터의 개수를 결정한다(스텝S16). 계속해서, 스마트폰(10)(비트레이트 결정부(105))이, 특정된 사이즈에 따른 동영상의 비트레이트를 결정한다(스텝S17). 그리고, 스마트폰(10)(전송 요구부(106))이, 스텝S17에서 결정된 비트레이트에서의 동영상의 스트리밍 전송을 동영상 전송 장치(20)에 요구한다(스텝S18).
동영상 전송 장치(20)(세그먼트 데이터 판독부(204))는, 스텝S18에서 요구된 비트레이트의 동영상을 나타내는 세그먼트 데이터를 판독한다(스텝S21). 다음으로, 동영상 전송 장치(20)(세그먼트 데이터 송신부(205))는, 스텝S21에서 판독된 세그먼트 데이터를 스마트폰(10)에 송신한다(스텝S22). 스마트폰(10)(세그먼트 데이터 수신부(107))은, 스텝S22에 있어서 송신되어 온 세그먼트 데이터를 수신한다. 스마트폰(10)(일시 기억부(108))은, 수신된 세그먼트 데이터를 일시적으로 기억한다(스텝S23).
다음으로, 스마트폰(10)(동영상 재생부(109))은, 일시적으로 기억된 세그먼트 데이터를 판독해서 재생하여, 표시 영역에 표시한다(스텝S24). 계속해서, 스마트폰(10)(표시 영역 사이즈 특정부(102))은, 재생된 동영상의 표시 영역의 사이즈를 특정한다(스텝S25). 다음으로, 스마트폰(10)(캐시량 특정부(103))은, 일시 기억되어 있는 세그먼트 데이터의 데이터량, 즉 캐시량을 특정한다(스텝S26).
계속해서, 스마트폰(10)(통신 속도 특정부(104))은, 세그먼트 데이터의 수신에 있어서의 통신 속도를 특정한다(스텝S27). 그리고, 스마트폰(10)(비트레이트 결정부(105))은, 스텝S25에서 특정된 표시 영역의 사이즈와, 스텝S26에서 특정된 캐시량과, 스텝S27에서 특정된 통신 속도에 따라서, 비트레이트를 결정한다(스텝S28). 스마트폰(10)(전송 요구부(106))은, 스텝S28에서 결정된 비트레이트의 동영상의 전송을 동영상 전송 장치(20)에 요구한다(스텝S29).
동영상 전송 장치(20)(세그먼트 데이터 판독부(204))는, 스텝S21로 되돌아가서, 스텝S29에서 요구된 비트레이트의 동영상을 나타내는 세그먼트 데이터를 판독한다. 이후에, 유저가 동작의 재생을 종료시키는 조작을 행하거나, 동영상이 끝까지 재생되어 동영상의 재생이 종료되기까지, 스텝S21부터 S29까지의 동작이 반복해서 행해진다.
본 실시예에 따르면, 상기한 바와 같이, 일시 기억부(108)가 기억하는 데이터량, 즉 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양이 장치 자신의 상태(본 실시예에서는 표시 영역의 사이즈)에 맞춰서 변화한다. 예를 들면 비트레이트가 작아지는 축소 상태(표시 영역의 사이즈가 축소되는 상태)에서는 일시 기억량을 감소시킴으로써, 축소 상태에 있어서 일시 기억량을 감소시키지 않는 경우에 비해서, 이후 표시 영역의 사이즈가 확대되었을 경우에 저화질의 화상(비트레이트가 작은 화상)이 재생되는 시간이 짧아진다.
한편, 비트레이트가 커지는 확대 상태(표시 영역의 사이즈가 확대되는 상태)에서는, 세그먼트 데이터의 사이즈도 커지므로, 세그먼트 데이터가 작을 때에 비해서 통신이 도중에 끊어지기 쉬워진다. 본 실시예에서는, 확대 상태에서는 일시 기억량을 증가시킴으로써, 확대 상태에 있어서 일시 기억량을 증가시키지 않는 경우에 비해서, 그와 같이 통신이 도중에 끊어지기 쉬운 때여도 동영상의 중단이 일어나기 어려워진다. 또한, 그때에 일시 기억량의 상한이 정해져 있음으로써, 일시 기억량이 지나치게 증가하는 것이 방지된다.
[2] 변형예
전술한 실시예는 본 발명의 실시의 일례에 지나지 않으며, 이하와 같이 변형시켜도 된다. 또한, 실시예 및 각 변형예는, 필요에 따라서 조합해서 실시해도 된다.
[2-1] 일시 기억량의 상한
실시예에서는 일시 기억량의 상한이 정해져 있었지만, 이 상한이 정해져 있지 않아도 된다. 예를 들면 일시 기억부(108)가, 스트리밍되는 동영상의 최대의 데이터 사이즈를 초과하는 기억 용량을 갖고 있으면, 상한이 정해져 있지 않아도, 일시 기억하는 기억 영역이 부족하여 전송된 세그먼트 데이터를 파기하는 것과 같은 경우가 발생하지 않는다.
[2-2] 표시 장치의 방향
일시 기억량 제어 처리부(110)는, 장치 자신(표시 장치)의 상태로서 실시예와는 서로 다른 상태를 이용해도 된다. 예를 들면, 동영상 재생부(109)가, 도 6a의 설명에서 기술한 바와 같이, 장치 자신의 방향에 따른 사이즈의 표시 영역에 동영상을 표시할 경우에, 일시 기억량 제어 처리부(110)는, 장치 자신의 방향의 상태를 장치 자신의 상태로 해서, 일시 기억량을 그 방향에 따른 양으로 하기 위한 처리를 기억량 제어 처리로서 행한다.
도 10은 본 변형예의 세그먼트 데이터수 테이블의 일례를 나타낸다. 도 10의 예에서는, 장치 자신의 방향의 상태가 「가로 방향」(도 6a의 (b)에 나타내는 바와 같이 표시면(161)의 장변(162)이 수평 방향을 따르도록 스마트폰(10)이 향하고 있는 상태)이면 세그먼트 데이터의 개수를 「증가」시키고, 장치 자신의 방향의 상태가 「세로 방향」(도 6a의 (a)에 나타내는 바와 같이 표시면(161)의 단변(163)이 수평 방향을 따르도록 스마트폰(10)이 향하고 있는 상태)이면 세그먼트 데이터의 개수를 「감소」시키는 것이 나타나 있다.
일시 기억량 제어 처리부(110)는, 이 세그먼트 데이터수 테이블이 나타내는 바와 같이, 장치 자신이 가로 방향의 상태이면, 일시 기억량을 증가시키기 위한 처리를 기억량 제어 처리로서 행하고, 장치 자신이 세로 방향의 상태이면, 일시 기억량을 감소시키기 위한 처리를 기억량 제어 처리로서 행한다. 이상과 같이, 본 변형예에서는, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양이 장치 자신의 방향에 맞춰서 변화한다. 이것에 의해, 스마트폰(10)이 도 6a의 설명에서 기술한 바와 같이 가로 방향의 상태에서는 세로 방향의 상태보다도 표시 영역의 사이즈를 크게 할 경우, 실시예와 같이, 이후 표시 영역의 사이즈가 확대되었을 경우에 저화질의 화상(비트레이트가 작은 화상)이 재생되는 시간이 짧아져, 동영상의 중단이 일어나기 어려워진다.
[2-3] 표시 장치의 이동 속도
일시 기억량 제어 처리부(110)는, 장치 자신(표시 장치)의 상태로서, 이동 속도의 상태를 이용해도 된다. 이 경우, 일시 기억량 제어 처리부(110)는, 장치 자신의 이동 속도의 상태를 장치 자신의 상태로 해서, 일시 기억량을 그 방향에 따른 양으로 하기 위한 처리를 기억량 제어 처리로서 행한다.
도 11은 본 변형예의 스마트폰(10a)이 실현하는 기능 구성을 나타낸다. 스마트폰(10a)은, 도 5에 나타내는 각 부에 더해서 이동 속도 측정부(112)를 구비한다. 본 변형예에서는, 도 3에 나타내는 센서(18)가, 3축의 가속도 센서이고, 장치 자신의 가속도를 나타내는 데이터를 CPU(11)에 공급한다. 이동 속도 측정부(112)는, 이 가속도에 의거해서 장치 자신의 이동 속도를 측정한다. 이동 속도 측정부(112)는, 전송 요구부(106)에 의한 전송 요구와 공통의 간격으로 측정을 행하고, 측정할 때마다 그 측정 결과를 일시 기억량 제어 처리부(110)에 공급한다.
도 12는 본 변형예의 세그먼트 데이터수 테이블의 일례를 나타낸다. 도 12의 예에서는, 장치 자신의 이동 속도의 상태가 「문턱값 Th11 미만」이면 세그먼트 데이터의 개수를 「증가」시키고, 장치 자신의 이동 속도의 상태가 「문턱값 Th11 이상」이면 세그먼트 데이터의 개수를 「감소」시키는 것이 나타나 있다.
일시 기억량 제어 처리부(110)는, 이 세그먼트 데이터수 테이블이 나타내는 바와 같이, 장치 자신의 이동 속도가 문턱값 Th11 미만의 상태이면, 일시 기억량을 증가시키기 위한 처리를 기억량 제어 처리로서 행하고, 장치 자신의 이동 속도가 문턱값 Th11 이상의 상태이면, 일시 기억량을 감소시키기 위한 처리를 기억량 제어 처리로서 행한다. 이상과 같이, 본 변형예에서는, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양이 장치 자신의 이동 속도에 맞춰서 변화한다.
예를 들면 유저가 걷는 속도와 유저가 멈춰 서있을 때에 스마트폰(10a)을 움직이는 속도의 경계로 되는 값(예를 들면 시속 2∼3km 정도)을 문턱값 Th11로 해서 정한 것으로 한다. 그러면, 유저가 멈춰 서있을 때에는 세그먼트 데이터의 개수가 증가해서 일시 기억량도 증가하여, 통신이 일시적으로 중단되어도 동영상이 중단되기 어려워진다. 한편, 유저가 걷고 있을 때에는 세그먼트 데이터의 개수가 감소해서 일시 기억량도 감소하여, 통신이 일시적으로 중단되었을 때에 동영상이 중단되기 쉬워진다. 이것에 의해, 본 변형예의 기억량 제어 처리가 행해지지 않는 경우에 비해서, 걸으면서 스마트폰을 보는 행위(using smartphones while walking)가 억제되며, 유저가 멈춰 서있으면 동영상을 쾌적하게 시청할 수 있게 된다.
[2-4] 표시 장치의 위치
일시 기억량 제어 처리부(110)는, 장치 자신(표시 장치)의 상태로서, 장치 자신의 위치의 상태를 이용해도 된다. 이 경우, 일시 기억량 제어 처리부(110)는, 장치 자신의 위치의 상태를 장치 자신의 상태로 해서, 일시 기억량을 그 위치에 따른 양으로 하기 위한 처리를 기억량 제어 처리로서 행한다.
도 13은 본 변형예의 스마트폰(10b)이 실현하는 기능 구성을 나타낸다. 스마트폰(10b)은, 도 5에 나타내는 각 부에 더해서 위치 측정부(113)를 구비한다. 본 변형예에서는, 도 3에 나타내는 센서(18)가, GPS(Global Positioning System)를 갖는 위치 측정 센서이고, 장치 자신의 위치를 나타내는 위치 데이터를 CPU(11)에 공급한다. 위치 측정부(113)는, 이 위치 데이터가 나타내는 장치 자신의 위치를 측정한다. 위치 측정부(113)는, 전송 요구부(106)에 의한 전송 요구와 공통의 간격으로 위치의 측정을 행하여, 측정할 때마다 그 측정 결과를 일시 기억량 제어 처리부(110)에 공급한다.
도 14는 본 변형예의 세그먼트 데이터수 테이블의 일례를 나타낸다. 도 14의 예에서는, 장치 자신의 위치의 상태가 「자택, 직장」이면 세그먼트 데이터의 개수를 「증가」시키고, 장치 자신의 위치의 상태가 「이동 경로」이면 세그먼트 데이터의 개수를 「감소」시키는 것이 나타나 있다. 또한, 장치 자신의 위치의 상태가 「전철의 노선」일 경우, 「출발로부터 역 앞까지」이면 세그먼트 데이터의 개수를 「증가」시키고, 「역 앞으로부터 출발까지」이면 세그먼트 데이터의 개수를 「감소」시키는 것이 나타나 있다.
일시 기억량 제어 처리부(110)는, 이 세그먼트 데이터수 테이블이 나타내는 바와 같이, 장치 자신의 위치가 「자택, 직장」의 상태 또는 「전철의 노선」에 있어서 「출발로부터 역 앞까지」의 상태이면, 일시 기억량을 증가시키기 위한 처리를 기억량 제어 처리로서 행하고, 장치 자신의 위치가 「이동 경로」의 상태 또는 「전철의 노선」에 있어서 「역 앞으로부터 출발까지」의 상태이면, 일시 기억량을 감소시키기 위한 처리를 기억량 제어 처리로서 행한다. 이상과 같이, 본 변형예에서는, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양이 장치 자신의 위치에 맞춰서 변화한다.
본 변형예에서는, 유저가 자택이나 직장에 있을 때나 전철에 타고 있을 때에는 세그먼트 데이터의 개수가 증가해서 일시 기억량도 증가하여, 통신이 일시적으로 중단되어도 동영상이 중단되기 어려워진다. 한편, 유저가 이동 경로에 있을 때나 전철이 곧 역에 도착할 때에는 세그먼트 데이터의 개수가 감소해서 일시 기억량도 감소하여, 통신이 일시적으로 중단되었을 때에 동영상이 중단되기 쉬워진다. 이것에 의해, 본 변형예의 기억량 제어 처리가 행해지지 않는 경우에 비해서, 걸으면서 스마트폰을 보는 행위(using smartphones while walking)가 억제된다. 또한, 유저가 이동하고 있어도, 그것이 전철에서의 이동이면, 동영상을 쾌적하게 시청할 수 있게 된다. 또, 전철에서의 이동으로 제한하지 않고, 버스나 배, 비행기에서의 이동에 있어서도, 본 변형예와 같이 기억량 제어 처리가 행해짐으로써, 동영상을 쾌적하게 시청할 수 있게 된다.
[2-5] 표시 장치와 다른 장치의 접속 상태
일시 기억량 제어 처리부(110)는, 장치 자신과 다른 장치의 접속 상태를 장치 자신의 상태로 해서, 일시 기억량을 그 접속 상태에 따른 양으로 하기 위한 처리를 기억량 제어 처리로서 행해도 된다. 여기에서 말하는 접속 상태란, 예를 들면, 장치 자신과 무선 통신을 행하는 장치의 접속 상태이다.
도 15는 본 변형예의 스마트폰(10c)의 하드웨어 구성을 나타낸다. 스마트폰(10c)은, 도 3에 나타내는 하드웨어에 더해서, 제2 NIC(14-2)를 구비한다. 본 변형예에서는, NIC(14)는 이동체 통신의 규격에 준거한 무선 통신을 행하고, 제2 NIC(14-2)는 무선 LAN(Local Area Network)의 규격에 준거한 무선 통신을 행한다.
도 16은 스마트폰(10c)이 실현하는 기능 구성을 나타낸다. 스마트폰(10c)은, 도 5에 나타내는 각 부에 더해서 무선 통신 접속처 판별부(114)를 구비한다. 무선 통신 접속처 판별부(114)는, NIC(14)가 무선 통신을 행하고 있을 경우에는 이동체 통신망의 기지국을 무선 통신의 접속처라고 판별하고, 제2 NIC(14-2)가 무선 통신을 행하고 있을 경우에는 무선 LAN의 액세스 포인트를 무선 통신의 접속처라고 판별한다. 무선 통신 접속처 판별부(114)는, 전송 요구부(106)에 의한 전송 요구와 공통의 간격으로 판별을 행하고, 판별할 때마다 그 판별 결과를 일시 기억량 제어 처리부(110)에 공급한다.
도 17은 본 변형예의 세그먼트 데이터수 테이블의 일례를 나타낸다. 도 17의 예에서는, 무선 통신의 접속처가 「액세스 포인트」이면 세그먼트 데이터의 개수를 「증가」시키고, 무선 통신의 접속처가 「기지국」이면 세그먼트 데이터의 개수를 「감소」시키는 것이 나타나 있다. 일시 기억량 제어 처리부(110)는, 이 세그먼트 데이터수 테이블이 나타내는 바와 같이, 장치 자신과 무선 통신을 행하는 접속처가 「액세스 포인트」인 상태에 있어서는, 일시 기억량을 증가시키기 위한 처리를 기억량 제어 처리로서 행하고, 장치 자신과 무선 통신을 행하는 접속처가 「기지국」인 상태에 있어서는, 일시 기억량을 감소시키기 위한 처리를 기억량 제어 처리로서 행한다.
이상과 같이, 본 변형예에서는, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양이 장치 자신과 다른 장치의 접속 상태에 맞춰서 변화한다. 또한, 액세스 포인트가 접속처인 경우에는 종량 과금되지 않는 것이 일반적이므로, 본 변형예의 기억량 제어 처리가 행해지지 않는 경우에 비해서, 일시 기억량을 증가시켜서 동영상을 중단되기 어렵게 하고 있다. 또한, 기지국이 접속처일 경우에는, 종량 과금되거나, 일정의 통신량을 초과하면 통신 속도를 저하시키는 조치가 행해지는 경우가 있으므로, 본 변형예의 기억량 제어 처리가 행해지지 않는 경우에 비해서, 일시 기억량을 감소시켜서 통신 요금의 저감이나 통신 속도의 저하 조치를 회피하기 쉽게 되어 있다.
또, 접속 상태는, 상기 이외에도, 예를 들면, 장치 자신과 주변 기기의 접속 상태여도 된다.
도 18은 본 변형예의 스마트폰(10d)의 하드웨어 구성을 나타낸다. 스마트폰(10d)은, 도 3에 나타내는 하드웨어에 더해서, I/F(InterFace)(19)를 구비한다. I/F(19)는, 예를 들면 Bluetooth(등록 상표)의 규격에 준거한 인터페이스이며, Bluetooth에 대응된 주변 기기가 접속된다.
도 19는 스마트폰(10d)이 실현하는 기능 구성을 나타낸다. 스마트폰(10d)은, 도 5에 나타내는 각 부에 더해서 주변 기기 접속 판정부(115)를 구비한다. 주변 기기 접속 판정부(115)는, I/F(19)에 접속되어 있는 주변 기기의 유무를 판정한다. 주변 기기 접속 판정부(115)는, 예를 들면, 장치 자신의 OS(Operating System)로부터 Bluetooth의 페어링의 상태를 나타내는 정보를 취득해서, 페어링되고 있는 장치가 있으면 주변 기기가 접속되어 있다고 판정한다. 주변 기기 접속 판정부(115)는, 전송 요구부(106)에 의한 전송 요구와 공통의 간격으로 판정을 행하고, 판정할 때마다 그 판정 결과를 일시 기억량 제어 처리부(110)에 공급한다.
도 20은 본 변형예의 세그먼트 데이터수 테이블의 일례를 나타낸다. 도 20의 예에서는, 주변 기기의 접속이 「없음」이면 세그먼트 데이터의 개수를 「증가」시키고, 주변 기기의 접속이 「있음」이면 세그먼트 데이터의 개수를 「감소」시키는 것이 나타나 있다. 일시 기억량 제어 처리부(110)는, 이 세그먼트 데이터수 테이블이 나타내는 바와 같이, 장치 자신과 주변 기기의 접속이 없는 상태에 있어서는, 일시 기억량을 증가시키기 위한 처리를 기억량 제어 처리로서 행하고, 장치 자신과 주변 기기의 접속이 있는 상태에 있어서는, 일시 기억량을 감소시키기 위한 처리를 기억량 제어 처리로서 행한다.
이 경우도, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양이 장치 자신과 다른 장치의 접속 상태에 맞춰서 변화한다. 또한, 주변 기기가 접속되어 있으면, 그 주변 기기를 주로 이용하는 상태가 되므로, 본 변형예에서는, 일시 기억량을 감소시켜서, 주변 기기가 사용 가능한 기억 영역을 많게 하고 있다. 한편, 주변 기기가 접속되어 있으면, 주변 기기가 접속되어 있지 않은 경우에 비해서 표시되는 동영상에 대한 주의력이 낮아지기 쉬우므로, 일시 기억량을 감소시켰을 때의 영향이 작다.
[2-6] 서버 장치
전술한 비트레이트의 결정을 서버 장치가 행해도 된다.
도 21은 본 변형예의 동영상 전송 시스템(1e)의 전체 구성을 나타낸다. 동영상 전송 시스템(1e)은, 통신 회선(2)과, 스마트폰(10e)과, 동영상 전송 장치(20)와, 서버 장치(30)를 구비한다.
도 22는 서버 장치(30)의 하드웨어 구성을 나타낸다. 서버 장치(30)는, CPU(31)와, RAM(32)과, ROM(33)과, NIC(34)와, HDD(35)를 구비하는 컴퓨터이다. CPU(31)부터 HDD(35)까지는, 도 4에 나타내는 동명의 하드웨어와 각각 공통되는 것이다.
도 23은 본 변형예의 각 장치가 실현하는 기능 구성을 나타낸다. 스마트폰(10e)은, 도 5에 나타내는 세그먼트 데이터 수신부(107), 일시 기억부(108) 및 동영상 재생부(109)에 더해서, 재생 조작 통지부(116)를 구비한다. 서버 장치(30)는, 도 5에 나타내는 비트레이트 정보 취득부(101), 표시 영역 사이즈 특정부(102), 캐시량 특정부(103), 통신 속도 특정부(104), 비트레이트 결정부(105), 전송 요구부(106) 및 일시 기억량 제어 처리부(110)를 구비한다.
스마트폰(10e)의 재생 조작 통지부(116)는, 스트리밍 전송되는 동영상을 재생시키는 조작이 장치 자신에 대해서 행해지면, 그 취지를 서버 장치(30)에 통지한다. 이 통지는 서버 장치(30)의 비트레이트 정보 취득부(101), 표시 영역 사이즈 특정부(102), 캐시량 특정부(103) 및 통신 속도 특정부(104)에 의해 수취된다. 이 통지를 수취하면, 비트레이트 정보 취득부(101)는 비트레이트 정보를 취득하고, 각 특정부는, 스마트폰(10e)의 대응하는 각 부(표시 영역 사이즈 특정부(102)는 동영상 재생부(109), 캐시량 특정부(103)는 일시 기억부(108), 통신 속도 특정부(104)는 세그먼트 데이터 수신부(107))와 통신해서, 각각의 특정 동작을 개시한다.
본 변형예의 일시 기억량 제어 처리부(110)는, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억하면서 표시하는 표시 장치(본 변형예에서는 스마트폰(10e))에 있어서의 그 동영상의 데이터의 일시 기억량을, 표시 장치의 상태에 따른 양으로 하기 위한 기억량 제어 처리를 행한다. 이 일시 기억량 제어 처리부(110)도 본 발명의 「처리부」의 일례이다. 일시 기억량 제어 처리부(110)는, 예를 들면, 스마트폰(10e)이 동영상을 표시하는 표시 영역 사이즈의 상태를 표시 장치의 상태로 해서, 일시 기억량을 그 사이즈에 따른 양으로 하기 위한 처리를, 기억량 제어 처리로서 행한다.
기억량 제어 처리의 상세는, 실시예나 상기 변형예와 공통되지만, 상기한 각 예에서는 표시 장치 자신이 기억량 제어 처리를 행하고 있었기 때문에, 주로 장치 자신이 처리의 대상이나 주체였지만, 본 변형예에서는, 서버 장치(30)가 기억량 제어 처리를 행하기 때문에, 「장치 자신」이 아닌 서버 장치(30)에 있어서의 외부 장치인 「표시 장치」가 처리의 대상이나 주체로 된다. 이것에 의해, 상기한 각 예와 같이, 비트레이트 결정부(105)가 비트레이트를 결정하고, 일시 기억량 제어 처리부(110)가 세그먼트 데이터의 개수를 결정해서, 전송 요구부(106)에 의해 동영상의 전송이 요구된다.
이때, 전송 요구부(106)는, 동영상의 전송처를 스마트폰(10e)으로 해서 요구를 행한다. 동영상 전송 장치(20)의 세그먼트 데이터 송신부(205)는, 요구된 동영상의 세그먼트 데이터를 스마트폰(10e)에 송신한다. 이렇게 해서 서버 장치(30)에서 결정된 비트레이트의 동영상이 스마트폰(10e)에 전송된다. 본 변형예에서도, 서버 장치(30)가 실시예의 스마트폰(10)과 같이 일시 기억량을 제어하므로, 스트리밍 전송되는 동영상의 데이터를 일시적으로 기억시키는 양이 스마트폰(10)의 상태(본 변형예에서는 표시 영역의 사이즈)에 맞춰서 변화한다.
[2-7] 발명의 카테고리
본 발명은, 상기한 스마트폰과 같이 스트리밍 전송된 동영상을 표시하는 표시 장치나 상기한 서버 장치와 같이 동영상은 표시하지 않지만 기억량 제어 처리를 행하는 정보 처리 장치 외에, 동영상 전송 장치나 이들 장치를 구비하는 동영상 전송 시스템으로서 파악할 수 있다. 또한, 본 발명은, 각 장치가 실시하는 처리를 실현하기 위한 정보 처리 방법으로서 파악할 수도 있고, 각 장치를 제어하는 컴퓨터를 기능시키기 위한 프로그램으로서 파악할 수도 있다. 이 프로그램은, 그것을 기억시킨 광디스크 등의 기록 매체의 형태로 제공되어도 되고, 인터넷 등의 통신 회선을 통해 컴퓨터에 다운로드시키고, 그것을 인스톨해서 이용 가능하게 하는 등의 형태로 제공되어도 된다.
1 : 동영상 전송 시스템 2 : 통신 회선
10 : 스마트폰 20 : 동영상 전송 장치
30 : 서버 장치 101 : 비트레이트 정보 취득부
102 : 표시 영역 사이즈 특정부 103 : 캐시량 특정부
104 : 통신 속도 특정부 105 : 비트레이트 결정부
106 : 전송 요구부 107 : 세그먼트 데이터 수신부
108 : 일시 기억부 109 : 동영상 재생부
110 : 일시 기억량 제어 처리부 111 : 표시부
112 : 이동 속도 측정부 113 : 위치 측정부
114 : 무선 통신 접속처 판별부 115 : 주변 기기 접속 판정부
116 : 재생 조작 통지부 201 : 세그먼트 데이터 기억부
202 : 비트레이트 정보 기억부 203 : 비트레이트 정보 송신부
204 : 세그먼트 데이터 판독부 205 : 세그먼트 데이터 송신부

Claims (9)

  1. 표시 장치로서,
    스트리밍 전송되는 동영상의 데이터를 일시적으로 기억하도록 구성되는 일시 기억부;
    일시적으로 기억된 상기 데이터를 판독하면서 상기 동영상을 표시하도록 구성되는 표시부; 및
    상기 일시 기억부에 기억되는 상기 동영상의 데이터의 일시 기억량을, 상기 동영상을 표시하는 상기 표시 장치의 이동 속도에 따른 양으로 하기 위한 기억량 제어 처리를 행하도록 구성되는 처리부를 구비하고,
    상기 표시 장치의 이동 속도가 문턱값보다 작을 때 상기 동영상의 데이터의 일시 기억량은 증가되고, 상기 표시 장치의 이동 속도가 상기 문턱값보다 크거나 같을 때 상기 동영상의 데이터의 일시 기억량은 감소되는, 표시 장치.
  2. 제1항에 있어서,
    상기 동영상은, 표시 중에 비트레이트를 변경 가능한 동영상이고,
    상기 표시부는, 상기 동영상을 표시하는 표시 영역의 사이즈에 따라서 당해 동영상의 비트레이트를 변경하도록 구성되고,
    상기 처리부는, 상기 일시 기억량이 상기 표시 영역의 사이즈에 따라 더 조정되도록 하는 상기 기억량 제어 처리를 행하도록 구성되는, 표시 장치.
  3. 제2항에 있어서,
    상기 표시부는, 상기 표시 영역이 확대되면 상기 비트레이트를 큰 값으로 변경하도록 구성되고,
    상기 처리부는, 상기 표시 영역의 사이즈가 확대되는 경우, 상기 일시 기억량을 증가시킴으로써 상기 기억량 제어 처리를 행하도록 구성되는, 표시 장치.
  4. 제3항에 있어서,
    상기 일시 기억부에 일시적으로 기억되는 상기 데이터의 양에 상한이 정해져 있고,
    상기 처리부는, 상기 일시 기억량을 상기 상한까지의 범위에서 증가시키기 위한 상기 기억량 제어 처리를 행하도록 구성되는, 표시 장치.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 표시부는, 상기 표시 영역이 축소되면 상기 비트레이트를 작은 값으로 변경하도록 구성되고,
    상기 처리부는, 상기 표시 영역의 사이즈가 축소되는 경우, 상기 일시 기억량을 감소시킴으로써 상기 기억량 제어 처리를 행하도록 구성되는, 표시 장치.
  6. 제1항에 있어서,
    상기 처리부는, 상기 일시 기억량이 상기 표시 장치의 방향에 따라 더 조정되도록 하는 상기 기억량 제어 처리를 행하도록 구성되는, 표시 장치.
  7. 제1항에 있어서,
    상기 처리부는, 상기 일시 기억량이 상기 표시 장치의 위치에 따라 더 조정되도록 하는 상기 기억량 제어 처리를 행하도록 구성되는, 표시 장치.
  8. 제1항에 있어서,
    상기 처리부는, 상기 일시 기억량이 상기 표시 장치와 다른 장치의 접속 상태에 따라 더 조정되도록 하는 상기 기억량 제어 처리를 행하는, 표시 장치.
  9. 삭제
KR1020160115426A 2016-03-08 2016-09-08 표시 장치 KR102123885B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016044906A JP2017163287A (ja) 2016-03-08 2016-03-08 表示装置
JPJP-P-2016-044906 2016-03-08

Publications (2)

Publication Number Publication Date
KR20170104913A KR20170104913A (ko) 2017-09-18
KR102123885B1 true KR102123885B1 (ko) 2020-06-17

Family

ID=57205994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115426A KR102123885B1 (ko) 2016-03-08 2016-09-08 표시 장치

Country Status (5)

Country Link
US (1) US9866786B2 (ko)
EP (1) EP3217681B1 (ko)
JP (1) JP2017163287A (ko)
KR (1) KR102123885B1 (ko)
CN (1) CN107172503B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533850B (zh) * 2015-04-27 2022-05-24 三星电子株式会社 音频内容识别方法和装置
CN112162665B (zh) 2020-09-21 2021-11-09 维沃移动通信有限公司 操作方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015148016A1 (en) * 2014-03-26 2015-10-01 Intel Corporation Adaptive media streaming

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7188352B2 (en) * 1995-07-11 2007-03-06 Touchtunes Music Corporation Intelligent digital audiovisual playback system
JPH1198574A (ja) * 1997-09-24 1999-04-09 Toyota Motor Corp 移動体用無線通信システムおよびそのシステムに用いられる無線通信移動局
JP3475142B2 (ja) * 2000-03-01 2003-12-08 三菱電機株式会社 地図データ送信装置、地図データ送信方法、及び、地図データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002141860A (ja) * 2000-11-02 2002-05-17 Denso Corp 狭域無線用自動車搭載通信装置
JP2004088480A (ja) 2002-08-27 2004-03-18 Canon Inc 撮像装置及びそのデータ伝送制御方法
JP4100182B2 (ja) * 2003-01-30 2008-06-11 松下電器産業株式会社 通信端末装置及びその制御方法
US20050066089A1 (en) 2003-09-22 2005-03-24 Jeyhan Karaoguz Consumption based source throttling
JP2005151352A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd 車載装置および配信局、並びにストリーミング配信システム
JP4249672B2 (ja) * 2004-08-16 2009-04-02 Ｋｄｄｉ株式会社 ビデオ情報複数同時符号化装置
JP4339211B2 (ja) * 2004-08-31 2009-10-07 シャープ株式会社 通信装置および通信システム
JP2006148789A (ja) 2004-11-24 2006-06-08 Matsushita Electric Ind Co Ltd ストリーミング受信装置及び配信サーバ装置
WO2006097872A2 (en) * 2005-03-16 2006-09-21 Koninklijke Philips Electronics N.V. Content reproduction system and method
US20060215630A1 (en) * 2005-03-25 2006-09-28 Cherng-Daw Hwang Feature scalability in a multimedia communication system
JP4578396B2 (ja) * 2005-12-08 2010-11-10 株式会社日立超エル・エス・アイ・システムズ 情報処理装置
EP1843592A1 (en) * 2006-04-05 2007-10-10 BRITISH TELECOMMUNICATIONS public limited company Controlling media content quality
JP5060926B2 (ja) * 2007-11-28 2012-10-31 ルネサスエレクトロニクス株式会社 番組情報処理装置及び番組情報処理方法
JP2011172182A (ja) * 2010-02-22 2011-09-01 Nec Personal Products Co Ltd 配信サーバ及び配信システム
CN101848382A (zh) 2010-05-31 2010-09-29 深圳市景阳科技股份有限公司 一种视频流图像分辨率和码流的调整方法及***
US8751679B2 (en) * 2011-10-07 2014-06-10 Ericsson Television Inc. HTTP adaptive streaming server with automatic rate shaping
CN109905728A (zh) 2012-01-19 2019-06-18 Vid拓展公司 使用移动设备接收多媒体内容的方法及该移动设备
US8861932B2 (en) 2012-05-18 2014-10-14 At&T Mobility Ii Llc Video service buffer management
US9253229B1 (en) * 2013-01-07 2016-02-02 Cox Communications, Inc. Correlating video quality with video playback view
JP2014204395A (ja) * 2013-04-09 2014-10-27 キヤノン株式会社 画像再生装置及びその再生方法
CN104168174A (zh) * 2013-05-16 2014-11-26 阿里巴巴集团控股有限公司 一种传输信息的方法及装置
US20150350369A1 (en) * 2014-05-30 2015-12-03 Qualcomm Incorporated Method For Reducing Pre-Fetching Of Multimedia Streaming Data With Minimal Impact On Playback User Experience

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015148016A1 (en) * 2014-03-26 2015-10-01 Intel Corporation Adaptive media streaming

Also Published As

Publication number Publication date
US9866786B2 (en) 2018-01-09
EP3217681A1 (en) 2017-09-13
KR20170104913A (ko) 2017-09-18
JP2017163287A (ja) 2017-09-14
CN107172503A (zh) 2017-09-15
US20170264854A1 (en) 2017-09-14
CN107172503B (zh) 2021-01-01
EP3217681B1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
KR101918017B1 (ko) 정보 처리 장치 및 정보 처리 방법
US8886765B2 (en) System and method for predicitive trick play using adaptive video streaming
JP2014192589A (ja) 動画像データ配信装置、方法、プログラム、及びシステム
JP6021385B2 (ja) ストリーミングメディア再生装置、ストリーミングメディア再生方法、及びプログラム
JP5557939B2 (ja) 携帯端末、情報再生システムおよび情報再生方法
WO2015198725A1 (ja) 通信装置、通信方法、及びプログラム
JP2020053760A (ja) 情報処理システム、端末装置およびプログラム
KR101905638B1 (ko) 동영상 재생 장치 및 방법
KR102123885B1 (ko) 표시 장치
KR102137133B1 (ko) 정보 처리 장치
JP2016219915A (ja) 配信制御装置、中継装置、配信システム、配信制御方法、及びプログラム
KR20120040838A (ko) 끊김 없는 영상을 제공하기 위한 멀티 스크린 플레이 서비스 시스템 및 방법
JP2015104075A (ja) メディア再生制御装置、メディア再生制御方法、及びプログラム
JP5784538B2 (ja) ストリーミングメディア再生装置、メディアビットレート変更判定方法、及びプログラム
JP6891497B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP6099715B2 (ja) ストリーミングメディア再生装置、ストリーミングメディア再生方法、及びプログラム
KR101125099B1 (ko) 동화상 처리 디바이스, 동화상 처리 방법, 및 프로그램
JP6327809B2 (ja) 受信装置、制御方法及びプログラム
JP4740690B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
KR20140126094A (ko) 멀티미디어 시스템에서 컨텐츠 재생 방법 및 장치
JP2016046584A (ja) 映像再生装置および映像再生装置の制御方法
JP4902326B2 (ja) 動画送信サーバおよびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant