KR20230039723A - 프로젝션 데이터 프로세싱 방법 및 장치 - Google Patents

프로젝션 데이터 프로세싱 방법 및 장치 Download PDF

Info

Publication number
KR20230039723A
KR20230039723A KR1020237005683A KR20237005683A KR20230039723A KR 20230039723 A KR20230039723 A KR 20230039723A KR 1020237005683 A KR1020237005683 A KR 1020237005683A KR 20237005683 A KR20237005683 A KR 20237005683A KR 20230039723 A KR20230039723 A KR 20230039723A
Authority
KR
South Korea
Prior art keywords
image
resolution
projected
terminal
screen
Prior art date
Application number
KR1020237005683A
Other languages
English (en)
Inventor
신동 시
쥔 리
슈 왕
지안정 우
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20230039723A publication Critical patent/KR20230039723A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

본 출원의 실시예는 무선 프로젝션 프로세스의 지연을 감소시키기 위한 프로젝션 데이터 프로세싱 방법을 개시한다. 본 출원의 실시예에서, 방법은, 프로젝션 전송단이, 네트워크 상태 정보를 획득하는 단계 및 네트워크 상태 정보에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정하는 단계; 그런 다음, 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부에 기반하여, 합성될 계층을 결정하는 단계를 포함한다. 따라서, 프로젝션 동안 송신될 데이터의 양이 감소될 수 있고, 프로젝션 지연이 감소될 수 있다. 또한, 프로젝션 수신단은, 전송단에 의해 송신되는 데이터의 양을 감소시킴으로써 유발되는 이미지 품질 손상을 회피하기 위해, 프로젝팅될 이미지에 대해 초해상을 수행할 수 있다. 이 솔루션은 프로젝션 지연을 감소시키고 프로젝션 이미지 품질을 보장하여, 사용자 경험을 향상시킨다.

Description

프로젝션 데이터 프로세싱 방법 및 장치
본 출원은 "프로젝션 데이터 프로세싱 방법 및 장치"라는 명칭으로 2020년 7월 30일자로 중국 특허청에 출원된 중국 특허 출원 제202010753147.3호에 대한 우선권을 주장하며, 이는 그 전체가 참조로 본원에 포함된다.
본 출원은 프로젝션(projection) 기술 분야에 관한 것으로, 특히 프로젝션 데이터 프로세싱 방법 및 장치에 관한 것이다.
최근에, 지능형 단말기의 급속한 발전으로, 모바일 폰, 태블릿 컴퓨터, 컴퓨터, 프로젝터, 스마트 텔레비전 등이 계속 반복적으로 업그레이드되고 있다. 무선 프로젝션 기술은 다수의 스크린 간의 상호작용을 가능하게 하며, 해당 애플리케이션 시나리오도 또한 더욱 다양해지고 대중화되고 있다. 이러한 배경에서, 디바이스 간 모바일-중심 스트리밍 미디어 자원의 원활한 전달은 엄격한 요구가 되고 있다.
무선 프로젝션은 지난 1-2년 동안에 복수의 스크린 간의 상호작용 모드이다. 일반적 시나리오는 스크린 미러링, 게임 프로젝션 및 멀티-스크린 상호작용을 포함한다. 주요 무선 프로젝션 프로토콜은, 디지털 리빙 네트워크 얼라이언스(digital living network alliance, DLNA), Apple의 에어플레이(Airplay), 및 Wi-Fi 얼라이언스 지정 무선 디스플레이 표준(Miracast)을 포함한다.
현재, 3가지 주요 무선 프로젝션 모드의 지연은 약 100ms 내지 2000ms로 길며, 이는 게임 애플리케이션에서의 직접적인 무선 프로젝션의 요구사항을 충족시킬 수 없다. 결과적으로, 사용자 경험이 열악하다.
본 출원의 실시예는, 프로젝션 지연을 감소시키고 사용자 경험을 개선시키기 위한 프로젝션 데이터 프로세싱 방법을 제공한다.
본 출원의 실시예의 제1 양상은 프로젝션 데이터 프로세싱 방법을 제공하며, 이 방법은, 단말기가 네트워크 상태 정보를 획득하는 단계 ― 네트워크 상태 정보는 단말기와 프로젝션 디바이스 간의 통신 링크의 품질을 지시함 ―; 단말기가, 네트워크 상태 정보에 기반하여, 프로젝팅될 이미지(to-be-projected image)의 목표 해상도를 결정하는 단계; 및 단말기가, 목표 해상도에 기반하여 이미지 데이터를 합성하는 단계 및 이미지 데이터를 프로젝션 디바이스에 송신하는 단계를 포함하고, 이미지 데이터는, 프로젝션 디바이스에 의해, 프로젝팅될 이미지를 디스플레이하는 데 사용된다.
프로젝팅될 이미지는 정적 이미지(static image), 예를 들어, 픽처(picture)로 이해될 수 있거나, 또는 일련의 동적 이미지(dynamic image), 예를 들어, 비디오로 이해될 수 있다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 단말기가, 단말기와 프로젝션 디바이스 간의 통신 링크의 품질을 지시하는 네트워크 상태 정보를 획득함으로써, 프로젝팅될 이미지의 목표 해상도를 결정하고, 그리고 실시간 네트워크 상태 정보를 기반으로 목표 해상도를 조정한다. 이미지를 고정된 해상도로 송신하는 통상적 기술과 비교하여, 본 방법은 현재 시나리오에 더 유연하게 적응될 수 있다. 이 방법에서는, 네트워크 상태 정보를 고려하여 목표 해상도가 결정되고, 그리고 무선 네트워크 통신 품질이 열악한 경우 해상도를 조정함으로써 이미지 데이터의 양이 감소될 수 있고, 이로써 프로젝션 동안 비디오 이미지 지연이 감소되고 사용자 경험이 개선된다.
제1 양상의 가능한 구현에서, 목표 해상도는 통신 링크의 품질과 양의 상관관계가 있다(positively correlated).
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 예를 들어, 통신 링크의 품질이 열악한 경우, 지연을 감소시키기 위해 이미지가 저해상도로 송신되고, 그리고 통신 링크의 품질이 양호한 경우, 프로젝션 이미지 품질을 개선시키기 위해 이미지가 고해상도로 송신된다.
제1 양상의 가능한 구현에서, 네트워크 상태 정보는 수신 신호 강도 표시자(RSSI)를 포함한다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, Wi-Fi 프로토콜에 기반하여 구축된 무선 통신 링크, 셀룰러 모바일 네트워크 프로토콜에 기반하여 구축된 무선 통신 링크 등을 포함하는 통신 링크의 품질이 RSSI 신호를 사용하여 측정될 수 있다. 택일적으로, RSSI 값과 목표 해상도 간의 대응관계는 미리설정된다. 따라서, RSSI 신호에 기반하여 현재 네트워크 상태에서의 목표가 결정할 수 있다.
제1 양상의 가능한 구현에서, 단말기가, 네트워크 상태 정보에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정하는 것은, RSSI의 값이 제1 임계치 이상이면, 단말기가 목표 해상도가 제1 해상도라는 것을 결정하는 것; RSSI의 값이 제1 임계치 미만이고 제2 임계치 이상이면, 단말기가 목표 해상도가 제1 해상도의 절반이라는 것을 결정하는 것 ― 제2 임계치는 제1 임계치 미만임 ―; 또는 RSSI의 값이 제2 임계치 미만이면, 단말기가 목표 해상도가 제1 해상도의 1/3이라는 것을 결정하는 것을 포함한다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 단말기와 프로젝션 디바이스 간의 통신 링크의 품질은 미리설정된 RSSI 값 범위 및 제1 해상도에 기반하여 3가지 경우로 분류될 수 있다. 통신 링크의 품질이 더 낮다는 것은, 해당 목표 해상도가 더 낮고 합성되는 프로젝팅될 이미지의 데이터 양이 더 적다는 것을 지시한다. 이는 통신 링크의 품질에 미치는 영향을 감소시키고 프로젝션 지연을 감소시킬 수 있다.
가능한 구현에서, 제1 해상도는 합성될 계층의 해상도이다. 정보는 SurfaceFlinger 측에서 현재 프레임의 모든 계층 정보를 획득함으로써 획득할 수 있다. 계층 정보는 계층의 애플리케이션 명칭, 계층의 소스 실제 해상도(source real resolution) 등을 포함한다.
제1 양상의 가능한 구현에서, 방법은, 단말기가 현재 사용 시나리오를 결정하는 단계를 더 포함하고; 그리고 단말기가 목표 해상도에 기반하여 이미지 데이터를 합성하는 단계는, 단말기가 사용 시나리오 및 목표 해상도에 기반하여 이미지 데이터를 선택적으로 합성하는 단계를 포함한다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 현재 사용 시나리오가 추가로 고려되고, 그리고 이미지 데이터가 시나리오 및 목표 해상도에 기반하여 선택적으로 합성되어, 무선 프로젝션 동안 데이터의 양이 추가로 감소될 수 있다.
제1 양상의 가능한 구현에서, 단말기가 현재 사용 시나리오를 결정하는 것은, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 것을 포함하고; 그리고 단말기가 사용 시나리오 및 목표 해상도에 기반하여 이미지 데이터를 선택적으로 합성하는 것은, 단말기가 프로젝팅될 이미지가 전체-스크린(full-screen) 시나리오에 있다는 것을 결정하면, 단말기가, 목표 해상도에 기반하여, 프로젝팅될 이미지의 모든 계층 중 애플리케이션 계층만을 합성하는 것; 또는 단말기가 프로젝팅될 이미지가 비전체-스크린(non-full-screen) 시나리오에 있다는 것을 결정하면, 단말기가, 목표 해상도에 기반하여, 프로젝팅될 이미지의 시스템 계층과 애플리케이션 계층을 합성하는 것을 포함한다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 단말기는 추가로, 현재 이미지 디스플레이 시나리오 정보가 전체-스크린 디스플레이 시나리오인지 여부를 결정할 수 있다. 현재 이미지 디스플레이 시나리오 정보가 전체-스크린 디스플레이 시나리오인 경우, 애플리케이션 계층만이 합성되고, 인코딩되고 그리고 프로젝션 디바이스에 송신되는 것을 필요로 한다. 따라서, 프로젝션을 위해 송신될 데이터의 양이 추가로 감소될 수 있고, 무선 프로젝션 지연이 감소될 수 있고, 그리고 사용자 경험이 개선될 수 있다.
제1 양상의 가능한 구현에서, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 것은, 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 것; 또는 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 것을 포함한다.
단말기에 의해 디스플레이되는 프로젝팅될 이미지는 2가지 시나리오를 갖는다. 하나는 전체-스크린 디스플레이 시나리오, 예를 들어, 비디오 애플리케이션에서의 전체-스크린 게임 픽처 및 전체-스크린 픽처이다. 전체-스크린 디스플레이 시나리오는 전체-스크린 시나리오로 지칭될 수 있다. 다른 하나는 비전체-스크린 디스플레이 시나리오, 예를 들어, 데스크톱 시나리오 또는 작은 창(window)에서 재생되는 비디오 픽처로, 비전체-스크린 시나리오로 또한 지칭된다. 이 실시예는, 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하기 위한, 즉 애플리케이션 계층의 소스 해상도를 결정하기 위한 구체적 방법을 제공한다. 애플리케이션 계층의 소스 해상도는 다른 디스플레이 시나리오에서 변경되기 때문에, 전체-스크린 시나리오의 해상도는 비전체-스크린 시나리오의 해상도보다 높다. 제3 임계치가 설정되고, 그리고 현재 프로젝팅될 이미지가 전체-스크린 시나리오인지 여부는 비교를 통해 간단하지만 대략적으로 결정될 수 있다.
제1 양상의 가능한 구현에서, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 것은, 애플리케이션 계층의 픽셀 종횡비(pixel aspect ratio)가 스크린의 픽셀 종횡비와 동일하면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 것; 또는 애플리케이션 계층의 종횡비가 스크린의 픽셀 종횡비와 상이하면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 것을 포함한다.
이 실시예는, 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하기 위한, 즉 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일한지 여부를 결정하기 위한 다른 구체적 방법을 제공한다. 애플리케이션 계층의 픽셀 종횡비는 통상 상이한 디스플레이 시나리오에서 변경되기 때문에, 전체-스크린 시나리오에서, 애플리케이션 계층의 픽셀 종횡비는 스크린의 픽셀 종횡비와 동일한 반면; 비전체-스크린 시나리오에서, 애플리케이션 계층의 픽셀 종횡비는 스크린의 픽셀 종횡비와 상이할 수 있다. 이 솔루션에서, 현재 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부는 간단하지만 대략적으로 결정될 수 있다.
제1 양상의 가능한 구현에서, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 것은, 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고 그리고 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 것; 또는 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나 또는 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 것을 포함한다.
이 실시예는, 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하기 위한 다른 구체적 방법을 제공한다. 또한, 애플리케이션 계층의 소스 해상도가 고려되고, 그리고 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일한지 여부가 결정된다. 일부 특정 경우에서, 전체-스크린 시나리오 또는 비전체-스크린 시나리오에서, 애플리케이션 계층의 픽셀 종횡비는 스크린의 픽셀 종횡비와 동일하다. 대안적으로, 고해상도의 작은 창이 픽처를 재생하는 데 사용되는 경우, 애플리케이션 계층의 소스 해상도만이 결정을 위해 사용되고, 비전체-스크린 시나리오가 전체-스크린 시나리오로 잘못 결정될 수 있다. 이 솔루션에서, 양자 모두의 팩터가 고려되어, 시나리오 결정의 정확도가 개선될 수 있다.
제1 양상의 가능한 구현에서, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 것은, 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하고 그리고 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 것; 또는 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하거나 또는 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하지 않으면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 것을 포함한다.
이 실시예는, 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하기 위한 다른 구체적 방법을 제공한다. 또한, 애플리케이션 계층의 소스 해상도가 고려되고, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일한지 여부가 결정되고, 계층 명칭이 결정된다. 드문 특정 경우에, 애플리케이션 계층의 픽셀 종횡비 및 소스 해상도에 기반하여 시나리오가 여전히 잘못 결정될 수 있다. 이 솔루션에서, 계층 명칭이 추가로 고려될 수 있다. 택일적으로, 단말기는 계층 명칭 화이트리스트를 미리설정하고, 계층 명칭 화이트리스트에서의 계층 명칭에 대응하는 계층은 전체 스크린에 디스플레이될 수 있는 계층이다. 이런 식으로, 시나리오 결정의 정확도가 추가로 개선될 수 있다.
제1 양상의 가능한 구현에서, 단말기가 목표 해상도에 기반하여 이미지 데이터를 합성하는 것은, 단말기가 목표 해상도 및 제1 프레임 레이트에 기반하여 이미지 데이터를 합성하는 것을 포함하고, 제1 프레임 레이트는 프로젝팅될 이미지가 단말기 상에 디스플레이되는 프레임 레이트보다 낮다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 비디오 타입의 동적 이미지 데이터에 대해, 단말기가 추가로, 프로젝팅될 이미지에 대해 프레임 감소 프로세싱을 수행하여, 프로젝션을 위해 송신되어야 하는 데이터의 양을 추가로 감소시키고, 이로써 프로젝션 지연이 감소되고 사용자 경험이 개선된다.
본 출원의 실시예의 제2 양상은 프로젝션 데이터 프로세싱 방법을 제공하며, 이 방법은, 프로젝션 디바이스가 제1 해상도의 프로젝팅될 이미지를 수신하는 단계; 프로젝션 디바이스가, 그래픽 프로세싱 유닛(GPU)을 사용함으로써, 미리설정된 뉴럴 네트워크 모델에 기반하여 제1 해상도의 프로젝팅될 이미지에 대해 초해상(super-resolution)을 수행하여 제2 해상도의 이미지를 획득하는 단계; 및 프로젝션 디바이스가 제2 해상도의 이미지를 디스플레이하는 단계를 포함한다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 프로젝션 디바이스는, 디스플레이되는 이미지의 해상도를 개선시키기 위해, 단말기에 의해 송신된 제1 해상도의 프로젝팅될 이미지에 대해 GPU를 사용하여 초해상을 수행할 수 있다. 프로젝션 디바이스는 통상 높은 디스플레이 해상도를 가지며 무선 전송 지연에 의해 제한되기 때문에, 수신되는 프로젝팅될 이미지의 해상도는 통상 낮다. 이미지가 재생되기 전에 이미지에 대해 초해상 프로세싱이 수행되어, 이미지 디스플레이 선명도가 개선될 수 있고, 이미지 품질이 개선될 수 있고, 사용자 경험이 개선될 수 있다.
제2 양상의 가능한 구현에서, 프로젝팅될 이미지는 제1 이미지 프레임을 포함하고; 그리고 프로젝션 디바이스가, 그래픽 프로세싱 유닛(GPU)을 사용함으로써, 미리설정된 뉴럴 네트워크 모델에 기반하여 제1 해상도의 이미지에 대해 초해상을 수행하여 제2 해상도의 이미지를 획득하는 것은, 프로젝션 디바이스가, 하나의 오디오 및 비디오 동기화 기간에서 제1 이미지 프레임에 대해 디코딩 및 초해상을 수행하여 제2 해상도의 디코딩된 이미지 데이터를 획득하는 것을 포함한다.
일반적으로, 프로젝션 디바이스는, 하나의 오디오 및 비디오 동기화 기간에서 이미지의 하나의 프레임을 디코딩하고, 그 다음 기간이 도래한 후 디스플레이를 위해 이미지를 송신한다. 본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 프로젝션 디바이스가 하나의 오디오 및 비디오 동기화 기간에 디코딩 및 초해상을 완료할 수 있어, 추가 프로젝션 지연이 초해상으로 인해 증가되지 않는다.
제2 양상의 가능한 구현에서, 프로젝팅될 이미지의 제1 프레임 레이트가 제4 임계치 미만이면, 프로젝션 디바이스가 프로젝팅될 이미지에 대해 프레임 보간을 수행하여, 제2 프레임 레이트의 프로젝팅될 이미지를 획득한다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 단말기가 프레임 차감을 통해 프로젝션 지연을 감소시키기 때문에, 이에 대응하여, 프로젝션 디바이스는 프레임 보간을 통해 프레임 레이트를 증가시킬 수 있다. 프로젝션 디바이스가 프로젝팅될 이미지의 프레임 레이트가 낮다고 결정하면, 프로젝션 디바이스는 플레이백(playback) 이미지 품질을 개선시키기 위해 지능형 프레임 보간(intelligent frame interpolation)을 수행할 수 있다.
제2 양상의 가능한 구현에서, 제1 해상도의 프로젝팅될 이미지는 제1 양상 및 본 출원의 가능한 구현 중 어느 하나에서의 합성된 이미지 데이터를 포함한다.
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 프로젝션 디바이스에 의해 수신되는 프로젝팅될 이미지는 제1 양상 및 본 출원의 가능한 구현 중 어느 하나에서의 합성된 이미지 데이터일 수 있다. 이런 식으로, 제1 해상도가 목표 해상도이고, 프로젝션 디바이스는, 초해상을 통해, 단말기의 해상도 감소로 인해 야기되는 이미지 품질 손실을 감소시킬 수 있다. 따라서, 프로젝션 프로세스에서, 낮은 지연이 충족될 수 있고, 프로젝션 이미지 품질이 보장될 수 있고, 이로써 사용자 경험이 크게 개선된다.
본 출원의 실시예의 제3 양상은 프로젝션 데이터 프로세싱 장치를 제공하며, 이 장치는, 네트워크 상태 정보를 획득하도록 구성된 획득 유닛 ― 네트워크 상태 정보는 단말기와 프로젝션 디바이스 간의 통신 링크의 품질을 지시함 ―; 네트워크 상태 정보에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정하도록 구성된 결정 유닛; 및 목표 해상도에 기반하여 이미지 데이터를 합성하도록 그리고 이미지 데이터를 프로젝션 디바이스에 송신하도록 구성된 합성 유닛을 포함하고, 이미지 데이터는, 프로젝션 디바이스에 의해, 프로젝팅될 이미지를 디스플레이하는 데 사용된다.
제3 양상의 가능한 구현에서, 목표 해상도는 통신 링크의 품질과 양의 상관관계가 있다.
제3 양상의 가능한 구현에서, 네트워크 상태 정보는 수신 신호 강도 표시자(RSSI)를 포함한다.
제3 양상의 가능한 구현에서, 결정 유닛은 구체적으로, RSSI의 값이 제1 임계치 이상이면, 목표 해상도가 제1 해상도라는 것을 결정하거나; RSSI의 값이 제1 임계치 미만이고 제2 임계치 이상이면, 목표 해상도가 제1 해상도의 절반이라는 것을 결정하거나 ― 제2 임계치는 제1 임계치 미만임 ―; 또는 RSSI의 값이 제2 임계치 미만이면, 목표 해상도가 제1 해상도의 1/3이라는 것을 결정하도록 구성된다.
제3 양상의 가능한 구현에서, 결정 유닛은 추가로, 현재 사용 시나리오를 결정하도록 구성되고; 그리고 합성 유닛은 구체적으로, 사용 시나리오 및 목표 해상도에 기반하여 이미지 데이터를 선택적으로 합성하도록 구성된다.
제3 양상의 가능한 구현에서, 결정 유닛은 구체적으로, 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하도록 구성되고; 그리고 합성 유닛은 구체적으로, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것이 결정되면, 목표 해상도에 기반하여, 프로젝팅될 이미지의 모든 계층 중 애플리케이션 계층만을 합성하거나; 또는 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것이 결정되면, 목표 해상도에 기반하여, 프로젝팅될 이미지의 시스템 계층과 애플리케이션 계층을 합성하도록 구성된다.
제3 양상의 가능한 구현에서, 결정 유닛은 구체적으로, 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
제3 양상의 가능한 구현에서, 결정 유닛은 구체적으로, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는 애플리케이션 계층의 종횡비가 스크린의 픽셀 종횡비와 상이하면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
제3 양상의 가능한 구현에서, 결정 유닛은 구체적으로, 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고 그리고 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나 또는 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
제3 양상의 가능한 구현에서, 결정 유닛은 구체적으로, 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하고 그리고 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하거나 또는 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하지 않으면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
제3 양상의 가능한 구현에서, 합성 유닛은 구체적으로, 목표 해상도 및 제1 프레임 레이트에 기반하여 이미지 데이터를 합성하도록 구성되고, 제1 프레임 레이트는 프로젝팅될 이미지가 단말기 상에 디스플레이되는 프레임 레이트보다 낮다.
본 출원의 실시예의 제4 양상은 프로젝션 데이터 프로세싱 장치를 제공하고, 이 장치는, 제1 해상도의 프로젝팅될 이미지를 수신하도록 구성된 수신 유닛; 그래픽 프로세싱 유닛(GPU)을 사용함으로써, 미리설정된 뉴럴 네트워크 모델에 기반하여 제1 해상도의 프로젝팅될 이미지에 대해 초해상을 수행하여 제2 해상도의 이미지를 획득하도록 구성된 획득 유닛; 및 제2 해상도의 이미지를 디스플레이하도록 구성된 디스플레이 유닛을 포함한다.
제4 양상의 가능한 구현에서, 프로젝팅될 이미지는 제1 이미지 프레임을 포함하고; 그리고 획득 유닛은 구체적으로, 하나의 오디오 및 비디오 동기화 기간에서 제1 이미지 프레임에 대해 디코딩 및 초해상을 수행하여 제2 해상도의 디코딩된 이미지 데이터를 획득하도록 구성된다.
제4 양상의 가능한 구현에서, 장치는, 프로젝팅될 이미지의 제1 프레임 레이트가 제4 임계치 미만이면, 프로젝팅될 이미지에 대해 프레임 보간을 수행하여 제2 프레임 레이트의 프로젝팅될 이미지를 획득하도록 구성된 프로세싱 유닛을 더 포함한다.
제4 양상의 가능한 구현에서, 제1 해상도의 프로젝팅될 이미지는 제1 양상 및 다양한 가능한 구현에서의 합성된 이미지 데이터를 포함한다.
본 출원의 실시예의 제5 양상은 전송단 및 수신단을 포함하는 프로젝션 시스템을 제공하고, 전송단은 무선 통신 링크를 통해 수신단에 연결되고, 송신단은 제3 양상 및 본 출원의 가능한 구현 중 어느 하나에서의 프로젝션 데이터 프로세싱 장치를 포함하고, 수신단은 제4 양상 및 본 출원의 가능한 구현 중 어느 하나에서의 프로젝션 데이터 프로세싱 장치를 포함한다.
본 출원의 이 실시예에서 제공되는 프로젝션 시스템에서 따라, 단말기는 실시간 네트워크 상태 정보를 감지함으로써 목표 해상도를 조정하고, 그리고 프로젝션 디바이스는 수신되는 프로젝팅될 이미지에 대해 초해상을 수행하여, 단말기의 해상도 감소로 인해 유발되는 이미지 품질 손실을 감소시킨다. 따라서, 프로젝션 프로세스에서, 낮은 지연이 충족될 수 있고, 이미지 품질이 보장될 수 있고, 이로써 사용자 경험이 크게 개선된다.
본 출원의 실시예의 제6 양상은 하나 이상의 프로세서 및 메모리를 포함하는 단말기를 제공한다. 메모리는 컴퓨터-판독가능 명령을 저장한다. 하나 이상의 프로세서는 컴퓨터-판독가능 명령을 판독하고, 단말기는 제1 양상 및 가능한 구현 중 어느 하나에서의 방법을 수행할 수 있다.
본 출원의 실시예의 제7 양상은 하나 이상의 프로세서 및 메모리를 포함하는 프로젝션 디바이스를 제공한다. 메모리는 컴퓨터 판독가능 명령을 저장한다. 하나 이상의 프로세서는 컴퓨터 판독가능 명령을 판독하고, 단말기는 제2 양상 및 가능한 구현 중 어느 하나에서의 방법을 수행할 수 있다.
본 출원의 실시예의 제8 양상은 명령을 포함하는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 컴퓨터는 제1 양상, 제2 양상 및 가능한 구현 중 어느 하나에서의 방법을 수행할 수 있다.
본 출원의 실시예의 제9 양상은 명령을 포함하는 컴퓨터-판독가능 저장 매체를 제공한다. 명령이 컴퓨터 상에서 실행될 때, 컴퓨터는 제1 양상, 제2 양상 및 가능한 구현 중 어느 하나에서의 방법을 수행할 수 있다.
본 출원의 실시예의 제10 양상은 프로세서를 포함하는 칩을 제공한다. 프로세서는, 제1 양상, 제2 양상 및 가능한 구현 중 어느 하나에서의 방법을 수행하기 위해, 메모리에 저장된 컴퓨터 프로그램을 판독하고 실행하도록 구성된다. 택일적으로, 칩은 메모리를 포함하고, 메모리와 프로세서는 회로 또는 와이어를 사용하여 메모리에 연결된다. 추가로, 택일적으로, 칩은 통신 인터페이스를 더 포함하고, 프로세서는 통신 인터페이스에 연결된다. 통신 인터페이스는 프로세싱되어야 하는 데이터나 정보 또는 이 둘 다를 수신하도록 구성된다. 프로세서는 통신 인터페이스로부터 데이터 및/또는 정보를 획득하고, 데이터 및/또는 정보를 프로세싱하고, 프로세싱 결과를 통신 인터페이스를 통해 출력한다. 통신 인터페이스는 입/출력 인터페이스일 수 있다.
제3 양상, 제4 양상 또는 제6 양상 내지 제10 양상의 임의의 구현에 의해 초래되는 기술적 효과에 대해서는, 제1 양상 또는 제2 양상의 해당 구현에 의해 초래되는 기술적 효과를 참조한다. 상세사항은 여기서 다시 설명되지 않는다.
전술한 기술적 솔루션에 따르면, 본 출원의 실시예가 다음과 같은 이점을 갖는다는 것을 알 수 있다:
본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 단말기는 현재 네트워크 상태 정보를 획득하고, 네트워크 상태 정보에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정하고, 그리고 실시간 네트워크 상태에 기반하여 목표 해상도를 조정할 수 있다. 단말기와 프로젝션 디바이스 간의 통신 링크의 품질이 열악한 경우, 무선 프로젝션 동안 전송되어야 하는 데이터의 양을 감소시키도록 목표 해상도가 감소될 수 있고, 이로써 지연이 감소되고 사용자 경험이 개선된다.
또한, 이 방법에서, 단말기는 추가로, 프로젝팅될 이미지에서 애플리케이션 계층의 소스 해상도 및 스크린 해상도를 획득할 수 있고, 그리고 애플리케이션 계층의 소스 해상도 및 스크린 해상도에 기반하여, 현재 프로젝팅될 시나리오가 전체-스크린 시나리오인지 여부를 결정할 수 있다. 전체-스크린 시나리오에서는, 애플리케이션 계층에 대한 정보만이 디스플레이될 수 있고, 즉, 애플리케이션 계층의 이미지 데이터만이 프로젝션 디바이스에 송신되는 것을 필요로 하고; 반면 비전체-스크린 시나리오에서는, 애플리케이션 계층 및 시스템 계층의 이미지 정보만이 디스플레이되어야 하므로, 프로젝션 디바이스에 의해 송신되는 이미지 데이터는 애플리케이션 계층 및 시스템 계층의 이미지 정보를 포함해야 한다. 단말기가, 시나리오에 기반하여, 프로젝팅될 이미지에서의 합성될 이미지 계층을 결정하고, 현재 네트워크 상태를 기반으로, 합성된 목표 해상도를 결정하고, 그리고 네트워크 상태 및 실제 프로젝션 요구사항을 기반으로, 합성될 이미지 계층을 합성하고, 인코딩하고 그리고 송신한다. 이는 무선 프로젝션에서 전송되어야 하는 데이터의 양을 추가로 감소시킬 수 있고, 이로써 지연이 감소되고 사용자 경험이 향상된다.
또한, 본 출원의 이 실시예에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 프로젝션 수신단, 즉 프로젝션 디바이스는 제1 해상도의 수신된 이미지 데이터에 대해 초해상을 수행하고, 제2 해상도의 이미지 데이터를 획득하고 그리고 이미지 데이터를 디스플레이할 수 있다. 이는 디스플레이된 이미지의 해상도를 개선시키고, 프로젝션 디바이스의 성능을 최대한 활용하고, 이미지 품질을 개선시키고 그리고 사용자 경험을 개선시킬 수 있다.
본 출원의 이 실시예에서 제공되는 프로젝션 시스템에 따르면, 단말기는 현재 프로젝팅될 시나리오 및 네트워크 상태를 감지하여 송신되는 이미지 데이터의 양을 감소시키고, 그리고 프로젝션 디바이스의 초해상 프로세싱과 협력하여, 이미지 데이터가 감소될 때 프로젝션 이미지 품질을 보장한다. 프로젝션 시스템에서는, 프로젝션 지연이 짧고 프로젝션 이미지 품질이 높고, 이로써 사용자 경험이 크게 개선된다.
도 1은 무선 프로젝션 시나리오의 개략적 다이어그램이다;
도 2는, 본 출원의 실시예에 따른, 무선 프로젝션의 기술적 프레임워크의 개략적 다이어그램이다;
도 3은, 본 출원의 실시예에 따른, 프로젝션 전송단에서의 프로젝션 데이터 프로세싱 방법의 실시예의 개략적 다이어그램이다;
도 4a는, 본 출원의 실시예에 따른, 단말기의 그래픽 소프트웨어 시스템의 계층적 프레임워크 다이어그램이다;
도 4b는, 본 출원의 실시예에 따른, 인식 모듈의 핵심(key) 절차의 개략적 다이어그램이다;
도 5a는, 본 출원의 실시예에 따른, 프로젝션 수신단에서의 프로젝션 데이터 프로세싱 방법의 실시예의 개략적 다이어그램이다;
도 5b는, 본 출원의 실시예에 따른, 프로젝션 디바이스의 추론 계산의 개략적 다이어그램이다;
도 6은, 본 출원의 실시예에 따른, 프로세싱 오디오 및 비디오 동기식 통합 초해상의 개략적 다이어그램이다;
도 7a는, 본 출원의 실시예에 따른, 프로젝션 디바이스의 그래픽 소프트웨어 시스템의 계층적 프레임워크 다이어그램이다;
도 7b는, 본 출원의 실시예에 따른, 초해상 모듈의 핵심 절차의 개략적 다이어그램이다;
도 8은, 본 출원의 실시예에 따른, 프로젝션 데이터 프로세싱 장치의 실시예의 개략적 다이어그램이다;
도 9는, 본 출원의 실시예에 따른, 프로젝션 데이터 프로세싱 장치의 실시예의 개략적 다이어그램이다;
도 10은, 본 출원의 실시예에 따른, 단말기의 실시예의 개략적 다이어그램이다; 그리고
도 11은, 본 출원의 실시예에 따른, 프로젝션 디바이스의 실시예의 개략적 다이어그램이다.
본 출원의 실시예는, 프로젝션 지연을 감소시키고 사용자 경험을 개선시키기 위한 프로젝션 데이터 프로세싱 방법을 제공한다.
이해를 쉽게 하기 위해, 다음은 본 출원의 실시예에서 일부 기술 용어를 간략하게 설명한다.
1. 무선 프로젝션
무선 프로젝션은 또한, 무선 스크린 공유, 플라잉 스크린(flying screen), 또는 스크린 공유로 불린다. 구체적으로, 디바이스 A(예를 들어, 모바일 폰, 태블릿, 노트북 컴퓨터 또는 컴퓨터)의 픽처는, 무선 전송 기술을 사용함으로써 다른 디바이스 B(이를테면, 태블릿, 노트북 컴퓨터, 텔레비전, 일체형(all-in-one) 머신, 또는 프로젝터)의 스크린 상에 "실시간" 디스플레이되고, 출력 콘텐츠는 다양한 미디어 정보 또는 실시간 조작 픽처(real-time operation picture)를 포함한다. 현재, 무선 프로젝션 기술을 지원하는 원숙한 솔루션은 Apple의 Airplay 스크린 미러링, Wi-Fi 얼라이언드의 Miracast 프로토콜 및 다른 회사의 DLNA 푸시를 포함한다.
무선 프로젝션을 통해, 컨퍼런스 콘텐츠, 멀티미디어 파일, 게임 픽처, 무비 및 비디오 픽처가 케이블 연결없이 상호작용을 위해 다른 스크린 상에 디스플레이될 수 있다. 사용자는 구속을 제거하고 더 빠르고 더 자유로운 프로젝션 경험을 즐길 수 있다. 무선 프로젝션 기술은 우리의 삶과 밀접하게 관련되어, 업무와 엔터테인먼트에 더 많은 편의를 제공한다.
2. 이미지
본 출원의 이 실시예에서의 이미지는, 정적 이미지, 예를 들어, 픽처일 수 있거나, 또는 일련의 동적 이미지, 예를 들어, 비디오일 수 있다. "이미지", "비디오 프레임" 및 "프레임"은 동의어로 사용될 수 있다. 이미지는 복수의 계층을 합성하여 획득될 수 있다.
3. 계층
단말기의 디스플레이 스크린 상에 이미지가 디스플레이되는 경우, 디스플레이된 이미지는 2개 타입의 계층을 합성함으로써 획득될 수 있다. 2개 타입의 계층은 각각 애플리케이션 계층과 시스템 계층이다. 애플리케이션 계층은 메인 콘텐츠 디스플레이 계층이며, 이의 해상도는 디스플레이 창 크기에 대한 사용자의 선택에 따라 설정되거나 또는 결정될 수 있다. 시스템 계층은 단말기 애플리케이션에서 로컬로 2D 드로잉을 수행함으로써 획득되는 사용자 인터페이스 계층이며, 일반적으로는 상태 바(status bar), 제어 메뉴, 프롬프트 정보 등을 포함한다. 시스템 계층의 해상도는 일반적으로, 단말기의 시스템 해상도이다.
일반적으로, 비전체-스크린 시나리오에서 픽처를 디스플레이하는 경우, 단말기는 온라인 또는 오프라인 방식으로 애플리케이션 계층과 시스템 계층을 합성한 다음, 합성을 통해 획득된 이미지를 디스플레이한다. 복수의 계층이 미리설정된 규칙에 따라 합성을 수행하여, 미리설정된 해상도의 이미지가 획득된다. 구체적 합성 프로세스는 통상적 기술에 속하며, 상세사항은 여기서 다시 설명되지 않는다. 그러나, 전체-스크린 디스플레이 시나리오, 예를 들어, 전체-스크린 게임 시나리오 또는 전체-스크린 비디오 플레이백 시나리오에서, 단말기는 애플리케이션 계층만 디스플레이할 수 있다.
단일 계층에 포함된 데이터는 이미지 데이터이며, 복수의 계층을 합성함으로써 획득된 디스플레이 픽처에 포함되는 데이터도 또한 이미지 데이터라는 것이 주목되어야 한다. 본 출원의 이 실시예에서는, 구별을 쉽게 하기 위해, 단말기에 디스플레이되도록 사용되는 이미지 데이터가 이미지로 지칭되고, 이미지를 합성하는 데 사용되는 단일 계층에 대응하는 이미지 데이터가 계층으로 지칭된다. 디스플레이된 이미지가 하나의 계층만을 포함하는 경우(예를 들어, 전체-스크린 시나리오에서, 애플리케이션 계층만이 디스플레이됨), 이미지 및 계층은 동일한 이미지 데이터에 대응한다는 것이 이해될 수 있다.
4. 프레임 레이트(frame rate)
비트맵 이미지가 프레임 단위로 디스플레이 상에 연속적으로 나타나는 빈도(비율)이다. 측정 단위는 "초당 프레임"(frame per second, FPS) 또는 "헤르츠(Hertz)"이다. 일반적으로, FPS는, 필름, 일렉트로닉 드로잉 또는 게임을 위해 초당 얼마나 많은 프레임이 재생되는지를 설명하는 데 사용된다.
5. 해상도
혼란을 피하기 위해, 다음은 해상도와 관련된 여러 용어를 설명하고 구분한다.
이미지 해상도: 이미지에 저장된 정보의 양, 즉 인치당 이미지에서의 픽셀 수량을 지시하며, 통상 "가로 픽셀 수량 x 세로 픽셀 수량" 또는 사양 코드로 표현된다. 예를 들어, 이미지 해상도가 640*480이고, 가로 픽셀 수량이 640이고, 세로 픽셀 수량이 480이면, 해상도는 307200 픽셀, 즉 300,000 픽셀이다. 해상도는 720P이다. 코드 P는 프로그레시브 스캐닝(progressive scanning)을 지시한다. 720P에 대응하는 해상도는 1280*720이다. 유사하게, 1080P에 대응하는 해상도는 1920*1080이다. 이미지의 해상도가 높을수록, 더 많은 데이터가 포함된다는 것을 지시하며, 더 풍부한 세부사항이 또한 제시될 수 있지만, 더 많은 컴퓨터 저장 자원이 요구된다는 것이 이해될 수 있다.
디스플레이 해상도: 컴퓨터 디스플레이 자체의 물리적 해상도를 의미한다. CRT 디스플레이의 경우, 이는 스크린 상의 형광 점(phosphor dot)을 의미한다. LCD 디스플레이의 경우, 이는 디스플레이 상의 픽셀을 의미한다. 디스플레이 해상도는 디스플레이를 제조하는 동안 결정된다. 이는 디스플레이 자체의 픽셀 수량을 설명하며 본질적으로 변경 불가능한 값이다. 디스플레이 해상도는 통상 "가로 픽셀 수량 x 세로 픽셀 수량", 예를 들어, 800 x 600, 1024 x 768 및 1280 x 1024의 포맷으로 또는 사양 코드로 표현된다. 디스플레이 해상도는 디스플레이 디바이스에서 매우 중요하다. 동일한 크기의 스크린 크기의 경우, 해상도가 높을수록 더 정교한 스크린을 지시하며, 즉 이미지의 세부사항이 더 선명하게 제시될 수 있고, 사용자의 시각적 경험이 크게 개선될 수 있다.
스크린 해상도: 이미지를 디스플레이하기 위해 컴퓨터에 의해 사용되는 해상도를 의미하며, 요구에 따라 설정될 수 있다. 스크린 해상도는 디스플레이 해상도보다 작거나 같아야 한다.
또한, 본 출원의 실시예는 다음의 용어를 추가로 사용한다:
(1) 계층의 소스 해상도: 이미지 해상도에 속하며, 계층에 저장된 정보의 양을 지시한다.
(2) 목표 디스플레이 영역의 해상도: 스크린 해상도에 속하며, 스크린 상의 이미지의 디스플레이 영역의 크기를 지시한다.
다음은 첨부된 도면을 참조하여 본 출원의 실시예를 설명한다. 설명된 실시예는 본 출원의 모든 실시예가 아닌 단지 일부임이 명백하다. 당업자는, 기술 개발 및 새로운 시나리오의 출현으로, 본 출원의 실시예에서 제공되는 기술 솔루션이 유사한 기술 문제에도 적용가능함을 알 것이다.
본 출원의 명세서, 청구항 및 첨부된 도면에서, "제1", "제2" 등의 용어는, 유사한 오브젝트 간을 구별하기 위한 것으로, 반드시 특정 순서 또는 시퀀스를 지시하는 것은 아니다. 이러한 방식으로 명명되는 데이터는 적절한 상황에서 상호교환가능하므로, 본원에 설명되는 본 발명의 실시예는 본원에 설명되거나 예시되는 순서와는 다른 순서로 구현될 수 있다는 것이 이해되어야 한다. 또한, "포함한다(include)", "함유하다(contain)" 및 임의의 다른 변형의 용어는, 비배타적 포함을 포괄하는 것을 의미하며, 예를 들어, 단계 또는 모듈의 목록을 포함하는 프로세스, 방법, 시스템, 제품 또는 디바이스가 반드시 그러한 단계 또는 모듈로 제한되는 것이 아니라, 명시적으로 나열되지 않았거나 그러한 프로세스, 방법, 시스템 또는 디바이스에 고유한 다른 단계 또는 모듈을 포함할 수 있다. 본 출원에서의 단계의 명칭 또는 번호는, 방법 절차의 단계가 명칭 또는 번호로 지시되는 시간적/논리적 시퀀스로 수행되어야 함을 의미하지 않다. 명명되거나 번호가 매겨진 절차에서의 단계의 실행 순서는, 동일하거나 유사한 기술적 효과가 달성될 수 있는 경우, 달성하려는 기술적 목표를 기반으로 변경될 수 있다.
본 출원의 실시예는, 게임 프로젝션, 실시간 스트리밍 미디어 서비스 등을 포함하는 복수의 타입의 무선 프로젝션 시나리오, 예를 들어, 라이브 비디오 서비스, 화상 통화 서비스, 및 화상 회의 서비스와 같은 시나리오에 적용가능하다. 도 1에 도시된 바와 같이, 무선 프로젝션 시나리오는 단말기(100) 및 프로젝션 디바이스(200)를 포함한다.
단말기(100)는 무선 프로젝션 시나리오에서 데이터 전송단 또는 송신측으로 지칭된다. 예를 들어, 단말기는 모바일 폰, 노트북 컴퓨터, 또는 태블릿 컴퓨터일 수 있다.
프로젝션 디바이스(200), 즉 무선 프로젝션 시나리오에서의 데이터 수신단, 또는 수신측으로 지칭되는 것은, 이미지 디스플레이 기능을 갖는다. 프로젝션 디바이스(200) 및 단말기(100)는 통상 동일한 시나리오에 위치된다. 예를 들어, 프로젝션 디바이스(200)와 단말기(100)는 동일한 집에 위치되거나, 또는 동일한 사무실에 위치되거나, 또는 동일한 활동 지점에 위치되는 식이다. 프로젝션 디바이스(200)는 컴퓨터, 스마트 텔레비전, 스마트 스크린 등일 수 있다.
단말기(100)는, 디스플레이 픽처를 프로젝션 디바이스(200) 상에 프로젝팅하여, 프로젝션 디바이스(200)와 단말기(100)가 동기적 디스플레이를 수행할 수 있다. 단말기가 디스플레이 픽처를 프로젝션 디바이스에 프로젝팅하는 전술한 프로세스는 또한, "프로젝션", "스크린 전달", "1-스크린 상호작용" 등으로 지칭될 수 있다. 단말기(100)의 디스플레이 스크린의 크기는 통상 작기 때문에, 사용자가 단말기(100)를 사용하여 이미지 또는 비디오 픽처를 시청할 때 사용자의 시각적인 경험은 열악하다. 그러나, 프로젝션 디바이스(200)의 디스플레이 스크린의 크기가 통상 크거나, 또는 디스플레이 장치의 크기는 크다. 따라서, 단말기(100)의 디스플레이 픽처가 프로젝션 디바이스(200)에 프로젝팅되고, 사용자가 프로젝션 디바이스(200)를 이용하여 디스플레이 픽처를 시청하므로, 사용자의 시각적 경험이 개선될 수 있다.
단말기(100)는 무선 네트워크를 사용하여 프로젝션 디바이스(200)와 통신한다. 무선 네트워크는 무선 충실도(Wireless Fidelity) 프로토콜, 블루투스 프로토콜 또는 셀룰러 모바일 네트워크 프로토콜 중 하나의 프로토콜 또는 이들의 복수의 프로토콜의 조합에 따라 구축된 네트워크를 포함한다. 택일적으로, 단말기는 Wi-Fi를 사용하여 이미지 데이터를 프로젝션 디바이스에 송신한다. 택일적으로, 단말기는 5G를 사용하여 이미지 데이터를 프로젝션 디바이스에 송신한다.
일반적으로, 단말기(100)와 프로젝션 디바이스(200) 간의 무선 데이터 전송의 지연 범위는 약 100 ms(milliseconds) 내지 2000 ms이며, 지연은 느슨하다. 실시간 많은 요구사항을 갖는 시나리오에서, 예를 들어, 게임 프로젝션 시나리오에서, 사용자 경험은 열악하다. 프로젝션 지연은 전송되는 이미지 데이터의 양과 관련된다. 단순히 이미지 데이터의 해상도를 감소시킴으로써 데이터의 양이 감소되면, 이미지 품질이 영향을 받고, 프로젝팅된 이미지가 흐려지고, 사용자 경험이 영향을 받는다.
본 출원의 이 실시예에서, 일 양상에서, 무선 프로젝션 동안 무선 네트워크의 실시간 네트워크 상태를 고려하여, 무선 네트워크 통신 링크의 품질이 높은 경우, 합성될 이미지 계층의 소스 해상도에 기반하여, 합성, 인코딩 및 전송이 수행될 수 있고; 그리고 통신 링크의 품질이 열악한 경우, 각각의 합성될 이미지 계층의 해상도가 적절히 감소될 수 있다. 다른 양상에서, 단말기가 이미지를 디스플레이하는 특정 애플리케이션 시나리오를 고려하여, 전체-스크린 디스플레이 시나리오, 예를 들어, 전체-스크린 게임 시나리오 또는 전체-스크린 비디오 플레이백 시나리오에서, 애플리케이션 계층만이 디스플레이될 수 있고, 시스템 계층은 은닉된다. 따라서, 전체-스크린 디스플레이 시나리오에서, 단말기는 애플리케이션 계층의 이미지 데이터만을 프로젝션 디바이스에 송신할 수 있다. 비전체-스크린 디스플레이 시나리오에서, 예를 들어, 데스크톱 디스플레이 시나리오에서, 애플리케이션 계층과 시스템 계층은 합성된 다음 디스플레이되어야 한다. 따라서, 비전체-스크린 디스플레이 시나리오에서, 단말기는 모든 계층의 이미지 데이터를 프로젝션 디바이스에 송신해야 한다.
본 출원에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 합성될 이미지 계층 및 이미지 데이터의 목표 해상도가 계층 정보 및 네트워크 상태 정보에 기반하여 결정된다. 전체-스크린 시나리오에서, 송신되는 계층의 수량이 감소되고, 그리고 무선 프로젝션 동안 송신되는 이미지 데이터의 양을 감소시키기 위해, 통신 링크의 품질이 열악한 경우 해상도가 감소되며, 이로써 프로젝션 동안 비디오 이미지 지연이 회피되고 사용자 경험이 개선된다.
또한, 현재의 무선 프로젝션 기술에서, 전송단은 프로젝팅될 이미지의 해상도가 720P 또는 1080P로 균일화할 수 있고, 프로젝팅된 이미지를 프로젝션 디바이스에 송신한다. 그러나, 프로젝션 디바이스는 통상, 예를 들어, 2K/4K/8K의 더 높은 해상도를 지원한다. 무선 프로젝션 데이터 프레임을 수신한 후, 프로젝션 디바이스는 데이터 프레임을 텔레비전에 의해 지원되는 해상도로 선형으로 확장시켜 흐려짐(blurring)을 발생시킨다. 또한, 일부 시나리오에서, 전송단의 계층의 실제 해상도는 720P 또는 1080P보다 낮고, 전송단은 송신 이전에 계층을 균일하게 확장시키고 확대시키며, 이는 이미지 품질에 영향을 미치고 인코딩, 디코딩, 및 전송의 부하를 증가시킨다.
본 출원에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 프로젝션 디바이스는 단말기에 의해 송신되는 이미지에 대해 초해상을 수행하여, 해상도를 개선시키고 디스플레이를 위한 이미지 품질을 개선시킨다. 이는, 네트워크 상태가 열악한 경우 전송단에서 이미지 해상도 감소로 인해 유발되는 이미지 품질 저하를 감소시킬 수 있다. 따라서, 프로젝션 지연이 짧아질 수 있고, 이미지 품질이 양호해질 수 있고, 이로써 사용자 경험이 크게 개선된다.
다음은 프로젝션 기술을 간략히 설명한다. 도 2는, 본 출원의 실시예에 따른, 무선 프로젝션의 기술적 프레임워크의 개략적 다이어그램이다.
송신측은, 예를 들어, 모바일 폰, 합성기 서비스이다(다음은 안드로이드(Android) 시스템의 SurfaeFlinger 서비스를 예로 사용함). SurfaeFlinger 서비스는, 이미지 데이터 및 계층 정보를 비롯하여 디스플레이될 이미지의 각각의 계층을 획득할 수 있다. 일 양상에서, 이미지는 디스플레이 서브시스템(display subsystem, DSS)에 의해 합성되고, 획득된 이미지는 모바일 폰의 디스플레이 스크린 상에 디스플레이된다. 다른 양상에서, 각각의 계층에서 합성된 이미지 데이터는 GPU를 사용하여 인코더로 송신된 다음, 이미지 데이터는, 암호화되어 패키징된 후 VIP/TCP와 같은 전송 프로토콜을 통해 송신된다. 지능형 인식 모듈이 본 출원에 추가된다. 지능형 인식 시나리오에서, 합성기는, 네트워크 상태 및 시나리오에 기반하여 결정된 목표 해상도 및 네트워크 상태에 기반하여, 합성에 적합한 계층을 선택하도록 안내되어, 전송 부하가 효과적으로 보장될 수 있고 프로젝션 지연이 감소될 수 있다.
수신측은 통상 대형 스크린 디스플레이이다. 데이터가 수신되고, 패키징되고 그리고 해독되며, 데이터가 디코더에 송신된 다음, 데이터는 디스플레이를 위해 오디오 및 비디오 동기화 모듈에 송신된다. 본 출원에 새롭게 추가된 초해상 모듈은 기존 오디오 및 비디오 동기화 모듈과 결합되어, 오디오 및 비디오 동기화를 통해 주기적으로 초해상을 수행하여, 디스플레이를 위해 송신하기 전에 디스플레이 이미지 품질을 더욱 개선시킨다.
다음은, 도 3을 참조로, 본 출원의 실시예에서의 프로젝션 전송단에 대한 프로젝션 데이터 프로세싱 방법을 설명한다.
301: 단말기가 네트워크 상태를 획득한다.
단말기가 실시간 네트워크 상태를 획득하며, 네트워크 상태 정보는 단말기와 프로젝션 디바이스 간의 통신 링크 품질을 지시한다.
택일적으로, Wi-Fi 관리기를 사용하여 현재 Wi-Fi 연결 상태가 실시간으로 획득된다. 즉, 신호 강도 종속 getRssi 인터페이스를 획득하기 위해, 현재 연결의 수신 신호 강도 표시자(received signal strength indication, RSSI)가 획득된다. 네트워크가 연결된 경우, RSSI의 값은 0 내지 100 범위의 정수이다. 네트워크가 연결해제된 경우, RSSI 값은 -200이다.
302: 단말기가 프로젝팅될 이미지의 애플리케이션 계층의 소스 해상도를 획득한다.
프로젝팅될 이미지는, 단말기에 의해, 무선 프로젝션을 통해 프로젝션 디바이스에 송신될 이미지이며, 단말기는 시스템에 의해 현재 디스플레이될 이미지의 애플리케이션 계층의 소스 해상도를 획득할 수 있다.
택일적으로, 단말기는 시스템 서비스(SurfaceFlinger)를 사용하여 현재 프로젝팅될 이미지의 애플리케이션 계층의 소스 해상도를 획득한다. 일반적으로, 단말기는 디스플레이될 이미지를 획득하기 위해 SurfaceFlinger를 사용하여 시스템 계층과 애플리케이션 계층을 합성한다. 본 출원의 이 실시예에서, 단말기는 SurfaceFlinger를 사용하여 이미지의 각각의 계층의 계층 정보를 획득할 수 있다. 계층 정보는 계층 명칭, 계층의 소스 해상도, 및 목표 디스플레이 영역의 해상도를 포함한다. 다음은 계층 정보에 대해 상세히 설명한다.
(a) 계층 명칭: 계층의 소유자를 식별한다. 일반적으로, 2개 타입의 계층이 존재한다. 하나는 시스템 계층이며, 이는 통상, 상태 바에 대응하는 계층 또는 탐색 바(navigation bar)에 대응하는 계층을 포함한다. 다른 하나는 애플리케이션(App)에 의해 디스플레이되는 계층인 애플리케이션 계층이다. 일반적으로, 계층 명칭도 또한, App 패키지 명칭을 포함한다.
(b) 계층의 소스 해상도: 계층의 실제 해상도를 의미한다. 일반적으로, 시스템 계층의 해상도는 스크린 해상도와 일치하며, 애플리케이션 계층의 소스 해상도는 애플리케이션 시나리오 또는 사용자 명령에 따라 조정되거나 설정될 수 있다. 예를 들어, 게임 애플리케이션 시나리오에서, 게임 애플리케이션은 다양한 게임 구성에 기반하여 상이한 소스 해상도로 제시된다. 구체적으로, 단말기가 애플리케이션 계층의 소스 해상도를 획득하며, 계층의 소스 해상도는 스크린 해상도 이하이다. 계층의 소스 해상도가 "가로 픽셀 수량 x 세로 픽셀 수량" 형태로 표현되면, 계층의 픽셀 종횡비가 추가로 획득될 수 있다. 예를 들어, 계층의 소스 해상도가 1280*720이면, 계층의 픽셀 종횡비는 16:9이다.
(c) 목표 디스플레이 영역의 해상도: 계층이 최종적으로 합성되어 스크린 상에 디스플레이될 때의 해상도를 의미하며, 스크린 상의 계층의 디스플레이 영역의 크기를 결정하는 데 사용된다. 스크린 상의 계층의 디스플레이 영역의 특정 포지션을 결정하기 위해서는, 일반적으로, 계층의 디스플레이 영역의 시작점 포지션이 추가로 요구된다.
단계(301) 및 단계(302)를 수행하기 위한 시퀀스가 제한되지 않는다는 것이 주목되어야 한다.
합성 정책(합성될 계층 및 합성 해상도)은 네트워크 상태 및 계층 정보를 기반으로 결정된다. 구체적으로, 합성될 계층이 결정되고, 합성될 계층의 목표 해상도가 결정된다. 상세사항은 아래에서 별도로 설명한다.
303: 네트워크 상태에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정한다.
단말기가, 네트워크 상태에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정한다.
택일적으로, 목표 해상도는 단말기와 프로젝션 디바이스 간의 통신 링크의 품질과 양의 상관관계가 있다. 즉, 통신 링크의 품질이 열악할수록 목표 해상도가 더 낮다는 것을 지시하고, 통신 링크의 품질이 양호할수록 목표 해상도가 더 높다는 것을 지시한다. 일반적으로, 목표 해상도는 계층의 소스 해상도 이하이다.
택일적으로, 단말기는 목표 해상도의 값, 예를 들어, 1080*2340 또는 720*1560을 미리설정할 수 있다.
단말기는, 현재 네트워크 상태에 기반하여, 오리지널 해상도의 이미지 데이터에 대해 적절히 다운샘플링을 수행하여 해상도를 감소시키고, 이미지 데이터를 합성한 다음, 이미지 데이터를 인코딩하고 전송하며, 이로써 지연이 감소된다.
택일적으로, 네트워크 상태 정보는 수신 신호 강도 표시자(RSSI)를 포함한다. RSSI의 값은 통신 링크의 신호 품질을 지시할 수 있다. 신호 품질이 양호할수록 목표 해상도가 더 높다는 것에 대응한다. 반대로, 신호 품질이 열악할수록 목표 해상도가 더 낮다는 것에 대응한다. 목표 해상도는 일반적으로, 계층의 소스 해상도 이하이다.
택일적으로, RSSI의 값이 제1 임계치 이상이면, 단말기가 목표 해상도가 제1 해상도라는 것을 결정하거나; RSSI의 값이 제1 임계치 미만이고 제2 임계치 이상이면, 단말기가 목표 해상도가 제1 해상도의 절반이라는 것을 결정하거나 ― 제2 임계치는 제1 임계치 미만임 ―; 또는 RSSI의 값이 제2 임계치 미만이면, 단말기가 합성될 계층의 목표 해상도가 제1 해상도의 1/3이라는 것을 결정한다. 제1 해상도는 미리설정된 표준 해상도, 예를 들어, 1080P 또는 720P일 수 있거나, 미리설정된 규칙에 따라 실시간으로 생성될 수 있거나, 또는 애플리케이션 계층의 소스 해상도일 수 있다. 제1 해상도의 구체적인 값은 본원에서 제한되지 않는다.
예를 들어, 제1 임계치가 -50이면, 제2 임계치는 -70이고 제1 해상도는 1080P이다. 즉, RSSI의 값이 [0, -50] 내에 속하면, 이는 신호 품질이 양호하다는 것을 지시하고, 단말기가 프로젝팅될 이미지의 목표 해상도가 1080P라는 것을 결정하거나; RSSI의 값이 [-50, -70] 내에 속하면, 이는 신호 품질이 중간이라는 것을 지시하고, 단말기가 목표 해상도가 540P라는 것을 결정하거나; 또는 RSSI의 값이 -70 미만이면, 이는 신호 품질이 열악하다는 것을 지시하고, 목표 해상도는 360P이다.
단계(303)가 단계(301) 이후에 수행되며, 단계(303)와 단계(302)와 단계(304) 간의 실행 시퀀스가 제한되지 않는다는 것이 주목되어야 한다.
304: 단말기가 합성될 이미지 계층을 결정한다.
단말기는 추가로, 현재 사용 시나리오를 결정할 수 있고, 그리고 사용 시나리오 및 목표 해상도에 기반하여 이미지 데이터를 선택적으로 합성할 수 있다. 사용 시나리오는, 단말기 상에 현재 디스플레이되는 콘텐츠에 기반하여, 예를 들어, 애플리케이션 디스플레이 시나리오 또는 데스크탑 디스플레이 시나리오로 분류될 수 있다. 구체적으로, 애플리케이션 디스플레이 시나리오는, 애플리케이션의 타입, 예를 들어, 비디오 또는 게임과 같은 동적 픽처를 디스플레이하는 애플리케이션, 또는 음악 또는 판독 애플리케이션과 같은 픽처를 느리게 업데이트하는 애플리케이션에 기반하여, 추가로 세분화될 수 있다. 사용 시나리오는 또한, 전체-스크린 시나리오 및 비전체-스크린 시나리오를 포함하여, 현재 이미지가 전체-스크린으로 디스플레이되는지 여부에 기반하여 분류될 수 있다. 후속 실시예에서는, 전체-스크린 시나리오 및 비전체-스크린 시나리오가 설명을 위한 예로 사용된다.
단말기는 현재 시나리오가 전체-스크린 시나리오인지 비전체-스크린 시나리오인지 여부를 결정하고, 상이한 시나리오에 대한 상이한 합성될 이미지 계층을 결정한다. 전체-스크린 시나리오의 경우, 애플리케이션 계층만이 합성될 수 있다. 비전체-스크린 시나리오의 경우, 이미지의 모든 계층이 합성되어야 한다.
단말기에 의해, 현재 시나리오가 전체-스크린 시나리오인지 여부를 결정하기 위한 복수의 방법이 있으며, 이는 예를 사용하여 아래에서 설명된다.
1. 애플리케이션 계층의 계층 소스 해상도에 기반함
애플리케이션 계층의 소스 해상도가 제3 임계치 이상이면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정한다.
제3 임계치는 미리설정된 값이며, 기존 애플리케이션이 전체-스크린으로 디스플레이될 때 애플리케이션 계층의 공통 해상도에 대해 통계를 수집함으로써 획득될 수 있다. 전체-스크린 시나리오에서 애플리케이션 계층의 공통 해상도는 일반적으로 720P보다 크기 때문에, 제3 임계치는 720P로 설정될 수 있다. 제3 임계치의 구체적인 값은 본원에서 제한되지 않는다는 것이 주목되어야 한다.
2. 애플리케이션 계층의 픽셀 종횡비에 기반함
애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는 애플리케이션 계층의 종횡비가 스크린의 픽셀 종횡비와 상이하면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정한다.
3. 애플리케이션 계층의 계층 소스 해상도 및 픽셀 종횡비에 기반함
애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고 그리고 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정한다.
애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나 또는 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정한다.
4. 애플리케이션 계층의 계층 소스 해상도 및 픽셀 종횡비, 및 계층 명칭에 기반함
애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하고 그리고 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하면, 단말기가 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정한다.
애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하거나 또는 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하지 않으면, 단말기가 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정한다.
애플리케이션 계층의 계층 정보는 애플리케이션 계층의 계층 소스 해상도, 애플리케이션 계층의 픽셀 종횡비, 및 계층 명칭을 포함한다.
단계(304)가 단계(302) 이후에 수행되고, 단계(304)와 단계(301)와 단계(303) 간의 실행 시퀀스가 제한되지 않는다는 것이 주목되어야 한다.
305: 단말기가, 목표 해상도에 기반하여 이미지 데이터를 합성하고, 그리고 이미지 데이터를 프로젝션 디바이스에 송신한다.
단말기가 목표 해상도에 기반하여 이미지 데이터를 합성하고, 인코딩 및 압축과 같은 동작을 수행하고, 이미지 데이터를 무선 네트워크를 사용하여 프로젝션 디바이스에 송신한다. 이미지 데이터는, 프로젝션 디바이스에 의해, 프로젝팅될 이미지를 디스플레이하는 데 사용된다.
택일적으로, 단말기는 추가로, 프레임 레이트를 감소시킴으로써, 프로젝팅될 이미지에 대한 합성을 수행한 다음, 프로젝팅될 이미지를 인코딩하여 송신할 수 있다. 프레임 레이트 제어 방법은 통상적 기술에 속하며, 상세사항은 여기서 다시 설명되지 않는다. 예를 들어, 프로젝팅될 이미지의 오리지널 프레임 레이트는 초당 60 프레임(frames per second, FPS)이며, 그리고 프레임 레이트가 감소된 후, 프로젝팅될 이미지의 프레임 레이트는 30 FPS가 된다. 프레임 레이트를 감소시키는 것은 송신될 데이터의 양을 추가로 감소시킬 수 있고, 프로젝션 지연을 감소시킬 수 있다.
본 출원에서 제공되는 프로젝션 데이터 프로세싱 방법에 따르면, 단말기, 즉, 프로젝션 전송단은 계층 정보 및 네트워크 상태 정보에 기반하여 이미지 데이터에서 합성될 이미지 계층 및 목표 해상도를 결정한다. 전체-스크린 시나리오에서, 송신되는 계층의 수량이 감소되고, 무선 프로젝션 동안 송신되는 이미지 데이터의 양을 감소시키기 위해, 통신 링크의 품질이 열악한 경우 해상도가 감소되며, 이로써 프로젝션 동안 비디오 이미지 지연이 회피되고 사용자 경험이 개선된다.
다음은 본 출원의 실시예에서의 프로젝션 데이터 프로세싱 방법을 구현하기 위한 시스템을 설명한다. 택일적으로, 제품 구현 상태는 단말기의 그래픽 소프트웨어 시스템에 배치된 프로그램 코드이다. 도 4a는 단말기의 그래픽 소프트웨어 시스템의 계층적 프레임워크 다이어그램을 도시한다.
최상위 계층은 App 계층, 즉 애플리케이션 계층이다. 각각의 App 계층은, 자체 디스플레이 콘텐츠를 제시하는 자체 디스플레이 계층을 갖는다. 안드로이드 지능형 단말기 시스템 상의 그래픽 계층 합성기로서, 프레임워크 계층의 SurfaceFlinger는 각각의 App의 계층과 시스템 계층을 합성한다. 일 양상에서, 합성된 이미지는 디스플레이를 위해 송신된다. 다른 양상에서, 프로젝션 서비스가 존재할 때, SurfaceFlinger는 네이티브(Native) 계층에서 Open GL ES 시스템 라이브러리의 API를 호출하여 GPU 합성을 수행하고, 합성된 데이터를 프로젝션 서비스(Cast Server)에 전달한다. 프로젝션 프로세스에서, 합성기의 출력은 인코더에 의해 인코딩 및 패키징된 다음, 디스플레이를 위해 피어단(peer end)에 송신된다.
본 출원에서 전송단에 새롭게 추가된 인식 모듈은 인식 서비스(Perception Service)를 제공할 수 있다. 현재 디스플레이될 이미지의 각각의 계층(Layer)에 대한 정보가 SurfaceFlinger를 통해 획득되고, 현재 시나리오가 결정되고, SurfaceFlinger에 의해 최종 합성된 계층 및 합성 후의 해상도가 안내된 다음, 정보가 프로젝션 서비스에 송신된다.
다음은, 도 4b를 참조로, 인식 모듈의 핵심 절차를 설명한다.
인식 모듈의 주요 절차는 다음과 같다:
1. 정보 수집: SurfaceFlinger 측에서 현재 프레임의 모든 계층에 대한 정보가 획득되고, 정보는 주로, 계층의 애플리케이션 명칭 및 계층의 소스 해상도를 포함한다. 또한, Wi-Fi 관리기 서비스를 사용하여 현재 Wi-Fi 연결의 네트워크 신호 상태가 획득된다.
2. 정보 분석: 단계 1에서 수집된 계층 정보에 기반하여, 계층에 대응하는 애플리케이션 명칭, 애플리케이션 계층의 소스 해상도, 애플리케이션 계층의 화소 종횡비 등을 이용하여, 현재 디스플레이되는 이미지의 실제 시나리오가 전체-스크린 시나리오인지 여부가 추론된다. 또한, 네트워크 신호 상태에 기반하여, 예를 들어, 네트워크 상태는 열악, 중간, 및 양호의 3가지 상태로 분류될 수 있다.
3. 정책 수립(Policy formulation): 정책은 예측된 시나리오를 기반으로 수립되며, 다음을 포함한다.
3.1 전체-스크린 게임 시나리오 또는 전체-스크린 비디오 플레이백 시나리오와 같은 전체-스크린 시나리오의 경우, 애플리케이션 계층만이 합성되고, 합성된 프레임의 해상도가 네트워크 상태에 기반하여 결정된다. 네트워크 상태가 양호한 경우, 애플리케이션 계층의 소스 해상도 또는 미리설정된 제1 해상도에 기반하여 합성 및 인코딩이 수행된다. 네트워크 상태가 중간인 경우, 현재 애플리케이션 계층의 소스 해상도 또는 미리설정된 제1 해상도에 대해 1/2 샘플링이 수행된 후, 합성 및 인코딩을 수행된다. 네트워크 상태가 열악한 경우, 현재 애플리케이션 계층의 소스 해상도 또는 미리설정된 제1 해상도에 대해 1/3 다운샘플링이 수행된 후, 합성 및 인코딩이 수행된다.
3.2 데스크톱 시나리오와 같은 비전체-스크린 시나리오의 경우, 모든 애플리케이션 계층이 합성되고, 네트워크 상태에 기반하여 정책이 조정된다. 상세사항은 단계 3.1을 참조한다.
4. 정책 실행: 단계 3의 시나리오를 기반으로 수립된 해당 정책에 기반하여, SurfaceFlinger에 의해 실제로 합성되는 계층 및 합성 후 최종 프레임 해상도가 업데이트되고, 실제 링크 부하를 감소시키기 위해 인코딩 및 전송이 수행된다.
시나리오 인식을 통해, 인식 모듈은, 실제 애플리케이션 시나리오 및 사용자의 현재 네트워크 상태를 획득하고, 현재 합성된 계층에 대한 정보를 수집 및 분석하고, 시나리오 및 네트워크 상태에 기반하여 해당 정책을 실행하고, 그리고 합성된 계층의 콘텐츠 및 최종 합성된 비디오 프레임의 해상도를 동적으로 조정한다. 이런 식으로, 합성된 해상도가 변경되어, 인코딩 및 데이터 전송이 감소되고, 부하가 감소되고 그리고 지연이 감소된다.
전술한 것은 프로젝션 전송단의 프로젝션 데이터 프로세싱 방법을 설명한다. 다음은 프로젝션 수신단의 프로젝션 데이터 프로세싱 방법을 설명한다. 프로젝션 수신단이 단말기에 속한다. 설명을 쉽게 하기 위해, 프로젝션 수신단은 프로젝션 전송단과 구별된다. 본 출원의 이 실시예에서, 프로젝션 수신단의 단말기가 프로젝션 디바이스로 지칭된다. 프로젝션 디바이스의 특정 디바이스 형태는 제한되지 않는다.
다음은, 도 5a를 참조로, 본 출원의 실시예에서의 프로젝션 수신단에 대한 프로젝션 데이터 프로세싱 방법을 설명한다.
501: 프로젝션 디바이스가 제1 해상도의 프로젝팅될 이미지를 수신한다.
프로젝션 디바이스는 무선 네트워크를 사용하여 제1 해상도의 프로젝팅될 이미지를 수신한다. 택일적으로, 제1 해상도의 프로젝팅될 이미지는, 목표 해상도에서 합성되고 그리고 도 3에 대응하는 실시예에서 단말기에 의해 송신되는 이미지 데이터이다.
일반적으로, 프로젝션 디바이스에 의해 지원되는 이미지의 해상도는 높지만, 수신되는 이미지 데이터의 제1 해상도는 낮다. 제1 해상도를 디스플레이를 위해 프로젝션 디바이스에 의해 지원되는 해상도로 선형적으로 확장시키는 통상적 방식에서, 디스플레이된 이미지가 흐려지고, 이미지 품질이 열악하고, 사용자 경험이 영향을 받는다.
택일적으로, 비디오-타입 동적 이미지 데이터의 경우, 프로젝션 디바이스에 의해 수신되는 프로젝팅될 이미지의 프레임 레이트가 임계치 이하이면, 프로젝팅될 이미지에 대해 프레임 보간이 수행된다. 임계치는 제4 임계치이고, 제4 임계치는, 예를 들어, 30 FPS일 수 있다. 프레임 보간의 구체적 프로세스는 통상적 기술이며, 상세사항이 여기서 다시 설명되지 않는다. 택일적으로, 프로젝팅될 이미지에 대해 지능형 프레임 보간이 수행된다. 예를 들어, 획득된 프로젝팅될 이미지의 프레임 레이트가 30 FPS이면, 프레임 레이트가 프레임 보간을 통해 60 FPS로 증가된다. 따라서, 송신 프레임 레이트 제어가 사용자 경험에 미치는 영향이 감소될 수 있다.
502: 미리설정된 뉴럴 네트워크 모델에 기반하여 제1 해상도의 이미지에 대해 초해상을 수행하여 제2 해상도의 이미지 데이터를 획득한다.
프로젝션 디바이스가 뉴럴 네트워크 모델에 기반하여 이미지 데이터에 대해 초해상을 수행하여 이미지 데이터의 해상도를 개선시킬 수 있다. 뉴럴 네트워크 모델은 기존의 다양한 초해상 모델 중 어느 하나일 수 있다. 이는 본원에서 구체적으로 제한되지 않는다. 초해상 프로세스는 다음과 같이 간략하게 설명된다.
1. 모델 로딩: 모델의 계층구조가 파싱되고, 토폴로지의 계층이 정렬되고(sorted), 그리고 각각의 계층의 가중치 값, 각각의 계층의 활성화 함수, 해당 컨벌루션 커널의 크기, 및 단계를 포함하는 각각의 계층의 파라미터가 파싱된다.
2. 예비-프로세싱: 모델 요구사항에 기반하여 입력 정규화 범위 및 출력 데이터 정규화 범위가 설정된다. 예를 들어, 초해상 모델 입력의 경우, 픽처의 YUV 색역(color gamut)에서 Y 채널 데이터가 입력으로서 사용되고, 데이터는 0 내지 0.1 또는 -0.1 내지 0.1 범위로 정규화된다.
3. 추론 계산: 모델 추론 계산을 수행하는 프로세스이다. 상세사항은 도 5b를 참조한다. 프로세스는 다음의 단계를 포함한다.
(a) 백엔드(backend) 선택: 상이한 하드웨어 플랫폼을 기반으로 적절한 백엔드가 선택된다. GPU는 픽처 데이터 프로세싱에, 특히 데이터 I/O 오버헤드를 감소시키는 데 더 유리하다. 따라서, 바람직하게는, GPU가 백엔드로서 선택된다.
(b) 자원 재구성(resource reorganization): 로딩된 모델에 대한 선택된 백엔드를 기반으로 자원이 재구성된다. GPU가 백엔드로서 사용되는 경우, 각각의 계층에서의 파라미터와 같은 정보가 정렬되어, 현재 계층에 대응하는 프래그먼트 셰이더(Fragment Shader)가 생성된다.
(c) 순회 계산(traversal calculation): GPU 백엔드의 예에서는, 해당 입력 및 출력 텍스처 ID가 모델의 각각의 계층의 계산을 위해 바인딩된다. 이 정보는, 프래그먼트 셰이더에서, 해당 입력 데이터 소스 및 출력 데이터 저장소를 지정하는 데 사용된다. 현재 계층의 프래그먼트 셰이더를 실행하여 현재 계층에 대응하는 모든 컨볼루션 계산을 완료하기 위해, Open GL 명령이 호출된다.
4. 사후-프로세싱(post-processing): 예비-프로세싱의 역프로세스(reverse process)이고, 추론 계산 결과를 오리지널 입력 데이터와 결합하여 오리지널 픽처 포맷을 형성하고, 그리고 오리지널 픽처 포맷을 디스플레이를 위한 최종 데이터, 즉 디스플레이를 위한 이미지 데이터로서 사용한다.
일반적으로, 초해상 이후 획득되는 제2 해상도는 제1 해상도의 정수배이고, 특정 배수가 제한되지 않는다. 예를 들어, 제1 해상도는 360P이고 초해상 이후 획득된 제2 해상도는 720P이고; 제1 해상도는 540P이고 초해상 이후 획득된 제2 해상도는 1080P이다. GPU 또는 NPU가 AI 가속 계산을 수행하고 디스플레이 이미지 품질을 개선시키는 데 사용되는 경우, 초해상을 위한 소프트웨어 개발 키트(software development kit, SDK)가 디코딩 이후 그리고 디스플레이를 위한 송신 이전에 통합된다는 것이 주목되어야 한다. 오리지널 오디오 및 비디오 동기화 단계에서, 초해상이 가외의(extra) 시간을 추가하지 않고 디스플레이를 위해 일정 송신 시간 기간 내에 완료된다. 다음은, 도 6을 참조로, 오디오 및 비디오 동기화 통합 초해상을 프로세싱하는 프로세스를 설명한다.
Vsync 신호는 주기적인 디스플레이를 위한 트리거 신호이다. 이는 주로, 애플리케이션 계층에서의 뷰 드로잉(view drawing) 태스크와 네이티브 계층에서의 뷰 합성(view synthesis) 태스크를 동기화시키는 데 사용된다.
통상적 기술에서는, 오디오 및 비디오의 동기화 페이즈에서 이미지 프레임이 Vsync에 따라 주기적으로 디코딩된다. 도 6에서, 제1 프레임(도면에서 1로 넘버링되는 식임)이 디코딩된 후, 제1 프레임이 그 다음 Vsync 기간에 디스플레이된다는 것을 알 수 있다. 이미지의 각각의 프레임은 Vsync 기간 내에서 디코딩되고, Vsync 기간이 종료된 후에 디스플레이된다. 본 출원의 이 실시예에서, 오디오 및 비디오 동기화 페이즈에서 초해상 모듈이 추가되고, 초해상 AI 추론 계산이 수신단의 GPU 컴퓨팅 성능(computing power)을 사용하여 수행되며, 이는 짧은 시간이 걸린다. 디코딩 및 초해상 액션은 하나의 Vsync 기간에 완료될 수 있고, 그런 다음, 초해상 이후 획득된 결과가 디스플레이를 위해 송신된다. 이런 식으로, 지연에 영향을 미치지 않고, 이미지 품질이 추가로 개선되고 사용자 경험이 향상된다.
다음은, 수신단에 있으며 본 출원의 실시예에서의 프로젝션 데이터 프로세싱 방법을 구현하는 시스템을 설명한다. 택일적으로, 제품 구현 상태는 단말기의 그래픽 소프트웨어 시스템에 배치된 프로그램 코드이다. 도 7a는 프로젝션 디바이스의 그래픽 소프트웨어 시스템의 계층적 프레임워크 다이어그램을 도시한다.
상세사항은 전송단에서 그래픽 소프트웨어 시스템의 계층적 프레임워크를 참조한다. 수신단은 프로젝션 서비스(캐스트 서비스) 이후 초해상 모듈(SR)을 통합한다. 기존 솔루션에서는, 수신측에서 하드웨어 코덱(Hardware Codec)을 사용하여 디코딩된 데이터가 수신측 상의 캐스트 서비스로 송신된다. 그러나, 본 출원의 이 실시예에서, 송신단에 의해 디코딩된 데이터를 수신한 후, 캐스트가 먼저 데이터를 SR 모듈에 송신하고, 최종적으로 초해상 데이터를 애플리케이션의 계층으로서 스크린 상에 디스플레이한다.
다음은, 도 7b를 참조로, 인식 모듈의 핵심 절차를 설명한다.
인식 모듈의 주요 절차는 다음과 같다:
1. 모델 로딩:
(a) 실행 동안 모델이 로딩되었는지 여부를 체크하고; 그리고 어떠한 모델도 로딩되지 않았다면, 해당 모델 파일이 로딩되고, 모델의 방향 그래프(directed graph)의 계층 구조가 파싱되고, 입/출력을 위한 해당 구조 계층을 생성하고, 각각의 계층의 파라미터를 파싱하고, 그리고 해당 계산 유닛을 생성한다. 이 프로세스는, 구조 및 가중 파라미터와 관련된 자원을 메모리에 로딩하기 위해 한 번만 초기화된다.
(b) 모델이 로딩되었다면, 그 다음 단계로 이동한다.
2. 계산 백엔드 선택: 상이한 하드웨어 플랫폼을 기반으로 적절한 백엔드를 선택하는 것을 의미한다. GPU가 백엔드로서 바람직하게 사용되는데, 왜냐면 GPU는 비디오 프레임 데이터를 프로세싱할 때 그의 병렬 프로세싱 이점을 사용할 수 있기 때문이다. NPU가 하드웨어 플랫폼에서 사용되는 경우, NPU는 일부 보조 계산에 사용된다.
3. 추론 계산: 상이한 계산 백엔드를 기반으로, 해당 계산이 모델 구조의 방향 그래프에 의해 정렬된 계층 노드에 기반하여 순서대로 수행된다.
4. 예비-프로세싱 및 사후-프로세싱: 예비-프로세싱은, 초해상 모듈 계산 이전에 이미지 프레임의 AI 추론에 의해 계산된 관심 정보, 예를 들어, 이미지의 채널 중 Y-채널의 수량을 추출하는 것을 의미하고; 그리고 사후-프로세싱은 이미지 데이터를 오리지널 RGBA 데이터 포맷으로 복원하는 것을 의미한다.
초해상 모듈은 수신측에서의 오디오 및 비디오 동기화 페이즈에서 초해상을 통합하고, 해상도에 기반하여 해당 초해상 모델을 로딩하고, 해당 추론 엔진을 실행하고, 그리고 백엔드 관리에 기반하여 AI 계산을 위한 해당 GPU 또는 NPU를 선택하고, 이로써 디스플레이 이미지 품질이 개선된다.
전술한 내용은 본 출원에서 제공되는 프로젝션 데이터 프로세싱 방법을 설명한다. 다음은 프로젝션 데이터 프로세싱 방법을 구현하는 프로젝션 데이터 프로세싱 장치를 설명한다. 도 8은, 본 출원의 실시예에 따른, 프로젝션 데이터 프로세싱 장치의 실시예의 개략적 다이어그램이다.
도 8의 모듈 중 하나 이상만이 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합을 사용하여 구현될 수 있다. 소프트웨어 또는 펌웨어는 컴퓨터 프로그램 명령 또는 코드를 포함하지만 이로 제한되지 않으며, 하드웨어 프로세서에 의해 실행될 수 있다. 하드웨어는, 다양한 집적 회로, 예를 들어, CPU(Central Processing Unit), DSP(Digital Signal Processor), FPGA(Field Programmable Gate Array) 또는 ASIC(Application-Specific Integrated Circuit) 등을 포함하지만 이로 제한되지 않는다.
프로젝션 데이터 프로세싱 장치는 구체적으로, 무선 프로젝션 시나리오에서 데이터 송신단이거나, 송신측, 즉 본 출원에서 단말기로 지칭된다. 단말기는 구체적으로, 모바일 폰, 노트북 컴퓨터, 태블릿 컴퓨터 등일 수 있다. 특정 디바이스 형태는 본원에서 제한되지 않는다.
프로젝션 데이터 프로세싱 장치는,
네트워크 상태 정보를 획득하도록 구성된 획득 유닛(801) ― 네트워크 상태 정보는 단말기와 프로젝션 디바이스 간의 통신 링크의 품질을 지시함 ―;
네트워크 상태 정보에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정하도록 구성된 결정 유닛(802); 및
목표 해상도에 기반하여 이미지 데이터를 합성하도록 그리고 이미지 데이터를 프로젝션 디바이스에 송신하도록 구성된 합성 유닛(803)을 포함하고, 이미지 데이터는, 프로젝션 디바이스에 의해, 프로젝팅될 이미지를 디스플레이하는 데 사용된다.
택일적으로, 목표 해상도는 통신 링크의 품질과 양의 상관관계가 있다.
택일적으로, 네트워크 상태 정보는 수신 신호 강도 표시자(RSSI)를 포함한다.
선택적으로, 결정 유닛(802)은 구체적으로,
RSSI의 값이 제1 임계치 이상이면, 목표 해상도가 제1 해상도라는 것을 결정하거나;
RSSI의 값이 제1 임계치 미만이고 제2 임계치 이상이면, 목표 해상도가 제1 해상도의 절반이라는 것을 결정하거나 ― 제2 임계치는 제1 임계치 미만임 ―; 또는
RSSI의 값이 제2 임계치 미만이면, 목표 해상도가 제1 해상도의 1/3이라는 것을 결정하도록 구성된다.
택일적으로, 결정 유닛(802)은 추가로,
현재 사용 시나리오를 결정하도록 구성되고; 그리고
합성 유닛(803)은 구체적으로, 사용 시나리오 및 목표 해상도에 기반하여 이미지 데이터를 선택적으로 합성하도록 구성된다.
택일적으로, 결정 유닛(802)은 구체적으로, 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정한다.
합성 유닛(803)은 구체적으로, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것이 결정되면, 목표 해상도에 기반하여, 프로젝팅될 이미지의 모든 계층 중 애플리케이션 계층만을 합성하거나; 또는
프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것이 결정되면, 목표 해상도에 기반하여, 프로젝팅될 이미지의 시스템 계층과 애플리케이션 계층을 합성하도록 구성된다.
택일적으로, 결정 유닛(802)은 구체적으로,
애플리케이션 계층의 소스 해상도가 제3 임계치 이상이면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
애플리케이션 계층의 소스 해상도가 제3 임계치 미만이면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
택일적으로, 결정 유닛(802)은 구체적으로,
애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
애플리케이션 계층의 종횡비가 스크린의 픽셀 종횡비와 상이하면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
택일적으로, 결정 유닛(802)은 구체적으로,
애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고 그리고 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나 또는 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
택일적으로, 결정 유닛(802)은 구체적으로,
애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하고 그리고 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하면, 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나, 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하거나 또는 미리설정된 계층 식별자 세트가 애플리케이션 계층의 식별자를 포함하지 않으면, 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록 구성된다.
택일적으로, 합성 유닛(803)은 구체적으로,
목표 해상도 및 제1 프레임 레이트에 기반하여 이미지 데이터를 합성하도록 구성되고, 제1 프레임 레이트는 프로젝팅될 이미지가 단말기 상에 디스플레이되는 프레임 레이트보다 낮다.
프로젝션 데이터 프로세싱 장치의 이점에 대해서는, 전술한 실시예에서의 프로젝션 데이터 프로세싱 방법의 효과를 참조한다. 상세사항은 여기서 다시 설명되지 않는다.
도 9는, 본 출원의 실시예에 따른, 프로젝션 데이터 프로세싱 장치의 실시예의 개략적 다이어그램이다.
도 9의 모듈 중 하나 이상만이 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합을 사용하여 구현될 수 있다. 소프트웨어 또는 펌웨어는 컴퓨터 프로그램 명령 또는 코드를 포함하지만 이로 제한되지 않으며, 하드웨어 프로세서에 의해 실행될 수 있다. 하드웨어는, 다양한 집적 회로, 예를 들어, CPU(Central Processing Unit), DSP(Digital Signal Processor), FPGA(Field Programmable Gate Array) 또는 ASIC(Application-Specific Integrated Circuit) 등을 포함하지만 이로 제한되지 않는다.
프로젝션 데이터 프로세싱 장치는 무선 프로젝션 시나리오에서 데이터 수신단이거나, 또는 수신측으로 지칭되며, 본 출원에서는 프로젝션 디바이스로 지칭된다. 프로젝션 디바이스는 이미지 디스플레이 기능을 가지며, 구체적으로 컴퓨터, 스마트 텔레비전, 스마트 스크린 등일 수 있다. 디바이스 형태는 제한되지 않는다.
프로젝션 데이터 프로세싱 장치는,
제1 해상도의 프로젝팅될 이미지를 수신하도록 구성된 수신 유닛(901);
그래픽 프로세싱 유닛(GPU)을 사용함으로써, 미리설정된 뉴럴 네트워크 모델에 기반하여 제1 해상도의 프로젝팅될 이미지에 대해 초해상을 수행하여 제2 해상도의 이미지를 획득하도록 구성된 획득 유닛(902); 및
제2 해상도의 이미지를 디스플레이하도록 구성된 디스플레이 유닛(903)을 포함한다.
택일적으로, 프로젝팅될 이미지는 제1 이미지 프레임을 포함하고;
획득 유닛(902)은 구체적으로,
하나의 오디오 및 비디오 동기화 기간에서 제1 이미지 프레임에 대해 디코딩 및 초해상을 수행하여 제2 해상도의 디코딩된 이미지 데이터를 획득하도록 구성된다.
택일적으로, 장치는,
프로젝팅될 이미지의 제1 프레임 레이트가 제4 임계치 미만이면, 프로젝팅될 이미지에 대해 프레임 보간을 수행하여 제2 프레임 레이트의 프로젝팅될 이미지를 획득하도록 구성된 프로세싱 유닛(904)을 더 포함한다.
택일적으로, 제1 해상도의 프로젝팅될 이미지는 전술한 실시예에서 설명된 합성된 이미지 데이터를 포함한다.
도 10은, 본 출원의 실시예에 따른, 단말기의 실시예의 개략적 다이어그램이다.
이해를 쉽게 하기 위해, 다음은 본 출원의 이 실시예에서 제공되는 단말기(100)의 구조를 예로 사용하여 설명한다. 도 10은 본 출원의 실시예에 따른 단말기의 구조의 개략적 다이어그램이다.
도 10에 도시된 바와 같이, 단말기(100)는 프로세서(110), 외부 메모리 인터페이스(120), 내부 메모리(121), 범용 직렬 버스(universal serial bus, USB) 인터페이스(130), 충전 관리 모듈(140), 전력 관리 모듈(141), 배터리(142), 안테나 1, 안테나 2, 이동 통신 모듈(150), 무선 통신 모듈(160), 오디오 모듈(170), 스피커(170A), 수신기(170B), 마이크로폰(170C), 헤드셋 잭(170D), 센서 모듈(180), 버튼(190), 모터(191), 지시기(indicator)(192), 카메라(193), 디스플레이(194), 가입자 식별 모듈(subscriber identification module, SIM) 카드 인터페이스(195) 등을 포함한다. 센서 모듈(180)은 압력 센서(180A), 자이로스코프 센서(180B), 기압 센서(180C), 자기 센서(180D), 가속도 센서(180E), 거리 센서(180F), 광 근접 센서(180G), 지문 센서(180H), 온도 센서(180J), 터치 센서(180K), 주변광 센서(180L), 골전도 센서(180M) 등을 포함할 수 있다.
본 출원의 이 실시예에 도시된 구조가 단말기(100)에 대한 특정한 제한을 구성하지 않는다는 것이 이해될 수 있다. 본 출원의 일부 다른 실시예에서, 단말기(100)는 도면에 도시된 것보다 더 많은 또는 더 적은 수의 컴포넌트를 포함할 수 있거나, 또는 일부 컴포넌트가 결합될 수 있거나, 또는 일부 컴포넌트가 세분될 수 있거나, 또는 상이한 컴포넌트 레이아웃이 존재할 수 있다. 도면에 도시된 컴포넌트는 하드웨어, 소프트웨어, 또는 소프트웨어와 하드웨어의 결합에 의해 구현될 수 있다.
프로세서(110)는 하나 이상의 프로세싱 유닛을 포함할 수 있다. 예를 들어, 프로세서(110)는 애플리케이션 프로세서(application processor, AP), 모뎀 프로세서, 그래픽 프로세싱 유닛(graphics processing unit, GPU), 이미지 신호 프로세서(image signal processor, ISP), 제어기, 메모리, 비디오 코덱, 디지털 신호 프로세서(digital signal processor, DSP), 기저대역 프로세서, 뉴럴-네트워크 프로세싱 유닛(neural-network processing unit, NPU) 등을 포함할 수 있다. 상이한 프로세싱 유닛은 독립적인 컴포넌트일 수 있거나, 또는 하나 이상의 프로세서에 통합될 수 있다.
제어기는 단말기(100)의 수뇌부(nerve center) 및 커맨드 센터(command center)일 수 있다. 제어기는, 명령 판독 및 명령 실행의 제어를 완료하기 위해, 명령 연산 코드 및 시간 시퀀스 신호에 기반하여 연산 제어 신호를 생성할 수 있다.
메모리는 프로세서(110)에 추가로 배치될 수 있고, 명령 및 데이터를 저장하도록 구성된다. 일부 실시예에서, 프로세서(110) 내의 메모리는 캐시 메모리이다. 메모리는 프로세서(110)에 의해 사용했던 또는 주기적으로 사용되는 명령 또는 데이터를 저장할 수 있다. 프로세서(110)가 명령 또는 데이터를 다시 사용해야 하는 경우, 프로세서는 메모리로부터 명령 또는 데이터를 직접 호출할 수 있다. 이는 반복된 액세스를 방지하고, 프로세서(110)의 대기 시간을 감소시키고, 그리고 시스템 효율을 개선시킨다.
일부 실시예에서, 프로세서(110)는 하나 이상의 인터페이스를 포함할 수 있다. 인터페이스는, 인터-집적 회로(inter-integrated circuit, I1C) 인터페이스, 인터-집적 회로 사운드(inter-integrated circuit sound, I1S) 인터페이스, 펄스 코드 변조(pulse code modulation, PCM) 인터페이스, 범용 비동기 수신기/전송기(universal asynchronous receiver/transmitter, UART) 인터페이스, 모바일 산업 프로세서 인터페이스(mobile industry processor interface, MIPI), 범용 입력/출력(general-purpose input/output, GPIO) 인터페이스, 가입자 아이덴티티 모듈(subscriber identity module, SIM) 인터페이스, 및/또는 유니버셜 시리얼 버스(universal serial bus, USB) 포트 등을 포함할 수 있다.
본 출원의 이 실시예에서 모듈 간의 인터페이스 연결 관계는 설명을 위한 예일 뿐이며, 단말기(100)의 구조에 대한 제한을 구성하지 않는 것이 이해될 수 있다. 본 출원의 일부 다른 실시예에서, 단말기(100)는 대안적으로, 전술한 실시예에서의 것과 상이한 인터페이스 연결 방식, 또는 복수의 인터페이스 연결 방식의 조합하여 사용할 수 있다.
충전 관리 모듈(140)은 충전기로부터 충전 입력을 수신하도록 구성된다. 충전기는 무선 충전기 또는 유선 충전기일 수 있다. 유선 충전의 일부 실시예에서, 충전 관리 모듈(140)은 USB 인터페이스(130)를 통해 유선 충전기의 충전 입력을 수신할 수 있다.
전력 관리 모듈(141)은 배터리(142), 충전 관리 모듈(140) 및 프로세서(110)에 연결되도록 구성된다. 전력 관리 모듈(141)은 배터리(142) 및/또는 충전 관리 모듈(140)의 입력을 수신하여, 프로세서(110), 내부 메모리(121), 외부 메모리, 디스플레이 스크린(194), 카메라(193), 무선 통신 모듈(160) 등에 전력을 공급한다.
단말기(100)의 무선 통신 기능은 안테나 1, 안테나 2, 이동 통신 모듈(150), 무선 통신 모듈(160), 모뎀 프로세서, 기저대역 프로세서 등을 통해 구현될 수 있다.
일부 실현가능한 구현에서, 단말기(100)는 무선 통신 기능을 사용하여 다른 디바이스와 통신할 수 있다. 예를 들어, 단말기(100)는 제2 전자 디바이스와 통신할 수 있고, 단말기(100)는 제2 전자 장치에 대한 프로젝션 연결을 구축하고, 그리고 단말기(100)는 제2 전자 디바이스에 프로젝션 데이터를 출력한다. 단말기(100)에 의해 출력되는 프로젝션 데이터는 오디오 및 비디오 데이터일 수 있다.
안테나 1 및 안테나 2는 전자기파 신호를 전송 및 수신하도록 구성된다. 단말기(100)의 각각의 안테나는, 하나 이상의 통신 주파수 대역을 커버하도록 구성될 수 있다. 안테나 활용도를 개선시키기 위해, 상이한 안테나가 추가로 멀티플렉싱될 수 있다. 예를 들어, 안테나 1은 무선 로컬 영역 네트워크의 다이버시티 안테나(diversity antenna)로서 멀티플렉싱될 수 있다. 일부 다른 실시예에서, 안테나는 튜닝 스위치(tuning switch)와 결합하여 사용될 수 있다.
모바일 통신 모듈(150)은, 단말기(100)에 적용되며 1G, 3G, 4G, 5G 등과 같은 무선 통신을 포함하는 솔루션을 제공할 수 있다. 모바일 통신 모듈(150)은 적어도 하나의 필터, 스위치, 전력 증폭기, 저잡음 증폭기(low noise amplifier, LNA) 등을 포함할 수 있다. 모바일 통신 모듈(150)은, 안테나 1를 통해 전자기파를 수신하고, 수신된 전자기파에 대해 필터링 또는 증폭과 같은 프로세싱을 수행하고, 그리고 복조를 위해 전자기파를 모뎀 프로세서에 전송할 수 있다. 모바일 통신 모듈(150)은 추가로, 모뎀 프로세서에 의해 변조된 신호를 증폭시키고, 그리고 신호를 안테나 2를 통한 방사를 위한 전자기파로 변환할 수 있다. 일부 실시예에서, 모바일 통신 모듈(150)의 적어도 일부 기능 모듈은 프로세서(110)에 배치될 수 있다. 일부 실시예에서, 모바일 통신 모듈(150)의 적어도 일부 기능 모듈은 프로세서(110)의 적어도 일부 모듈과 동일한 디바이스에 배치될 수 있다. 단말기는 모바일 통신 모듈을 사용하여 서버와 통신할 수 있다.
모뎀 프로세서는 변조기 및 복조기를 포함할 수 있다. 변조기는 송신될 저-주파수 기저대역 신호를 중-고주파수 신호로 변조하도록 구성된다. 복조기는 수신된 전자기파 신호를 저-주파수 기저대역 신호로 복조하도록 구성된다. 그런 다음, 복조기는, 프로세싱을 위해, 복조를 통해 획득된 저-주파수 기저대역 신호를 기저대역 프로세서에 전송한다. 저-주파수 기저대역 신호는 기저대역 프로세서에 의해 프로세싱된 다음, 애플리케이션 프로세서에 전송된다. 애플리케이션 프로세서는 오디오 디바이스(스피커(170A), 수신기(170B) 등으로 제한되지 않음)에 의해 사운드 신호를 출력하거나 또는 디스플레이(194)에 의해 이미지 또는 비디오를 디스플레이한다. 일부 실시예에서, 모뎀 프로세서는 독립적인 컴포넌트일 수 있다. 일부 다른 실시예에서, 모뎀 프로세서는, 프로세서(110)와 독립적일 수 있고 그리고 모바일 통신 모듈(150) 또는 다른 기능 모듈과 동일한 디바이스에 배치된다
무선 통신 모듈(160)은 단말기(100)에 적용되는 무선 통신 솔루션을 제공할 수 있으며, 이는 무선 로컬 영역 네트워크(wireless local area network, WLAN)(예를 들어, 무선 충실도(wireless fidelity, Wi-Fi) 네트워크), 블루투스(Bluetooth, BT), 글로벌 내비게이션 위성 시스템(global navigation satellite system, GNSS), 주파수 변조(frequency modulation, FM), 근거리 통신(near field communication, NFC) 기술, 적외선(infrared, IR) 기술 등을 포함한다. 무선 통신 모듈(160)은, 적어도 하나의 통신 프로세서 모듈을 통합하는 하나 이상의 컴포넌트일 수 있다. 무선 통신 모듈(160)은, 안테나 1에 의해 전자기파를 수신하고, 전자기파 신호에 대해 주파수 변조 및 필터링 프로세싱을 수행하고, 그리고 프로세싱된 신호를 프로세서(110)에 송신한다. 무선 통신 모듈(160)은 추가로, 송신될 신호를 프로세서(110)로부터 수신하고, 신호에 대해 주파수 변조 및 증폭을 수행하고, 그리고 신호를 안테나 2를 통한 방사를 위한 전자기파로 변환시킬 수 있다. 단말기(100)는 Wi-Fi 네트워크를 사용하여 프로젝션 디바이스(200)와 통신할 수 있다.
일부 실시예에서, 단말기(100)의 안테나 1이 모바일 통신 모듈(150)에 커플링되고, 안테나 2가 무선 통신 모듈(160)에 커플링되어, 단말기(100)가 무선 통신 기술을 사용하여 네트워크 및 다른 디바이스와 통신할 수 있다. 무선 통신 기술은, 글로벌 모바일 통신 시스템(global system for mobile communications, GSM), 일반 패킷 라디오 서비스(general packet radio service, GPRS), 코드 분할 다중 액세스(code division multiple access, CDMA), 광대역 코드 분할 다중 액세스(wideband code division multiple access, WCDMA), 시분할 코드 분할 다중 액세스(time-division code division multiple access, TD-SCDMA), 롱 텀 에볼루션(long term evolution, LTE), BT, GNSS, WLAN, NFC, FM, IR 기술 등을 포함할 수 있다. GNSS는, 글로벌 포지셔닝 시스템(global positioning system, GPS), 글로벌 내비게이션 위성 시스템(global navigation satellite system, GLONASS), BeiDou 내비게이션 위성 시스템(BeiDou navigation satellite system, BDS), 준천정 위성 시스템(quasi-zenith satellite system, QZSS) 및/또는 위성 기반 증강 시스템(satellite based augmentation system, SBAS)을 포함할 수 있다.
단말기(100)는 GPU, 디스플레이(194), 애플리케이션 프로세서 등을 사용하여 디스플레이 기능을 구현할 수 있다. GPU는 이미지 프로세싱을 위한 마이크로프로세서이며, 디스플레이(194) 및 애플리케이션 프로세서에 연결된다. GPU는, 수학적 및 기하학적 계산을 수행하고 이미지를 렌더링하도록 구성된다. 프로세서(110)는 디스플레이 정보를 생성하거나 또는 변경하기 위한 프로그램 명령을 실행하는 하나 이상의 GPU를 포함할 수 있다.
디스플레이(194)는 이미지, 비디오 등을 디스플레이하도록 구성된다. 디스플레이(194)는 디스플레이 패널을 포함한다. 디스플레이 패널은, 액정 디스플레이(liquid crystal display, LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 능동-매트릭스 유기 발광 다이오드(active-matrix organic light emitting diode, AMOLED), 플렉서블 발광 다이오드(flexible light-emitting diode, FLED), 미니-LED, 마이크로-LED, 마이크로-OLED, 양자점 발광 다이오드(quantum dot light emitting diode, QLED) 등일 수 있다. 일부 실시예에서, 단말기(100)는 하나 또는 N개의 디스플레이(194)를 포함할 수 있고, 여기서 N은 1 보다 큰 양의 정수(positive integer)이다. 구체적으로, 디스플레이 스크린(194)은 출력 워드(output word)를 사용자에게 디스플레이할 수 있다.
일부 실행가능한 구현에서, 디스플레이(194)는 단말기(100)의 시스템에 의한 출력을 위한 인터페이스를 디스플레이하도록 구성될 수 있다. 예를 들어, 단말기(100)는 프로젝팅될 이미지 데이터를 동시에 출력할 수 있다.
단말기(100)는 ISP, 카메라(193), 비디오 코덱, GPU, 디스플레이(194), 애플리케이션 프로세서 등을 사용하여 이미지 촬영(image shooting) 기능을 구현할 수 있다.
ISP는 카메라(193)에 의해 피드백된 데이터를 프로세싱하도록 구성된다. 예를 들어, 사진촬영(photographing) 중에, 셔터가 눌리고, 빛이 렌즈를 통해 카메라의 감광 엘리먼트(photosensitive element)에 전달된다. 광학 신호가 전기 신호로 변환되고, 그리고 카메라의 감광 엘리먼트는 전기 신호를 프로세싱을 위해 ISP에 전송하여, 전기 신호를 가시 이미지로 변환시킨다. ISP는 추가로, 이미지의 잡음, 밝기 및 컴플렉션(complexion)에 대한 알고리즘 최적화를 수행할 수 있다. ISP는 추가로, 사진촬영 시나리오의 노출 및 컬러 온도와 같은 파라미터를 최적화시킬 수 있다. 일부 실시예에서, ISP는 카메라(193) 내에 배치될 수 있다.
카메라(193)는 정지 이미지 또는 비디오를 캡처하도록 구성된다. 오브젝트의 광학 이미지가 렌즈를 통해 생성되고, 감광 엘리먼트 상에 프로젝팅된다. 감광 엘리먼트는 전하 결합 디바이스(charge coupled device, CCD) 또는 상보형 금속 산화물 반도체(complementary metal-oxide-semiconductor, CMOS) 포토트랜지스터일 수 있다. 광-감지 엘리먼트(light-sensitive element)는 광학 신호를 전기 신호로 변환한 다음, 전기 신호를 ISP에 전송하여, 전기 신호를 디지털 이미지 신호로 변환한다. ISP는 프로세싱을 위해 디지털 이미지 신호를 DSP에 출력한다. DSP는 디지털 이미지 신호를 RGB 또는 YUV와 같은 표준 포맷의 이미지 신호로 변환한다. 일부 실시예에서, 단말기(100)는 하나 또는 N개의 카메라(193)를 포함할 수 있고, 여기서 N은 1보다 큰 양의 정수이다.
디지털 신호 프로세서는 디지털 신호를 프로세싱하도록 구성되고 그리고 디지털 이미지 신호 외에 다른 디지털 신호를 프로세싱할 수 있다.
비디오 코덱은 디지털 비디오를 압축하거나 압축해제하도록 구성된다. 단말기(100)는 하나 이상의 비디오 코덱을 지원할 수 있다. 이런 식으로, 단말기(100)는, 예를 들어, 동영상 전문가 그룹(moving picture experts group, MPEG)-1, MPEG-1, MPEG-3 및 MPEG-4의 복수의 인코딩 포맷으로 비디오를 재생 또는 레코딩할 수 있다.
NPU는, 신경망(neural-network, NN) 컴퓨팅 프로세서이며, 생물학적 신경망의 구조를 참조함으로써, 예를 들어, 인간의 뇌 뉴런 간의 전달 모드를 참조함으로써, 입력 정보를 신속하게 프로세싱하고 그리고 더 나아가, 지속적으로 자가-학습을 수행할 수 있다. 단말기(100)의 지능적 인지와 같은 애플리케이션, 예를 들어, 이미지 인식, 안면 인식, 스피치 인식, 텍스트 이해 등이 NPU를 통해 구현될 수 있다.
외부 메모리 인터페이스(120)는, 단말기(100)의 저장 능력을 확장시키기 위해, 외부 메모리 카드, 예를 들어, 마이크로 SD 카드에 연결되게 사용될 수 있다. 외부 메모리 카드는 데이터 저장 기능을 구현하기 위해 외부 메모리 인터페이스(120)를 통해 프로세서(110)와 통신한다. 예를 들어, 음악 및 비디오와 같은 파일이 외부 저장 카드에 저장된다.
내부 메모리(121)는 컴퓨터-실행가능 프로그램 코드를 저장하도록 구성될 수 있다. 실행가능 프로그램 코드는 명령을 포함한다. 프로세서(110)는, 단말기(100)의 다양한 기능 애플리케이션 및 데이터 프로세싱을 구현하기 위해, 내부 메모리(121)에 저장된 명령을 실행한다. 내부 메모리(121)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 시스템, 적어도 하나의 기능(예를 들어, 음성 재생 기능 또는 이미지 재생 기능)에 의해 요구되는 애플리케이션 등을 저장할 수 있다. 데이터 저장 영역은, 단말기(100)가 사용될 때 생성되는 데이터(예를 들어, 오디오 데이터 및 전화번호부 등) 등을 저장할 수 있다. 추가로, 내부 메모리(121)는, 고속 랜덤 액세스 메모리를 포함할 수 있거나 또는 비휘발성 메모리, 예를 들어, 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리, 또는 범용 플래시 저장소(universal flash storage, UFS)를 포함할 수 있다.
단말기(100)는, 오디오 모듈(170), 스피커(170A), 수신기(170B), 마이크로폰(170C), 헤드셋 잭(170D), 애플리케이션 프로세서 등을 사용하여 음악 재생 및 레코딩과 같은 오디오 기능을 구현할 수 있다. 일부 가능한 구현에서, 오디오 모듈(170)은 비디오에 대응하는 사운드를 재생하도록 구성될 수 있다. 예를 들어, 디스플레이(194)가 비디오 재생 픽처를 디스플레이할 때, 오디오 모듈(170)은 비디오 재생 사운드를 출력한다.
오디오 모듈(170)은, 디지털 오디오 정보를 아날로그 오디오 신호 출력으로 변환하도록 구성되고 그리고 또한, 아날로그 오디오 입력을 디지털 오디오 신호로 변환하도록 구성된다.
"확성기"로 또한 지칭되는 스피커(170A)는 오디오 전기 신호를 사운드 신호로 변환하도록 구성된다.
"이어피스(earpiece)"로 또한 지칭되는 수신기(170B)는 오디오 전기 신호를 사운드 신호로 변환하도록 구성된다.
"마이크(mike 또는 mic)"로 또한 지칭되는 마이크로폰(170C)은 사운드 신호를 전기 신호로 변환하도록 구성된다.
헤드셋 잭(170D)은 유선 헤드셋에 연결되도록 구성된다. 헤드셋 잭(170D)은 USB 인터페이스(130)일 수 있거나, 또는 3.5mm 오픈 모바일 단말 플랫폼(open mobile terminal platform, OMTP) 표준 인터페이스 또는 미국의 셀룰러 원격통신 산업 협회(cellular telecommunications industry association of the USA, CTIA) 표준 인터페이스일 수 있다.
압력 센서(180A)는 압력 신호를 감지하도록 구성되고, 압력 신호를 전기 신호로 변환할 수 있다. 일부 실시예에서, 압력 센서(180A)는 디스플레이(194) 상에 배치될 수 있다. 자이로스코프 센서(180B)는 단말기(100)의 모션 자세를 결정하도록 구성될 수 있다. 기압 센서(180C)는 기압을 측정하도록 구성된다.
가속도 센서(180E)는 단말기(100)의 다양한 방향에서의(통상 3축 또는 6축 상에서의) 가속도 크기를 검출할 수 있다. 단말기(100)가 정지상태인 경우 중력의 크기와 방향이 검출될 수 있다. 가속도 센서(180E)는, 단말기의 자세를 식별하도록 추가로 구성될 수 있고, 만보계(pedometer) 또는 가로 모드와 세로 모드 간의 전환과 같은 애플리케이션에 적용된다.
거리 센서(180F)는 거리를 측정하도록 구성된다.
주변광 센서(180L)는 주변광 밝기를 감지하도록 구성된다.
지문 센서(180H)는 지문을 수집하도록 구성된다.
온도 센서(180J)는 온도를 검출하도록 구성된다.
터치 센서(180K)는 또한 터치 패널로 지칭된다. 터치 센서(180K)는 디스플레이(194) 상에 배치될 수 있고, 터치 센서(180K) 및 디스플레이(194)는 "터치 스크린"으로 또한 지칭되는 터치스크린을 형성한다. 터치 센서(180K)는 터치 센서 상에서 또는 그 근처에서 수행되는 터치 조작을 검출하도록 구성된다. 터치 센서는 검출된 터치 조작을 애플리케이션 프로세서에 전달하여 터치 이벤트의 타입을 결정할 수 있다. 터치 조작과 관련된 시각적 출력이 디스플레이(194)를 통해 제공될 수 있다. 일부 다른 실시예에서, 터치 센서(180K)는 대안적으로, 단말기(100)의 표면 상에서, 디스플레이(194)의 포지션과 상이한 포지션에 배치된다.
버튼(190)은 전원 버튼, 볼륨 버튼 등을 포함한다. 버튼(190)은 기계적 버튼일 수 있거나 또는 터치 버튼일 수 있다. 단말기(100)는, 버튼 입력을 수신하고 그리고 단말기(100)의 사용자 설정 및 기능 제어와 관련된 버튼 신호 입력을 생성할 수 있다.
모터(191)는 진동 프롬프트(vibration prompt)를 생성할 수 있다.
지시기(192)는, 지시등(indicator light)일 수 있고 그리고 충전 상태 및 전력 변경을 지시하도록 구성될 수 있거나, 또는 메시지, 부재중 전화, 알림 등을 지시하도록 구성될 수 있다.
SIM 카드 인터페이스(195)는 SIM 카드에 연결되도록 구성된다.
도 11은, 본 출원의 실시예에 따른, 프로젝션 디바이스의 실시예의 개략적 다이어그램이다.
본 실시예에서 제공되는 프로젝션 디바이스는 컴퓨터, 텔레비전, 스마트 스크린 등일 수 있다. 프로젝션 디바이스의 특정 디바이스 형태는 본 출원의 이 실시예에서 제한되지 않는다.
프로젝션 디바이스(1100)는, 구성이나 성능이 상이하기 때문에 상대적으로 큰 성능을 발휘할 수 있고 그리고 하나 이상의 프로세서(1101) 및 메모리(1102)를 포함할 수 있다. 메모리(1102)는 프로그램 또는 데이터를 저장한다.
메모리(1102)는 휘발성 메모리 또는 비-휘발성 메모리일 수 있다. 택일적으로, 하나 이상의 프로세서(1101)는 하나 이상의 중앙 프로세싱 유닛(central processing unit, CPU)이다. CPU는 싱글-코어 CPU 또는 멀티-코어 CPU일 수 있다. 프로세서(1101)는 메모리(1102)와 통신할 수 있고 프로젝션 디바이스(1100) 상의 메모리(1102)에 있는 한 세트의 명령을 실행할 수 있다.
프로젝션 디바이스(1100)는 하나 이상의 무선 네트워크 인터페이스(1103), 예를 들어, 이더넷 인터페이스를 더 포함한다. 택일적으로, 프로젝션 디바이스(1100)는, 도 11에 도시되지 않았지만, 유선 네트워크 인터페이스를 더 포함할 수 있다.
프로젝션 디바이스(1100)는 프로젝션 픽처를 디스플레이하도록 구성된 디스플레이(1104)를 더 포함한다.
택일적으로, 프로젝션 디바이스(1100)는, 도 11에 도시되지 않았지만, 하나 이상의 전원 공급 장치 및 하나 이상의 입력/출력 인터페이스를 더 포함할 수 있다. 입력/출력 인터페이스는 디스플레이, 마우스, 키보드, 터치스크린 디바이스, 센서 디바이스 등에 연결되도록 구성될 수 있다. 입력/출력 인터페이스는 택일적 컴포넌트이며, 존재할 수도 또는 존재하지 않을 수도 있다. 이는 본원에서 제한되지 않는다.
본 실시예에서의 프로젝션 디바이스(1100)의 프로세서(1101)에 의해 수행되는 절차에 대해서는, 전술한 방법 실시예에서 설명된 방법 절차를 참조한다. 상세한 내용은 여기서 설명되지 않는다.
편리하고 간략한 설명을 위해, 전술한 시스템, 장치 및 유닛의 상세한 작동 프로세스에 대해서는, 전술한 방법 실시예의 해당 프로세스를 참조하고, 세부사항이 여기서 다시 설명되지 않는다는 것이 당업자에게 명백히 이해될 수 있다.
본 출원에서 제공되는 몇몇 실시예에서, 개시된 시스템, 장치 및 방법이 다른 방식으로 구현될 수 있다는 것이 이해되어야 한다. 예를 들어, 설명된 장치 실시예는 단지 예일 뿐이다. 예를 들어, 유닛으로의 분할은 단지 논리적 기능 분할일 뿐이며, 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 결합될 수 있거나 또는 다른 시스템에 통합될 수 있거나, 또는 일부 특징이 무시되거나 또는 수행되지 않을 수 있다. 또한, 디스플레이되거나 논의된 상호간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 사용하여 구현될 수 있다. 장치 또는 유닛 간의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형태로 구현될 수 있다.
별도의 부분으로 설명된 유닛은 물리적으로 분리될 수도 또는 분리되지 않을 수도 있고, 그리고 유닛으로서 디스플레이된 부분은, 물리적 유닛일 수도 또는 아닐 수도 있거나 또는 하나의 포지션에 위치될 수 있거나 또는 복수의 네트워크 유닛에 분산될 수 있다. 유닛 중 일부 또는 전부는 실시예의 솔루션의 목적을 달성하기 위해 실제 요건에 기반하여 선택될 수 있다.
부가하여, 본 출원의 실시예에서의 기능 유닛은 하나의 프로세싱 유닛으로 통합될 수 있거나, 유닛 각각이 물리적으로 단독으로 존재할 수 있거나, 또는 2개 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 통합 유닛은 하드웨어의 형태로 구현될 수 있거나 또는 소프트웨어 기능 유닛의 형태로 구현될 수 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립 제품으로서 판매되거나 사용되는 경우, 통합 유닛은 컴퓨터-판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본질적으로 본 출원의 기술적 솔루션, 또는 종래 기술에 기여하는 부분, 또는 기술적 솔루션의 일부 또는 전부가 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며, 컴퓨터 디바이스(개인용 컴퓨터, 서버 또는 네트워크 디바이스일 수 있음)가 본 출원의 실시예에서 설명되는 방법의 단계의 전부 또는 일부를 수행하게 명령하기 위한 여러 명령을 포함한다. 전술한 저장 매체는 프로그램 코드를 저장할 수 있는 임의의 매체, 예를 들어, USB 플래시 드라이브, 착탈식 하드 디스크, 판독-전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 플로피 디스크 또는 콤팩트 디스크를 포함한다.
전술한 실시예는 단지, 본 출원을 제한하는 것이 아니라 본 출원의 기술적 솔루션을 설명하기 위한 것이다. 본 출원은 전술한 실시예를 참조하여 상세히 설명되었지만, 당업자는, 본 출원의 실시예의 기술적 솔루션의 사상 및 범위를 벗어나지 않으면서, 여전히 전술한 실시예에서 설명된 기술적 솔루션을 수정하거나 또는 이의 일부 기술적 특징에 대해 동등하게 대체할 수 있다는 것을 이해해야 한다.

Claims (35)

  1. 프로젝션 데이터 프로세싱 방법으로서,
    단말기에 의해, 네트워크 상태 정보를 획득하는 단계 ― 상기 네트워크 상태 정보는 상기 단말기와 프로젝션 디바이스 간의 통신 링크의 품질을 지시함 ―;
    상기 단말기에 의해, 상기 네트워크 상태 정보에 기반하여, 프로젝팅될(to-be-projected) 이미지의 목표 해상도를 결정하는 단계; 및
    상기 단말기에 의해, 상기 목표 해상도에 기반하여 이미지 데이터를 합성하는 단계 및 상기 이미지 데이터를 상기 프로젝션 디바이스에 송신하는 단계
    를 포함하고, 상기 이미지 데이터는, 상기 프로젝션 디바이스에 의해, 상기 프로젝팅될 이미지를 디스플레이하는 데 사용되는, 프로젝션 데이터 프로세싱 방법.
  2. 제1항에 있어서,
    상기 목표 해상도는 상기 통신 링크의 품질과 양의 상관관계가 있는(positively correlated), 프로젝션 데이터 프로세싱 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 네트워크 상태 정보는 수신 신호 강도 표시자(RSSI)를 포함하는, 프로젝션 데이터 프로세싱 방법.
  4. 제3항에 있어서,
    상기 단말기에 의해, 상기 네트워크 상태 정보에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정하는 단계는,
    상기 RSSI의 값이 제1 임계치 이상이면, 상기 단말기에 의해, 상기 목표 해상도가 제1 해상도라는 것을 결정하는 단계;
    상기 RSSI의 값이 상기 제1 임계치 미만이고 제2 임계치 이상이면, 상기 단말기에 의해, 상기 목표 해상도가 제1 해상도의 절반이라는 것을 결정하는 단계 ― 상기 제2 임계치는 상기 제1 임계치 미만임 ―; 또는
    상기 RSSI의 값이 제2 임계치 미만이면, 상기 단말기에 의해, 상기 목표 해상도가 제1 해상도의 1/3이라는 것을 결정하는 단계
    를 포함하는, 프로젝션 데이터 프로세싱 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 방법은, 상기 단말기에 의해, 현재 사용 시나리오를 결정하는 단계를 더 포함하고,
    상기 단말기에 의해, 상기 목표 해상도에 기반하여 이미지 데이터를 합성하는 단계는, 상기 단말기에 의해, 상기 사용 시나리오 및 상기 목표 해상도에 기반하여 상기 이미지 데이터를 선택적으로 합성하는 단계를 포함하는, 프로젝션 데이터 프로세싱 방법.
  6. 제5항에 있어서,
    상기 단말기에 의해, 현재 사용 시나리오를 결정하는 단계는, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린(full-screen) 시나리오에 있는지 여부를 결정하는 단계를 포함하고,
    상기 단말기에 의해, 상기 사용 시나리오 및 상기 목표 해상도에 기반하여 상기 이미지 데이터를 선택적으로 합성하는 단계는,
    상기 단말기가 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하면, 상기 단말기에 의해, 상기 목표 해상도에 기반하여, 상기 프로젝팅될 이미지의 모든 계층 중 애플리케이션 계층만을 합성하는 단계; 또는
    상기 단말기가 상기 프로젝팅될 이미지가 비전체-스크린(non-full-screen) 시나리오에 있다는 것을 결정하면, 상기 단말기에 의해, 상기 목표 해상도에 기반하여, 상기 프로젝팅될 이미지의 시스템 계층과 애플리케이션 계층을 합성하는 단계
    를 포함하는, 프로젝션 데이터 프로세싱 방법.
  7. 제6항에 있어서,
    상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 단계는,
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 단계; 또는
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 단계
    를 포함하는, 프로젝션 데이터 프로세싱 방법.
  8. 제6항에 있어서,
    상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 단계는,
    상기 애플리케이션 계층의 픽셀 종횡비(pixel aspect ratio)가 스크린의 픽셀 종횡비와 동일하면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 단계; 또는
    상기 애플리케이션 계층의 종횡비가 스크린의 픽셀 종횡비와 상이하면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 단계
    를 포함하는, 프로젝션 데이터 프로세싱 방법.
  9. 제6항에 있어서,
    상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 단계는,
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고 그리고 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 단계; 또는
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나 또는 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 단계
    를 포함하는, 프로젝션 데이터 프로세싱 방법.
  10. 제6항에 있어서,
    상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하는 단계는,
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고, 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하고 그리고 미리설정된 계층 식별자 세트가 상기 애플리케이션 계층의 식별자를 포함하면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하는 단계; 또는
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나, 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하거나 또는 미리설정된 계층 식별자 세트가 상기 애플리케이션 계층의 식별자를 포함하지 않으면, 상기 단말기에 의해, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하는 단계
    를 포함하는, 프로젝션 데이터 프로세싱 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 단말기에 의해, 상기 목표 해상도에 기반하여 이미지 데이터를 합성하는 단계는, 상기 단말기에 의해, 상기 목표 해상도 및 제1 프레임 레이트에 기반하여 상기 이미지 데이터를 합성하는 단계를 포함하고,
    상기 제1 프레임 레이트는, 상기 프로젝팅될 이미지가 상기 단말기 상에 디스플레이되는 프레임 레이트보다 낮은, 프로젝션 데이터 프로세싱 방법.
  12. 프로젝션 데이터 프로세싱 방법으로서,
    프로젝션 디바이스에 의해, 제1 해상도의 프로젝팅될 이미지를 수신하는 단계;
    상기 프로젝션 디바이스에 의해, 그래픽 프로세싱 유닛(GPU)을 사용함으로써, 미리설정된 뉴럴 네트워크 모델에 기반하여 상기 제1 해상도의 프로젝팅될 이미지에 대해 초해상(super-resolution)을 수행하여 제2 해상도의 이미지를 획득하는 단계; 및
    상기 프로젝션 디바이스에 의해, 상기 제2 해상도의 이미지를 디스플레이하는 단계
    를 포함하는, 프로젝션 데이터 프로세싱 방법.
  13. 제12항에 있어서,
    상기 프로젝팅될 이미지는 제1 이미지 프레임을 포함하고; 그리고
    상기 프로젝션 디바이스에 의해, 그래픽 프로세싱 유닛(GPU)을 사용함으로써, 미리설정된 뉴럴 네트워크 모델에 기반하여 상기 제1 해상도의 이미지에 대해 초해상을 수행하여 제2 해상도의 이미지를 획득하는 단계는, 상기 프로젝션 디바이스에 의해, 하나의 오디오 및 비디오 동기화 기간에서 상기 제1 이미지 프레임에 대해 디코딩 및 초해상을 수행하여 상기 제2 해상도의 디코딩된 이미지 데이터를 획득하는 단계를 포함하는, 프로젝션 데이터 프로세싱 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 방법은, 상기 프로젝팅될 이미지의 제1 프레임 레이트가 제4 임계치 미만이면, 상기 프로젝션 디바이스에 의해, 상기 프로젝팅될 이미지에 대해 프레임 보간을 수행하여 제2 프레임 레이트의 프로젝팅될 이미지를 획득하는 단계를 더 포함하는, 프로젝션 데이터 프로세싱 방법.
  15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 제1 해상도의 프로젝팅될 이미지는 제1항 내지 제11항 중 어느 한 항에 따른 합성된 이미지 데이터를 포함하는, 프로젝션 데이터 프로세싱 방법.
  16. 프로젝션 데이터 프로세싱 장치로서,
    네트워크 상태 정보를 획득하도록 구성된 획득 유닛 ― 상기 네트워크 상태 정보는 단말기와 프로젝션 디바이스 간의 통신 링크의 품질을 지시함 ―;
    상기 네트워크 상태 정보에 기반하여, 프로젝팅될 이미지의 목표 해상도를 결정하도록 구성된 결정 유닛; 및
    상기 목표 해상도에 기반하여 이미지 데이터를 합성하도록 그리고 상기 이미지 데이터를 상기 프로젝션 디바이스에 송신하도록 구성된 합성 유닛
    을 포함하고, 상기 이미지 데이터는, 상기 프로젝션 디바이스에 의해, 상기 프로젝팅될 이미지를 디스플레이하는 데 사용되는, 프로젝션 데이터 프로세싱 장치.
  17. 제16항에 있어서,
    상기 목표 해상도는 상기 통신 링크의 품질과 양의 상관관계가 있는, 프로젝션 데이터 프로세싱 장치.
  18. 제16항 또는 제17항에 있어서,
    상기 네트워크 상태 정보는 수신 신호 강도 표시자(RSSI)를 포함하는, 프로젝션 데이터 프로세싱 장치.
  19. 제18항에 있어서,
    상기 결정 유닛은 구체적으로,
    상기 RSSI의 값이 제1 임계치 이상이면, 상기 목표 해상도가 제1 해상도라는 것을 결정하거나;
    상기 RSSI의 값이 제1 임계치 미만이고 제2 임계치 이상이면, 상기 목표 해상도가 제1 해상도의 절반이라는 것을 결정하거나 ― 상기 제2 임계치는 상기 제1 임계치 미만임 ―; 또는
    상기 RSSI의 값이 제2 임계치 미만이면, 상기 목표 해상도가 제1 해상도의 1/3이라는 것을 결정하도록
    구성되는, 프로젝션 데이터 프로세싱 장치.
  20. 제16항 내지 제19항 중 어느 한 항에 있어서,
    상기 결정 유닛은 추가로, 현재 사용 시나리오를 결정하도록 구성되고,
    상기 합성 유닛은 구체적으로, 상기 사용 시나리오 및 상기 목표 해상도에 기반하여 상기 이미지 데이터를 선택적으로 합성하도록 구성되는, 프로젝션 데이터 프로세싱 장치.
  21. 제20항에 있어서,
    상기 결정 유닛은 구체적으로, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있는지 여부를 결정하도록 구성되고,
    상기 합성 유닛은 구체적으로,
    상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것이 결정되면, 상기 목표 해상도에 기반하여, 상기 프로젝팅될 이미지의 모든 계층 중 애플리케이션 계층만을 합성하거나; 또는
    상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것이 결정되면, 상기 목표 해상도에 기반하여, 상기 프로젝팅될 이미지의 시스템 계층과 애플리케이션 계층을 합성하도록
    구성되는, 프로젝션 데이터 프로세싱 장치.
  22. 제21항에 있어서,
    상기 결정 유닛은 구체적으로,
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이면, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이면, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록
    구성되는, 프로젝션 데이터 프로세싱 장치.
  23. 제21항에 있어서,
    상기 결정 유닛은 구체적으로,
    상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
    상기 애플리케이션 계층의 종횡비가 스크린의 픽셀 종횡비와 상이하면, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록
    구성되는, 프로젝션 데이터 프로세싱 장치.
  24. 제21항에 있어서,
    상기 결정 유닛은 구체적으로,
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고 그리고 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하면, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나 또는 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하면, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록
    구성되는, 프로젝션 데이터 프로세싱 장치.
  25. 제21항에 있어서,
    상기 결정 유닛은 구체적으로,
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 이상이고, 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 동일하고 그리고 미리설정된 계층 식별자 세트가 상기 애플리케이션 계층의 식별자를 포함하면, 상기 프로젝팅될 이미지가 전체-스크린 시나리오에 있다는 것을 결정하거나; 또는
    상기 애플리케이션 계층의 소스 해상도가 제3 임계치 미만이거나, 상기 애플리케이션 계층의 픽셀 종횡비가 스크린의 픽셀 종횡비와 상이하거나 또는 미리설정된 계층 식별자 세트가 상기 애플리케이션 계층의 식별자를 포함하지 않으면, 상기 프로젝팅될 이미지가 비전체-스크린 시나리오에 있다는 것을 결정하도록
    구성되는, 프로젝션 데이터 프로세싱 장치.
  26. 제16항 내지 제25항 중 어느 한 항에 있어서,
    상기 합성 유닛은 구체적으로, 상기 목표 해상도 및 제1 프레임 레이트에 기반하여 상기 이미지 데이터를 합성하도록 구성되고,
    상기 제1 프레임 레이트는 상기 프로젝팅될 이미지가 상기 단말기 상에 디스플레이되는 프레임 레이트보다 낮은, 프로젝션 데이터 프로세싱 장치.
  27. 프로젝션 데이터 프로세싱 장치로서,
    제1 해상도의 프로젝팅될 이미지를 수신하도록 구성된 수신 유닛;
    그래픽 프로세싱 유닛(GPU)을 사용함으로써, 미리설정된 뉴럴 네트워크 모델에 기반하여 상기 제1 해상도의 프로젝팅될 이미지에 대해 초해상을 수행하여 제2 해상도의 이미지를 획득하도록 구성된 획득 유닛; 및
    상기 제2 해상도의 이미지를 디스플레이하도록 구성된 디스플레이 유닛
    을 포함하는, 프로젝션 데이터 프로세싱 장치.
  28. 제27항에 있어서,
    상기 프로젝팅될 이미지는 제1 이미지 프레임을 포함하고; 그리고
    상기 획득 유닛은 구체적으로, 하나의 오디오 및 비디오 동기화 기간에서 상기 제1 이미지 프레임에 대해 디코딩 및 초해상을 수행하여 상기 제2 해상도의 디코딩된 이미지 데이터를 획득하도록 구성되는, 프로젝션 데이터 프로세싱 장치.
  29. 제27항 또는 제28항에 있어서,
    상기 장치는, 상기 프로젝팅될 이미지의 제1 프레임 레이트가 제4 임계치 미만이면, 상기 프로젝팅될 이미지에 대해 프레임 보간을 수행하여 제2 프레임 레이트의 프로젝팅될 이미지를 획득하도록 구성된 프로세싱 유닛을 더 포함하는, 프로젝션 데이터 프로세싱 장치.
  30. 제27항 내지 제29항 중 어느 한 항에 있어서,
    상기 제1 해상도의 프로젝팅될 이미지는 제15항 내지 제24항 중 어느 한 항에 따른 합성된 이미지 데이터를 포함하는, 프로젝션 데이터 프로세싱 장치.
  31. 프로젝션 시스템으로서,
    전송단(transmit end) 및 수신단(receive end)을 포함하고,
    상기 전송단은 무선 통신 링크를 통해 상기 수신단에 연결되고;
    상기 전송단은 제16항 내지 제26항 중 어느 한 항에 따른 프로젝션 데이터 프로세싱 장치를 포함하고; 그리고
    상기 수신단은 제27항 내지 제30항 중 어느 한 항에 따른 프로젝션 데이터 프로세싱 장치를 포함하는, 프로젝션 시스템.
  32. 단말기로서,
    하나 이상의 프로세서 및 메모리를 포함하고,
    상기 메모리는 컴퓨터- 판독가능 명령을 저장하고; 그리고
    상기 하나 이상의 프로세서는 상기 컴퓨터-판독가능 명령을 읽고, 상기 단말기는 제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현할 수 있는, 단말기.
  33. 프로젝션 디바이스로서,
    하나 이상의 프로세서 및 메모리를 포함하고,
    상기 메모리는 컴퓨터- 판독가능 명령을 저장하고; 그리고
    상기 하나 이상의 프로세서는 상기 컴퓨터-판독가능 명령을 읽고, 상기 단말기는 제12항 내지 제15항 중 어느 한 항에 따른 방법을 구현할 수 있는, 프로젝션 디바이스.
  34. 컴퓨터 프로그램 제품으로서,
    컴퓨터-판독가능 명령을 포함하고,
    상기 컴퓨터-판독가능 명령이 컴퓨터 상에서 실행될 때, 상기 컴퓨터는 제1항 내지 제15항 중 어느 한 항에 따른 방법을 수행할 수 있는, 컴퓨터 프로그램 제품.
  35. 컴퓨터-판독가능 저장 매체로서,
    컴퓨터-판독가능 명령을 포함하고,
    상기 컴퓨터-판독가능 명령이 컴퓨터 상에서 실행될 때, 상기 컴퓨터는 제1항 내지 제15항 중 어느 한 항에 따른 방법을 수행할 수 있는, 컴퓨터-판독가능 저장 매체.
KR1020237005683A 2020-07-30 2021-05-19 프로젝션 데이터 프로세싱 방법 및 장치 KR20230039723A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010753147.3 2020-07-30
CN202010753147.3A CN114071197B (zh) 2020-07-30 2020-07-30 投屏数据处理方法和装置
PCT/CN2021/094510 WO2022022019A1 (zh) 2020-07-30 2021-05-19 投屏数据处理方法和装置

Publications (1)

Publication Number Publication Date
KR20230039723A true KR20230039723A (ko) 2023-03-21

Family

ID=80037514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237005683A KR20230039723A (ko) 2020-07-30 2021-05-19 프로젝션 데이터 프로세싱 방법 및 장치

Country Status (7)

Country Link
US (1) US20230162324A1 (ko)
EP (1) EP4187907A4 (ko)
JP (1) JP2023537249A (ko)
KR (1) KR20230039723A (ko)
CN (1) CN114071197B (ko)
BR (1) BR112023001301A2 (ko)
WO (1) WO2022022019A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220400238A1 (en) * 2021-06-14 2022-12-15 Hyundai Mobis Co., Ltd. Light source control apparatus and lamp
CN114786060A (zh) * 2022-02-28 2022-07-22 长沙朗源电子科技有限公司 基于安卓平台无线投屏实现帧率控制的方法及其装置
CN114845144B (zh) * 2022-04-26 2023-12-15 长沙朗源电子科技有限公司 一种投屏方法、辅助投屏装置及存储介质
CN114786058B (zh) * 2022-04-27 2024-02-06 南京欧珀软件科技有限公司 多媒体数据展示方法、装置、终端及存储介质
CN115278347B (zh) * 2022-06-23 2024-03-26 华东师范大学 一种8k视频的超分辨率处理与显示平台
CN116737097B (zh) * 2022-09-30 2024-05-17 荣耀终端有限公司 一种投屏图像处理方法及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648363B2 (en) * 2012-09-28 2017-05-09 Marvell World Trade Ltd. Enhanced user experience for miracast devices
US20140118222A1 (en) * 2012-10-30 2014-05-01 Cloudcar, Inc. Projection of content to external display devices
CN105264905B (zh) * 2013-05-31 2019-06-18 索尼公司 信息处理设备和信息处理方法
CN104360794B (zh) * 2014-11-21 2017-07-04 北京奇虎科技有限公司 通过识别全屏模式控制窗口弹出的方法及装置
CN106155606A (zh) * 2015-04-07 2016-11-23 ***通信集团公司 一种多屏互动方法及装置
CN105025316A (zh) * 2015-07-28 2015-11-04 Tcl集团股份有限公司 一种获取视频是否为全屏播放的方法及***
CN106899620A (zh) * 2015-12-17 2017-06-27 西安中兴新软件有限责任公司 一种数据共享***
CN108446085A (zh) * 2018-03-14 2018-08-24 维沃移动通信有限公司 一种投屏显示方法及移动终端
CN108900894B (zh) * 2018-08-16 2021-03-02 广州视源电子科技股份有限公司 视频数据的处理方法、装置和***
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
CN110519632B (zh) * 2019-07-30 2021-08-20 华为技术有限公司 投屏方法及设备
CN111580765B (zh) * 2020-04-27 2024-01-12 Oppo广东移动通信有限公司 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备
CN111626931B (zh) * 2020-05-06 2023-08-08 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN112492395A (zh) * 2020-11-30 2021-03-12 维沃移动通信有限公司 数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
JP2023537249A (ja) 2023-08-31
US20230162324A1 (en) 2023-05-25
WO2022022019A1 (zh) 2022-02-03
EP4187907A4 (en) 2023-12-27
EP4187907A1 (en) 2023-05-31
CN114071197A (zh) 2022-02-18
BR112023001301A2 (pt) 2023-02-14
CN114071197B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN110109636B (zh) 投屏方法、电子设备以及***
US20220295027A1 (en) Projection display method and electronic device
US20230162324A1 (en) Projection data processing method and apparatus
EP4030276A1 (en) Content continuation method and electronic device
CN112394895B (zh) 画面跨设备显示方法与装置、电子设备
WO2019001347A1 (zh) 移动设备的投屏方法、存储介质、终端及投屏***
WO2020093988A1 (zh) 一种图像处理方法及电子设备
CN113691846A (zh) 多窗口投屏方法及电子设备
CN115473957A (zh) 一种图像处理方法和电子设备
US20230305864A1 (en) Method for Displaying Plurality of Windows and Electronic Device
WO2023160285A1 (zh) 视频处理方法和装置
WO2022222924A1 (zh) 一种投屏显示参数调节方法
WO2023160295A9 (zh) 视频处理方法和装置
CN117133306A (zh) 立体声降噪方法、设备及存储介质
WO2024037352A1 (zh) 一种分屏显示方法及相关装置
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
CN114697731B (zh) 投屏方法、电子设备及存储介质
CN117082295B (zh) 图像流处理方法、设备及存储介质
WO2024066834A1 (zh) Vsync信号的控制方法、电子设备、存储介质及芯片
US20240073415A1 (en) Encoding Method, Electronic Device, Communication System, Storage Medium, and Program Product
WO2024022307A1 (zh) 一种投屏方法及电子设备
WO2024027718A1 (zh) 一种多窗口投屏方法、电子设备及***
CN118264854A (zh) 视频处理方法及相关设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal