JP7301993B2 - ディスプレイ装置及びその映像表示方法 - Google Patents

ディスプレイ装置及びその映像表示方法 Download PDF

Info

Publication number
JP7301993B2
JP7301993B2 JP2021549120A JP2021549120A JP7301993B2 JP 7301993 B2 JP7301993 B2 JP 7301993B2 JP 2021549120 A JP2021549120 A JP 2021549120A JP 2021549120 A JP2021549120 A JP 2021549120A JP 7301993 B2 JP7301993 B2 JP 7301993B2
Authority
JP
Japan
Prior art keywords
upscaler
image
content providing
information
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021549120A
Other languages
English (en)
Other versions
JP2022521254A (ja
Inventor
キルス・チェ
クワァンシク・ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2022521254A publication Critical patent/JP2022521254A/ja
Application granted granted Critical
Publication of JP7301993B2 publication Critical patent/JP7301993B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092Image resolution transcoding, e.g. by using client-server architectures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42684Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Description

本発明は、ディスプレイ装置及びその映像表示方法に係り、さらに詳細には、ディスプレイ装置と通信連結されたコンテンツ提供装置から提供される映像を表示する映像表示方法に関する。
ディスプレイ装置は、ユーザが視聴することができる映像を表示する機能を備えた装置である。ユーザは、ディスプレイ装置を介して放送を視聴することができる。ディスプレイ装置は、放送局から送出される放送信号のうち、ユーザが選択した放送をディスプレイに表示する。
また、放送機能に加え、多様なコンテンツ及び機能を提供するスマートTV(television)が提供されている。該スマートTVは、ユーザの選択によって受動的に動作するのではなく、ユーザの特性に基づき、特徴またはサービスを分析して提供する機能を遂行する。
一方、TVのようなディスプレイ装置に、セットトップボックス、ブルーレイ(登録商標)ディスク(Blu-ray(登録商標) disc)プレイヤ、DVD(digital versatile disc)プレイヤ、ストリーミング装置、ホームシアタ、オーディオ装置のようなコンテンツ提供装置が通信連結される場合、該ディスプレイ装置は、コンテンツ提供装置から映像を受信して表示することができる。
最近では、コンテンツ提供装置がディスプレイ装置の出力解像度を考慮し、原本映像の解像度を高くし、ディスプレイ装置に提供することもできる。例として、ディスプレイ装置の出力解像度が4Kであり、原本映像の解像度が2Kである場合、コンテンツ提供装置は、原本映像の解像度を4Kにアップスケーリングし、アップスケーリングされたアップスケーリング映像をディスプレイ装置に提供することができる。
一般的に、コンテンツ提供装置がディスプレイ装置の出力解像度を考慮し、原本映像をアップスケーリングし、アップスケーリング処理がなされたアップスケーリング映像をディスプレイ装置に提供するように、アップスケーリングプロセスは、コンテンツ提供装置によっても遂行される。
しかしながら、ディスプレイ装置の性能が続けて発展し、多様な機能の複合的支援が可能になることにより、ディスプレイ装置において、映像に対するアップスケーリングを支援することもできる。その場合、ディスプレイ装置のアップスケーリング機能が、コンテンツ提供装置のアップスケーリング機能よりすぐれているにもかかわらず、コンテンツ提供装置がデフォルトとして映像をアップスケーリングし、ディスプレイ装置に提供する状況が生じてしまう。
従って、本発明の目的は、ディスプレイ装置が支援するアップスケーリングの性能、及びコンテンツ提供装置が支援するアップスケーリングの性能を考慮し、映像に対するアップスケーリングを行う方法及びその装置を提供するところにある。
本開示の一実施形態によれば、ディスプレイ装置及びコンテンツ提供装置のうち、最適の性能を有したアップスケーラを選択し、原本映像に対するアップスケーリング処理を行うのができる。
それにより、アップスケーリング映像の品質が向上され、さらには、ディスプレイ装置を利用するユーザの視聴経験も大きく向上されうる。特に、既存のEDID(extended display identification data)データフォーマットを利用し、アップスケーラを選択するための情報を送受信する場合、ディスプレイ装置とコンテンツ提供装置との間の通信効率も向上されうる。
開示の特定実施形態における前述のところ、及びその他の側面、特徴及び利点は、添付図面と共に、次の説明からより明らかである。
本開示の一実施形態によるシステムを示す図面である。 本開示の一実施形態によるディスプレイ装置の一部構成を示すブロック図である。 本開示の一実施形態によるシステムの動作を示すフローチャートである。 本開示の他の一実施形態によるシステムの動作を示すフローチャートである。 本開示のさらに他の一実施形態によるシステムの動作を示すフローチャートである。 本開示のさらに他の一実施形態によるシステムの動作を示すフローチャートである。 本開示の他の一実施形態によるシステムの動作を示すフローチャートである。 本開示の他の一実施形態によるシステムの動作を示すフローチャートである。 本開示の他の一実施形態によるシステムを示す図面である。 本開示の一実施形態によるシステムの動作を示すフローチャートである。 本開示の他の一実施形態によるシステムの動作を示すフローチャートである。 本開示のさらに他の一実施形態によるシステムの動作を示すフローチャートである。 本開示のさらに他の一実施形態によるシステムの動作を示すフローチャートである。 本開示のさらに他の一実施形態によるシステムの動作を示すフローチャートである。 本開示の他の実施形態によるディスプレイ装置の構成を示すブロック図である。 アップスケーリングの一例による画素変換について説明するための参照図である。
開示のさらなる側面は、一部は、以下の説明に記載され、一部は、該説明から明らかになるか、開示の実践によっても学習される。
一実施形態により、ディスプレイ装置で映像を表示する方法が提供され、前記方法は、コンテンツ提供装置が第1解像度の映像、または第2解像度の映像を選択的に伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送する動作と、前記映像要請情報に基づき、前記第1解像度映像、または第1アップスケーラを利用し、前記第1解像度映像に対してアップスケーリングを行うことによって得られた第2解像度映像を受信する動作と、前記第1解像度映像の受信に基づき、第2解像度のアップスケーリング映像を獲得するために、前記ディスプレイ装置の第2アップスケーラを利用し、前記第1解像度映像にアップスケーリングを行い、前記第2解像度アップスケーリング映像を表示する動作であり、前記第2アップスケーラのアップスケーリング性能は、前記第1アップスケーラのアップスケーリング性能と異なる動作と、前記第2解像度映像の受信に基づき、前記第2解像度の映像を表示する動作と、を含む。
前記方法は、前記コンテンツ提供装置から、前記第1アップスケーラの情報を受信する動作をさらに含み、前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、前記第1アップスケーラの情報、及び前記第2アップスケーラの情報に基づき、前記映像要請情報を、前記コンテンツ提供装置に伝送する動作を含む。
前記方法において、前記第1アップスケーラの情報、及び前記第2アップスケーラの情報に基づき、前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、前記第2アップスケーラの性能が、前記第1アップスケーラの性能よりすぐれていると判断されることにより、前記原本映像を伝送するように要請する前記映像要請情報を、前記コンテンツ提供装置に伝送する動作と、前記第1アップスケーラの性能が、前記第2アップスケーラの性能よりすぐれていると判断されることにより、前記第1アップスケーリング映像を伝送するように要請する前記映像要請情報を、前記コンテンツ提供装置に伝送する動作を含む。
前記第1アップスケーラの情報、及び前記第2アップスケーラの情報は、前記識別情報または前記性能情報のうち少なくとも一つを含む。
前記方法は、前記第1アップスケーラの識別情報を外部サーバに伝送する動作と、前記第1アップスケーラの性能情報を、前記外部サーバから受信する動作と、をさらに含み、前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、前記受信された第1アップスケーラの性能情報、及び前記第2アップスケーラの性能情報に基づき、前記映像要請情報を、前記コンテンツ提供装置に伝送する動作を含む。
前記方法は、前記受信された映像の容量、前記受信された映像の解像度、及び前記受信された映像の付加情報のうち少なくとも一つを含む前記受信された映像の属性情報に基づき、前記受信された映像が、原本映像であるか、または前記第1アップスケーリング映像であるかということを判断する動作をさらに含む。
前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、前記コンテンツ提供装置から、原本映像が必要であるか否かということを確認するアップスケーリング確認情報を受信する動作と、前記受信されたアップスケーリング確認情報に基づき、前記原本映像を伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送する動作と、を含む。
前記方法は、前記原本映像が受信されることにより、前記原本映像に対し、画質処理を行う動作をさらに含む。
前記第1アップスケーラまたは前記第2アップスケーラのうち少なくとも一つは、神経網を基盤とする人工知能アルゴリズムを利用し、前記原本映像をアップスケーリングする。
前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、映像標準データであるEDID(extended display identification data)データに含まれている前記映像要請情報を、前記コンテンツ提供装置に伝送する動作を含む。
一実施形態により、ディスプレイ装置は、通信回路と、ディスプレイと、少なくとも1つのインストラクションを保存するメモリと、プロセッサと、を含み、前記プロセッサは、前記メモリに保存された前記1以上のインストラクションを実行することにより、前記コンテンツ提供装置が、原本映像または第1アップスケーリング映像を選択的に伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送するように、前記通信回路を制御し、前記コンテンツ提供装置から、前記原本映像、または前記コンテンツ提供装置の第1アップスケーラによって生成された第1アップスケーリング映像を受信するように、前記通信回路を制御し、前記原本映像の受信に基づき、前記原本映像に対し、第2アップスケーラを利用したアップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像が表示されるように、前記ディスプレイを制御し、前記第1アップスケーリング映像の受信に基づき、前記第1アップスケーリング映像が表示されるように、前記ディスプレイを制御する。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記コンテンツ提供装置から、前記第1アップスケーラの情報が受信されるように、前記通信回路を制御し、前記第1アップスケーラの情報、及び前記第2アップスケーラの情報に基づき、前記映像要請情報が前記コンテンツ提供装置で伝送されるように、前記通信回路を制御する。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記第2アップスケーラの性能が、前記第1アップスケーラの性能よりすぐれていると判断されることにより、前記原本映像を伝送するように要請する前記映像要請情報が前記コンテンツ提供装置に伝送されるように、前記通信回路を制御し、前記第1アップスケーラの性能が、前記第2アップスケーラの性能よりすぐれていると判断されることにより、前記第1アップスケーリング映像を伝送するように要請する前記映像要請情報が前記コンテンツ提供装置に伝送されるように、前記通信回路を制御する。
前記第1アップスケーラの情報、または前記第2アップスケーラの情報は、識別情報または性能情報のうち少なくとも一つを含む。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記第1アップスケーラの識別情報が外部サーバに伝送されるように、前記通信回路を制御し、前記伝送に基づき、前記第1アップスケーラの性能情報が前記外部サーバから受信されるように、前記通信回路を制御し、前記受信された第1アップスケーラの性能情報、及び前記第2アップスケーラの性能情報に基づき、前記映像要請情報が前記コンテンツ提供装置に伝送されるように、前記通信回路を制御する。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記受信された映像の容量、前記受信された映像の解像度、または前記受信された映像の付加情報のうち少なくとも一つを含む受信された映像の属性情報に基づき、前記受信された映像が、原本映像であるか、または前記第1アップスケーリング映像であるかということを判断する。
前記プロセッサは、前記1以上のインストラクションを実行することにより、前記コンテンツ提供装置から、原本映像が必要であるか否かということを確認するアップスケーリング確認情報を受信することにより、前記原本映像を伝送するように要請する映像要請情報が前記コンテンツ提供装置に伝送されるように、前記通信回路を制御する。
前記第1アップスケーラまたは前記第2アップスケーラのうち少なくとも一つは、神経網を基盤とする人工知能アルゴリズムを利用し、前記原本映像をアップスケーリングする。
前記プロセッサは、前記1以上のインストラクションを実行することにより、映像標準データであるEDIDデータに含まれている前記映像要請情報が前記コンテンツ提供装置に伝送されるように、前記通信回路を制御する。
他の実施形態により、ディスプレイ装置の動作方法を遂行するためのプログラムが記録された非一時的コンピュータ可読記録媒体を含むコンピュータプログラム媒体において、前記動作方法は、コンテンツ提供装置が第1解像度の映像、または第2解像度の映像を選択的に伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送する動作と、前記映像要請情報に基づき、前記第1解像度映像、または第1アップスケーラを利用し、前記第1解像度映像に対してアップスケーリングを行うことによって得られた第2解像度映像を受信する動作と、前記第1解像度映像の受信に基づき、第2解像度のアップスケーリング映像を獲得するために、前記ディスプレイ装置の第2アップスケーラを利用し、前記第1解像度映像にアップスケーリングを行い、前記第2解像度アップスケーリング映像を表示する動作であり、前記第2アップスケーラのアップスケーリング性能は、前記第1アップスケーラのアップスケーリング性能と異なる動作と、前記第2解像度映像の受信に基づき、前記第2解像度の映像を表示する動作と、を含む。
本明細書で使用される用語について簡略に説明し、本発明につき、具体的に説明する。
本発明で使用される用語は、本発明における機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それらは、当業界の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分において、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されなければならない。
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも1つの機能や動作を処理する単位を意味し、それらは、ハードウェアまたはソフトウェアによっても具現され、ハードウェアとソフトウェアとの結合によっても具現される。
以下においては、添付図面を参照し、実施形態につき、本発明が属する技術分野で当業者であるならば、が容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまに異なる形態にも具現され、ここで説明される実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と係わりの部分は、省略され、明細書全体を通じ、類似した部分については、類似した図面符号を付した。
本明細書の実施形態において、「ユーザ」という用語は、ディスプレイ装置またはコンテンツディスプレイ装置に表示される映像を視聴する視聴者、あるいはディスプレイ装置の機能または動作を制御する者を意味し、管理者または設置技士を含んでもよい。
図1は、本開示の一実施形態によるシステムを示す図面である。
図1において、システム1は、ディスプレイ装置20及びコンテンツ提供装置10を含んでもよく、一実施形態により、アップスケーラ管理サーバ30をさらに含んでもよい。
一実施形態によれば、ディスプレイ装置20は、TV(television)でもあるが、それは、一実施形態に過ぎず、ディスプレイを含む多様な形態にも具現される。例えば、ディスプレイ装置20は、携帯電話、タブレットPC(personal computer)、デジタルカメラ、カムコーダ、ノート型パソコン(laptop computer)、デスクトップ、電子書籍端末機、デジタル放送用端末機、PDA(personal digital assistant)、PMP(portable multimedia player)、ナビゲーション、MP3プレイヤ、着用型機器(wearable device)のような多様な電子装置によっても具現される。特に、本実施形態は、TVのように、ディスプレイが大型であるディスプレイ装置によっても容易に具現されるが、それに限定されるものではない。
また、ディスプレイ装置20は、固定型または移動型でもあり、デジタル放送受信が可能なデジタル放送受信機でもある。また、ディスプレイ装置20は、平面(flat)ディスプレイ装置だけではなく、曲率を有する画面である曲面(curved)ディスプレイ装置、または曲率を調整することができる可変型(flexible)ディスプレイ装置によっても具現される。ディスプレイ装置20の出力解像度は、例えば、HD(high definition)、full HD、ultra HD、またはultra HDよりさらに鮮明な解像度を含んでもよい。
コンテンツ提供装置10は、コンテンツを提供する装置でもある。例として、コンテンツ提供装置10は、セットトップボックス、ブルーレイ(登録商標)ディスク(Blu-ray(登録商標) disc)プレイヤ、DVD(digital versatile disc)プレイヤ、ストリーミング装置、ホームシアタ、オーディオ装置などを含んでもよい。または、コンテンツ提供装置10は、スマートフォン、タブレットPC、移動端末機(mobile phone)、画像電話機、電子書籍リーダ(e-book reader)、デスクトップPC(desktop personal computer)、ラップトップPC(laptop personal computer)、ネットブックコンピュータ(netbook computer)、PDA、PMP、MP3プレイヤ、着用型機器のような多様な装置にもなる。
ディスプレイ装置20及びコンテンツ提供装置10は、有無線通信を利用し、データ、信号などを送受信することができる。例えば、コンテンツ提供装置10は、ディスプレイ装置20に映像信号を伝送することができ、ディスプレイ装置20は、受信された映像信号に基づき、映像を表示することができる。
また、ディスプレイ装置20及びコンテンツ提供装置10は、有無線通信を利用し、互いの間で装置情報を獲得することができる。
一例として、ディスプレイ装置20及びコンテンツ提供装置10が通信連結されれば、コンテンツ提供装置10は、ディスプレイ装置20のEDID保存部(例:EDID ROM(read only memory))22にアクセスし、EDID保存部22に記録されているEDIDデータを取得することができる。または、コンテンツ提供装置10が、ディスプレイ装置20にEDIDデータを要請すれば、当該要請に応答し、ディスプレイ装置20が、EDID保存部22のEDIDデータをコンテンツ提供装置10に提供することができる。
他の例として、ディスプレイ装置20及びコンテンツ提供装置10が通信連結されれば、ディスプレイ装置20は、コンテンツ提供装置10のEDID保存部(例:EDID ROM)12にアクセスし、EDID保存部12に記録されているEDIDデータを取得することができる。または、ディスプレイ装置20が、コンテンツ提供装置10にEDIDデータを要請すれば、当該要請に応答し、コンテンツ提供装置10が、EDID保存部12のEDIDデータをディスプレイ装置20に提供することができる。
EDIDデータは、例として、装置の名称、ID(identification)、モデル、製造年月日、シリアルナンバー、映像の最大表示サイズ、画面比率、水平周波数、垂直周波数、最大解像度、ガンマ、DPMS(display power management signaling)モード支援、サポート可能映像モード、製造社のような項目を含んでもよく、必要により、さらなる情報をさらに含んでもよい。例として、該EDIDデータは、本開示のアップスケーラの情報、優勢アップスケーラの情報、映像要請情報または映像種類情報のうち少なくとも一つをさらに含んでもよい。
ディスプレイ装置20及びコンテンツ提供装置10は、原本映像に対し、アップスケーリング処理を行うアップスケーラを含んでもよい。説明の便宜のために、コンテンツ提供装置10が提供するアップスケーラは、第1アップスケーラ11と称し、ディスプレイ装置20が提供するアップスケーラは、第2アップスケーラ21と称する。また、第1アップスケーラ11を利用し、アップスケーリング処理がなされた映像を、第1アップスケーリング映像と称し、第1アップスケーラ21を利用し、アップスケーリング処理がなされた映像を、第2アップスケーリング映像と称する。
このとき、原本映像という用語は、アップスケーリング処理がなされたアップスケーリング映像と区分するための用語であり、第1アップスケーラ11または第2アップスケーラ21により、アップスケーリング処理がなされていない映像を意味しうる。例として、該原本映像は、デコーディングされた映像を含んでもよい。
アップスケーラは、例として、2K映像を4K映像にアップスケーリングするか、あるいは4K映像を8K映像にアップスケーリングすることができる。該アップスケーラは、例として、人工知能(AI:artificial intelligence)アルゴリズムを利用し、映像をアップスケーリングすることができる。例として、2K映像を4K映像にアップスケーリングするときには、1902X1080X3解像度に該当する映像情報の追加生成が必要であるが、4K映像を8K映像にアップスケーリングするときには、3840X2160X3解像度に該当する映像をさらに生成する必要がある。それにより、映像の解像度が増大するほど、人工知能アルゴリズムを利用し、映像をアップスケーリングする傾向が強くなる。
アップスケーラは、例として、学習ネットワークモデルを利用し、映像をアップスケーリングすることができる。該学習ネットワークモデルは、例えば、神経網(neural network)を基盤とするモデルでもある。該学習ネットワークモデルは、加重値を有する複数のネットワークノードを含んでもよい。該学習ネットワークモデルは、一例として、神経網モデル、または神経網モデルから発展したディーブラーニング(deep learning)モデルまたはナロー(narrow)ラーニングモデルを含んでもよい。該神経網モデルにおいて、複数のネットワークノードは、互いに異なる深さ(または、レイヤ)に位置しながら、コンボリューション(convolution)連結関係によってデータをやり取りすることができる。例えば、DNN(deep neural network)、RNN(recurrent neural network)、BRDNN(bidirectional recurrent deep neural network)のようなモデルが、学習ネットワークモデルとしても使用されるが、前述の例に限定されるものではない。
アップスケーラは、人工知能のための専用ハードウェアチップ状にも作製され、または汎用プロセッサ(例:CPU(central processing unit)、AP(application processor)またはグラフィック専用プロセッサ(例:GPU(graphics processing unit))の一部にもなる。
アップスケーラ管理サーバ30は、1以上のサブサーバによっても構成され、クラウド形態にも構成される。アップスケーラ管理サーバ30は、コンテンツ提供装置10またはディスプレイ装置20と通信し、アップスケーリングの性能情報、または優秀アップスケーリング情報などを提供することができる。アップスケーラ管理サーバ30は、アップスケーラ性能情報31を保存することができる。アップスケーラ性能情報31は、例として、アップスケーラの種類別に、性能指標情報などを含んでもよい。該性能指標情報は、例として、アップスケーラの種類別に、点数、バージョン、ランキングまたはレーティング(rating)のうち少なくとも一つを含んでもよい。
第1解像度を有する映像を、第2解像度を有する映像にアップスケーリングするアップスケーラは、アップスケーラの性能により、互いに異なる品質を有するアップスケーリングされた映像を出力することができる。
図16は、一例により、アップスケーリングによるピクセル変換について説明するための参照図である。
図16を参照すれば、例えば、4X4ピクセルを有した原本映像1600を、16X16ピクセルに変換するアップスケーリングの場合、1つのピクセル1610が4個のピクセル1621にもマッチングされる。このとき、原本映像1600には、16個のピクセル情報が存在し、アップスケーリングによって変換された映像には、256個のピクセルが存在するので、結局、アップスケーラは、存在する16個のピクセル情報を分析して処理する過程を介し、256個のピクセル情報を獲得する。結局、アップスケーラは、知っている16個のピクセル情報を利用し、256-16=240個の知りえないピクセル値を求めなければならないが、それは、アップスケーラの性能により、知りえない240個のピクセル値を適切に求め、最終映像が自然に表現されうるか、あるいは240個のピクセル値に、適切ではない情報が含まれ、最終映像が自然ではないようにも表現される。図16を参照すれば、原本映像1600を、第2性能を有した第2アップスケーラによってアップスケーリングして得られた映像1620は、原本映像のピクセル情報を適切に利用し、自然な映像が得られたことを確認することができる。原本映像1600を、第1性能を有した第1アップスケーラによってアップスケーリングして得られた映像1610は、いくつのピクセル値1611、1612、1613が、適切ではない値を有するようになることにより、全体的に映像が自然ではないということを確認することができる。
そのように、原本映像を、同一解像度でアップスケーリングするアップスケーラの場合においても、各アップスケーラが使用する人工知能アルゴリズムのような多様な要因により、アップスケーリングされた映像は、多様な品質を有することにもなる。従って、本開示書に開示された実施形態により、ディスプレイ装置は、多様なアップスケーラのうち、性能にすぐれるアップスケーラを利用し、映像をアップスケーリングするための動作を遂行することができる。
ディスプレイ装置20は、通信回路、ディスプレイ、メモリ及びプロセッサを含んでもよい。該通信回路、該ディスプレイ、該メモリ及び該プロセッサに係わる詳細な説明は、図15を介して詳細に後述される。
本開示の一実施形態によれば、ディスプレイ装置20のプロセッサは、コンテンツ提供装置10と通信連結を樹立するように、通信回路を制御することができる。ディスプレイ装置20のプロセッサは、コンテンツ提供装置10が、原本映像またはアップスケーリング映像を選択的に伝送するように要請する映像要請情報が、コンテンツ提供装置10に伝送されるように、通信回路を制御することができる。ディスプレイ装置20のプロセッサは、映像要請情報に基づき、コンテンツ提供装置10から、原本映像、または第1アップスケーラを利用し、アップスケーリング処理がなされた第1アップスケーリング映像を受信するように、通信回路を制御することができる。ディスプレイ装置20のプロセッサは、原本映像が受信されることにより、原本映像に対し、第2アップスケーラを利用したアップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像が表示されるように、ディスプレイを制御することができる。ディスプレイ装置20のプロセッサは、第1アップスケーリング映像が受信されることにより、第1アップスケーリング映像に対し、第2アップスケーラを利用したアップスケーリング処理を省略し、第1アップスケーリング映像が表示されるように、ディスプレイを制御することができる。
本開示の一実施形態によれば、ディスプレイ装置20のプロセッサは、コンテンツ提供装置10から、第1アップスケーラの情報が受信されるように、前記通信回路を制御し、第1アップスケーラの情報及び第2アップスケーラの情報に基づき、映像要請情報が、コンテンツ提供装置10に伝送されるように、通信回路を制御することができる。
本開示の一実施形態によれば、ディスプレイ装置20のプロセッサは、第1アップスケーラの性能が、第2アップスケーラの性能よりすぐれていると判断されることにより、原本映像を伝送するように要請する映像要請情報が、コンテンツ提供装置に伝送されるように通信回路を制御し、第2アップスケーラの性能が、前記第1アップスケーラの性能よりすぐれていると判断されることにより、第1アップスケーリング映像を伝送するように要請する映像要請情報が、コンテンツ提供装置10に伝送されるように、通信回路を制御することができる。
本開示の一実施形態によれば、第1アップスケーラの情報、または前記第2アップスケーラの情報は、アップスケーラの識別情報、またはアップスケーラの性能情報のうち少なくとも一つを含んでもよい。
本開示の一実施形態によれば、ディスプレイ装置20のプロセッサは、第1アップスケーラの識別情報が、アップスケーラ管理サーバ30に伝送されるように、通信回路を制御し、前記伝送に基づき、第1アップスケーラの性能情報が、アップスケーラ管理サーバ30から受信されるように、通信回路を制御し、受信された第1アップスケーラの性能情報、及び第2アップスケーラの性能情報に基づき、映像要請情報がコンテンツ提供装置10に伝送されるように、通信回路を制御することができる。
本開示の一実施形態によれば、ディスプレイ装置20のプロセッサは、映像要請情報に基づき、受信された映像の属性情報、受信された映像の容量、受信された映像の解像度、または受信された映像の付加情報のうち少なくとも1つに基づき、受信された映像が、原本映像であるか、または第1アップスケーリング映像であるかということを判断することができる。
本開示の一実施形態によれば、ディスプレイ装置20のプロセッサは、コンテンツ提供装置10から原本映像が必要であるか否かということを確認するアップスケーリング確認情報を受信することにより、原本映像を伝送するように要請する映像要請情報が、コンテンツ提供装置に伝送されるように、通信回路を制御することができる。
本開示の一実施形態によれば、前記第1アップスケーラまたは前記第2アップスケーラのうち少なくとも一つは、神経網を基盤とする人工知能アルゴリズムを利用し、前記原本映像をアップスケーリングするアップスケーラでもある。
本開示の一実施形態によれば、ディスプレイ装置20のプロセッサは、映像標準データであるEDIDデータに含まれている映像要請情報がコンテンツ提供装置10に伝送されるように、通信回路を制御することができる。
図2は、本開示の一実施形態によるディスプレイ装置の一部ブロック図である。
図2を参照すれば、ディスプレイ装置20は、映像処理部210及びディスプレイ部220を含んでもよい。
映像処理部210は、映像デコーダ211、第2アップスケーラ21、画質処理部212及びディスプレイバッファ213を含んでもよい。
映像デコーダ211は、コンテンツ提供装置10から受信されるか、あるいはディスプレイ装置20に保存された映像に対するデコーディングを行うことができる。デコーディングされた映像は、例として、YUV色空間としても表現される。映像デコーダ211は、多様な規格のデコーダを具備することができる。
第2アップスケーラ21は、入力された映像に対し、アップスケーリングを行うことができる。第2アップスケーラ21は、例として、4K映像を入力され、神経網アルゴリズムを利用し、アップスケーリングを行い、アップスケーリング処理された第2アップスケーリング映像を出力することができる。
画質処理部212は、入力された映像に対し、画質処理を行うことができる。例えば、画質処理部212は、入力された映像の明暗比(contrast ratio)とカラーとを改善し、映像に係わる色感を最適化させることができる。または、画質処理部212は、入力された映像に対するガンマ補正(gamma correction)を行い、画質を最適化させることができる。また、画質処理部212は、映像に含まれるエッジ(edge)部分を鮮明に処理し、映像の鮮明度を向上させることができる。また、画質処理部212は、映像の解像度を調節したり、アンチエイリアシングを行ったりし、映像に示される階段現象(jagging)を緩和させることができる。
ディスプレイバッファ213は、入力された映像を、ディスプレイ部220に提供することができる。ディスプレイバッファ213は、例として、1画面分の映像を保存し、ビット列として、ディスプレイ部220に提供することができる。
ディスプレイ部220は、スケーラ221及びディスプレイ(または、ディスプレイパネル)222を含んでもよい。スケーラ221は、入力された映像を変形させることができる。例として、スケーラ221は、ディスプレイの大きさ/形態、または画面の大きさ/形態を考慮し、入力された映像を拡大したり縮小したりすることができる。
本開示によれば、ディスプレイ装置20は、コンテンツ提供装置10から、原本映像または第1アップスケーリング映像を受信することができる。該第1アップスケーリング映像は、コンテンツ提供装置10が提供する第1アップスケーラ11を利用し、アップスケーリング処理がなされた映像でもある。
その場合、コンテンツ提供装置10から原本映像が受信されれば、ディスプレイ装置20は、原本映像に対し、第2アップスケーラ21でアップスケーリング処理を行った後、画質処理部212及びディスプレイバッファ213を経て、ディスプレイ部220に提供することができる。一方、ディスプレイ装置20は、第1アップスケーリング映像に対し、第2アップスケーラ21を利用したアップスケーリング処理、及び画質処理部212を利用した画質処理を省略(または、バイパス(bypass))し、ディスプレイバッファ213を経て、ディスプレイ部220にも提供される。
または、コンテンツ提供装置10から第1アップスケーリング映像が受信されれば、ディスプレイ装置20は、第1アップスケーリング映像に対し、第2アップスケーラ21を利用したアップスケーリング処理を省略(または、バイパス)し、画質処理部212及びディスプレイバッファ213を経て、ディスプレイ部220にも提供される。
多様な実施形態として、逆多重化部(図示せず)を介してストリーム信号が入力されれば、該ストリーム信号は、映像デコーダ211に入力されて復号され、第2アップスケーラ21、画質処理部212及びディスプレイバッファ213を経て、ディスプレイ部220にも提供される。
図3は、本開示の一実施形態によるシステムの動作を示すフローチャートである。
図3の動作301において、コンテンツ提供装置10とディスプレイ装置20との間には、通信連結が樹立されうる。コンテンツ提供装置10及びディスプレイ装置20は、例として、有無線ネットワークを介して互いに連結されうる。例えば、ディスプレイ装置20とコンテンツ提供装置10は、HDMI(登録商標)(high definition multimedia interface)ケーブルを介して互いに連結されうる。または、ディスプレイ装置20とコンテンツ提供装置10は、ブルートゥース(登録商標)、BLE(Bluetooth(登録商標) low energy)、ジグビー、Wi-Fi(wireless fidelity)のような無線通信を利用し、互いに連結されうる。
通信連結が樹立されれば、動作303において、ディスプレイ装置20は、コンテンツ提供装置10で、原本映像、または原本映像に対してアップスケーリング処理がなされた第1アップスケーリング映像を選択的に伝送するように要請する映像要請情報を伝送することができる。該映像要請情報は、例として、映像標準データであるEDIDデータに含まれ、コンテンツ提供装置10に伝送されるか、あるいは別途のリクエスト(request)メッセージに含まれ、コンテンツ提供装置10にも伝送される。
EDIDデータは、ディスプレイ装置20の多様な特性、環境または状態情報を含んでもよい。該EDIDデータは、例として、ディスプレイ装置の名称、ID、モデル、製造年月日、シリアルナンバー、映像の最大表示サイズ、画面比率、水平周波数、垂直周波数、最大解像度、ガンマ、DPMSモード支援、サポート可能映像モード、製造社などの項目を含み、必要により、さらなる情報をさらに含んでもよい。
図3の320は、映像要請情報を含むEDIDデータの一例である。該映像要請情報は、新規フィールドとして、EDIDデータに含まれるか、あるいはEDIDデータのreservedフィールドにも含まれる。該映像要請情報は、例として、1ビットないし1バイトの大きさを有することができ、1ビットフラグフィールドとして定義される場合、Flag 0は、第1アップスケーリング映像の要請を示し、Flag1は、原本映像の要請を示すこともできるが、Flag 0及びFlag 1の役割が互いに変わりもする。
映像要請情報を受信したコンテンツ提供装置10は、該映像要請情報に基づき、原本映像、または原本映像に対してアップスケーリング処理がなされた第1アップスケーリング映像を伝送することができる。
動作307において、ディスプレイ装置20は、受信された映像が、原本映像であるか、または第1アップスケーリング映像であるかということを判断することができる。このとき、ディスプレイ装置20は、受信された映像の種類を判断するためのスイッチモジュールを含んでもよい。該スイッチモジュールは、S/W(software)またはH/W(hardware)によっても具現される。
例として、ディスプレイ装置20は、受信された映像の属性情報(例:映像パターン情報、映像のメタデータ)に基づき、前記受信された映像が、原本映像であるか、または第1アップスケーリング映像であるかということを判断することができる。
他の例として、ディスプレイ装置20は、受信された映像のサイズ情報に基づき、前記受信された映像が、原本映像であるか、または第1アップスケーリング映像であるかということを判断することができる。例として、アップスケーリング処理された映像の場合、原本映像に比べて容量が大きいか、あるいは解像度が高いために、ディスプレイ装置20は、一定サイズ以上の容量(例:フレーム当たり6Mバイト以上)、または一定サイズ以上の解像度(例:8K以上)を有する映像は、アップスケーリング処理された映像と判断し、一定サイズ未満の容量、または一定サイズ未満の解像度を有する映像は、原本映像であると判断することができる。
さらに他の例として、ディスプレイ装置20は、受信された映像と共に提供される付加情報(例:ヘッダ情報またはフラグ情報)などを利用し、受信された映像が、原本映像であるか、または第1アップスケーリング映像であるかということを判断することができる。例として、Flag 0は、アップスケーリング処理がなされた第1アップスケーリング映像を示し、Flag 1は、原本映像を示すことができるが、Flag 0及びFlag 1の役割が互いに変わりもする。
一方、動作307の過程は、省略されうる。動作303において、ディスプレイ装置20は、受信を所望する映像に対する映像要請情報をすでに提供したために、コンテンツ提供装置10から映像が受信される場合、ディスプレイ装置20は、受信された映像が、映像要請情報を介して要請した映像であると決定することができる。
ディスプレイ装置20が、コンテンツ提供装置10から受信した映像が原本映像である場合、動作309において、ディスプレイ装置20は、原本映像に対し、第2アップスケーラ21を利用したアップスケーリング処理を行うことができる。このとき、ディスプレイ装置20は、原本映像に対し、画質処理をさらに行うこともできる。例として、ディスプレイ装置20は、受信された原本映像に対し、第2アップスケーラ21を利用したアップスケーリング処理、及び図2の画質処理部212による画質処理をいずれも行うこともできる。原本映像に対し、アップスケーリング処理が行われれば、動作311において、ディスプレイ装置20は、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。
他の実施形態として、ディスプレイ装置20が受信した映像が第1アップスケーリング映像である場合、動作313において、ディスプレイ装置20は、前記第2アップスケーラ21を利用したアップスケーリング処理を省略し、第1アップスケーリング映像を表示することができる。例として、ディスプレイ装置20は、受信された第1アップスケーリング映像を、図2のディスプレイバッファ213を経て、ディスプレイ222に表示することができる。
図4は、本開示の他の一実施形態によるシステムの動作を示すフローチャートである。
図4において、通信連結を樹立する動作401は、前述の図3の動作301に対応し、重複説明は、省略する。
動作403において、ディスプレイ装置20は、映像要請情報(例:EDIDデータ)をコンテンツ提供装置10に伝送することができる。
動作405において、コンテンツ提供装置10は、受信された映像要請情報に基づき、ディスプレイ装置20が原本映像を要請するか否かということ、あるいはアップスケーリング処理がなされた第1アップスケーリング映像を要請するか否かということを判断することができる。例として、受信された映像要請情報に、原本映像を要請するフラグ値が含まれている場合、コンテンツ提供装置10は、ディスプレイ装置20が、原本映像を要請すると判断することができる。一方、受信された映像要請情報に、アップスケーリング処理された映像を要請するフラグ値が含まれるか、あるいは映像要請情報がない映像標準データ(例:EDIDデータ)が受信される場合、コンテンツ提供装置10は、ディスプレイ装置20がアップスケーリング映像を要請すると判断することができる。
ディスプレイ装置20が原本映像を要請する場合、動作407において、コンテンツ提供装置10は、原本映像に対し、第1アップスケーラ11を利用したアップスケーリング処理を省略し、原本映像をディスプレイ装置20に伝送することができる。
他の実施形態として、ディスプレイ装置20が、アップスケーリング処理がなされた映像を要請する場合、動作409において、コンテンツ提供装置10は、原本映像に対し、第1アップスケーラ11を利用したアップスケーリング処理を行うことができる。
コンテンツ提供装置10により、原本映像に対し、第1アップスケーリング処理が行われれば、動作411において、コンテンツ提供装置10は、第1アップスケーリング処理がなされた第1アップスケーリング映像を、ディスプレイ装置20に伝送することができる。
動作413ないし動作419において、原本映像が受信された場合、ディスプレイ装置20は、原本映像に対し、第2アップスケーラ21を利用し、アップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。一方、第1アップスケーリング映像が受信された場合、ディスプレイ装置20は、第1アップスケーリング映像に対し、第2アップスケーラ21を利用したアップスケーリング処理を省略し、第1アップスケーリング映像を表示することができる。動作413ないし動作419は、図3の動作307ないし動作313に対応し、重複説明は、省略する。
図5は、本開示の他の一実施形態によるシステムの動作を示すフローチャートである。
図5において、通信連結を樹立する動作501は、前述の図3の動作301に対応し、重複説明は、省略する。
動作503において、コンテンツ提供装置10は、ディスプレイ装置20に、原本映像が必要であるか否かということを確認するアップスケーリング確認情報を伝送することができる。アップスケーリング確認情報は、例として、映像標準データであるEDIDデータに含まれ、ディスプレイ装置20にも伝送されるか、あるいは別途のリクエストメッセージに含まれ、ディスプレイ装置20にも伝送される。
アップスケーリング確認情報が受信されることにより、動作505において、ディスプレイ装置20は、原本映像が必要であるか否かということを判断することができる。
一実施形態として、原本映像が必要であると判断される場合、動作507において、ディスプレイ装置20は、原本映像要請情報を、コンテンツ提供装置10に伝送することができる。動作509において、原本映像要請情報を受信したコンテンツ提供装置10は、原本映像をディスプレイ装置20に伝送することができる。このとき、コンテンツ提供装置10は、コンテンツ提供装置10が提供する映像が原本映像であるということを示す付加情報を共に提供することができる。
動作511及び動作513において、原本映像を受信したディスプレイ装置20は、第2アップスケーラ21を利用し、原本映像に対してアップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。
他の実施形態として、アップスケーリング処理された映像が必要であると判断される場合、動作515において、ディスプレイ装置20は、アップスケーリング処理された映像を要請するアップスケーリング映像要請情報を、コンテンツ提供装置10に伝送することができる。動作517及び動作519において、アップスケーリング映像要請情報を受信したコンテンツ提供装置10は、原本映像に対し、第1アップスケーラ11を利用したアップスケーリング処理を行い、アップスケーリング処理がなされた第1アップスケーリング映像を、ディスプレイ装置20に伝送することができる。このとき、コンテンツ提供装置10は、コンテンツ提供装置10が提供する映像が、第1アップスケーリング映像であるということを示す付加情報を共に提供することができる。
動作521において、第1アップスケーリング映像を受信したディスプレイ装置20は、受信された第1アップスケーリング映像を、図2のディスプレイバッファ213を経て、ディスプレイ222に表示することができる。
図6は、本開示の他の一実施形態によるシステムの動作を示すフローチャートである。
図6において、通信連結を樹立する動作601は、前述の図3の動作301に対応し、重複説明は、省略する。
通信連結が樹立されれば、動作603において、コンテンツ提供装置10は、ディスプレイ装置20に、コンテンツ提供装置10が提供する第1アップスケーラ11の情報を伝送することができる。第1アップスケーラ11の情報は、第1アップスケーラ11の識別情報、または第1アップスケーラ11の性能情報のうち少なくとも一つを含んでもよい。該第1アップスケーラ11の識別情報は、例として、第1アップスケーラ11の製造社、製品コードまたはバージョン情報などを含んでもよく、該第1アップスケーラ11の性能情報は、第1アップスケーラ11の性能指標を含んでもよい。
第1アップスケーラ11の情報は、例として、映像標準データであるEDIDデータに含まれ、ディスプレイ装置20に伝送されるか、あるいは別途のメッセージとしても、ディスプレイ装置20に提供される。
図6の630は、第1アップスケーラ11の情報を含むEDIDデータの一例である。第1アップスケーラ11の情報は、新規フィールドとして、EDIDデータに含まれるか、あるいはEDIDデータのreservedフィールドにも含まれる。第1アップスケーラ11の情報は、望ましくは、1バイトないし10バイトの大きさを有することができるが、前述の大きさに制限されるものではない。
第1アップスケーラ11の情報が受信されれば、ディスプレイ装置20は、コンテンツ提供装置10が提供する第1アップスケーラ11の情報、及びディスプレイ装置20が提供する第2アップスケーラ21の情報に基づき、原本映像またはアップスケーリング映像を選択的に伝送するように要請する映像要請情報を、コンテンツ提供装置10に伝送することができる。
具体的には、動作605において、ディスプレイ装置20は、第1アップスケーラ11の性能、及び既保存の第2アップスケーラ21の性能を互いに比較することができる。
該比較結果、動作607において、第1アップスケーラ11の性能より、第2アップスケーラ21の性能がすぐれると判断される場合、動作609ないし動作615において、ディスプレイ装置20は、コンテンツ提供装置10から原本映像を受信し、第2アップスケーラ21を利用したアップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。それは、前述した動作507ないし動作513に対応し、重複説明は、省略する。
一方、動作607において、第2アップスケーラ21の性能より、第1アップスケーラ11の性能がすぐれると判断される場合、動作617ないし動作623において、ディスプレイ装置20は、コンテンツ提供装置10から、アップスケーリング処理がなされた第1アップスケーリング映像を受信して表示することができる。具体的には、ディスプレイ装置20は、アップスケーリングを行うように、コンテンツ提供装置10に要請するために、コンテンツ提供装置10に、アップスケーリングイメージ要請情報を伝送することができる。ディスプレイ装置20から要請を受信したことに基づき、コンテンツ提供装置10は、ディスプレイ装置20のアップスケーラ21より性能にすぐれる第1アップスケーラ11を利用し、アップスケーリングを行い、第1アップスケーリング映像を、ディスプレイ装置20に伝送することができる。それは、前述した動作515ないし動作521に対応し、重複説明は、省略する。
多様な実施形態として、図6の動作603において、ディスプレイ装置20が、第1アップスケーラ11の識別情報だけ受信した場合、動作604-1において、ディスプレイ装置20は、第1アップスケーラ11の識別情報を、アップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報に基づき、第1アップスケーラ11の性能情報を検索することができる。動作604-2において、アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報に対応する第1アップスケーラ11の性能情報を、ディスプレイ装置20に伝送することができる。その場合、動作605及び動作607において、ディスプレイ装置20は、受信された第1アップスケーラ11の性能情報、及び既保存の第2アップスケーラ21の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
他の実施形態として、図6の動作603において、ディスプレイ装置20が、第1アップスケーラ11の識別情報だけ受信した場合、ディスプレイ装置20は、第1アップスケーラ11の識別情報、及び第2アップスケーラ21の識別情報のいずれもアップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報、及び第2アップスケーラ21の識別情報に基づき、第1アップスケーラ11の性能情報、及び第2アップスケーラ21の性能情報を検索し、ディスプレイ装置20に伝送することができる。その場合、動作605及び動作607において、ディスプレイ装置20は、受信された第1アップスケーラ11の性能情報、及び第2アップスケーラ21の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
図7は、本開示の他の一実施形態によるシステムの動作を示すフローチャートである。
図7において、通信連結を樹立する動作701は、前述の図3の動作301に対応し、重複説明は、省略する。
通信連結が樹立されれば、動作703において、ディスプレイ装置20は、コンテンツ提供装置10に、ディスプレイ装置20が提供する第2アップスケーラ21の情報を伝送することができる。第2アップスケーラ21の情報は、第2アップスケーラ21の識別情報、または第2アップスケーラ21の性能情報のうち少なくとも一つを含んでもよい。第2アップスケーラ21の識別情報は、例として、第2アップスケーラ21の製造社、製品コードまたはバージョン情報などを含んでもよく、第2アップスケーラ21の性能情報は、第2アップスケーラ21の性能指標を含んでもよい。
第2アップスケーラ21の情報は、例として、映像標準データであるEDIDデータに含まれ、コンテンツ提供装置10に伝送されるか、あるいは別途のメッセージとしても、ディスプレイ装置20に提供される。
図7の730は、第2アップスケーラ21の情報を含むEDIDデータの一例である。第2アップスケーラ21の情報は、新規フィールドとしてEDIDデータに含まれるか、あるいはEDIDデータのreservedフィールドにも含まれる。第2アップスケーラ21の情報は、望ましくは、1バイトないし10バイトの大きさを有することができるが、前述の大きさに制限されるものではない。
第2アップスケーラ21の情報が受信されれば、コンテンツ提供装置10は、コンテンツ提供装置10が提供する第1アップスケーラ11の情報、及びディスプレイ装置20が提供する第2アップスケーラ21の情報に基づき、原本映像またはアップスケーリング映像を、選択的にディスプレイ装置20に伝送することができる。
具体的には、動作705において、ディスプレイ装置20は、受信された第1アップスケーラ11の情報、及び既保存の第2アップスケーラ21の情報を互いに比較することができる。
該比較結果、動作707において、第1アップスケーラ11の性能より、第2アップスケーラ21の性能がすぐれると判断される場合、動作709において、コンテンツ提供装置10は、原本映像を、ディスプレイ装置20に伝送することができる。このとき、コンテンツ提供装置10は、コンテンツ提供装置10が提供する映像が、原本映像であるということを示す付加情報を共に提供することができる。
一方、動作707において、第2アップスケーラ21の性能より、第1アップスケーラ11の性能がすぐれると判断される場合、動作711において、コンテンツ提供装置10は、原本映像に対し、第1アップスケーラ11を利用したアップスケーリング処理を行うことができる。該原本映像に対し、アップスケーリング処理が行われれば、動作713において、コンテンツ提供装置10は、アップスケーリング処理がなされた第1アップスケーリング映像を、ディスプレイ装置20に伝送することができる。このとき、コンテンツ提供装置10は、コンテンツ提供装置10が提供する映像が、第1アップスケーリング映像であるということを示す付加情報を共に提供することができる。
動作715ないし動作721において、原本映像が受信された場合、ディスプレイ装置20は、原本映像に対し、第2アップスケーラ21を利用し、アップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。一方、第1アップスケーリング映像が受信された場合、ディスプレイ装置20は、第1アップスケーリング映像に対し、第2アップスケーラ21を利用したアップスケーリング処理を省略し、受信された第1アップスケーリング映像を表示することができる。動作715ないし動作721は、図3の動作307ないし動作313に対応し、重複説明は、省略する。
多様な実施形態として、図7の動作703において、コンテンツ提供装置10が、第2アップスケーラ21の識別情報だけ受信した場合、動作704-1において、コンテンツ提供装置10は、第2アップスケーラ21の識別情報を、アップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第2アップスケーラ21の識別情報に基づき、第2アップスケーラ21の性能情報を検索することができる。動作704-2において、アップスケーラ管理サーバ30は、第2アップスケーラ21の識別情報に対応する第2アップスケーラ21の性能情報を、コンテンツ提供装置10に伝送することができる。その場合、動作705及び動作707において、コンテンツ提供装置10は、受信された第2アップスケーラ21の性能情報、及び既保存の第1アップスケーラ11の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
他の実施形態として、図7の動作703において、コンテンツ提供装置10が、第2アップスケーラ21の識別情報だけ受信した場合、コンテンツ提供装置10は、第2アップスケーラ21の識別情報、及び第1アップスケーラ11の識別情報のいずれもアップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第2アップスケーラ21の識別情報、及び第1アップスケーラ11の識別情報に基づき、第2アップスケーラ21の性能情報、及び第1アップスケーラ11の性能情報を検索し、第1アップスケーラ11及び第2アップスケーラ21の識別情報に対応する各性能情報を、コンテンツ提供装置10に伝送することができる。その場合、動作705及び動作707において、コンテンツ提供装置10は、受信された第2アップスケーラ21の性能情報、及び第1アップスケーラ11の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
図8は、本開示の他の一実施形態によるシステムの動作を示すフローチャートである。
第1アップスケーラ11の性能、及び第2アップスケーラ21の性能を比較する動作は、アップスケーラ管理サーバ30で遂行されうる。
図8の801において、ディスプレイ装置20またはコンテンツ提供装置10のうち少なくとも一つは、第1アップスケーラ11の識別情報、または第2アップスケーラ21の識別情報のうち少なくとも一つを、アップスケーラ管理サーバ30に伝送することができる。
例として、図6の動作604-1において、ディスプレイ装置20は、第1アップスケーラ11の識別情報、または第2アップスケーラ21の識別情報のうち少なくとも一つを、アップスケーラ管理サーバ30に伝送することができる。または、図7の動作704-1において、コンテンツ提供装置10は、第1アップスケーラ11の識別情報、または第2アップスケーラ21の識別情報のうち少なくとも一つを、アップスケーラ管理サーバ30に伝送することができる。
他の例として、コンテンツ提供装置10は、第1アップスケーラ11の識別情報を、アップスケーラ管理サーバ30に伝送し、ディスプレイ装置20は、第2アップスケーラ21の識別情報を、アップスケーラ管理サーバ30に伝送することができる。
動作803において、アップスケーラ管理サーバ30は、受信された第1アップスケーラ11の識別情報、及び第2アップスケーラ21の識別情報に基づき、第1アップスケーラ11の性能情報、及び第2アップスケーラ21の性能情報を検索することができる。動作805において、アップスケーラ管理サーバ30は、検索された第1アップスケーラ11の性能情報、及び第2アップスケーラ21の性能情報を比較し、第1アップスケーラ11及び第2アップスケーラ21のうち、性能にすぐれるアップスケーラを決定することができる。
動作807において、アップスケーラ管理サーバ30は、決定された情報として、優秀アップスケーラ情報を、ディスプレイ装置20またはコンテンツ提供装置10のうち少なくとも一つに伝送することができる。
優秀アップスケーラ情報を受信したディスプレイ装置20またはコンテンツ提供装置10は、受信されたアップスケーラ情報に基づき、原本映像に対し、アップスケーリングを行うことができる。
例として、動作807において、ディスプレイ装置20は、アップスケーラ管理サーバ30から受信された優秀アップスケーラの情報に基づき、第1アップスケーラ11及び第2アップスケーラ21のうち、性能にすぐれるアップスケーラを判断し、該判断結果により、図6の動作609ないし動作623を遂行することができる。
他の例として、コンテンツ提供装置10は、アップスケーラ管理サーバ30から受信された優秀アップスケーラの情報に基づき、第1アップスケーラ11及び第2アップスケーラ21のうち、性能にすぐれるアップスケーラを判断し、該判断結果により、図7の動作709ないし動作721を遂行することができる。
図9は、本開示の他の一実施形態によるシステムを示す図面である。
図9において、システム2は、ディスプレイ装置20、コンテンツ提供装置10、アップスケーラ管理サーバ30を含んでもよく、一実施形態により、移動式装置40をさらに含んでもよい。
図9のディスプレイ装置20、コンテンツ提供装置10及びアップスケーラ管理サーバ30は、前述の図3のディスプレイ装置20、コンテンツ提供装置10及びアップスケーラ管理サーバ30にそれぞれ対応し、重複説明は、省略する。
移動式装置40は、ディスプレイ装置20のポート(port)に連結され、有線または無線の通信方式により、通信を行うことができる。該有線通信は、例えば、USB(universal serial bus)、HDMI(登録商標)、RS(recommended standard)-232またはPOTS(plain old telephone service)のうち少なくとも一つを含んでもよい。移動式装置40は、例として、移動式ディスク装置、メモリスティック装置またはドングル装置などを含んでもよいが、前述の例に制限されるものではない。
移動式装置40は、通信回路、メモリ及びプロセッサを含んでもよい。
移動式装置40の通信回路(または、通信部)は、プロセッサの制御により、有線または無線の通信方式により、ディスプレイ装置20またはコンテンツ提供装置10と通信を行うことができる。
移動式装置40のプロセッサは、移動式装置40の全般的な動作を制御することができる。例として、移動式装置40のプロセッサは、移動式装置40のメモリに保存された各種ソフトウェアプログラムまたはインストラクションを、RAM(random access memory)にコピーして実行させ、各種動作を遂行することができる。プロセッサ2100は、CPUチップ、AP(application processor)、GUPチップ、オーディオチップまたはAIチップのうち少なくとも一つを含んでもよい。
本開示の一実施形態によれば、移動式装置40のプロセッサは、通信回路を介し、ディスプレイ装置20と通信連結を樹立することができる。移動式装置40のプロセッサは、ディスプレイ装置20から原本映像を受信するように、通信回路を制御することができる。移動式装置40のプロセッサは、受信された原本映像に対し、移動式装置20が提供する第3アップスケーラを利用し、アップスケーリング処理を行うことができる。移動式装置40のプロセッサは、アップスケーリング処理がなされた第3アップスケーリング映像を、ディスプレイ装置20に伝送することができる。このとき、該原本映像は、ディスプレイ装置20が、ディスプレイ装置20と通信連結されたコンテンツ提供装置10から受信した映像でもある。
図10は、本開示の他の一実施形態によるシステム2の動作を示すフローチャートである。
図10の動作1001において、コンテンツ提供装置10とディスプレイ装置20との間に、通信連結が樹立されうる。該通信連結を樹立する動作1001は、前述の図3の動作301に対応し、重複説明は、省略する。また、動作1002のように、ディスプレイ装置20と移動式装置40との間に、有無線ネットワークを介して通信連結が樹立されうる。例として、ディスプレイ装置20と移動式装置40との間に、USB、HDMI(登録商標)のような有線通信方式により、通信連結が樹立されうる。
通信連結が樹立されれば、動作1003において、移動式装置40が、原本映像を要請する原本映像要請情報をディスプレイ装置20に伝送すれば、動作1005において、ディスプレイ装置20は、原本映像を要請する原本映像要請情報を、コンテンツ提供装置10に伝達することができる。
動作1007において、原本映像要請情報に基づき、コンテンツ提供装置10が、原本映像をディスプレイ装置20に伝送すれば、動作1009において、ディスプレイ装置20は、受信された原本映像を、移動式装置40に伝達することができる。
他の実施形態として、動作1011のように、移動式装置40が、原本映像要請情報をコンテンツ提供装置10に直接伝送し、動作1013のように、コンテンツ提供装置10から原本映像を受信することもできる。
動作1009または動作1013により、原本映像を受信した移動式装置40は、動作1015のように、移動式装置40が提供する第3アップスケーラ41を利用し、受信された原本映像に対し、アップスケーリング処理を行うことができる。そして、動作1017において、移動式装置40は、アップスケーリング処理がなされた第3アップスケーリング映像を、ディスプレイ装置20に伝送することができる。
図11は、本開示の他の一実施形態によるシステム2の動作を示すフローチャートである。
図11において、通信連結を樹立する動作1101及び動作1103は、前述の図10の動作1001及び動作1002に対応し、重複説明は、省略する。
通信連結が樹立されれば、動作1105において、コンテンツ提供装置10は、ディスプレイ装置20に、第1アップスケーラ11の情報を伝送することができる。第1アップスケーラ11の情報は、第1アップスケーラ11の識別情報、または第1アップスケーラ11の性能情報のうち少なくとも一つを含んでもよい。
また、動作1107において、移動式装置40は、ディスプレイ装置20に、移動式装置40が提供する第3アップスケーラ41の情報を伝送することができる。このとき、ディスプレイ装置20の要請メッセージに基づき、移動式装置40は、第3アップスケーラ41の情報を伝送することもでき、EDIDデータに含め、第3アップスケーラ41の情報を伝送することもできる。
第1アップスケーラ11の情報、及び第3アップスケーラ41の情報が受信されれば、動作1109において、ディスプレイ装置20は、第1アップスケーラ11の性能、第3アップスケーラ41の性能、及びディスプレイ装置20が提供する第2アップスケーラ21の性能を互いに比較することができる。
該比較結果により、動作1111において、ディスプレイ装置20は、性能にすぐれるアップスケーラを判断することができる。
動作1111において、第2アップスケーラ21の性能が最もすぐれると判断される場合、動作1113ないし動作1119において、ディスプレイ装置20は、コンテンツ提供装置10から原本映像を受信し、第2アップスケーラ21を利用したアップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。それは、前述した動作507ないし動作513に対応し、重複説明は、省略する。
一方、動作1111において、第1アップスケーラ11の性能が最もすぐれると判断される場合、動作1121ないし動作1127において、ディスプレイ装置20は、コンテンツ提供装置10から、アップスケーリング処理がなされた第1アップスケーリング映像を受信して表示することができる。それは、前述した動作515ないし動作521に対応し、重複説明は、省略する。
他方において、動作1113において、第3アップスケーラ41の性能が最もすぐれると判断される場合、動作1131及び動作1133において、ディスプレイ装置20は、コンテンツ提供装置10から原本映像を要請して受信し、受信された原本映像を、移動式装置40に伝達することができる。
他の実施形態として、動作1137のように、移動式装置40が、原本映像要請情報をコンテンツ提供装置10に直接伝送し、動作1139のように、コンテンツ提供装置10から、原本映像を受信することもできる。
動作1135または動作1139により、原本映像を受信した移動式装置40は、動作1141において、移動式装置40が提供する第3アップスケーラ41を利用し、受信された原本映像に対し、アップスケーリング処理を行うことができる。そして、動作1143において、移動式装置40は、アップスケーリング処理がなされた第3アップスケーリング映像を、ディスプレイ装置20またはコンテンツ提供装置10に伝送することができる。
多様な実施形態として、動作1106-1において、ディスプレイ装置20は、第1アップスケーラ11の識別情報、及び第3アップスケーラ41の識別情報を、アップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報、及び第3アップスケーラ41の識別情報に基づき、第1アップスケーラ11の性能情報、及び第3アップスケーラ41の性能情報を検索することができる。動作1106-2において、アップスケーラ管理サーバ30は、検索された第1アップスケーラ11の性能情報、及び第3アップスケーラ41の性能情報をディスプレイ装置20に伝送することができる。その場合、動作1109及び動作1111において、ディスプレイ装置20は、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
他の実施形態として、ディスプレイ装置20は、第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報のいずれもアップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報に基づき、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を検索し、ディスプレイ装置20に伝送することができる。その場合、動作1109及び動作1111において、ディスプレイ装置20は、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
図12は、本開示の他の一実施形態によるシステム2の動作を示すフローチャートである。
図12において、通信連結を樹立する動作1201及び動作1202は、前述の図10の動作1001及び1002に対応し、重複説明は、省略する。
通信連結が樹立されれば、動作1203において、コンテンツ提供装置10は、ディスプレイ装置20から、ディスプレイ装置20が提供する第2アップスケーラ21の情報を受信することができる。
また、動作1205及び動作1207において、コンテンツ提供装置10は、ディスプレイ装置20を介し、移動式装置40が提供する第3アップスケーラ41の情報を受信することができる。他の例として、動作1209のように、コンテンツ提供装置10は、移動式装置40から、第3アップスケーラ41の情報を直接受信することもできる。
第2アップスケーラ21の情報、及び第3アップスケーラ41の情報が受信されれば、動作1211において、コンテンツ提供装置10は、第1アップスケーラ11の性能、第3アップスケーラ41の性能、及びディスプレイ装置20が提供する第2アップスケーラ21の性能を互いに比較することができる。
該比較結果により、動作1213において、ディスプレイ装置20は、性能にすぐれるアップスケーラを判断することができる。
動作1213において、第3アップスケーラ41の性能が最もすぐれると判断される場合、動作1215において、コンテンツ提供装置10は、原本映像を、移動式装置40に伝送することができる。このとき、コンテンツ提供装置10は、原本映像を、ディスプレイ装置20を経て、移動式装置40に伝送することもできる。
動作1217において、移動式装置40は、移動式装置40が提供する第3アップスケーラ41を利用し、受信された原本映像に対し、アップスケーリング処理を行うことができる。そして、動作1219において、移動式装置40は、アップスケーリング処理がなされた第3アップスケーリング映像を、ディスプレイ装置20に伝送することができる。
一方、動作1213において、第1アップスケーラ11の性能が最もすぐれると判断される場合、動作1221において、コンテンツ提供装置10は、原本映像に対し、第1アップスケーラ11を利用したアップスケーリング処理を行うことができる。原本映像に対し、アップスケーリング処理が行われれば、動作1223において、コンテンツ提供装置10は、アップスケーリング処理がなされた第1アップスケーリング映像を、ディスプレイ装置20に伝送することができる。
他方において、動作1213において、第2アップスケーラ21の性能が最もすぐれると判断される場合、動作1225において、コンテンツ提供装置10は、原本映像をディスプレイ装置20に伝送することができる。
動作1227ないし動作1233において、原本映像が受信された場合、ディスプレイ装置20は、原本映像に対し、第2アップスケーラ21を利用し、アップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。一方、第1アップスケーリング映像が受信された場合、ディスプレイ装置20は、第1アップスケーリング映像に対し、第2アップスケーラ21を利用したアップスケーリング処理を省略し、受信された第1アップスケーリング映像を表示することができる。動作1227ないし動作1233は、図3の動作307ないし動作313に対応し、重複説明は、省略する。
多様な実施形態として、動作1210-1において、コンテンツ提供装置10は、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報を、アップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報に基づき、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を検索することができる。動作1210-2において、アップスケーラ管理サーバ30は、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報にそれぞれ対応する第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報をコンテンツ提供装置10に伝送することができる。その場合、動作1211及び動作1213において、コンテンツ提供装置10は、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
他の実施形態として、コンテンツ提供装置10は、第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報のいずれもアップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報に基づき、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を検索し、コンテンツ提供装置10に伝送することができる。その場合、動作1211及び動作1213において、コンテンツ提供装置10は、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
図13は、本開示の他の一実施形態によるシステム2の動作を示すフローチャートである。
図13において、通信連結を樹立する動作1301及び動作1303は、前述の図10の動作1001及び1002に対応し、重複説明は、省略する。
通信連結が樹立されれば、動作1303において、移動式装置40は、ディスプレイ装置20から、ディスプレイ装置20が提供する第2アップスケーラ21の情報を受信することができる。
また、動作1305及び動作1307において、移動式装置40は、ディスプレイ装置20を介し、コンテンツ提供装置10が提供する第2アップスケーラ21の情報を受信することができる。他の例として、動作1309のように、コンテンツ提供装置10は、コンテンツ提供装置10から、第1アップスケーラ11の情報を直接受信することもできる。
第1アップスケーラ11の情報、及び第2アップスケーラ21の情報が受信されれば、動作1311において、コンテンツ提供装置10は、第1アップスケーラ11の性能、第2アップスケーラ21の性能、及び移動式装置40が提供する第3アップスケーラ41の性能を互いに比較することができる。
該比較結果により、動作1313において、ディスプレイ装置20は、性能にすぐれるアップスケーラを判断することができる。
動作1313において、第3アップスケーラ41の性能が最もすぐれると判断される場合、動作1315において、コンテンツ提供装置10は、原本映像要請情報を、ディスプレイ装置20に伝送することができる。動作1317において、ディスプレイ装置20は、原本映像要請情報を、コンテンツ提供装置10に伝送することができる。他の例として、動作1319のように、移動式装置40は、原本映像要請情報を、コンテンツ提供装置10に直接伝送することもできる。
原本映像要請情報に基づき、動作1321及び動作1323のように、ディスプレイ装置20は、原本映像を受信し、移動式装置40に伝達することができる。または、動作1325のように、移動式装置40が、コンテンツ提供装置10から原本映像を直接受信することもできる。移動式装置40は、移動式装置40が提供する第3アップスケーラ41を利用し、受信された原本映像に対し、アップスケーリング処理を行うことができる。そして、移動式装置40は、アップスケーリング処理がなされた第3アップスケーリング映像を、ディスプレイ装置20に伝送することができる。
一方、動作1313において、第2アップスケーラ21の性能が最もすぐれると判断される場合、動作1327において、移動式装置40は、第2アップスケーラ21の性能が最もすぐれるということを示す優秀アップスケーラ情報を、ディスプレイ装置20に伝送することができる。それにより、ディスプレイ装置20は、コンテンツ提供装置10から原本映像を受信し、受信された原本映像を、第2アップスケーラ21を利用し、アップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示することができる。
一方、動作1313において、第1アップスケーラ11の性能が最もすぐれると判断される場合、動作1329において、移動式装置40は、第1アップスケーラ11の性能が最もすぐれるということを示す優秀アップスケーラ情報を、ディスプレイ装置20に伝送することができる。それにより、ディスプレイ装置20は、コンテンツ提供装置10から、アップスケーリング処理がなされた第1アップスケーリング映像を受信して表示することができる。他の例として、動作1331のように、移動式装置40は、第1アップスケーラ11の性能が最もすぐれるということを示す優秀アップスケーラ情報を、コンテンツ提供装置10に直接伝送することができる。それにより、コンテンツ提供装置10が、アップスケーリング処理がなされた第1アップスケーリング映像を、ディスプレイ装置20に伝送すれば、ディスプレイ装置20は、受信された第1アップスケーリング映像を表示することができる。
多様な実施形態として、動作1310-1において、移動式装置40は、第1アップスケーラ11の識別情報、及び第2アップスケーラ21の識別情報を、アップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報、及び第2アップスケーラ21の識別情報に基づき、第1アップスケーラ11の性能情報、及び第2アップスケーラ21の性能情報を検索することができる。動作1310-2において、アップスケーラ管理サーバ30は、検索された第1アップスケーラ11の性能情報、及び第2アップスケーラ21の性能情報を、移動式装置40に伝送することができる。その場合、動作1311及び動作1313において、移動式装置40は、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
他の実施形態として、移動式装置40は、第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報のいずれもアップスケーラ管理サーバ30に伝送することができる。アップスケーラ管理サーバ30は、第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報に基づき、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を検索し、移動式装置40に伝送することができる。その場合、動作1311及び動作1313において、移動式装置40は、第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を互いに比較し、いずれのアップスケーラの性能がさらにすぐれるかということを判断することができる。
図14は、本開示の他の一実施形態によるシステムの動作を示すフローチャートである。
図14において、第1アップスケーラ11の性能、第2アップスケーラ21の性能、及び第3アップスケーラ41の性能を比較する動作は、アップスケーラ管理サーバ30においても遂行される。
図14の1401において、ディスプレイ装置20、コンテンツ提供装置10または移動式装置40のうち少なくとも一つは、第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、または第3アップスケーラ41の識別情報のうち少なくとも一つを、アップスケーラ管理サーバ30に伝送することができる。
例として、図11の動作1106-1において、ディスプレイ装置20は、第1アップスケーラ11の識別情報、または第3アップスケーラ21の識別情報のうち少なくとも一つを、アップスケーラ管理サーバ30に伝送することができる。または、図12の動作1210-1において、コンテンツ提供装置10は、第2アップスケーラ21の識別情報、または第3アップスケーラ41の識別情報のうち少なくとも一つを、アップスケーラ管理サーバ30に伝送することができる。または、図13の動作1310-1において、移動式装置40は、第1アップスケーラ11の識別情報、または第2アップスケーラ21の識別情報のうち少なくとも一つを、アップスケーラ管理サーバ30に伝送することができる。
動作1403において、アップスケーラ管理サーバ30は、受信された第1アップスケーラ11の識別情報、第2アップスケーラ21の識別情報、及び第3アップスケーラ41の識別情報に基づき、第1アップスケーラ11の性能情報、第2アップスケーラ21、及び第3アップスケーラ41の性能情報を検索することができる。動作1405において、アップスケーラ管理サーバ30は、検索された第1アップスケーラ11の性能情報、第2アップスケーラ21の性能情報、及び第3アップスケーラ41の性能情報を比較し、第1アップスケーラ11、第2アップスケーラ21及び第3アップスケーラ41のうち、性能が最もすぐれるアップスケーラを決定することができる。
動作1407において、アップスケーラ管理サーバ30は、決定された情報として、優勢アップスケーラ情報を、ディスプレイ装置20、コンテンツ提供装置10または移動式装置40のうち少なくとも一つに伝送することができる。
優秀アップスケーラ情報を受信したディスプレイ装置20、コンテンツ提供装置10または移動式装置40は、受信されたアップスケーラ情報に基づき、原本映像に対し、アップスケーリングを行うことができる。
図15は、本開示の他の実施形態によるディスプレイ装置の構成を示すブロック図である。
図15のディスプレイ装置2000は、前述の図1及び図9のディスプレイ装置20の一例である。ディスプレイ装置2000は、チューナ部2400、プロセッサ2100、ディスプレイ部2200、通信部2500、感知部2300、入出力部2700、メモリ2900、オーディオ出力部2250及び電源部2600を含んでもよい。
チューナ部(または、チューナ回路)2400は、有線または無線で受信される放送信号を、増幅(amplification)、混合(mixing)、共振(resonance)などを介し、多い電波成分のうち、ディスプレイ装置20で受信するチャネルの周波数のみをチューニング(tuning)して選択することができる。該放送信号は、オーディオ(audio)、ビデオ(video)及び付加情報(例えば、EPG(electronic program guide))を含む。
チューナ部2400は、ユーザ入力(例えば、チャネル番号入力、チャネルのアップ/ダウン(up/down)入力、及びEPG画面におけるチャネル入力のような、制御装置から受信される制御信号)により、チャネル番号に対応する周波数帯域において、放送信号を受信することができる。
チューナ部2400は、地上波放送、ケーブル放送、衛星放送、インターネット放送のように、多様なソースから放送信号を受信することができる。チューナ部2400は、アナログ放送またはデジタル放送のようなソースから、放送信号を受信することもできる。
通信部(または、通信回路)2500は、プロセッサ2100の制御により、外部装置(例えば、制御装置、周辺機器など)と、データまたは信号を送受信することができる。
通信部2500は、ディスプレイ装置20の性能及び構造に対応し、無線LAN(local area network)(例えば、Wi-Fi)、ブルートゥース(登録商標)、有線イーサネット(登録商標)(Ethernet(登録商標))、IR(infrared)、BLE(Bluetooth(登録商標) low energy)、超音波、ジグビー(登録商標)、HDMI(登録商標)、セルラネットワーク、インターネットまたはコンピュータネットワークのうち少なくとも1つの方式で、データまたは信号を送受信することができる。
一実施形態で、通信部2500は、HDMI(登録商標)ケーブルを介し、コンテンツ提供装置10と、データまたは信号を送受信することができる。また、ブルートゥース(登録商標)、BLE、ジグビー(登録商標)、Wi-Fiなどの無線通信を利用し、コンテンツ提供装置10と、データまたは信号を送受信することができる。または、通信部2500は、セルラネットワーク、インターネットまたはコンピュータネットワーク(例:LANまたはWAN(wide area network))のような遠距離通信ネットワークを介し、アップスケーラ管理サーバ30と、データまたは信号を送受信することができる。
通信部2500は、制御装置(例:リモコン)から、ディスプレイ装置20の動作を制御する制御命令を受信することができ、プロセッサ2100は、制御命令により、動作を遂行することができる。
プロセッサ2100は、ディスプレイ装置20の全般的な動作を制御することができる。例として、プロセッサ2100は、メモリ2900に保存された各種ソフトウェアプログラムまたはインストラクションをRAMにコピーして実行させ、各種動作を遂行することができる。また、プロセッサ2100は、ユーザの入力があるか、あるいは既設定の保存された条件を満足する場合、メモリ2900に保存されたOS(operating system)、及び多様なアプリケーションを実行することができる。
プロセッサ2100は、CPUチップ、AP、GUPチップ、オーディオチップまたはAIチップのうち少なくとも一つを含んでもよい。
一例として、プロセッサ2100は、映像処理を行うことができる。プロセッサ2100は、例として、デコーディング、映像に対する画質処理、またはアップスケーリングなどを行うことができる。
他の例として、プロセッサ2100は、オーディオ処理を行うことができる。プロセッサ2100は、オーディオデータに対するデコーディング、増幅、ノイズフィルタリングのような多様な処理を行うことができる。
さらに他の例として、プロセッサ2100は、コンテンツ提供装置10と通信連結を樹立するように、通信部2500を制御することができる。プロセッサ2100は、コンテンツ提供装置10が、原本映像またはアップスケーリング映像を選択的に伝送するように要請する映像要請情報が、コンテンツ提供装置10に伝送されるように、通信部2500を制御することができる。プロセッサ2100は、映像要請情報に基づき、コンテンツ提供装置10から、原本映像、または第1アップスケーラを利用し、アップスケーリング処理がなされた第1アップスケーリング映像を受信するように、通信部2500を制御することができる。プロセッサ2100は、原本映像が受信されることにより、原本映像に対し、第2アップスケーラを利用したアップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像が表示されるように、ディスプレイ部2200を制御することができる。プロセッサ2100は、第1アップスケーリング映像が受信されることにより、第1アップスケーリング映像に対し、第2アップスケーラを利用したアップスケーリング処理を省略し、第1アップスケーリング映像が表示されるように、ディスプレイ部2200を制御することができる。
感知部2300は、ユーザの音声、ユーザの映像、またはユーザのインタラクションを感知し、マイク2310、カメラ部2320及び光受信部2330を含んでもよい。
マイク2310は、ユーザの発話(utterance)された音声を受信する。マイク2310は、受信された音声を電気信号に変換し、プロセッサ2100に出力することができる。ユーザ音声は、例えば、ディスプレイ装置20のメニューまたは機能に対応する音声を含んでもよい。
カメラ部2320は、カメラ認識範囲において、ジェスチャを含むユーザのモーションに対応する映像(例えば、連続フレーム)を受信することができる。プロセッサ2100は、受信されたモーションの認識結果を利用し、ディスプレイ装置20に表示されるメニューを選択するか、あるいはモーション認識結果に対応する制御を行うことができる。
光受信部2330は、外部の制御装置から受信される光信号(制御信号を含む)を、ディスプレイ装置20のベゼルの光窓(図示せず)などを介して受信することができる。光受信部2330は、制御装置から、ユーザ入力(例えば、タッチ、押し、タッチジェスチャ、音声またはモーション)に対応する光信号を受信することができる。受信された光信号から、プロセッサ2100の制御により、制御信号が抽出されうる。
入出力部2700は、プロセッサ2100の制御により、ディスプレイ装置20の外部装置(例:コンテンツ提供装置10)から、ビデオ(例えば、動画など)、オーディオ(例えば、音声、音楽など)及び付加情報(例えば、EPGなど)などを受信することができる。入出力部2700は、HDMI(登録商標)ポート2710、コンポーネントジャック、2720、PCポート2730及びUSBポート2740のうち一つを含んでもよい。入出力部2700は、HDMI(登録商標)ポート2710、コンポーネントジャック2720、PCポート2730及びUSBポート2740の組み合わせを含んでもよい。
ディスプレイ部2200は、プロセッサ2100で処理された映像信号、データ信号、OSD(on-screen display)信号、制御信号などを変換し、駆動信号を生成する。ディスプレイ部2200は、PDP(plasma display panel)、LCD(liquid crystal display)、OLED(organic light emitting diode)、フレキシブルディスプレイ(flexible display)などによっても具現され、または三次元ディスプレイ(3D display)によっても具現される。または、ディスプレイ部2200は、タッチスクリーンによって構成され、出力装置以外に、入力装置として使用されることも可能である。
オーディオ出力部2250は、プロセッサ2100の制御により、チューナ部2400を介して受信された放送信号に含まれているオーディオを出力する。オーディオ出力部2250は、通信部2500または入出力部2700を介して入力されるオーディオ(例えば、音声、サウンド)を出力することができる。また、オーディオ出力部2250は、プロセッサ2100の制御により、メモリ2900に保存されたオーディオを出力することができる。オーディオ出力部2250は、スピーカ2260、ヘッドフォン出力端子2270またはS/PDIF(Sony/Philips digital interface)出力端子2280のうち少なくとも一つを含んでもよい。
電源部2600は、プロセッサ2100の制御により、ディスプレイ装置20内部の構成要素に、外部の電源ソースから入力される電源を供給する。また、電源部2600は、プロセッサ2100の制御により、ディスプレイ装置20内部に位置する、1または2以上のバッテリ(図示せず)から出力される電源を、内部の構成要素に供給することができる。
メモリ2900は、プロセッサ2100の制御により、ディスプレイ装置20を駆動して制御するための多様なデータ、プログラムまたはアプリケーションを保存することができる。メモリ2900は、図示されてぎない放送受信モジュール、チャネル制御モジュール、ボリューム制御モジュール、通信制御モジュール、音声認識モジュール、モーション認識モジュール、光受信モジュール、ディスプレイ制御モジュール、オーディオ制御モジュール、外部入力制御モジュール、電源制御モジュール、無線(例えば、ブルートゥース(登録商標))で連結される外部装置の電源制御モジュール、音声データベース(DB)、またはモーションデータベース(DB)を含んでもよい。メモリ2900の、図示されていないモジュール及びデータベースは、ディスプレイ装置20において、放送受信の制御機能、チャネル制御機能、ボリューム制御機能、通信制御機能、音声認識機能、モーション認識機能、光受信制御機能、ディスプレイ制御機能、オーディオ制御機能、外部入力制御機能、電源制御機能、または無線(例えば、ブルートゥース(登録商標))で連結される外部装置の電源制御機能を遂行するために、ソフトウェア形態にも具現される。また、メモリ2900は、EDIDデータ及びアップスケーラの情報を保存することができる。または、メモリ2900は、アップスケーリングに必要な神経網モデルを保存することもできる。
一実施形態として、メモリ2900は、ディスプレイ装置20が、コンテンツ提供装置10と通信連結を樹立する動作、コンテンツ提供装置10が、原本映像またはアップスケーリング映像を選択的に伝送するように要請する映像要請情報を、コンテンツ提供装置10に伝送する動作、映像要請情報に基づき、コンテンツ提供装置10から、原本映像、または第1アップスケーラを利用し、アップスケーリング処理がなされた第1アップスケーリング映像を受信する動作、原本映像が受信されることにより、原本映像に対し、第2アップスケーラを利用し、アップスケーリング処理を行い、アップスケーリング処理がなされた第2アップスケーリング映像を表示する動作、及び第1アップスケーリング映像が受信されることにより、第1アップスケーリング映像に対し、前記第2アップスケーラを利用したアップスケーリング処理を省略し、第1アップスケーリング映像を表示する動作を遂行するように設定された少なくとも1つのインストラクションを保存することができる。
一方、図15に図示されたディスプレイ装置20のブロック図は、一実施形態のためのブロック図である。該ブロック図の各構成要素は、実際に具現されるディスプレイ装置20の仕様により、統合、追加または省略されうる。すなわち、必要により、2以上の構成要素が1つの構成要素に合わされたり、あるいは1つの構成要素が、2以上の構成要素に細分されたりしても構成される。また、各ブロックで遂行する機能は、本実施形態についての説明のためであり、その具体的な動作や装置は、本発明の権利範囲を制限するものではない。
一実施形態によるディスプレイ装置20の動作方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータで読み取り可能な媒体にも記録される。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものでもある。コンピュータで読み取り可能な記録媒体の例には、ハードディスク、フロッピィー(登録商標)ディスク及び磁気テープのような磁気媒体(magnetic media);CD-ROM(compact disc read only memory)、DVD(digital versatile disc)のような光記録媒体(optical media);フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical media);及びROM(read only memory)、RAM、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行されうる高級言語コードを含む。
また、開示された実施形態によるディスプレイ装置20の動作方法は、コンピュータプログラム製品(computer program product)に含まれても提供される。該コンピュータプログラム製品は、商品として、販売者と購入者との間で取り引きされる。
コンピュータプログラム製品は、S/Wプログラム、S/Wプログラムが保存されたコンピュータで読み取り可能な記録媒体を含んでもよい。例えば、該コンピュータプログラム製品は、ディスプレイ装置20の製造社または電子マーケット(例:Googleプレイストア、アプリストア)を介し、電子的に配布されるS/Wプログラム形態の商品(例:ダウンローダブルアプリ)を含んでもよい。電子的配布のために、S/Wプログラムの少なくとも一部は、記録媒体に保存されるか、あるいは臨時的に生成されうる。その場合、該記録媒体は、製造社のサーバ、電子マーケットのサーバ、またはSWプログラムを臨時的に保存する中継サーバの記録媒体にもなる。
コンピュータプログラム製品は、サーバ及びクライアント装置で構成されるシステムにおいて、サーバの記録媒体、またはクライアント装置の記録媒体を含んでもよい。または、サーバまたはクライアント装置と通信連結される第3装置(はい、スマートフォン)が存在する場合、該コンピュータプログラム製品は、第3装置の記録媒体を含んでもよい。または、該コンピュータプログラム製品は、サーバから、クライアント装置または第3装置に伝送されるか、あるいは第3装置から、クライアント装置に伝送されるS/Wプログラム自体を含んでもよい。
その場合、サーバ、クライアント装置及び第3装置のうち一つが、コンピュータプログラム製品を実行して開示された実施形態による方法を遂行することができる。または、サーバ、クライアント装置及び第3装置のうち2以上が、コンピュータプログラム製品を実行して開示された実施形態による方法を分散して実施することができる。
例えば、サーバ(例:クラウドサーバまたは人工知能サーバなど)が、サーバに保存されたコンピュータプログラム製品を実行し、サーバと通信連結されたクライアント装置が、開示された実施形態による方法を遂行するように制御することができる。
以上、本実施形態について詳細に説明したが、本発明の権利範囲は、それらに限定されるものではなく、特許請求の範囲で定義されている本発明の基本概念を利用した当業者によるさまざまな変形及び改良形態も、本発明の権利範囲に属するのである。
10 コンテンツ提供装置
11 第1アップスケーラ
12 保存部(例:EDID ROM)
20 ディスプレイ装置
21 第2アップスケーラ
22 保存部
30 アップスケーラ管理サーバ
31 アップスケーラ性能情報
40 移動式装置
41 第3アップスケーラ
210 映像処理部
211 映像デコーダ
212 画質処理部
213 ディスプレイバッファ
220 ディスプレイ部
221 スケーラ
222 ディスプレイ
2000 ディスプレイ装置
2100 プロセッサ
2200 ディスプレイ部
2250 オーディオ出力部
2260 スピーカ
2270 ヘッドフォン出力端子
2280 (Sony/Philips digital interface)出力端子
2300 感知部
2310 マイク
2320 カメラ部
2330 光受信部
2400 チューナ部
2500 通信部
2600 電源部
2700 入出力部
2710 ポート
2720 コンポーネントジャック
2730 ポート
2740 ポート
2900 メモリ

Claims (10)

  1. ディスプレイ装置で映像を表示する方法において、
    コンテンツ提供装置から第1アップスケーラの識別情報を受信する動作と、
    前記第1アップスケーラの識別情報を外部サーバに伝送する動作と、
    前記第1アップスケーラの識別情報に対応して前記第1アップスケーラの性能情報を前記外部サーバから受信する動作と、
    前記コンテンツ提供装置が第1解像度の映像、または第2解像度の映像を選択的に伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送する動作であり、前記映像要請情報は、前記コンテンツ提供装置の前記第1アップスケーラの性能情報、及び前記ディスプレイ装置の第2アップスケーラの性能情報に基づく伝送動作と、
    前記映像要請情報に基づき、第1解像度映像または前記第1アップスケーラを利用し、前記第1解像度映像に対してアップスケーリングを行うことによって得られた第2解像度映像を受信する動作と、
    前記第1解像度映像の受信に基づき、第2解像度のアップスケーリング映像を獲得するために、前記ディスプレイ装置の前記第2アップスケーラを利用し、前記第1解像度映像にアップスケーリングを行い、第2解像度アップスケーリング映像を表示する動作であり、前記第2アップスケーラのアップスケーリング性能は、前記第1アップスケーラのアップスケーリング性能と異な
    前記第2解像度映像の受信に基づき、前記第2解像度の映像を表示する動作と、を含む、映像表示方法。
  2. 前記第1アップスケーラの性能情報、及び前記第2アップスケーラの性能情報に基づき、前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、
    前記第2アップスケーラの性能が、前記第1アップスケーラの性能よりすぐれていると判断されることにより、原本映像を伝送するように要請する前記映像要請情報を、前記コンテンツ提供装置に伝送する動作と、
    前記第1アップスケーラの性能が、前記第2アップスケーラの性能よりすぐれていると判断されることにより、第1アップスケーリング映像を伝送するように要請する前記映像要請情報を、前記コンテンツ提供装置に伝送する動作と、を含む、請求項1に記載の映像表示方法。
  3. 前記方法は、
    前記受信された映像の容量、前記受信された映像の解像度、及び前記受信された映像の付加情報のうち少なくとも一つを含む前記受信された映像の属性情報に基づき、前記受信された映像が、原本映像であるか、または第1アップスケーリング映像であるかということを判断する動作をさらに含む、請求項1に記載の映像表示方法。
  4. 前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、
    前記コンテンツ提供装置から、原本映像が必要であるか否かということを確認するアップスケーリング確認情報を受信する動作と、
    前記受信されたアップスケーリング確認情報に基づき、前記原本映像を伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送する動作と、を含む、請求項1に記載の映像表示方法。
  5. 本映像が受信されることにより、前記原本映像に対し、画質処理を行う動作をさらに含む、請求項1に記載の映像表示方法。
  6. 前記第1アップスケーラまたは前記第2アップスケーラのうち少なくとも一つは、
    神経網を基盤とする人工知能アルゴリズムを利用し、原本映像をアップスケーリングするアップスケーラである、請求項1に記載の映像表示方法。
  7. 前記映像要請情報を、前記コンテンツ提供装置に伝送する動作は、
    映像標準データであるEDID(extended display identification data)データに含まれている前記映像要請情報を、前記コンテンツ提供装置に伝送する動作を含む、請求項1に記載の映像表示方法。
  8. ディスプレイ装置において、
    通信回路と、
    ディスプレイと、
    少なくとも1以上のインストラクションを保存するメモリと、
    プロセッサと、を含み、
    前記プロセッサは、前記メモリに保存された前記1以上のインストラクションを実行することにより、
    コンテンツ提供装置から第1アップスケーラの識別情報を受信するように、前記通信回路を制御し、
    前記第1アップスケーラの識別情報を外部サーバに伝送し、前記第1アップスケーラの識別情報に対応して前記第1アップスケーラの性能情報を前記外部サーバから受信するように前記通信回路を制御し、
    前記コンテンツ提供装置が、第1解像度の映像または第2解像度の映像を選択的に伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送するように、前記通信回路を制御するが、前記映像要請情報は、前記コンテンツ提供装置の前記第1アップスケーラの性能情報、及び前記ディスプレイ装置の第2アップスケーラの性能情報に基づき、
    前記コンテンツ提供装置から、前記映像要請情報に基づいて、第1解像度映像または前記第1アップスケーラを用いて前記第1解像度映像に対してアップスケーリングを行うことによって得られた第2解像度映像を受信するように、前記通信回路を制御し、
    前記第1解像度映像の受信に基づき、第2解像度のアップスケーリング映像を獲得するために、前記ディスプレイ装置の前記第2アップスケーラを用いて前記第1解像度映像にアップスケーリング処理を行い、アップスケーリング処理がなされた第2解像度アップスケーリング映像が表示されるように、前記ディスプレイを制御するが、前記第2アップスケーラのアップスケーリング性能は、前記第1アップスケーラのアップスケーリング性能と異なり、
    前記第2解像度映像の受信に基づき、前記第2解像度の映像が表示されるように、前記ディスプレイを制御する、ディスプレイ装置。
  9. 前記プロセッサは、前記1以上のインストラクションを実行することにより、
    前記第2アップスケーラの性能が、前記第1アップスケーラの性能よりすぐれていると判断されることにより、原本映像を伝送するように要請する前記映像要請情報が前記コンテンツ提供装置に伝送されるように、前記通信回路を制御し、
    前記第1アップスケーラの性能が、前記第2アップスケーラの性能よりすぐれていると判断されることにより、第1アップスケーリング映像を伝送するように要請する前記映像要請情報が前記コンテンツ提供装置に伝送されるように、前記通信回路を制御する、請求項に記載のディスプレイ装置。
  10. ディスプレイ装置の動作方法を遂行するためのプログラムが記録された非一時的コンピュータ可読記録媒体を含むコンピュータプログラム媒体において、前記動作方法は、
    コンテンツ提供装置から第1アップスケーラの識別情報を受信する動作と、
    前記第1アップスケーラの識別情報を外部サーバに伝送する動作と、
    前記第1アップスケーラの識別情報に対応して前記第1アップスケーラの性能情報を前記外部サーバから受信する動作と、
    前記コンテンツ提供装置が第1解像度の映像、または第2解像度の映像を選択的に伝送するように要請する映像要請情報を、前記コンテンツ提供装置に伝送する動作であり、前記映像要請情報は、前記コンテンツ提供装置の前記第1アップスケーラの性能情報、及び前記ディスプレイ装置の第2アップスケーラの性能情報に基づく伝送動作と、
    前記映像要請情報に基づき、第1解像度映像または前記第1アップスケーラを利用し、前記第1解像度映像に対してアップスケーリングを行うことによって得られた第2解像度映像を受信する動作と、
    前記第1解像度映像の受信に基づき、第2解像度のアップスケーリング映像を獲得するために、前記ディスプレイ装置の前記第2アップスケーラを利用し、前記第1解像度映像にアップスケーリングを行い、第2解像度アップスケーリング映像を表示する動作であり、前記第2アップスケーラのアップスケーリング性能は、前記第1アップスケーラのアップスケーリング性能と異なり、
    前記第2解像度映像の受信に基づき、前記第2解像度の映像を表示する動作を含む、コンピュータプログラム媒体
JP2021549120A 2019-02-22 2020-02-21 ディスプレイ装置及びその映像表示方法 Active JP7301993B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190021434A KR102222871B1 (ko) 2019-02-22 2019-02-22 디스플레이 장치 및 이의 영상 표시 방법
KR10-2019-0021434 2019-02-22
PCT/KR2020/002563 WO2020171657A1 (en) 2019-02-22 2020-02-21 Display device and image display method of the same

Publications (2)

Publication Number Publication Date
JP2022521254A JP2022521254A (ja) 2022-04-06
JP7301993B2 true JP7301993B2 (ja) 2023-07-03

Family

ID=69784059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021549120A Active JP7301993B2 (ja) 2019-02-22 2020-02-21 ディスプレイ装置及びその映像表示方法

Country Status (6)

Country Link
US (1) US11303958B2 (ja)
EP (1) EP3699902B1 (ja)
JP (1) JP7301993B2 (ja)
KR (1) KR102222871B1 (ja)
CN (1) CN113475091B (ja)
WO (1) WO2020171657A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010245B (zh) * 2021-02-24 2023-03-14 杭州雾联科技有限公司 一种创建虚拟显示器的方法、装置、电子设备和存储介质
US11271984B1 (en) * 2021-03-29 2022-03-08 International Business Machines Corporation Reduced bandwidth consumption via generative adversarial networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698301B1 (ko) 2005-02-24 2007-03-23 엘지전자 주식회사 영상기기 및 그의 해상도 최적화 방법
WO2007102413A1 (ja) 2006-03-03 2007-09-13 Matsushita Electric Industrial Co., Ltd. 送信装置、受信装置および送受信装置
JP2010130496A (ja) 2008-11-28 2010-06-10 Toshiba Corp コンテンツデータ入出力装置及びコンテンツデータ入出力方法
JP2011119828A (ja) 2009-12-01 2011-06-16 Renesas Electronics Corp 映像変換装置、記録媒体読取装置、映像再生装置及び映像再生情報送信方法
US20180108114A1 (en) 2016-10-18 2018-04-19 Microsoft Technology Licensing, Llc Selective scaling for user device display outputs

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6670964B1 (en) 1998-09-18 2003-12-30 Hewlett-Packard Development Company, L.P. Automatic scaler mode detection
KR100453516B1 (ko) * 2002-05-21 2004-10-20 주식회사 이노티브 네트워크상의 고품질 거대 영상 전송 시스템 및 전송방법
JP3958198B2 (ja) * 2002-12-09 2007-08-15 キヤノン株式会社 画像処理方法
JP4926601B2 (ja) * 2005-10-28 2012-05-09 キヤノン株式会社 映像配信システム、クライアント端末及びその制御方法
JP4585479B2 (ja) * 2006-03-30 2010-11-24 株式会社東芝 サーバ装置および映像配信方法
US8165197B2 (en) 2007-12-05 2012-04-24 Sony Corporation Method and apparatus for video upscaling
US8479253B2 (en) * 2007-12-17 2013-07-02 Ati Technologies Ulc Method, apparatus and machine-readable medium for video processing capability communication between a video source device and a video sink device
US8581906B2 (en) * 2008-08-04 2013-11-12 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
KR101644086B1 (ko) * 2010-02-05 2016-08-01 삼성전자주식회사 해상도 변경방법, 그리고, 이를 이용한 디스플레이 장치 및 시스템
US8836728B2 (en) * 2011-02-28 2014-09-16 Cbs Interactive, Inc. Techniques to magnify images
US8584159B2 (en) * 2011-03-29 2013-11-12 Verizon Patent And Licensing Inc. Converting standard definition television advertisements to high definition format
KR101396473B1 (ko) 2011-10-17 2014-05-21 에이스텔 주식회사 셋톱박스에서 서브 단말기로 초고화질 영상을 제공하는 시스템 및 그 방법
WO2014014238A1 (en) * 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
KR102091137B1 (ko) * 2012-07-17 2020-03-20 삼성전자주식회사 영상 제공 시스템 및 방법
US20140125554A1 (en) * 2012-11-07 2014-05-08 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and algorithm to implement smart mirroring for a multiple display system
US20140211861A1 (en) * 2013-01-25 2014-07-31 Electronics And Telecommunications Research Institute Method and system for providing high definition (hd) broadcasting service and ultra high definition (uhd) broadcasting service
JP5717870B2 (ja) * 2013-03-22 2015-05-13 株式会社東芝 通信装置、通信方法及びプログラム
US9459825B2 (en) * 2013-09-09 2016-10-04 Opus Medicus, Inc. Systems and methods for high-resolution image viewing
US20150350565A1 (en) * 2014-05-29 2015-12-03 Opentv, Inc. Techniques for magnifying a high resolution image
WO2015190877A1 (ko) 2014-06-12 2015-12-17 엘지전자(주) Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
KR102216656B1 (ko) * 2014-09-02 2021-02-17 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
US20160119673A1 (en) * 2014-10-28 2016-04-28 Aaron William Rees System and Method for Transmitting, Receiving, and Displaying High Resolution Images
EP3311582A4 (en) * 2015-06-17 2018-10-31 LG Electronics Inc. Display device and operating method thereof
KR101728076B1 (ko) 2015-06-22 2017-04-19 주식회사 디엠티 에이치디 셋톱박스용 유에이치디 어댑터 및 유에이치디 티브이, 유에이치 티브이에 연결하기 위한 에이치디 셋톱박스
KR102408876B1 (ko) * 2015-07-31 2022-06-15 삼성전자주식회사 전자 장치에서 디스플레이 방법 및 장치
KR101718046B1 (ko) 2015-09-30 2017-03-20 엘지전자 주식회사 동적 해상도 제어를 수행하는 이동 단말기 및 그 제어방법
KR102442527B1 (ko) * 2016-02-26 2022-09-13 엘지전자 주식회사 무선 디바이스
KR20180051202A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이장치 및 그 제어방법
WO2018126220A1 (en) * 2016-12-30 2018-07-05 Holonyne Corporation Virtual display engine
WO2018212599A1 (en) 2017-05-17 2018-11-22 Samsung Electronics Co., Ltd. Super-resolution processing method for moving image and image processing apparatus therefor
KR102511059B1 (ko) 2017-05-17 2023-03-17 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
US11475862B2 (en) 2017-07-07 2022-10-18 Hewlett-Packard Development Company, L.P. Selection of an extended display identification data standard

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698301B1 (ko) 2005-02-24 2007-03-23 엘지전자 주식회사 영상기기 및 그의 해상도 최적화 방법
WO2007102413A1 (ja) 2006-03-03 2007-09-13 Matsushita Electric Industrial Co., Ltd. 送信装置、受信装置および送受信装置
JP2010130496A (ja) 2008-11-28 2010-06-10 Toshiba Corp コンテンツデータ入出力装置及びコンテンツデータ入出力方法
JP2011119828A (ja) 2009-12-01 2011-06-16 Renesas Electronics Corp 映像変換装置、記録媒体読取装置、映像再生装置及び映像再生情報送信方法
US20180108114A1 (en) 2016-10-18 2018-04-19 Microsoft Technology Licensing, Llc Selective scaling for user device display outputs

Also Published As

Publication number Publication date
US11303958B2 (en) 2022-04-12
KR20200102879A (ko) 2020-09-01
CN113475091B (zh) 2023-08-25
WO2020171657A1 (en) 2020-08-27
EP3699902B1 (en) 2021-05-26
JP2022521254A (ja) 2022-04-06
CN113475091A (zh) 2021-10-01
EP3699902A1 (en) 2020-08-26
US20200275155A1 (en) 2020-08-27
KR102222871B1 (ko) 2021-03-04

Similar Documents

Publication Publication Date Title
US20170223301A1 (en) Image processing apparatus, voice acquiring apparatus, voice recognition method thereof and voice recognition system
JP7293365B2 (ja) 映像表示装置及びその動作方法
US20090249420A1 (en) Method for configuring video apparatus according to video system and content, and video apparatus and server applying the same
US10203927B2 (en) Display apparatus and display method
US20130263108A1 (en) Display device capable of upgrading smart functions and method for controlling the same
US12039693B2 (en) Apparatus and method of controlling the same
TW202025090A (zh) 顯示器裝置以及控制其的方法
JP7301993B2 (ja) ディスプレイ装置及びその映像表示方法
US20230333591A1 (en) Electronic apparatus and method of controlling the same
US11907616B2 (en) Electronic apparatus, display apparatus and method of controlling the same
US11688397B2 (en) Electronic apparatus and method of controlling the same
KR20200107616A (ko) 방송 수신 장치 및 그 동작방법
US11699374B2 (en) Display device and operating method of the same
US20240061637A1 (en) Display device and operation method thereof
US20240244295A1 (en) Display device and operation method thereof
US20220014688A1 (en) Image processing method and display device thereof
KR20240050054A (ko) 디스플레이 장치 및 그 동작 방법
KR20230099841A (ko) 전자장치 및 그 제어방법
KR20230116550A (ko) 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R150 Certificate of patent or registration of utility model

Ref document number: 7301993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150