CN112866803A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN112866803A
CN112866803A CN202010361576.6A CN202010361576A CN112866803A CN 112866803 A CN112866803 A CN 112866803A CN 202010361576 A CN202010361576 A CN 202010361576A CN 112866803 A CN112866803 A CN 112866803A
Authority
CN
China
Prior art keywords
image
information
processor
input image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010361576.6A
Other languages
English (en)
Other versions
CN112866803B (zh
Inventor
金东炫
李知修
文永秀
朴胜浩
安泰庆
郑暎勳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202310821658.8A priority Critical patent/CN116744056A/zh
Publication of CN112866803A publication Critical patent/CN112866803A/zh
Application granted granted Critical
Publication of CN112866803B publication Critical patent/CN112866803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请公开了一种电子装置。该电子装置包括处理器，该处理器配置为使用人工智能(AI)模型来获得输入图像的第一放大信息，该人工智能模型经过训练以获得图像的放大信息。处理器还配置为基于所获得的第一放大信息缩小输入图像，并且通过基于输出分辨率将缩小后的图像放大来获得输出图像。

Description

电子装置及其控制方法
技术领域
本公开涉及电子装置及其控制方法。更具体地，本公开涉及一种 使用人工智能(AI)模型执行图像处理的电子装置及其控制方法。
背景技术
电子技术的发展使得各种类型的电子装置得以开发和传播。尤其是， 近年来已开发了用于各种场所诸如用于家庭、办公室、公共场所等的显 示设备。
近年来，对高分辨率图像服务的需求已经大大增加。因此，随着能 够支持高分辨率图像的诸如电视(TV)的显示设备的分布扩展，在诸如 机顶盒(STB)、公共电视等各种环境中执行图像的放大的情况越来越多， 并且放大后的图像被传输到诸如电视的显示设备。
然而，根据各种放大技术和广播环境，放大后的图像具有不同的图 像质量，因此与电视中提供的放大技术相比，显示出较差的性能。
发明内容
本公开的各种示例性实施方式解决了上述缺点和上文未描述的其他 缺点。
本文提供了一种电子装置，其包括处理器，处理器配置为使用第一 人工智能(AI)模型获得输入图像的第一放大信息，该第一AI模型经过 训练以获得图像的放大信息；基于获得的第一放大信息缩小输入图像； 以及通过基于输出分辨率将缩小后的图像放大来获得输出图像。
本文还提供了电子装置的控制方法，该方法包括：使用第一人工智 能(AI)模型获得输入图像的第一放大信息，该第一AI模型经过训练以 获得图像的放大信息；基于获得的第一放大信息缩小输入图像；以及通 过基于输出分辨率将缩小后的图像放大来获得输出图像。
在电子装置的一些实施方式中，第一放大信息包括输入图像的放大 比率信息或输入图像的原始分辨率信息中的至少一个。
在电子装置的一些实施方式中，处理器还配置为通过以下方式来获 得输出图像：对缩小后的图像执行第一图像质量处理以获得第二图像， 通过放大第二图像来获得放大后的图像，以及对放大后的图像执行第二 图像质量处理。
在电子装置的一些实施方式中，处理器还配置为通过使用第二AI智 能模型来将缩小后的图像放大，其中第二AI模型已经过训练以执行超分 辨率处理。
在电子装置的一些实施方式中，第一AI模型配置为基于输入图像的 特征信息获得第一放大信息，并且处理器还配置为通过将特征信息输入 到第二AI模型来获得第一放大信息。
在电子装置的一些实施方式中，处理器还配置为执行以下步骤：识 别输入图像中的第一边缘区域，以及获得特征信息，其中特征信息包括 与第一边缘区域中包括的第一像素有关的第一特征信息。
在电子装置的一些实施方式中，处理器还配置为执行进一步的操作， 进一步的操作包括：模糊第一边缘区域，获得第一特征信息，其中第一 像素不在边距区域中，并且相对于模糊后的第一边缘区域中包括的中心 像素设置边距区域，以及通过将第一特征信息输入到第一AI模型来获得 第一放大信息。
在电子装置的一些实施方式中，处理器配置为识别输入图像中的感 兴趣区域，以及在感兴趣区域内识别第一边缘区域。
在电子装置的一些实施方式中，处理器还配置为通过向第一AI模型 输入包括输入图像的边缘区域的第二图像，来获得第一放大信息。
在电子装置的一些实施方式中，处理器还配置为基于输入图像的场 景改变时的时机来确定是否缩小输入图像。
在电子装置的一些实施方式中，第一放大信息与输入图像的第一场 景部分相关联，并且处理器还配置为基于第一放大信息从第二场景部分 中包括的帧开始执行缩小，其中第二场景部分在第一场景部分之后。
在电子装置的一些实施方式中，处理器还配置为：以输入图像的预 定帧间隔单位获得第一放大信息，以及基于在第一场景部分之后在阈值 数量的场景的场景部分中第二放大信息相对于第一放大信息未改变，从 第二场景部分开始缩小输入图像，其中第二场景部分出现在阈值数量的 场景之后。
在电子装置的一些实施方式中，基于与多个训练图像相关的第一信 息来训练第一AI模型，其中第一信息包括分辨率、压缩方法、压缩率、 数据传输速度、放大比率、增强处理或压缩中的至少一个，并且缩放顺 序不同于输入图像的顺序。
根据实施方式的电子装置包括处理器，该处理器配置为通过使用第 一人工智能(AI)模型来获得输入图像的第一放大信息，其中第一AI模 型经过训练以获得放大信息，并且执行以下之一：确定不缩小输入图像， 或者通过基于第一放大信息缩小输入图像获得缩小后的图像并基于输出 分辨率通过将缩小后的图像放大来获得输出图像。
根据实施方式的控制电子装置的方法可以包括：通过使用第一人工 智能(AI)模型获得输入图像的第一放大信息，其中第一AI模型经过训 练以获得放大信息；以及执行以下之一：确定不缩小输入图像，或者通 过基于第一放大信息缩小输入图像来获得缩小后的图像并基于输出分辨 率通过将缩小后的图像放大来获得输出图像。
附图说明
根据以下结合附图的详细描述，本公开的某些实施方式的上述和/或 其他方面、特征和优点将变得更加明显，在附图中：
图1A是描述电子装置的图像质量处理操作以帮助理解本公开的视 图；
图1B是示出根据实施方式的示例操作的视图；
图2是示出根据实施方式的电子装置的配置的框图；
图3是描述根据实施方式的电子装置的操作的流程图；
图4A是描述根据实施方式的第一AI模型的训练方法的视图；
图4B是描述根据实施方式的第一AI模型的训练方法的视图；
图5是描述根据实施方式的用于获得输入到第一AI模型的特征信息 的方法的视图；
图6A是描述根据实施方式的模糊的视图；
图6B是描述根据实施方式的模糊的视图；
图7A是描述根据实施方式的用于获得特征值的方法的视图；
图7B是描述根据实施方式的用于获得特征值的方法的视图；
图7C是描述根据实施方式的用于获得特征值的方法的视图；
图8是描述根据实施方式的基于场景的缩小的方法的视图；
图9A是描述根据实施方式的第一AI模型的结构的视图；
图9B是描述根据实施方式的第一AI模型的结构的视图；
图10A是描述根据实施方式的获得用于训练第一AI模型的训练数据 的方法的视图；
图10B是描述根据实施方式的获得用于训练第一AI模型的训练数据 的方法的视图；
图10C是描述根据实施方式的获得用于训练第一AI模型的训练数据 的方法的视图；
图10D是描述根据实施方式的获得用于训练第一AI模型的训练数据 的方法的视图；
图10E是描述根据实施方式的获得用于训练第一AI模型的训练数据 的方法的视图；
图10F是描述根据实施方式的获得用于训练第一AI模型的训练数据 的方法的视图；
图11A是描述根据实施方式的使用第二AI模型的放大处理方法的视 图；
图11B是描述根据实施方式的使用第二AI模型的放大处理方法的视 图；
图11C是描述根据实施方式的使用第二AI模型的放大处理方法的视 图；
图12是描述根据实施方式的电子装置的操作的视图；
图13是描述图12所示的电子装置的操作的修改实施方式的视图；
图14是更详细地描述图12和图13所示的图像分析操作的视图；
图15是描述根据实施方式的电子装置的硬件结构的视图；
图16是示出根据实施方式的电子装置的实施方式的视图；以及
图17是描述根据实施方式的用于控制电子装置的方法的流程图。
具体实施方式
本公开提供了电子装置及其控制方法，其通过估计从外部放大的图 像的原始分辨率、缩小图像、以及使用高性能放大技术将缩小后的图像 放大来提供高分辨率图像。
将参考附图进一步描述本公开。
将简要描述本说明书中使用的术语，并且将更详细地描述本公开。
考虑到本公开的功能，选择当前广泛使用的通用术语作为本公开的 实施方式中使用的术语，但是可以根据本领域技术人员的意图或司法先 例、新技术的出现等进行改变。此外，在特定情况下，可能存在申请人 任意选择的术语。在这种情况下，这些术语的含义将在本公开的相应描 述部分中详细提及。因此，在本公开的实施方式中使用的术语应该基于 本公开通篇的内容而不是术语的简单名称来定义。
诸如“第一”、“第二”等术语可以用来描述各种元件，但是这些元 件不应该被这些术语所限制。这些术语仅用于将一个元件与另一元件区 分开。
除非另有说明，否则单数表达包括复数表达。应当理解，术语如“包 括……”或“由……组成”在此用于表示特征、数量、步骤、操作、元 件、组件或其组合的存在，而不排除一个或多个其他特征、数量、步骤、 操作、元件、组件或其组合的存在或添加的可能性。
应该理解，A或B中的至少一个表示“A”、“B”或“A和B”中的 一个。
诸如“模块”、“单元”、“部件”等术语用于指代执行至少一个功能 或操作的元件，并且这种元件可以实现为硬件或软件，或者硬件和软件 的组合。此外，除了当多个“模块”、“单元”、“部件”等中的每一个需 要在单独的硬件中实现时，组件可以集成在至少一个模块或芯片中，并 且可以在至少一个处理器(未示出)中实现。
在下文中，将参考附图详细描述实施方式，以便本领域技术人员可 以容易地实施该实施方式。然而，本公开可以以许多不同的形式实施， 并且不限于这里描述的实施方式。为了清楚地说明附图中的公开内容， 已经省略了与描述不相关的部分，并且说明书通篇中相似的部分用相同 的附图标记表示。
图1A是描述电子装置的图像质量处理操作以帮助理解本公开的视 图。
根据图1A所示的电子装置的图像质量处理操作，基于输入图像的分 辨率应用不同的图像质量处理路径。这里，输入图像的分辨率可以包括 720×480的标准清晰度(SD)、1280×720的高清晰度(HD)、1920×1080 的全高清晰度(FHD)、2560×1440的四路高清晰度(QHD)、3840×2160 的4K超高清晰度(UHD)、7680×4320的8K超高清晰度(UHD)以及 更高的分辨率(例如，16K、32K)。
根据实施方式，如果输入了低于阈值分辨率的图像11，则电子装置 可以以输入分辨率水平执行第一图像质量处理21，然后将通过第一图像 质量处理而处理过的图像放大30到输出分辨率，例如最大输出分辨率， 并且通过对放大后的图像执行第二图像质量处理40来获得输出图像。然 而，如果输入了分辨率大于或等于阈值分辨率的图像12，则电子装置可 以通过对该图像执行第一图像质量处理22，然后对通过第一图像质量处 理而处理后的图像执行第二图像质量处理40，来获得输出图像。
这里，阈值分辨率可以基于电子装置的最大输出分辨率来确定。例 如，如果电子装置用最大输出分辨率为4K UHD的电视来实现，则阈值 分辨率可以被确定为FHD或QHD。例如，对于最大输出分辨率为4K UHD 的电视，当输入FHD图像时，电视可以将图像放大成4KUHD图像，但 是当输入4K UHD图像时，可以不执行单独的放大处理。
也就是说，根据上述实施方式，电子装置可以不对分辨率大于或等 于阈值分辨率的图像12执行单独的放大处理。例如，如果输入图像是具 有输出分辨率的图像，则不需要用于输出的单独的放大处理，并且必须 对于硬件(例如，专用集成电路(ASIC))的高速操作使用高成本计算器， 以提高高分辨率图像的图像质量，并且可能需要具有相对大容量的内部 缓冲器。例如，由于必须实现等于输入图像分辨率的行缓冲器，例如， 在4K UHD输入图像的情况下，可能需要比SD输入图像长3840/720＝ 5.33倍的行缓冲器，而在8K UHD输入图像的情况下，可能需要比SD 输入图像长7680/720＝10.66倍的行缓冲器。图像质量改善知识产权(IP)， 即改善图像质量的功能块，被设计为当输入原始分辨率的图像时输出最 佳图像质量，并且图像质量寄存器值已设置，图像已被放大。在这种情 况下，不能保证已经放大的图像的最佳图像质量。因此，当由广播站或 诸如机顶盒的外部设备中的一般放大技术生成的阈值分辨率或更高(例 如，4K或8K分辨率)的低质量图像被输入到电子装置时，不需要经过 用于缩放处理的功能块30，因此不可避免地提供低质量输出图像。
通常，接下来，如果放大已经发生的事实被忽略，则到达在图1A的 项目30之前应用的放大技术会引起问题。
本公开检测是否已经发生了放大。参见下文，图17中的项目S1710。 如果已经发生了放大，则检测到放大量，在一些示例中类似于分辨率的 改变。参见以下图9A和“softmax”的输出，也参见图9B和来自项目921 和922的两种数量输出。这种检测可以随着场景的改变而重复发生，参 见下面图8“放大比率”、“概率”和“最终(显示4K或UP4K)”。
将描述各种实施方式，其中即使当具有大于或等于阈值分辨率的图 像被输入到电子装置时，使用在电子装置中实现的用于放大处理的功能 块30来提供具有高分辨率的输出图像。
图1B示出了示例性实施方式。在图1B中，图1A的图像11和12 以及图像13被呈现给图像分析模块91。图像分析模块91仅分析和路由 图像，它不变换或改变输入图像内容或表示。
图像12从图像分析模块91出现并传递到输出端，因为它已经是高 分辨率的，并且之前没有经历过放大。在下面图12所示的示例中，图像 12的示例是图12左上角的输入信号，标记为HD/FHD/UHD，在图12的 右上角显示为UHD(原始)(对应于图1B的图像94)。
图像13是低分辨率的，例如SD，并且作为图像96传递到放大框30。 放大后的版本96然后传递到后处理框40。图像100对应于后处理后的图 像98。在下面图12所示的示例中，图像13的示例是图12左下角的输入 信号，标为SD。
图像11是高分辨率图像，其先前已经通过例如机顶盒(STB)或在 广播公司进行了放大。图像11作为图像95从图像分析模块91出现，并 进入后处理框40。从后处理框40输出的图像99对应于图像97，图像97 对应于图像10，图像10对应于图像95，图像95对应于图像11。在下面 图12所示的示例中，图像11的示例是图12左上角的输入信号，标记为 HD/FHD/UHD，在图12的中间显示为HD/FHD/UHD(对应于图1B的图 像95)以及缩放比率93。
通过图1B所示的模块的操作，图像11被识别为正进行上采样，但 可能质量不好，经过处理，然后以改进的质量输出。
图2A和图2B是示出根据实施方式的电子装置的配置的框图。
参考图2A，电子装置100'包括处理器110，参考图2B，电子装置100 包括处理器110和存储器120。根据实施方式的关于AI模型的信息可以 存储在处理器110的内部存储器、外部存储器(即存储器120)中，因此， 图2A和图2B被分别示出。在下文中，将描述图2B。
电子装置100可以实现为电视或机顶盒，但不限于此，并且可以适 用于具有图像处理和/或显示功能的任何设备，诸如智能电话、平板电脑、 笔记本电脑、头戴式显示器(HMD)、近眼显示器(NED)、大幅面显示 器(LFD)、数字标牌、数字信息显示器(DID)、视频墙、投影仪显示器、 照相机、便携式摄像机、打印机、服务器等。替代地，电子装置100可 以是其中建立了云计算环境的***本身。该实施方式不限于此，并且适 用于使用AI模型处理数据的任何设备。
根据实施例，电子装置100可以接收各种分辨率的图像和各种压缩 图像。例如，电子装置100可以接收比UHD分辨率高的标准清晰度(SD)、 高清晰度(HD)、全HD(FHD)、超HD(UHD)中的至少一种的图像。 电子装置100可以接收压缩形式的图像，诸如运动图像专家组(MPEG) (例如，MP2、MP4、MP7等)、联合图像编码专家组(JPEG)、高级视 频编码(AVC)、H.264、H.265、高效视频编解码器(HEVC)、VC-1、 VP8、VP9、AOMedia Video 1(AV1)等。
存储器120可以存储本公开的各种实施方式所需的数据。根据数据 使用目的，存储器120可以实现为嵌入电子装置100的存储器，或者可 以实现为电子装置100中的可拆卸存储器。例如，用于驱动电子装置100 的数据可以存储在嵌入在电子装置100中的存储器中，并且用于电子装 置100的扩展功能的数据可以存储在电子装置100可拆卸的存储器中。嵌入电子装置100中的存储器可以是易失性存储器，诸如动态随机存取 存储器(DRAM)、静态随机存取存储器(SRAM)、同步动态随机存取存 储器(SDRAM)、或非易失性存储器(例如，一次性可编程ROM (OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、 电可擦除可编程ROM(EEPROM)、掩膜ROM、闪存ROM、闪存(例 如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD)。在存 储器可拆卸地安装到电子装置100的情况下，存储器可以实现为存储卡(例如，小型闪存(CF)、安全数字(SD)、微安全数字(micro-SD)、 微型安全数字(mini-SD)、极限数字(xD)、多媒体卡(MMC)等)、可 连接到USB端口的外部存储器(例如，USB存储器)等。
根据示例，存储器120可以存储用于控制电子装置100的至少一个 指令或包括指令的计算机程序。
根据另一示例，存储器120可以存储关于包括多个层的AI模型的信 息。这里，存储关于AI模型的信息可以意味着存储与AI模型的操作相 关的各种信息，例如，关于AI模型中包括的多个层的信息、关于用于多 个层中的每一层的参数(例如，滤波器系数、偏差等)的信息等等。例 如，根据一个实施方式，存储器120可以存储关于经过训练以获得输入 图像的放大信息的第一AI模型的信息。根据一个实施方式，存储器120 可以存储关于经过训练以放大图像的第二AI模型的信息。这里，放大处 理可以包括例如超分辨率处理。然而，如果处理器110被实现为仅AI模 型硬件，则关于AI模型的信息可以被存储在处理器110的内部存储器中。
根据又一示例，存储器120可以存储从外部设备(例如，源设备)、 外部存储介质(例如，通用串行总线(USB))、外部服务器(例如，网 络硬盘)等接收的图像。该图像可以是数字运动图像，但不限于此。
根据又一示例，存储器120可以存储用于图像处理的各种信息，例 如，降噪、细节增强、色调映射、对比度增强、颜色增强或帧速率转换、 算法、图像质量参数等。存储器120可以存储由图像处理生成的最终输 出图像。
根据实施方式，存储器120可以实现为用于存储从本公开的各种操 作生成的数据的单个存储器。根据另一实施方式，存储器120可以分别 存储不同类型的数据，或者可以被实现为包括用于在不同阶段存储每个 数据的多个存储器。
在上述实施方式中，已经描述了各种数据存储在处理器110的外部 存储器120中，但是根据电子装置100或处理器110中的至少一个的实 施方式，上述数据的至少一部分可以存储在处理器110的内部存储器中。
处理器110电连接到存储器120，并控制电子装置100的整体操作。 处理器110可以由一个或多个处理器组成。处理器110可以通过执行存 储在存储器120中的至少一个指令来执行根据各种实施方式的电子装置 100的操作。
根据实施方式，处理器110可以包括用于处理数字图像信号的数字 信号处理器(DSP)、微处理器、图形处理单元(GPU)、人工智能(AI) 处理器、神经处理单元(NPU)、时间控制器(TCON)等，但不限于此。 处理器110可以包括例如但不限于中央处理单元(CPU)、微控制器单元 (MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理 器(CP)、高级精简指令集计算(RISC)机器(ARM)处理器等中的一 个或多个，或者可以被定义为相应的术语。处理器110可以在内置有处 理算法的片上***(SoC)类型或大规模集成(LSI)类型中实现，或者 在专用集成电路(ASIC)、现场可编程门阵列(FPGA)类型中实现。
根据一个实施方式的用于执行AI模型的处理器110可以通过诸如中 央处理单元(CPU)、应用处理器(AP)、数字信号处理器(DSP)等的 通用处理器、诸如图形处理单元(GPU)、视觉处理单元(VPU)的纯图 形处理器或诸如神经处理单元(NPU)的纯AI处理器与软件之间的组合 来实现。处理器110可以控制根据存储在存储器120或AI模型中的预定 义操作规则来处理输入数据。替代地，如果处理器110是专用处理器(或 AI专用处理器)，它可以被设计成具有专用于处理特定AI模型的硬件结 构。例如，专用于特定AI模型的处理的硬件可以被设计到硬件芯片中， 诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。当处理器110被实现为专用处理器时，它可实现为包括用于实现本公开的实施方式 的存储器，或者可实现为包括用于使用外部存储器的存储器处理功能。
处理器110处理输入数据以获得输出数据。这里，输入数据可以包 括文本、图像或用户语音中的至少一种。例如，输入数据可以经由可与 外部设备通信的通信器、诸如键盘或触摸板的用户输入器、照相机、麦 克风等输入。输出数据可根据AI模型的类型而改变。例如，输出数据可 以是分辨率增强的图像、图像中包括的对象相关信息、对应于语音的文 本等。
根据示例，处理器110通过对输入图像执行图像处理来获得输出图 像。这里，输入图像或输出图像可以包括静止图像、多个连续的静止图 像(或帧)或视频。图像处理可以是数字图像处理，包括图像增强、图 像恢复、图像变换、图像分析、图像理解或图像压缩中的至少一种。根 据示例，如果输入图像是压缩图像，则处理器110可以解码压缩图像， 然后执行图像处理。根据一个实施方式，处理器110可以使用AI模型对 输入图像执行图像处理。例如，处理器110可以加载和使用存储在存储 器120，例如外部存储器诸如动态随机存取存储器(DRAM)中的AI模 型相关信息以使用AI模型。
图3是描述根据实施方式的处理器110的操作的流程图。
根据实施方式，处理器110可以在操作S310中获得输入图像的放大 信息，在操作S320中基于获得的放大信息来缩小输入图像，并且在操作 S330中将缩小后的图像放大以获得输出图像。输入图像的放大信息可以 包括输入图像的放大比率信息或输入图像的原始分辨率信息中的至少一 个。如果输入图像是通过放大原始图像获得的，则输入图像的放大比率 可以意味着相应的放大比率。然而，由于在非放大图像的情况下放大比 率可以是1，所以放大比率不是必须应用于被执行放大的图像的术语。根 据实施方式，一个处理器110可以执行步骤S310、S320和S330的操作， 但是至少一些步骤的至少一些操作可以由至少一个其他处理器执行。
根据示例，处理器110可以使用经过训练以获得图像的放大信息的 第一AI模型来获得输入图像的放大信息。然而，实施方式不限于此，并 且也可以在不使用第一AI模型的情况下获得输入图像的放大信息。例如， 处理器110可以基于输入图像的像素信息以多种方式获得输入图像的放 大信息。例如，可以确认边缘区域周围的像素值分布，以识别放大比率 或原始分辨率信息。这里，根据实施方式，第一AI模型用于获得准确的 放大信息。
根据实施方式，处理器110可以通过将输入图像的特征信息输入到 第一AI模型来获得输入图像的放大信息。
例如，处理器110可以通过将输入图像的特征信息输入到第一AI模 型中来获得多个放大比率中的每一个的概率信息，并且可以基于所获得 的概率信息中的最大值或大于或等于阈值的值中的至少一个来识别输入 图像的放大比率。作为另一示例，处理器110可以通过将输入图像的特 征信息输入到第一AI模型中来获得多个原始分辨率信息中的每一个的概 率信息，并且可以基于所获得的概率信息中的最大值或大于或等于阈值 的值中的至少一个来获得输入图像的原始分辨率信息。
在这种情况下，可以训练第一AI模型，以基于图像的特征信息获得 放大信息。这里，图像的特征信息可以是在图像的特定区域中获得的信 息。例如，图像的特征信息可以是在包括图像边缘的边缘区域中获得的 信息，这是因为边缘区域是通过图像的放大使得像素值改变较大的区域。 然而，实施方式不限于此，并且根据情况，可以在纹理区域和平坦区域 中的至少一个中获得特征信息。
这里，可以通过使用在多个训练图像中获得的特征信息和多个训练 图像中的每一个的放大信息(例如，放大比率或原始分辨率)作为输入/ 输出训练数据对，来训练第一AI模型。例如，如图4A所示，(在第一训 练图像中获得的第一特征信息、第一训练图像的放大信息)、(在第二训 练图像中获得的第二特征信息、第二训练图像的放大信息)、…、(从第N 训练图像获得的第N特征信息、第N训练图像的放大信息)可以用作输 入/输出训练数据对。
根据另一实施方式，处理器110可以通过将输入图像的全部或部分 输入到第一AI模型中来获得输入图像的放大信息。在该示例中，第一 AI模型可以是经过训练以基于图像的整体或部分获得放大信息的模型。 这里，图像的一部分可以包括包含感兴趣区域的图像的至少一部分、包 含特定像素特征(例如，边缘)的图像的一部分。
可以使用整个图像(或图像的一部分)和相应图像的放大比率信息 作为输入/输出训练数据对，来训练第一AI模型。例如，如图4B所示， (第一训练图像、第一训练图像的放大信息)、(第二训练图像、第二训 练图像的放大信息)、…(第n训练图像、第n训练图像的放大信息)作 为输入/输出训练数据对。
AI模型的学习可以意味着创建预定义的操作规则或AI模型，以便制 作通过学习算法使用大量训练数据训练的基本AI模型(例如，包括任意 随机参数的AI模型)，从而执行期望的特征(或目的)。训练可以通过单 独的服务器和/或***来执行，但不限于此，并且可以在电子装置中执行。 学习算法的示例包括监督学习、无监督学习、半监督学习或增强学习， 但不限于此。
第一AI模型可以实现为例如卷积神经网络(CNN)、递归神经网络 (RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向递归 深度神经网络(BRDNN)或深度Q网络，但不限于此。
根据实施方式，处理器110可以基于获得的放大信息获得输入图像 的缩小比率。
例如，如果获得了放大比率，则处理器110可以将获得的放大比率 的倒数确定(或识别)为缩小比率。例如，如果放大比率是2，则处理器 110可以将放大比率的倒数1/2确定为缩小比率，并且当获得的放大比率 是2.1时，处理器110可以将作为放大比率的倒数的1/2.1确定为缩小比 率。替代地，如果获得原始分辨率信息，则处理器110可以将原始图像 的分辨率与输入图像的分辨率的比率，即“原始图像的分辨率/输入图像 的分辨率”的比率确定为缩小比率。
替代地，在获得放大比率之后，处理器110可以在阈值范围内调整 放大比率，然后将调整后的放大比率的倒数确定为缩小比率。例如，如 果所获得的缩放比率是2.1，则处理器110可以通过应用2/2.1的近似缩 放比率将放大比率调整为2(例如，整数倍)，然后将作为调整后的放大 比率的倒数的1/2确定为缩放比率。类似地，如果获得原始分辨率信息，则可以调整“原始图像的分辨率/输入图像的分辨率”的比率。
作为另一示例，如果获得了放大比率，则处理器110可以基于所获 得的放大比率来估计原始图像的分辨率，并且基于所估计的分辨率来获 得输入图像的缩小比率。具体地，当基于第一AI模型的输出获得放大比 率时，处理器110可以基于所获得的放大比率来估计原始图像的分辨率。 例如，处理器110可以基于原始图像的分辨率和所获得的放大比率，将 预定的多个分辨率之一估计为原始图像的分辨率。例如，预定的多个分 辨率可以包括各种分辨率，例如，720×480、1280×720、1920×1080、 2560×1440、3840×2160、7680×4320等。
例如，当输入图像的分辨率是3840×2160的4K UHD，并且所识别 的放大比率是2时，处理器110可以估计出原始图像的分辨率是 1920×1080的FHD。作为另一示例，当输入图像的分辨率是3840×2160 的4K UHD并且所识别的放大比率是2.1时，处理器110可以估计出原始 图像的分辨率是1920×1080的FHD。
如果如上所述地确定缩小比率，则处理器110可以基于缩小比率缩 小(或下采样)输入图像，然后基于输出分辨率缩放缩小后的图像。例 如，如果输入图像的分辨率是3840×2160的4K UHD，并且输出分辨率 根据1/2缩小比率缩小，如果输出分辨率是8K UHD，则可以通过将缩小 后的图像放大两倍来获得输出图像。至于缩小方法，可以使用包括子采 样的各种相关技术方法。例如，可以通过将红绿蓝(RGB)数据转换成 YUV数据(例如，Y'UV、YUV、YCbCr、YPbPr)，并减少与Y分量(亮 度信息)相比的U、V分量(色差信息)，来执行缩小。
根据实施方式，处理器110可以使用用于高分辨率图像处理的放大 功能块来将缩小后的图像放大。
在一个示例中，处理器110可以使用经过训练以执行超分辨率的第 二AI模型来将缩小后的图像放大。具体地，处理器110可以通过将缩小 后的图像输入到第二AI模型中来获得放大后的图像。在这种情况下，可 以使用多个训练图像和对应于每个训练图像的放大后的图像作为输入/输 出训练数据对，来训练第二AI模型。这里，多个训练图像可以是具有各 种分辨率的图像。对于第二AI模型，例如，可以使用基于CNN的甚深 超分辨率(VDSR)技术(Jiwon Kim等人，Accurate Image Super-Resolution Using Very DeepConvolutional Networks，CVPR 2016)、用于单图像超分 辨率的增强深残留网络(EDSR)、用于图像超分辨率的深度递归卷积网 络(DRCN)(美国电气和电子工程师学会计算机视觉和模式识别会议录， 2016年)、多尺度深度超分辨率***(MDSR)，但是实施方式不限于此。
根据一个实施方式，处理器110可以识别输入图像中的预设区域、 获得所识别区域中包括的像素的特征信息、并将其用作第一AI模型的输 入数据。这里，预设区域可以包括边缘区域、纹理区域或平坦区域中的 至少一个。
根据一个示例，处理器110可以首先识别输入图像中的感兴趣区域， 然后识别感兴趣区域中的预定特征区域。例如，当在诸如真实图像中的 新闻或家庭购物剪辑的图像中，或者在包括字幕或面部的图像中存在图 像时，图像质量可能存在差异，因此可首先识别感兴趣区域，然后可以 从感兴趣区域中识别预定特征区域。这里，感兴趣区域可以是包括特定 对象的区域(例如，以清晰边缘为中心的对象，如建筑物、人、文本等)、 满足特定像素值分布(例如，像素区域之间像素值差异大的分布)的区 域等。然而，实施方式不限于此，并且可以在不识别输入图像中的感兴 趣区域的情况下识别预定特征区域。
在一个实施方式中，处理器110可以获得边缘区域中包括的像素的 特征信息。这里，边缘是空间相邻的像素值快速改变的区域，并且相邻 像素值之间的差可以大于或等于阈值。例如，边缘可以是图像的亮度从 低值到高值或者从高值到低值快速改变的区域。例如，如果相邻像素值 之间的差大于或等于预定参考值，则该区域可以被确定为边缘。对象的 边界或文本可以被确定为边缘区域。在一个实施方式中，边缘区域可以 是包括对应于边缘的边缘像素和边缘像素周围的像素区域的区域。
例如，处理器110可以参考包括在所识别的边距区域中的中心像素， 基于边缘区域之外的像素来获得特征信息。作为另一示例，处理器110 可以模糊所识别的边缘区域，设置(或识别)关于包括在模糊的边缘区 域中的中心像素的边距区域，并且基于所设置的边距区域之外的像素来 获得特征信息。在下文中，处理器110模糊所识别的边缘区域并获得特 征信息。
图5是描述根据实施方式的用于获得输入到第一AI模型的特征信息 的方法的视图。
参考图5，在操作S510中，处理器110检测输入图像中的边缘区域。 这里，边缘区域可以包括在感兴趣的区域(感兴趣的对象或文本)中， 但是不限于此。
在一个示例中，处理器110可以使用边缘检测滤波器来检测边缘区 域。例如，处理器110可以对输入图像应用初级或次级边缘检测滤波器， 以获得包括边缘强度和边缘方向信息(垂直于梯度的方向)的滤波信号， 从而检测边缘区域。
在操作S520中，处理器110还可以通过模糊(或平滑)检测到的边 缘区域，来扩展检测到的边缘区域。例如，如图6A所示，高斯分布可以 具有这样的形式，其中X轴上的零具有更大的权重，并且权重朝着+/-部 分减小。当高斯分布应用于3×3格式的掩模60时，掩模60的中心可以 具有较大的权重，并且权重朝着掩模60的边缘减小。然而，图6A所示 的值是示例，并且滤波值可以根据高斯函数的西格玛值而改变。如图6B 所示，处理器110可以将高斯掩模60应用于检测到的边缘区域，并且模 糊边缘区域。通常，高斯滤波器被用作通过平滑和概率分布去除正态分 布产生的噪声的滤波器。然而，在一个实施方式中，高斯滤波器可以用 于平滑被识别为图像中的边缘的像素区域，并将目标区域延伸到包括边 缘像素的周围像素区域。例如，如图7A所示，边缘区域可以通过平滑延 伸到虚线，从而目标区域可以延伸。因此，可以检测到更准确的放大比 率。
在图5的操作S530中，处理器110可以在模糊区域中设置边距区域， 并且通过检测边距区域之外的像素来获得特征信息。具体地，处理器110 可以获得关于存在于边距区域(虚线)之外的区域中的像素的信息，该 边距区域是参考如图7A所示检测到的边缘像素设置的。这里，边距区域 的大小可以确定为预设大小，或者可以基于用于模糊的滤波器的大小、 滤波器的系数值等来设置。例如，可以通过考虑普通图像中最常见执行 的放大比率来设置预定大小，或者可以通过考虑当前图像中最大可能的 放大比率来设置预定大小。原因在于边缘像素的像素值(或类似的像素 值)可以根据图像的放大比率延伸到边缘***区域。
根据示例，如果目标像素属于边距区域，则处理器110可以映射第 一识别信息，如果目标像素不属于边距区域，则处理器110可以映射第 二识别信息，并生成特征信息。例如，如果使用二进制识别信息，则第 一识别信息可以是0，第二识别信息可以是1，但不限于此。为了便于描 述，第一识别信息被设置为“0”，第二识别信息被设置为“1”。
根据实施方式，处理器110将像素的预定大小应用于图像中包括的 像素，通过识别窗口中的像素是否属于边距区域来将识别信息分配给每 个像素，并且通过以预定顺序排列识别信息来获得特征信息。具体地， 处理器110可以通过将预定大小窗口的位置移动到至少一个像素间隔中 来识别窗口内的像素是否属于边距区域。例如，处理器110可以通过以 一个像素间隔移动窗口的位置来获得对应于每个位置的特征值，但是实 施方式不限于此，并且可以通过以两个或更多个像素间隔移动位置来获 得对应于每个位置的特征值。
根据示例，当如图7B所示将5像素大小的窗口应用于模糊图像时， 可以通过在位0(20)、位1(21)、位2(22)、位3(23)和位4(24) 的位置处，将相对于中心像素710的右边缘处的像素711的识别信息1> 左边缘处的像素712的识别信息0>与右侧相邻的像素713的识别信息0> 与左侧相邻的像素714的识别信息1>中心像素710的识别信息0依次排 序，来获得01001。此后，处理器110可以通过将识别信息转换成十进制 数来获得特征值“9”(2^4*0+2^3*1+2^2*0+2^1*0+2^0*1 ＝9)。
这里，处理器110可以基于获得的特征值中的每个特征值的频率来 获得直方图信息。例如，每个特征值代表仓(bin)，即一个区段，并且可 以计算每个特征值，即每个仓的频率。例如，特征值“9”可以是“仓9”， 并且可以获得每个特征值，即每个仓的频率，即可获得直方图信息作为 输入图像的特征信息。
根据另一实施方式，处理器110可以通过不同地设置窗口大小并对 每个窗口大小应用不同的步幅来获得特征信息。这里，步幅表示在窗口 中生成识别信息的像素之间的间隔。
例如，处理器110可以将窗口的不同大小设置为不同类型，并获得 如图7C所示的特征信息。
如图7C的第一行所示，处理器110可以将通过应用5像素大小窗口 获得的特征值设置为类型1，并且如图7C的第二行所示，处理器110可 以将通过应用7像素大小窗口获得的特征值设置为类型2，并且如图7C 的第三行所示，将通过应用9像素大小窗口获得的特征值设置为类型3， 并且将通过应用具有另一大小的窗口获得的特征值设置为另一类型(例如，类型4、类型5)。
为了获得图7C的第一行中所示的类型1的特征值，处理器110可以 应用5像素的窗口和步幅0。获得特征值的方法与图7B所示的相同，因 此不再进一步描述。
为了获得图7C的第二行中所示的类型2的特征值，处理器110可以 应用9像素的窗口和步幅1。具体地，处理器110可以通过以预定顺序将 四个相邻像素中的每一个的识别信息作为一个像素间隔排列在中心像素 基础的两侧，来获得5位大小的特征信息。例如，当如图7C的第二行所 示应用9像素大小的窗口时，可以通过在位0(20)、位1(21)、位2(22)、 位3(23)和位4(24)的位置处，将相对于中心像素720的右侧第一像 素721的识别信息0>左侧第二像素722的识别信息1>右侧第三像素723 的识别信息1>第四左侧像素724的识别信息0>中心像素720的识别信 息0进行排序，来获得00110。也就是说，处理器110可以通过在9像素大小的窗口内以预定顺序对以一个像素间隔隔开的像素的识别信息进行 排序，来获得类型2的特征值。然后，处理器110可以通过转换成十进 制数(2^4*0+2^3*0+2^2*1+2^1*1+2^0*0＝6)来获得特 征值“6”。
通过使用相同的方法，处理器110可以通过不同地设置窗口大小和 步幅大小来获得不同类型的特征值，例如类型3和类型4。
这里，处理器110可以基于每个所获得的类型特征值的频率来获得 直方图信息。例如，处理器110可以获得每种类型的特征信息，例如类 型1仓9、类型2仓6、类型3仓0和类型4仓8。
在上述实施方式中，已经描述了通过关于中心像素以左-右-左-右的 顺序排列识别信息来获得特征信息，但是这仅是一个实施方式。例如， 可以通过按顺序在位0(20)、位1(21)、位2(22)、位3(23)、位4(24) 的位置排列最左侧像素的识别信息，或者按顺序在位0(20)、位1(21)、 位2(22)、位3(23)、位4(24)的位置中排列最左侧像素的识别信息， 来根据各种规则获得特征信息。
在上面的实施方式中，虽然已经描述了调整窗口大小和步幅大小以 获得每种类型的相同大小的特征值(例如，5位二进制数)，但是实施方 式不必局限于此，并且还可以根据类型改变特征值的大小。例如，即使 窗口的大小增加，也可以通过保持步幅的大小来获得更大大小的特征值 (例如，6位二进制)。
在上述实施方式中，假设处理器110在模糊所识别的边缘区域之后 获得特征信息，但是可以在不模糊所识别的边缘区域的情况下获得特征 信息时，以相同的方式应用除模糊以外的处理。
回到图2，根据另一实施方式，处理器110可以在将缩小后的图像放 大之前执行第一图像处理。此外，处理器110可以通过对放大后的图像 执行第二图像处理来获得输出图像。例如，第一图像处理可以包括降噪、 简单降噪、细节增强或简单细节增强中的至少一种，第二图像处理可以 包括色调映射、对比度增强、颜色增强或帧速率转换中的至少一种，但 不限于此。例如，处理器110可以对输入图像执行预滤波以进行降噪处 理。通常，在压缩或传输图像等过程中会产生噪声。处理器110可以使 用非局部滤波和自相似性、通过低通滤波的平滑滤波器等来执行降噪。
当在缩小图像之后执行第一图像质量处理时，实现了在第一图像质 量处理中使用低复杂度硬件并节省硬件实施成本的效果。
如果输入图像是原始图像而不是放大后的图像，并且不需要单独的 放大处理，则处理器110可以对输入图像执行图像处理，然后执行第二 图像质量处理以获得输出图像。这里，对输入图像执行的图像质量处理 可以包括简单降噪或简单细节增强中的至少一种。也就是说，对原始图 像执行的图像质量处理可能与对放大后的图像执行的第一图像质量处理 方法(降噪或细节增强中的至少一种)有些不同，但是可以使用相同的 图像质量处理方法。然而，对于第二图像质量处理，可以使用相同的图 像质量处理方法，而不管输入图像的分辨率以及是否处理了图像放大。
根据实施方式，处理器110可以识别输入图像中场景改变的时机， 并且可以基于场景改变的时机来执行缩小。
根据一个示例，当获得在输入图像的特定场景部分中有意义的放大 信息时，处理器110可以基于相应的放大信息从下一场景执行缩小。例 如，处理器110可以基于在第一场景部分中获得的放大比率，对第一场 景部分之后的第二场景部分中包括的帧进行缩小，并且将缩小后的帧放 大以获得输出帧。当获得放大信息时，处理器110可以不从下一帧执行缩小，而是基于场景改变时机执行缩小，从而防止由于放大比率的频繁 改变而导致的分辨率改变。
根据示例，处理器110可以基于嵌入在图像中的场景改变信息(例 如，场景改变旗标)来识别场景何时改变。例如，场景改变旗标可以包 括在元数据的一个区域中，并且如果场景被维持，则可以具有值“0”， 但是当场景改变时，可以具有值“1”。然而，实施方式不限于此，并且 可以使用各种方法来识别传统算法。场景可以是根据内容制作者划分的 情境上在空间中改变的场景。然而，在一些情况下，场景可以意味着具 有相似图像质量特征的部分，在这种情况下，场景可以划分成不同的场 景，甚至在由内容制作者根据图像的亮度、颜色等划分的情境的相同空 间中的场景。
处理器110可以以输入图像的预定帧间隔为单位获得放大信息(例 如，放大比率信息、原始分辨率信息)，并且当在第一场景部分之后的阈 值数量的场景部分中保持相同的放大信息时，从第二场景在阈值数量的 场景部分之后开始的帧执行缩小。这是因为场景改变信息或放大信息可 能不完全准确的原因，所以防止分辨率由于频繁的放大比率改变而不必 要地频繁改变。这里，帧间隔可以是仅包括一帧的时间间隔，并且可以 是一帧的帧单位。也就是说，处理器110可以逐帧地识别放大信息，并 且当为每个帧识别的放大信息在第一场景部分之后的阈值数量的场景部 分中保持恒定时机时，对阈值数量的场景部分之后的第二场景开始的帧 执行缩小。
图8是描述根据实施方式的基于场景的缩小的方法的视图。
根据一个示例，假设电子装置100接收包括十个场景的输入图像， 如图8所示。如图8的第一行所示，假设场景1至场景3是4K图像，场 景4至场景8是放大后的4K图像(UP4K)，场景9是4K图像，场景10 是放大后的4K图像(UP4K)。
在这种情况下，处理器110可以获得每个帧的放大信息，如图8的 第三行所示，同时检测输入图像中的场景改变旗标信息，如图8的第二 行所示。例如，如上所述，处理器110可以基于第一AI模型的输出获得 每个帧的放大信息。通常在场景改变的时机中，可以检测场景改变旗标 “1”，使得处理器110可以确定场景改变时机，但是实际上，可能错误 地检测到场景改变旗标信息。因此，在该实施方式中，假设在包括场景4 的中间帧中错误地检测到场景改变旗标“1”，并且在场景改变为场景6 和场景7的时机中检测到场景改变旗标“0”，而不是“1”。此外，假设 处理器110可能错误地确定每个帧的放大信息，因此假设在一些帧中错 误地检测到每个帧的放大信息。
在这种情况下，当检测到场景改变旗标“1”时，如果相同的放大信 息被保持超过阈值数量(例如，三帧)，则处理器110可以执行放大。例 如，在图8所示的实施方式中，可以输入从场景4放大的、放大后的4K 图像(UP4K)，但是实际上，在相同的放大信息保持超过阈值数量之后， 可以从场景6执行缩小。此外，场景9的图像是4K图像，但是可以被忽 略，并且可以在场景9中维持对放大后的4K图像(UP4K)的处理，即， 缩小处理。
如上所述，当处理器110仅在场景改变时机处改变缩小比时，并且 如果相同的放大信息被连续检测到超过阈值数量(例如，三帧)，则处理 器110可以在下一个场景改变时机处从该帧执行缩小。这是为了尽可能 以保守的方式应用该实施方式，因为频繁的分辨率改变可能被观看者过 度识别，并且场景改变信息或放大信息也不是完全准确的。也就是说， 在一个场景中，可以估计每一帧不同的放大比率和不同的概率值，但是 这些可能不会按原样应用。这是因为放大信息可能根据实际新闻、家庭 购物、广告或频道改变而非常频繁地改变，并且如果放大信息按原样应 用，则由于频繁的分辨率改变而可能出现副作用。
图9A和图9B是描述根据实施方式的第一AI模型的结构的视图。
参考图9A，第一AI模型可以实现为包括多个神经网络层的神经网 络。例如，第一AI模型可以实现为分类网络。
根据一个示例，神经网络的输入可以是根据图7A至图7C所示的方 法获得的输入图像的特征信息。根据另一示例，神经网络的输入可以是 输入图像本身或输入图像的一部分。在下文中，将描述神经网络的输入 是根据示例的输入图像的特征信息的情况。
根据示例，如图9B所示，多个神经网络层，例如四个密集层可以实 现为依次连接。密集层的数量不限于此。
这里，如图9B所示，密集层指的是与前一层的所有神经元组合的类 型层，并且也称为完全连接层。根据一个示例，输入数据可以经过相应 的密集层910，并且例如，输出通道的数量随着128个通道→64个通道 →16个通道→5个通道而减少，并且作为最后输出通道数量的5个通道 可以表示每个放大比率。
例如，如果获得输入图像的特征信息作为每种类型的特征值，如图 7C所示，则每种类型的特征值可以是密集层的输入数据。每种类型的特 征值由128个通道输入到第一密集层，并且在最后的密集层中可以输出 五个类别，即五个放大比率值(例如，×1、×2、×3、×4、×4或更多)和 五个类别的概率值，即对应于五个放大比率值的概率值。
根据示例，每种类型的特征值可以随机分布在128个通道和输入上。 根据另一示例，基于每种类型和输入，有可能将每种类型的特征值分组 到不同的通道中。例如，可以将第一类型特征值输入到第1至第25通道， 将第二类型特征值输入到第26至第50通道，将第三类型特征值输入到 第51至第75通道，将第四类型特征值输入到第76至第100通道，并且将第五类型特征值输入到第100至第128通道。在这种情况下，对应于 每个通道的参数可以经过训练以对应于相应的类型。例如，对应于第一 密集层中的第1至第25通道的滤波器系数可以经过训练以反映第一类型 特征值的特征。
如图9B所示，神经网络的输出部分可以实现为启用argmax处理922 和softmax处理921。这里，softmax是将输入值归一化为0和1之间的 值并且总是将输出值之和设为1的函数，并且可以具有通过放大比率输 出对应于每个类别的概率，即概率值的函数。argmax用作在多个标签中 选择最高概率的函数，并且在这种情况下，有可能在每个放大比率的概率值中选择具有最大值的比率。也就是说，原始图像可以最终输出放大 比率。
根据一个实施方式，可以基于与各种训练图像相关联的训练数据来 训练第一AI模型。例如，可以基于与多个训练图像相关联的信息来训练 第一AI模型，所述多个训练图像的分辨率、压缩方案、压缩率、数据传 输速率、放大比率、增强处理或压缩和放大之间的顺序中的至少一个是 不同的。例如，基于诸如SD、HD、全HD或UHD的各种位率、诸如10 Mbps、15Mbps或20Mbps的各种位率、(诸如可变位率类型、恒定位率 类型或平均位率类型等)各种位率类型以及各种压缩方法运动图像专家 组(例如，MP2、MP4、MP7等)、联合图像编码专家组(JPEG)、高级 视频编码(AVC)、H.264、H.265、高效视频编解码器(HEVC)、VC-1、 VP8、VP9和AOMedia Video 1(AV1)等获得的各种类型的训练图像可 用于学习。
图10A至图10F是描述根据实施方式的用于获得训练第一AI模型的 训练数据的方法的视图。
根据一个实施方式，用于训练第一AI模型的学习数据库(DB)可 以包括根据各种方法生成的训练数据。例如，执行第一AI模型的训练的 外部服务器可以通过考虑真实广播环境场景以多种方式生成训练数据。 然而，在一些情况下，第一AI模型的训练可以由电子装置100执行，并 且训练数据可以在电子装置100中生成。
例如，可以提供包括多个训练图像的学习DB，其中训练图像的分辨 率、压缩方法、压缩率、数据传输速率、放大比率、增强处理、压缩和 放大顺序或图像类型中的至少一个是不同的。
例如，如图10A所示，可以通过根据AVC方法压缩原始图像，然后 放大压缩图像来获得训练图像。
作为另一示例，如图10B所示，可以通过根据HEVC方法压缩原始 图像，然后放大压缩图像来获得训练图像。
作为又一示例，如图10C所示，可以在通过增强处理对原始图像进 行处理、根据AVC方法压缩增强图像、然后放大压缩图像之后获得训练 图像。
作为又一示例，如图10D所示，可以通过用增强处理处理原始图像、 根据HEVC方法压缩增强图像、然后放大压缩图像来获得训练图像。
作为又一示例，如图10E所示，可以通过根据AVC方法压缩原始图 像、放大压缩图像、然后对放大后的图像执行增强处理来获得训练图像。
作为又一示例，如图10F所示，可以通过根据HEVC方法压缩原始 图像、放大压缩图像、然后对放大后的图像执行增强处理来获得训练图 像。
可以基于从如上所述的各种类型的训练图像获得的训练数据(例如， 特征信息和放大比率)，来训练根据实施方式的第一AI模型。
图10A至图10F所示的实施方式是有助于理解的具体示例，并且可 以应用各种压缩方案，包括MPEG(例如，MP2、MP4、MP7等)、JPEG、 AVC、H.264、H.265或HEVC中的至少一种。此外，增强处理可以包括 降噪、降噪简单、细节增强、细节增强简单、色调映射、对比度增强、 颜色增强或帧速率转换。此外，基于广播/STB的两大类环境标准，诸如 压缩方法、压缩比、增强、放大和压缩顺序，进一步导出图像类型。此 外，原始图像可以使用各种分辨率的图像，包括SD、HD、全HD或超 HD中的至少一种。替代地，原始图像可以是多种类型，包括电影中的新 闻、戏剧或纪录片中的至少一种。这是因为图像特征可能因图像内容类 型而不同。还可以通过应用可能影响图像特征的各种图像处理如图像恢 复、图像变换等，来生成训练图像。
如上所述，通过使用可以在真实广播环境中使用的各种训练图像来 训练第一AI模型，可以在任何输入图像中获得尽可能准确的放大比率。
图11A至图11C是描述根据实施方式的使用第二AI模型的放大处理 的方法的视图。
根据实施方式，第二AI模型，即用于将缩小后的图像放大的AI模 型可以实现为用于超分辨率处理的学习网络模型。超分辨率表示通过一 系列媒体处理将低分辨率图像转换成高分辨率图像的处理。
根据实施方式，如图11A所示，处理器110可以使用由多个神经网 络层形成的第二AI模型30来将缩小后的图像放大。多个神经网络中的 每一个包括多个参数(或多个权重值)，并且可以通过对多个参数和先前 计算结果执行算法来执行神经网络操作。包括在多个神经网络层中的参 数可以通过AI模型的训练结果来优化。例如，可以再次更新参数，使得 在训练过程中从AI模型获得的损失值或成本值可以最小化。人工神经网 络可以包括深度神经网络(DNN)，并且可以包括例如卷积神经网络 (CNN)、递归神经网络(RNN)、生成对抗网络(GAN)、受限玻尔兹 曼机(RBM)、深度置信网络(DBN)、双向递归深度神经网络(BRDNN)或者深度Q网络，但是不限于此。
如图11B所示，处理器110可以通过对缩小后的图像10执行插值处 理20并将插值后的图像11输入到第二AI模型30，来获得残留图像12。 也就是说，第二AI模型30可以实现为残留神经网络。这里，形成残留 神经网络的多个层中的每一层可以通过使用包括不同参数的滤波器来为 插值的图像生成残留图像。这里，参数可以与滤波器的权重(或系数) 相同。在这种情况下，第二AI模型30可以使用各种激活函数来执行算 法，所述激活函数例如是恒等式函数、逻辑Sigmoid函数、双曲正切(tanh) 函数、ReLU函数、漏ReLU函数等。然而，第二AI模型30不一定生成 残留图像，并且可以根据第二AI模型30的实施方式处理通过各种方法 输入的图像，并且输出处理后的图像。
在这种情况下，处理器110可以通过组合插值后的图像11和残留图 像12来获得输出图像13，即例如高分辨率图像。这里，插值处理意味着 将低分辨率图像缩放为高分辨率图像的处理。可以使用例如双线性插值、 最近邻插值、双三次插值、去卷积插值、子像素卷积插值、多相插值、 三线性插值、线性插值等中的至少一种插值方法。残留图像可以是仅包括残留图像信息的图像。这里，残留信息可以是根据输入图像和参考图 像之间的差异的信息，并且可以包括例如诸如边缘方向、边缘强度、噪 声信息或纹理信息的信息，但不限于此。根据另一示例，残留信息可以 包括灰度信息、亮度信息或伽马信息中的至少一个。
根据另一示例，如图11C所示，处理器110可以通过将缩小后的图 像10输入到第二AI模型30来获得残留图像12'，并且通过对残留图像 12'进行插值40来获得插值残留图像12”。此外，处理器110可以对缩小 后的图像10执行插值处理20，以获得插值图像11。处理器110可以通 过将插值图像11与插值残留图像12”组合来获得输出图像13，例如高分 辨率图像。也就是说，与图11B的实施方式不同，根据图11C所示的实 施方式可以通过将缩小后的图像10输入到第二AI模型30来获得残留图 像12'。
根据另一实施方式，还可以包括不同于第二AI模型30的AI模型， 例如第三AI模型。在这种情况下，第二AI模型和第三AI模型可以顺序 或并行操作。例如，处理器110可以将缩小后的图像10输入到第二AI 模型，将第二AI模型的输出输入到第三AI模型，然后基于从第三AI模 型输出的图像获得输出图像。作为另一示例，处理器110可以将缩小后 的图像10输入到第二和第三AI模型中的每一个，并且基于从第二和第 三AI模型并行输出的多个图像来获得输出图像。例如，第二AI模型是 生成第一残留图像的模型，并且第三AI模型可以包括生成第二残留图像 的模型。替代地，第二AI模型是用于放大分辨率的模型，并且第三AI 模型可以是用于上述多种图像处理之一(例如，降噪)的模型。第二AI 模型可以是用于对象区域处理的模型，第三AI模型可以是用于背景区域 处理的模型。
图12是描述根据实施方式的电子装置的操作的视图。
图12示出了电子装置100实现为4K UHD显示设备。在图12中， 为了便于描述，示出了处理器110包括图像分析模块1210、缩小器1220 和放大器1230。图像分析模块1210、缩小器1220和放大器1230可以实 现为处理器110中的至少一个软件、至少一个硬件或其组合。
在图12中，为了方便描述，假设输入到电子装置100中的图像的分 辨率是例如SD、HD、FHD或UHD中的任何一种。
分辨率信息可以包括在输入到电子装置100的图像中，并且当输入 图像的分辨率为SD时，处理器110确定需要放大，并且可以将接收到的 图像提供给放大器1230。然而，根据实施方式，当输入图像的分辨率是 HD、FHD或UHD之一时，处理器110需要确定输入图像是原始图像还 是放大后的图像。在这种情况下，处理器110可以将输入图像提供给图 像分析模块1210。
图像分析模块1210可以分析输入图像，以确定输入图像是原始图像 还是放大后的图像。例如，上述第一AI模型可用于获得输入图像的放大 信息，并基于所获得的放大信息确定输入图像是原始图像还是放大后的 图像。
当输入图像是HD或FHD的原始图像时，图像分析模块1210可以 向放大器1230提供输入图像。这是因为输出分辨率是UHD，分辨率的 放大是必要的。如果输入图像是UHD的原始图像，则图像分析模块1210 可以确定输入图像对于放大是不必要的，并且可以不向放大器1230提供 接收到的图像。如果输入图像是HD、FHD或UHD的放大后的图像之一， 则图像分析模块1210可以根据实施方式确定有必要执行缩小和放大，并 且可以向缩小器1220提供输入图像以及相应的缩小信息(例如，缩小比 率)。例如，图像分析模块1210可以基于所获得的放大信息获得缩小信 息。
缩小器1220可以基于从图像分析模块1210提供的缩小信息(例如， 缩小比率)来缩小输入图像。然而，也有可能图像分析模块1210向缩小 器1220提供放大信息，并且缩小器1220基于放大信息获得缩小信息。
缩小器1220可以对输入图像执行缩小，并向放大器1230提供缩小 后的图像。例如，缩小器1220可以将输入图像缩小成原始图像的分辨率。
基于输出分辨率，放大器1230可以通过对从缩小器1220接收的缩 小后的图像(即，具有原始图像的分辨率的缩小后的图像)进行放大， 来获得输出图像。例如，放大器1230可以通过使用放大功能块对缩小后 的图像进行放大以处理高分辨率图像来获得高分辨率输出图像。例如， 处理器110可以使用字典学习和稀疏表示(DLSR)技术来放大1340个接受图像质量处理的图像。DLSR是使用基于训练DB(包括高分辨率原 始图像和低分辨率图像)训练的CNN模型来增强输入图像分辨率的技术。 根据实施方式，DLSR技术可以通过包括生成对抗保险网络(GAN)，通 过DLSR处理，来使图像中的纹理部分生成效果最大化。一般而言，GAN 可以产生生成器中不存在的数据，并且鉴别器可以通过训练产生与真实 数据相似的数据，以通过竞争性训练两个数据来区分真实数据和虚假数 据。通过将GAN应用于图像质量增强，可以自然地生成原始图像中不存 在但类似于传统图像特征的纹理，因此期望增强纹理区域中的细节。因 此，可以获得高分辨率输出图像。然而，DLSR可以设计成通常放大成×2、 ×3和×4的整数比。因此，要将720×480的分辨率放大成3840×2160，需 要放大十进制小数点。为此，可以使用各种常规的放大方案来放大非整 数比率。
图13是描述图12所示的电子装置的操作的修改实施方式的视图。 将不进一步描述与图12的配置重叠的图13的配置。
处理器110通过输入图像的图像分析1310来确定输入图像的放大比 率。如图13所示，处理器110针对可以执行HD、FHD或UHD的放大 的图像来执行图像分析1310，并且可以不针对SD图像执行单独的图像 分析，并且不针对SD彩色图像执行单独的图像分析。例如，处理器110 可以使用上述第一AI模型来识别输入图像的放大状态和放大信息。
如果确定出输入图像是通过放大原始图像获得的图像，则处理器110 可以基于输入图像信号的缩小比率来缩小图像1320。例如，处理器110 可以将放大后的图像缩小成原始图像的估计分辨率。例如，如果识别出 4K UHD输入图像是通过将SD分辨率的原始图像放大成4K UHD获得 的，则处理器110可以将输入图像缩小成SD分辨率。
处理器110然后可以对缩小成估计的原始分辨率的图像执行第一图 像处理1340。第一图像质量处理可以是基于原始分辨率(例如，SD分辨 率)的图像质量处理(例如，降噪、细节增强)。在这种情况下，对缩小 后的图像(例如，低分辨率图像)执行图像质量处理，因此，可以通过 低复杂度的硬件和/或软件来计算用于图像质量处理的平均值/直方图值 的统计值。
处理器110可以对进行第一图像质量处理的图像执行放大处理1330， 以放大到输出分辨率(例如，4K UHD)。
处理器110可以对放大成输出分辨率的图像执行第二图像质量处理 1350。第二图像质量处理可以是基于输出分辨率的图像质量处理(例如， 色调映射、对比度增强和颜色增强)。
处理器110可以通过对经过第二质量处理而处理的图像执行第三图 像质量处理1360(例如，帧速率转换)，来获得输出图像。
作为图像分析1310的结果，如果输入图像是未被放大的4K UHD原 始图像，则处理器110可以基于相应图像的原始分辨率来执行图像质量 处理1335(例如，简单降噪、简单细节增强)，然后通过基于输出分辨率 仅执行第二图像质量处理和第三图像质量处理来获得输出图像。这是因 为在分辨率与输出分辨率相同的4K UHD原始图像的情况下，不需要执行放大处理。当输入图像是SD图像时，处理器110可以执行第一图像处 理1340、放大1330、第二图像处理1350和第三图像处理1360。
上述基于输入分辨率的图像处理和基于输出分辨率的图像处理仅仅 是示例，并且可以省略一些图像处理，或者可以执行除相应图像处理之 外的额外图像处理。
图14是更详细地描述图12和图13所示的图像分析操作的视图。
参考图14，处理器110可以首先识别输入图像中的感兴趣区域1211， 然后提取所识别的感兴趣区域中的特征值1212。根据具体情况，可以省 略对感兴趣区域的识别。
随后，处理器110可以将提取的特征值输入到分类网络1213中，以 获得放大信息，例如放大比率。这里，分类网络可以用上述第一AI模型 来实现。例如，处理器110可以获得对应于每个帧单元的放大率。
处理器110可以检测输入图像中的场景改变时机1214，并且通过基 于所获得的放大比率和检测到的场景改变时机，来确定缩小比率1215以 执行缩小。例如，处理器110可以确定对应于场景改变时机的帧(即， 下一场景开始的帧)的缩小比率，并从相应的帧开始执行缩小。当以连 续的方式检测到大于或等于阈值数量(例如，三帧)的同一放大比率时， 处理器110可以在此后的场景改变时机从该帧执行缩小。
在一个场景的再现期间，如果放大比率值不同，并且每当每个帧的 放大比率变得不同时就执行缩小，则不可能避免出现用户对图像质量改 变的可见性。为了避免这个问题，可以执行场景检测，并且可以仅在场 景改变的时机启动下采样。
图15是描述根据实施方式的电子装置的硬件结构的视图。
图15示出了根据实施方式的处理器110的芯片结构，并且处理器110 芯片可以包括用于各种处理的解决方案。这里，解决方案指的是可再利 用的功能块，并且可以是硬件或软件功能块。在下文中，为了便于描述， 将描述解决方案被实现为定制硬件的情况。
例如，可以实现用于图像处理的处理器110的芯片，使得存储器120、 CPU 111、视频解码器112、DS(Downscale，缩小部)113、NR(Noise Reduction，降噪部)114、DE(DetailEnhancement，细节增强部)115、 UP(Upscale，放大部)116、FRC(Frame Rate Conversion，帧速率转换) 117的定制硬件通过总线连接。在图15中，为了便于描述，省略了与图 13的配置中的第二图像质量处理部分相对应的配置。
这里，视频解码器112是用于解码处理的定制硬件。根据实施方式， 输入图像可以是经压缩的图像数据，并且视频解码器112可以对经压缩 的图像执行解码处理。例如，输入图像可以是已经通过基于频率转换的 图像压缩方法编码的图像数据。视频解码器112可以通过以下处理中的 至少一个来解码经压缩的图像数据：通过经压缩的图像数据的熵解码来 生成量化残留数据、量化残留数据的逆量化、将频域分量的残留数据转 换成空间域分量、生成预测数据、或者通过使用预测数据和残留数据来 重建图像。解码方法可以通过与使用在图像压缩中执行的编码中使用的 频率转换的图像压缩方法之一对应的图像重建方法来实现，诸如 MPEG-2、H.264、MPEG-4、HEVC、VC-1、VP8、VP9、AV1等。
DS 113是用于缩小处理的定制硬件，NR 114是用于降噪处理等的定 制硬件，DE115是用于细节增强处理的定制硬件，其中UP 116是用于放 大(例如超分辨率处理)的定制硬件，并且FRC 117可以是用于帧速率 转换的定制硬件。例如，CPU 111可以基于存储在存储器120中的关于第 一AI模型的信息来控制DS 113的操作。此外，CPU 111可以基于存储在存储器120中的关于第二AI模型的信息来控制UP 116的操作。然而， 实施方式不限于此，并且DS 113和UP 116的操作可以由诸如NPU的其 他处理器控制。
然而，根据另一实施方式，包括在处理器110芯片中的各种定制硬 件可以用至少一个软件或者至少一个软件和至少一个硬件的组合来实 现。例如，对应于视频解码器112的一些功能的逻辑可以在视频解码器 112内实现，并且对应于视频解码器112的其他功能的逻辑可以实现为可 由CPU执行的软件。
图16是示出根据实施方式的电子装置的实施方式的视图。
参考图16，电子装置100”可以包括处理器110、存储器120、输入器 130、显示器140、输出器150和用户接口160。将不进一步描述与图2 的配置重叠的图10的配置。
输入器130可以接收各种类型的内容。例如，输入器130可以通过 从外部设备(例如，源设备)、外部存储介质(例如，通用串行总线(USB) 设备)、外部服务器(例如，网络服务器等)通过诸如基于接入点(AP) 的Wi-Fi(无线LAN网络)、蓝牙、Zigbee、有线/无线局域网(LAN)、 广域网(WAN)、以太网、IEEE 1394、高清多媒体接口(HDMI)、通用 串行总线(USB)、移动高清链路(MHL)、高级加密标准(AES)/欧洲 广播联盟(EBU)、光学、同轴等通信方法流式传输或下载来接收音频信 号。这里，图像信号可以是SD、HD、全HD或超HD图像中的任何一个 的数字图像信号，但不限于此。
显示器140可以被实现为包括自发光元件的显示器或者包括非自发 光元件和背光装置的显示器。例如，显示器140可以实现为各种类型的 显示器，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、 发光二极管(LED)、微型LED、微型LED、等离子体显示面板(PDP)、 量子点(QD)显示器、量子点发光二极管(QLED)等。在显示器140 中，也可以包括背光单元、可以实现为非晶硅薄膜晶体管、低温多晶硅 (LTPS)TFT、有机薄膜晶体管(OTFT)等的驱动电路。同时，显示器 140可以实现为耦接到触摸传感器的触摸屏、柔性显示器、可滚动显示器、 三维(3D)显示器、多个显示模块物理连接的显示器等。处理器110可 以控制显示器140输出根据各种实施方式获得的输出图像。输出图像可 以是高分辨率的，例如4K、8K或更高。
输出器150输出声音信号。例如，输出器150可以将处理器110处 理的数字声音信号转换成模拟声音信号，放大并输出模拟声音信号。例 如，输出器150可以包括能够输出至少一个声道的至少一个扬声器单元、D/A转换器、音频放大器等。根据一个示例，输出器150可以实现为输 出各种多声道声音信号。在这种情况下，处理器110可以控制输出器150 根据输入图像的增强处理来处理输入声音信号。例如，处理器110可以 将输入的两声道声音信号转换成虚拟多声道(例如，5.1声道)声音信号， 识别电子装置100”所处的位置以将该信号处理为针对空间优化的立方体 声音信号，或者根据输入图像的类型(例如，内容类型)提供优化的声 音信号。
用户接口160可以实现为能够执行上述显示功能和输入功能的设备， 诸如按钮、触摸板、鼠标、键盘、遥控接收器或发射器或触摸屏。遥控 收发器可以通过至少一种通信方法，诸如红外线通信、蓝牙通信或Wi-Fi 通信，从外部遥控器接收遥控信号，或者发送遥控信号。
根据实施方式，电子装置100”还可以包括调谐器和解调器。调谐器 (未示出)可以通过调谐用户选择的频道或通过天线接收的RF广播信号 中的所有预存频道来接收射频(RF)广播信号。解调器(未示出)可以 接收和解调由调谐器转换的数字中频(IF)信号和数字IF(DIF)信号， 并执行通道解码等。根据一个实施方式，经由调谐器接收的输入图像可以经由解调器(未示出)处理，然后被提供给处理器110以用于根据一 个实施方式的图像处理。
图17是描述根据实施方式的用于控制电子装置的方法的流程图。
根据用于控制图17的电子装置的方法，在操作S1710中，使用第一 AI模型获得输入图像的放大信息。第一AI模型可以经过训练以获得图像 的放大信息。输入图像的放大信息可以包括输入图像的放大比率或输入 图像的原始分辨率信息中的至少一个。
在操作S1620中，基于获得的放大信息来缩小输入图像。
在操作S1630中，通过基于输出分辨率将缩小后的图像放大来获得 输出图像。
在获得输出图像的操作S1630中，可以对缩小后的图像执行第一图 像质量处理，可以放大经过第一图像质量处理而处理过的图像，并且可 以通过对放大后的图像执行第二图像质量处理来获得输出图像。
在获得输出图像的操作S1630中，可以使用第二AI模型来将缩小后 的图像放大。第二AI模型可以经过训练以执行超分辨率处理。
根据实施方式，第一AI模型可以经过训练以基于图像的特征信息获 得图像的放大信息。在这种情况下，在获得输入图像的放大信息的操作 S1610中，可以通过将从输入图像获得的特征信息输入到第二AI模型中 来获得输入图像的放大信息。
在获得输入图像的放大信息的操作S1610中，可以包括识别输入图 像中的边缘区域，以及获得包括在所识别的边缘区域中的像素的特征信 息。
此外，在获得输入图像的放大信息的操作S1610中，可对所识别的 边缘区域进行模糊，针对边缘区域之外的像素相对于包括在模糊的边缘 区域中的中心像素获得特征信息，并且可以通过将所获得的特征信息输 入到第一AI模型中来获得输入图像的放大信息。
在获得输入图像的放大信息的操作S1610中，可以包括识别输入图 像中的感兴趣区域和识别包括在所识别的感兴趣区域中的边缘区域。
根据另一实施方式，第一AI模型可以是经过训练以基于图像或图像 的边缘区域获得放大信息的模型。在这种情况下，在获得输入图像的放 大信息的步骤S1610中，输入图像或包括输入图像的边缘区域的图像被 输入到第一AI模型，以获得输入图像的放大比率。
在缩小输入图像的操作S1620中可以包括基于输入图像的场景改变 的时机来确定是否缩小输入图像。
此外，在缩小输入图像的操作S1620中，如果在输入图像的第一场 景部分中获得了放大信息，则可以对第一场景部分之后的第二场景部分 中包括的帧执行缩小。
在缩小输入图像的操作S1620中，可以在输入图像的预定帧部分中 获得放大信息，并且当在第一场景部分之后在阈值数量的场景部分中使 用相同的放大信息时，可以对第二场景部分在阈值数量的场景部分之后 开始的帧中执行缩小。
根据实施方式，可以基于与多个训练图像相关的信息来训练第一AI 模型，其中多个训练图像的压缩方法、压缩率、放大比率、增强处理状 态、压缩和放大之间的顺序或者图像类型中的至少一个是不同的。
根据上述各种实施方式，在估计在外部放大的图像的原始分辨率， 然后通过高性能放大技术放大图像之后，可以提供高分辨率图像。
通过执行由于缩小后的图像的硬件费用的原因而难以对放大后的图 像进行处理的图像质量处理，实现了使用低复杂度硬件并相应地降低硬 件实施费用的效果。
如果应用如上所述的实施方式，即使输入图像的分辨率与输出图像 的分辨率相同，在图像质量上也存在明显的区别。在这种情况下，可以 确定应用了本公开的实施方式。
各种实施方式不仅可以应用于显示装置，还可以应用于所有电子装 置，诸如图像接收设备，诸如机顶盒和图像处理设备等。上述各种实施 方式可以通过电子装置中提供的嵌入式服务器或图像处理设备的外部服 务器来执行。
根据各种实施方式的方法可以实现为可以在传统电子装置中安装的 应用或软件。
此外，根据各种实施方式的方法可以仅通过传统电子装置中安装的 软件升级或硬件升级来实现。
虽然上述实施方式能够在计算机上可执行的程序或指令中准备，但 是准备好的程序或指令可以存储在介质中。
介质可以存储计算机可执行程序或指令，存储或临时存储用于执行 或下载的程序或指令。此外，介质可以是单个或几个硬件联接的各种记 录装置或存储装置中的任何一种，并且可以分布在网络上，而不限于直 接连接到任何计算机***的任何介质。介质的示例可以包括磁介质，诸 如硬盘、软盘和磁带；光学介质，诸如光盘只读存储器(CD-ROM)或数字多功能盘(DVD)；磁光介质，诸如软光盘；以及专门被配置为存储 和执行程序命令的硬件设备，诸如只读存储器(ROM)、随机存取存储器 (RAM)、闪存等，使得程序指令可以存储在其中。作为另一种介质的示 例，可以存在用于分发应用的应用商店、用于供应或分发其他各种软件 的站点、可记录介质或在服务器中管理的存储介质等。
根据一个实施方式，可以提供包括在计算机程序产品中的方法。计 算机程序产品可以作为商品在卖方和买方之间交换。计算机程序产品可 以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分 发，或者通过应用商店(例如，PlayStoreTM)在线分发。在在线分发的 情况下，计算机程序产品的至少一部分可以暂时或至少暂时存储在存储 介质中，诸如制造商的服务器、应用商店的服务器或中继服务器的存储 器。
上述AI模型可以在软件模块中实现。当在软件模块(例如，包括指 令的程序模块)中实现时，AI模型可以存储在计算机可读记录介质上。
AI模型也可以以可下载软件的形式提供。计算机程序产品可以包括 软件程序形式的产品(例如，可下载的应用)，该软件程序通过制造商或 电子市场以电子方式分发。对于电子分发，软件程序的至少一部分可以 存储在存储介质上或者可以临时生成。在这种情况下，存储介质可以是 制造商或电子市场的服务器，或者中继服务器的存储介质。
根据一个或多个实施方式的每个元件(例如，模块或程序)可以由 单个实体或多个实体组成，并且可以省略上述子元件中的一些子元件， 这些元件可以进一步包括在各种实施方式中。替代地或附加地，一些元 件(例如，模块或程序)可以被集成到一个实体中，以在集成之前执行 由每个相应元件执行的相同或相似的功能。根据各种实施方式，由模块、程序或其他元件执行的操作可以顺序地、并行地、重复地或启发式地方 式执行，或者至少一些操作可以以不同的顺序执行。
尽管已经参考某些附图图示和描述了各种实施方式，但是本公开不 限于特定实施方式或附图，并且本领域普通技术人员将理解，可以在不 脱离例如由所附权利要求及其等同所限定的精神和范围的情况下，对形 式和细节进行各种改变。

Claims (15)

1.一种电子装置，包括：
处理器，配置为执行操作，所述操作包括：
通过使用第一人工智能AI模型获得输入图像的第一放大信息，其中，所述第一AI模型经过训练以获得图像的放大信息；
基于所述第一放大信息，通过缩小所述输入图像来获得经缩小的图像；以及
基于输出分辨率，通过放大所述经缩小的图像来获得输出图像。
2.根据权利要求1所述的电子装置，其中，所述第一放大信息包括所述输入图像的放大比率信息和所述输入图像的原始分辨率信息中的至少一个。
3.根据权利要求1所述的电子装置，其中，所述处理器还配置为通过以下操作来获得所述输出图像：
对所述经缩小的图像执行第一图像质量处理以获得第二图像，
通过放大所述第二图像来获得经放大的第二图像，以及
对所述经放大的第二图像执行第二图像质量处理。
4.根据权利要求1所述的电子装置，其中，所述处理器还配置为通过使用第二AI模型来放大所述经缩小的图像，其中，所述第二AI模型已经过训练以执行超分辨率处理。
5.根据权利要求4所述的电子装置，其中，所述第一AI模型配置为基于所述输入图像的特征信息来获得所述第一放大信息，以及
所述处理器还配置为：通过将所述特征信息输入到所述第二AI模型来获得所述第一放大信息。
6.根据权利要求5所述的电子装置，其中，所述处理器还配置为执行以下操作：
识别所述输入图像中的第一边缘区域，以及
获得所述特征信息，其中，所述特征信息包括与所述第一边缘区域中包括的第一像素有关的第一特征信息。
7.根据权利要求6所述的电子装置，其中，所述处理器还配置为执行进一步的操作，所述进一步的操作包括：
模糊所述第一边缘区域，
获得所述第一特征信息，其中，所述第一像素不在边距区域中，并且所述边距区域相对于被模糊的第一边缘区域中包括的中心像素而设置，以及
通过将所述第一特征信息输入到所述第一AI模型来获得所述第一放大信息。
8.根据权利要求6所述的电子装置，其中，所述处理器配置为执行以下操作：
识别所述输入图像中的感兴趣区域，以及
在所述感兴趣区域内识别所述第一边缘区域。
9.根据权利要求1所述的电子装置，其中，所述处理器还配置为：通过向所述第一AI模型输入包括所述输入图像的边缘区域的第二图像来获得所述第一放大信息。
10.根据权利要求1所述的电子装置，其中，所述处理器还配置为：基于所述输入图像的场景改变的时机，来确定是否缩小所述输入图像。
11.根据权利要求1所述的电子装置，其中，所述第一放大信息与所述输入图像的第一场景部分相关联，并且所述处理器还配置为：
基于所述第一放大信息从第二场景部分中包括的帧开始执行所述缩小，其中，所述第二场景部分处于所述第一场景部分之后。
12.根据权利要求11所述的电子装置，其中，所述处理器还配置为执行以下操作：
以所述输入图像的预定帧间隔单位获得所述第一放大信息，以及
基于在所述第一场景部分之后、在阈值数量的场景中的场景部分中第二放大信息相对于所述第一放大信息未改变，从所述第二场景部分开始缩小所述输入图像，其中，所述第二场景部分出现在具有所述阈值数量的场景之后。
13.根据权利要求1所述的电子装置，其中，所述第一AI模型是基于与多个训练图像相关的第一信息来训练的，其中，在所述多个训练图像中，分辨率、压缩方法、压缩率、数据传输速度、放大比率、增强处理、压缩和缩放顺序中的至少一个不同于所述输入图像。
14.一种控制电子装置的方法，所述方法包括：
通过使用第一人工智能AI模型获得输入图像的第一放大信息，其中，所述第一AI模型经过训练以获得图像的放大信息；
基于所述第一放大信息，通过缩小所述输入图像来获得经缩小的图像；以及
基于输出分辨率，通过放大所述经缩小的图像来获得输出图像。
15.根据权利要求14所述的方法，其中，所述第一放大信息包括所述输入图像的放大比率信息和所述输入图像的原始分辨率信息中的至少一个。
CN202010361576.6A 2019-11-28 2020-04-30 电子装置及其控制方法 Active CN112866803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310821658.8A CN116744056A (zh) 2019-11-28 2020-04-30 电子装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190156162A KR102676093B1 (ko) 2019-11-28 2019-11-28 전자 장치 및 그 제어 방법
KR10-2019-0156162 2019-11-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310821658.8A Division CN116744056A (zh) 2019-11-28 2020-04-30 电子装置及其控制方法

Publications (2)

Publication Number Publication Date
CN112866803A true CN112866803A (zh) 2021-05-28
CN112866803B CN112866803B (zh) 2023-07-21

Family

ID=69845882

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310821658.8A Pending CN116744056A (zh) 2019-11-28 2020-04-30 电子装置及其控制方法
CN202010361576.6A Active CN112866803B (zh) 2019-11-28 2020-04-30 电子装置及其控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310821658.8A Pending CN116744056A (zh) 2019-11-28 2020-04-30 电子装置及其控制方法

Country Status (5)

Country Link
US (2) US11544816B2 (zh)
EP (1) EP3828809A1 (zh)
KR (1) KR102676093B1 (zh)
CN (2) CN116744056A (zh)
WO (1) WO2021107290A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
US20220198610A1 (en) * 2020-12-17 2022-06-23 PicsArt, Inc. Image super-resolution
CN115063494B (zh) * 2022-06-29 2024-05-28 北京航空航天大学 火星图像压缩方法、装置、计算机设备和存储介质
KR20240034010A (ko) * 2022-09-06 2024-03-13 삼성전자주식회사 전자 장치 및 그 영상 처리 방법
CN116385318B (zh) * 2023-06-06 2023-10-10 湖南纵骏信息科技有限公司 一种基于云桌面的图像画质增强方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831605A (zh) * 2012-07-31 2012-12-19 武汉大学 用于大型影像的多尺度图像分割结果快速可视化方法
CN103366347A (zh) * 2013-07-16 2013-10-23 苏州新视线文化科技发展有限公司 基于稀疏表示的图像超分辨率重建方法
US20170180807A1 (en) * 2015-12-18 2017-06-22 Le Holdings (Beijing) Co., Ltd. Method and electronic device for amplifying video image
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
EP3223237A1 (en) * 2016-03-22 2017-09-27 Tata Consultancy Services Limited Systems and methods for detecting and tracking a marker
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
KR20190099853A (ko) * 2018-02-20 2019-08-28 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019168332A1 (ko) * 2018-02-27 2019-09-06 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933464B2 (en) * 2006-10-17 2011-04-26 Sri International Scene-based non-uniformity correction and enhancement method using super-resolution
US8655031B2 (en) * 2007-03-27 2014-02-18 Sony Corporation Video content identification using scene change signatures from downscaled images
US8559516B2 (en) * 2007-06-14 2013-10-15 Sony Corporation Video sequence ID by decimated scene signature
JP5025574B2 (ja) 2008-06-11 2012-09-12 キヤノン株式会社 画像処理装置及びその制御方法
KR20100068690A (ko) 2008-12-15 2010-06-24 엘지전자 주식회사 디지털 방송 수신기에서의 화질 보상장치 및 방법
KR101351126B1 (ko) * 2009-07-21 2014-01-14 퀄컴 인코포레이티드 비디오 이미지들의 검출 및 개선을 위한 방법 및 시스템
KR20110009021A (ko) 2009-07-21 2011-01-27 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
CN103038783B (zh) * 2010-03-09 2016-03-09 泰景***公司 自适应视频解码电路及其方法
JP2012019380A (ja) * 2010-07-08 2012-01-26 Sony Corp 画像処理装置及び画像処理方法
KR101760420B1 (ko) 2011-01-04 2017-07-21 엘지전자 주식회사 영상 신호의 샤프니스 처리 장치 및 방법, 방송신호 수신기
US9299128B2 (en) * 2013-05-23 2016-03-29 Futurewei Technologies, Inc. Delta interpolation for upsampling imaging solution
US10037594B2 (en) 2013-12-27 2018-07-31 Sharp Kabushiki Kaisha Resolution estimating device
WO2015103145A1 (en) * 2014-01-03 2015-07-09 Thomson Licensing Method, apparatus, and computer program product for optimising the upscaling to ultrahigh definition resolution when rendering video content
CN105530423B (zh) * 2014-09-30 2018-09-04 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置
US10089532B2 (en) * 2015-02-23 2018-10-02 Kodak Alaris Inc. Method for output creation based on video content characteristics
US20160343113A1 (en) * 2015-05-18 2016-11-24 Sharp Laboratories Of America, Inc. System for enhanced images
WO2018154092A1 (en) 2017-02-24 2018-08-30 Deepmind Technologies Limited Multiscale image generation
US20190035113A1 (en) 2017-07-27 2019-01-31 Nvidia Corporation Temporally stable data reconstruction with an external recurrent neural network
KR102442449B1 (ko) 2017-09-01 2022-09-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
EP3506199A1 (en) 2017-12-28 2019-07-03 Vestel Elektronik Sanayi ve Ticaret A.S. Method for enhancing visual quality of videos
US10783611B2 (en) 2018-01-02 2020-09-22 Google Llc Frame-recurrent video super-resolution
US11093788B2 (en) * 2018-02-08 2021-08-17 Intel Corporation Scene change detection
EP3541080B1 (en) 2018-03-15 2022-08-03 Vestel Elektronik Sanayi ve Ticaret A.S. Method for determining a native resolution of a video content, method for creating a look-up table, device and non-volatile data carrier
US11409986B2 (en) * 2018-11-15 2022-08-09 Intel Corporation Trainable vision scaler
US10909940B2 (en) * 2018-12-18 2021-02-02 Novatek Microelectronics Corp. Method of handling overdrive for image data and related overdrive device
KR102662951B1 (ko) * 2018-12-27 2024-05-02 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
US10839565B1 (en) * 2019-08-19 2020-11-17 Samsung Electronics Co., Ltd. Decoding apparatus and operating method of the same, and artificial intelligence (AI) up-scaling apparatus and operating method of the same
US11436445B2 (en) * 2020-04-06 2022-09-06 Qualcomm Incorporated Methods and apparatus for adaptive object classification
US20210385463A1 (en) * 2021-08-20 2021-12-09 Intel Corporation Resource-efficient video coding and motion estimation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831605A (zh) * 2012-07-31 2012-12-19 武汉大学 用于大型影像的多尺度图像分割结果快速可视化方法
CN103366347A (zh) * 2013-07-16 2013-10-23 苏州新视线文化科技发展有限公司 基于稀疏表示的图像超分辨率重建方法
US20170180807A1 (en) * 2015-12-18 2017-06-22 Le Holdings (Beijing) Co., Ltd. Method and electronic device for amplifying video image
EP3223237A1 (en) * 2016-03-22 2017-09-27 Tata Consultancy Services Limited Systems and methods for detecting and tracking a marker
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
KR20190099853A (ko) * 2018-02-20 2019-08-28 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019168332A1 (ko) * 2018-02-27 2019-09-06 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Also Published As

Publication number Publication date
CN112866803B (zh) 2023-07-21
KR102676093B1 (ko) 2024-06-19
WO2021107290A1 (en) 2021-06-03
EP3828809A1 (en) 2021-06-02
CN116744056A (zh) 2023-09-12
US20210166345A1 (en) 2021-06-03
US11544816B2 (en) 2023-01-03
US20210166304A1 (en) 2021-06-03
KR20210066653A (ko) 2021-06-07
US11551332B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
CN112866803B (zh) 电子装置及其控制方法
US10897633B2 (en) System and method for real-time processing of compressed videos
US10977802B2 (en) Motion assisted image segmentation
US11978178B2 (en) Electronic device, control method thereof, and system
US11574385B2 (en) Electronic apparatus and control method for updating parameters of neural networks while generating high-resolution images
KR102661879B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
US11483585B2 (en) Electronic apparatus and controlling method thereof
US11436442B2 (en) Electronic apparatus and control method thereof
KR20210108027A (ko) 전자 장치 및 그 제어 방법
US11961214B2 (en) Electronic apparatus and image processing method thereof
KR20220158525A (ko) 전자 장치 및 그 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant