CN112399120B - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN112399120B
CN112399120B CN202010112631.8A CN202010112631A CN112399120B CN 112399120 B CN112399120 B CN 112399120B CN 202010112631 A CN202010112631 A CN 202010112631A CN 112399120 B CN112399120 B CN 112399120B
Authority
CN
China
Prior art keywords
image
parameters
mode
layer
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010112631.8A
Other languages
English (en)
Other versions
CN112399120A (zh
Inventor
赵仁相
俞基源
李元宰
赵大星
黄赞荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112399120A publication Critical patent/CN112399120A/zh
Application granted granted Critical
Publication of CN112399120B publication Critical patent/CN112399120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种电子装置。该电子装置包括：存储器，被配置为存储与包括多个层的人工智能模型有关的信息；以及处理器，被配置为对输入图像执行插值处理，并且使用人工智能模型对插值后的图像进行处理以获得输出图像，其中，处理器被配置为基于需要对在所述多个层中的至少一个层中使用的参数进行更新而以第一模式或第二模式进行操作，第一模式包括基于使用人工智能模型所处理的图像并基于插值后的图像来获得输出图像的模式，其中在人工智能模型中所述参数被更新，并且第二模式包括基于插值后的图像来获得输出图像的模式。

Description

电子装置及其控制方法
技术领域
本公开涉及电子装置及其控制方法。例如，涉及使用人工智能模型来执行图像处理的电子装置及其控制方法。
背景技术
随着电子技术的发展，已经开发并推广了各种类型的电子装置。具体地，在诸如家庭、办公室、公共场所等各种场所使用的显示装置近年来日益发展。
近来，对高分辨率图像服务的需求已经大大增加。响应于这样的需求，诸如超分辨率和样式转移的基于深度学习的技术已经用于图像处理。
超分辨率可以是指例如对输入的低分辨率图像执行一系列媒体处理以重构(或构造)高分辨率图像的技术。例如，可以通过使用包括多个层的基于深度学***方向和竖直方向上缩放输入的较低分辨率图像来重构高分辨率图像。
然而，包括在CNN模型中的多个层中的每个层具有大量参数(或加权值)，因此难以在不停止计算的情况下更新参数，并且在更新期间可能在输出图像中出现伪像。
发明内容
本公开的实施例解决了上述缺点和上面没有描述的其他缺点。
根据本公开的示例实施例，一种电子装置包括：存储器，被配置为存储与包括多个层的人工智能模型有关的信息；以及处理器，被配置为对输入图像执行插值处理，并且使用所述人工智能模型对插值后的图像进行处理以获得输出图像，其中，所述处理器被配置为在需要对在所述多个层中的至少一个层中使用的参数进行更新的情况下以第一模式或第二模式进行操作，所述第一模式包括基于使用所述人工智能模型所处理的图像并基于所述插值后的图像来获得所述输出图像的模式，其中在所述人工智能模型中所述参数被更新，并且所述第二模式包括基于所述插值后的图像来获得所述输出图像的模式。
根据本公开的另一示例实施例，一种控制包括存储器的电子装置的方法，在所述存储器中存储有与包括多个层的人工智能模型有关的信息，所述方法包括：对输入图像执行插值处理；以及在需要对在所述多个层中的至少一个层中使用的参数进行更新的情况下基于第一模式或第二模式获得输出图像，其中，所述第一模式包括基于通过使用所述人工智能模型处理插值后的图像而获得的图像、以及所述插值后的图像来获得所述输出图像的模式，其中在所述人工智能模型中所述参数被更新，并且所述第二模式包括基于所述插值后的图像来获得所述输出图像的模式。
根据本公开的另一示例实施例，一种存储计算机指令的非暂时性计算机可读介质，所述计算机指令在由存储有与包括多个层的人工智能模型有关的信息的电子装置的处理器执行时，使得所述电子装置执行操作，所述操作包括：对输入图像执行插值处理；以及在需要对在所述多个层中的至少一个层中使用的参数进行更新的情况下基于第一模式或第二模式获得输出图像，其中，所述第一模式包括基于通过使用所述人工智能模型处理插值后的图像而获得的图像、以及所述插值后的图像来获得所述输出图像的模式，其中在所述人工智能模型中所述参数被更新，并且所述第二模式包括基于所述插值后的图像来获得所述输出图像的模式。
本公开的附加和/或其他方面和优点将部分地在以下描述中进行阐述，并且根据描述将部分地变得清楚，或者可以通过本公开的实践来获悉。
附图说明
从下面结合附图的详细描述中，本公开的某些实施例的以上和其他方面、特征和优点将更加清楚，在附图中：
图1A是示出根据本公开的实施例的电子装置的示例性图像处理操作的示图；
图1B是示出根据本公开的另一实施例的电子装置的示例性图像处理操作的示图；
图2是示出根据本公开的实施例的示例性电子装置的示例性配置的框图；
图3A是示出根据本公开的实施例的在第一模式下的示例性操作的示图；
图3B是示出根据本公开的实施例的在第一模式下的示例性操作的示图；
图3C是示出根据本公开的实施例的在第一模式下的示例性操作的示图；
图4是示出根据本公开的另一实施例的在第一模式下的示例性操作的示图；
图5A是示出根据本公开的实施例的在第二模式下的示例性操作的示图；
图5B是示出根据本公开的另一实施例的在第二模式下的示例性操作的示图；
图5C是示出根据本公开的又一实施例的在第二模式下的示例性操作的示图；
图6是示出根据本公开的另一实施例的在第一模式和第二模式混合的混合模式下的示例性操作的示图；
图7是示出根据本公开的实施例的人工智能模型的另一示例的示图；
图8是示出根据本公开的实施例的处理器的示例性实施方式的示图；
图9是示出根据本公开的实施例的电子装置的示例性操作的示图；
图10是示出根据本公开的实施例的电子装置的示例性实施方式的框图；
图11是示出根据本公开的实施例的服务器的示例性配置的框图；以及
图12是示出根据本公开的实施例的电子装置的示例性方法的流程图。
具体实施方式
本公开提供了一种能够在实时神经网络***中高效地更新参数而无需停止计算的电子装置及其控制方法。
在下文中，将参考附图更详细地描述本公开。
简要描述本公开中所使用的术语，并且将更详细地描述本公开。
考虑到本公开中的功能，选择当前广泛使用的通用术语作为在本公开的实施例中使用的术语，但是可以根据本领域技术人员的意图或司法判例、新技术的出现等改变这些通用术语。此外，在特定情况下，术语可以被任意地选择。这些术语的含义将在本公开的对应描述部分中详细提及。因此，本公开的实施例中所使用的术语应该基于术语的含义和整个本公开的内容而不是仅基于术语的名称来定义。
“第一”、“第二”等术语可以用于描述各种组件，但是这些组件不应被解释为受这些术语的限制。这些术语仅用于将一个组件与另一组件区分开来。
除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解的是，本公开中使用的术语“包括”或“由……形成”可以指定本公开中提到的特征、数字、步骤、操作、组件、部件或者其组合的存在，但并不排除一个或多个其他特征、数字、步骤、操作、组件、部件或者其组合的存在或增加。
表述“A或B中的至少一个”应被理解为指示以下任何一项：“A”，“B”，或“A和B”。
在本公开中，“模块”或“…器”可以执行至少一个功能或操作，并且可以通过硬件或软件来实现，或者通过硬件和软件的组合来实现。此外，除需要通过特定硬件实现的“模块”或“…器”以外，多个“模块”或多个“…器”可以被集成到至少一个模块中并且可以通过至少一个处理器(未示出)来实现。
在下文中，将参考附图更详细地描述本公开的各种示例实施例。然而，本公开可以以各种不同形式来修改，且不限于本文描述的实施例。此外，在附图中，可以省略与描述无关的部分，并且在整个公开中，类似的附图标记可以用于描述类似的元件。
图1A是示出根据本公开的实施例的电子装置的示例性图像处理操作的示图。
根据本公开的示例实施例的电子装置可以使用人工智能模型(或网络模型或学习网络模型)对输入图像执行图像处理。人工智能模型可以包括多个神经网络层。多个神经网络层中的每一个可以具有多个参数(或多个权重值)，并且可以使用先前层的计算结果并通过使用多个参数进行计算来执行神经网络计算(或运算)。可以通过人工智能模型的学习结果来优化多个神经网络层的参数。例如，可以更新多个参数以减小或最小化在学习过程期间由人工智能模型获取的损失值或成本值。人工神经网络可以包括例如但不限于深度神经网络(DNN)。例如，人工神经网络可以包括但不限于例如卷积神经网络(CNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、深度Q网络等，但不限于此。
图1A示出了根据本公开的实施例的用于超分辨率处理的人工智能模型的示例。超分辨率可以是指例如对低分辨率图像执行一系列媒体处理以将图像转换为高分辨率图像的技术。
参考图1A，根据本公开的实施例的电子装置可以对输入图像10(例如，低分辨率图像)执行插值处理20，并且将插值后的图像11输入到人工智能模型30以获得残差图像12。例如，可以通过残差神经网络来实现人工智能模型30。
电子装置可以将插值后的图像11与残差图像12进行组合以获得输出图像13，例如，高分辨率图像。插值处理可以是指例如将图像从低分辨率放大到高分辨率，并且可以使用例如但不限于双线性插值、最近邻插值、双三次插值、解卷积插值、子像素卷积插值、多相插值、三线性插值、线性插值等插值技术中的至少一种。此外，残差图像可以是指例如仅包括残差信息的图像。残差信息可以是基于输入图像与参考图像之间的差异的信息，残差信息可以包括例如但不限于边缘方向、边缘强度、噪声信息、纹理信息等中的至少一项，但不限于此。根据另一示例，残差信息可以包括例如但不限于灰度信息、亮度信息、伽马信息等中的至少一项。
图1B是示出根据本公开的另一实施例的用于超分辨率处理的人工智能模型的示例的示图。
参考图1B，电子装置可以将输入图像10(例如，低分辨率图像)输入到人工智能模型30以获得残差图像12'，并且对输入图像执行插值处理20以获得插值后的图像11。电子装置可以将插值后的图像11与残差图像12’组合以获得输出图像13，例如，高分辨率图像。例如，不同于图1A所示的实施例，根据图1B所示的实施例可以通过将输入图像10输入到人工智能模型30来获得残差图像12′。
可以通过学习获得用于图1A和图1B所示的超分辨率处理的人工智能模型30。通过学习获得人工智能模型可以是指例如使用学习算法学习多个学习数据以获得预定义的操作规则的基本人工智能模型或设置为实现期望特性(或目的)的人工智能模型。根据本公开，可以通过单独的服务器和/或***来执行这样的学习，但是不限于此，并且也可以在电子装置中执行这样的学习。学习算法的示例包括例如但不限于监督学习、无监督学习、半监督学习、强化学习等，但不限于此。
人工智能模型30的示例可以包括例如但不限于：基于CNN的超深度超分辨率(VDSR)技术(Jiwon Kim et al.，Accurate Image Super-Resolution Using Very DeepConvolutional Networks，CVPR，2016)、增强型深度超分辨率网络(EDSR，enhanced deepresidual networks for single image super-resolution)、深度递归卷积网络(DRCN，“Deeply-Recursive Convolutional Network for Image Super-Resolution”，Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition2016)、多尺度深度超分辨率***(MDSR)等，但不限于此。
如上所述，包括在人工智能模型30中的多个神经网络层中的每一个可以具有多个参数，并且可以使用先前层的计算结果并通过使用多个参数进行计算来执行神经网络计算。
然而，可以基于输入图像的特性，例如但不限于输入图像的格式、分辨率、压缩率、质量、数据量、数据传输速率等，来使用不同的参数，并且因此可能需要实时更新包括在人工智能模型30中的参数。然而，在更新参数的过程中，可能在输出图像中出现各种伪像，这会导致图像质量退化。
在这方面，以下将描述各种示例实施例，根据所述各种示例实施例，在需要实时更新参数的情况下可以防止和/或减少由包括在人工智能模型30中的参数的实时更新所引起的图像质量的退化。
图2是示出根据本公开的实施例的电子装置的示例性配置的框图。
参考图2，电子装置100包括存储器110和处理器(例如，包括处理电路)120。
电子装置100可以例如但不限于通过电视(TV)或机顶盒来实现。然而，电子装置100不限于此，而是可以通过具有图像处理功能和/或显示功能的装置来实现，例如但不限于智能电话、平板个人计算机(PC)、笔记本PC、头戴式显示器(HMD)、近眼显示器(NED)、大型显示器(LFD)、数字标牌、数字信息显示器(DID)、视频墙、投影仪显示器、相机、便携式摄像机、打印机等。
电子装置100可以接收各种压缩图像或具有各种分辨率的图像。例如，电子装置100可以接收例如但不限于通过运动图像专家组(MPEG)(例如，MP2、MP4和MP7)、联合图像专家组(JPEG)、高级视频编码(AVC)、H.264、H.265、高效视频编解码器(HEVC)等压缩的图像。电子装置100可以接收例如但不限于标清(SD)图像、高清(HD)图像、全HD图像、超HD(UHD)图像等中的任何一个。
存储器110可以存储本公开的各种实施例所需的数据。根据数据存储目的，可以以嵌入在电子装置100中的存储器的形式，或者以可附接到电子装置100并从电子装置100可拆卸的存储器的形式来实现存储器110。例如，用于驱动电子装置100的数据可以存储在嵌入在电子装置100中的存储器中，并且用于电子装置100的扩展功能的数据可以存储在可附接到电子装置100并从电子装置100可拆卸的存储器中。可以例如但不限于通过以下至少一项来实现嵌入在电子装置100中的存储器：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM)、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD)等。可以例如但不限于通过以下项来实现可附接到电子装置100并从电子装置100可拆卸的存储器：存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你型安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC))、可连接到USB端口的外部存储器(例如，通用串行总线(USB)存储器)等。
根据一个示例，存储器110可以存储关于包括多个层的人工智能模型的信息。存储关于人工智能模型的信息可以是指例如存储与人工智能模型的操作有关的各种信息，例如但不限于：关于包括在人工智能模型中的多个层的信息、以及关于在多个层的每个层中使用的参数的信息。
根据另一示例，存储器110可以存储例如但不限于从外部装置(例如，源装置)、外部存储介质(例如，USB)、外部服务器(例如，在线存储)等接收的图像。图像可以是数字运动图像，但是不限于此。
根据另一示例，存储器110可以存储图像处理所需的各种图像信息，例如但不限于用于纹理处理的纹理信息和用于边缘处理的边缘信息。此外，存储器110可以存储通过图像处理所生成的最终输出图像。
根据本公开的实施例，存储器110可以通过存储由根据本公开的各种操作所生成的数据的单个存储器来实现。然而，根据本公开的另一实施例，存储器110也可以包括多个存储器。
处理器120可以包括各种处理电路并控制电子装置100的总体操作。处理器120可以由一个处理器或多个处理器实现。
根据一个实施例，处理器120可以包括各种处理电路，例如但不限于：处理数字图像信号的数字信号处理器(DSP)、微处理器、图形处理单元(GPU)、人工智能(AI)处理器、神经处理单元(NPI)、时间控制器(TCON)、专用处理器等。然而，处理器120不限于此，而是可以包括例如但不限于中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器中的一个或多个，或者可以由这些术语定义。此外，处理器120可以由其中嵌入了处理算法的片上***(SoC)或大规模集成(LSI)来实现，或者可以由专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现。
根据本公开的实施例的用于执行人工智能模型的处理器120可以包括例如但不限于：诸如CPU、AP或DSP之类的通用处理器；诸如GPU或视觉处理单元(VPU)之类的图形专用处理器；诸如神经处理单元(NPU)的人工智能专用处理器，等等。处理器120可以执行控制以根据存储在存储器110中的预定义操作规则或人工智能模型来处理输入数据。在处理器120是人工智能专用处理器的情况下，人工智能专用处理器可以被设计为具有专用于处理特定人工智能模型的硬件结构。
处理器120可以对输入图像执行图像处理以获得输出图像。输入图像和输出图像可以是例如但不限于SD图像、HD图像、全HD图像、超HD图像等。例如，输出图像可以是超高清(UHD)图像，例如4K(3840x2160)图像、8K(7680x4320)图像或具有更高分辨率的图像(例如，16K或32K)，但是不限于此。图像处理可以是数字图像处理，包括例如但不限于图像增强、图像恢复、图像变换、图像分析、图像理解、图像压缩等中的至少一个。
根据本公开的实施例，处理器120可以使用人工智能模型来处理输入图像以获得输出图像。处理器120可以预处理输入图像，并使用人工智能模型来处理经预处理的图像以获得输出图像。预处理可以包括插值处理，但是不必限于此。预处理可以包括能够在不使用人工智能模型的情况下增强输入图像的图像质量的各种图像处理。然而，在下文中，为了便于说明，将描述对输入图像执行插值处理。
根据实施例，处理器120可以对输入图像进行插值，并且使用人工智能模型来处理插值后的图像以获得输出图像。根据另一实施例，处理器120可以并行地对输入图像进行插值并将输入图像输入到人工智能模型以获得输出图像。例如，处理器120可以使用例如但不限于双线性插值、最近邻插值、双三次插值、解卷积插值、子像素卷积插值、多相插值、三线性插值、线性插值等插值技术中的至少一种来执行插值处理。
此外，人工智能模型可以通过使用多个神经网络层(以下称为层)进行计算来处理并输出输入图像或插值后的图像。作为示例，人工智能模型可以生成并输出残差图像。多个层中的每个层可以使用具有不同参数的滤波器基于插值后的图像生成残差图像。参数可以与滤波器的加权值(或系数)相同或类似。人工智能模型可以使用各种类型的激活函数来执行计算，例如但不限于恒等函数、对数S形函数、双曲正切(tanh)函数、修正线性单元(ReLU)函数、泄漏ReLU函数等。然而，人工智能模型不必仅生成残差图像，并且可以根据人工智能模型的实现示例使用各种方法来处理输入图像，且可以输出处理的图像。
根据实施例，处理器120可以使用一个人工智能模型来处理输入图像。根据另一实施例，处理器120可以使用多个人工智能模型来处理输入图像。多个人工智能模型可以顺序地或并行地操作。作为一个示例，处理器120可以将输入图像输入到第一人工智能模型，将从第一人工智能模型输出的图像输入到第二人工智能模型，并基于从第二人工智能模型输出的图像获得输出图像。作为另一示例，处理器120可以将输入图像输入到第一人工智能模型和第二人工智能模型中的每一个，并且基于并行地从第一人工智能模型和第二人工智能模型输出的多个图像来获得输出图像。
例如，多个人工智能模型可以包括生成第一残差图像的模型和生成第二残差图像的模型。多个人工智能模型可以包括用于提升分辨率的模型和用于降噪的模型。多个人工智能模型可以包括用于处理对象区域的模型和用于处理背景区域的模型。
处理器120可以获得从人工智能模型(例如残差模型、预处理模型)输出的图像、以及基于例如插值后的图像的输出图像。例如，处理器120可以通过以像素为单位将插值后的图像的像素值与残差图像的像素值相加来获得输出图像。处理器120可以基于分别从第一人工智能模型和第二人工智能模型输出的第一残差图像和第二残差图像以及经预处理的图像来获得输出图像。处理器120可以基于通过将从第一人工智能模型输出的第一残差图像输入到第二人工智能模型而获得的第二残差图像和经预处理的图像来获得输出图像。
如上所述，处理器120可以通过将输入图像或插值后的图像输入到至少一个人工智能模型来获得残差图像。然而，在下文中，为了便于说明，将在通过将插值后的图像输入到一个人工智能模型来获得残差图像的假设下提供非限制性示例描述。然而，即使在通过将输入图像输入到多个人工智能模型来获得残差图像的情况下，也可以应用本公开的各种实施例。
根据本公开的实施例，处理器120可以以第一模式或第二模式操作，其中需要更新在包括在人工智能模型中的多个层中的至少一个层中所使用的参数。例如，可能需要基于输入图像的特性，例如但不限于输入图像的格式、分辨率、压缩率、图像质量以及数据量、数据传输速率(每单位时间传输的数据量，例如，比特/秒(bps))等，来实时更新包括在人工智能模型中的参数。根据模式来处理输入图像可以是指例如处理器120根据在每种模式中定义的图像处理方法来处理图像。例如，与在每种模式中定义的图像处理方法相对应的指令可以存储在存储器110中，并且处理器120可以通过在每种模式下执行对应指令来执行对应的图像处理。
根据本公开的实施例，第一模式可以包括如下模式：其中通过使用利用人工智能模型处理的图像来获得输出图像，其中在该人工智能模型中，在多个层中的至少一个层中使用的参数被更新，并且第二模式可以包括如下模式：其中在不使用人工智能模型的情况下获得输出图像。
根据示例，第一模式可以是这样的模式：其中基于使用人工智能模型所处理的图像以及插值后的图像来获得输出图像，其中在该人工智能模型中，在多个层中的至少一个层中使用的参数被更新。第二模式可以是这样的模式：其中基于插值后的图像获得输出图像，或者基于输入图像和插值后的图像获得输出图像。在第二模式下，可以不将插值后的图像输入到人工智能模型，或者尽管将插值后的图像输入到人工智能模型，但是可以仅使用插值后的图像而不使用从人工智能模型输出的残差图像来获得输出图像。在第二模式下，可以不将输入图像输入到人工智能模型，或者尽管将输入图像输入到人工智能模型，但是可以仅使用插值后的图像而不使用从人工智能模型输出的残差图像、或者使用插值后的图像和输入图像来获得输出图像。
在需要对包括在人工智能模型中的多个层中的至少一个层中使用的滤波器的参数进行更新的情况下，处理器120可以基于滤波器中设置的现有参数与现有参数要被更新为的参数之间的差异来选择第一模式或第二模式。参数之间的差异可以是可能影响更新速度的各种属性的差异，例如参数数量上的差异和参数值上的差异。
基于第一模式被选择，处理器120可以实时地更新在多个层中的至少一个层中使用的参数，并且基于对参数的更新，实时地补偿在剩余层中的至少一个层中使用的参数。可以基于其中至少一个中间层包括更新的参数的人工智能模型的学习来获得用于补偿在剩余层中的至少一个层中使用的参数的补偿参数。
处理器120可以基于在至少一个中间层中使用的参数的实时更新来实时地补偿在多个层之中的第一层和最后一层中的每一个中所使用的参数。
例如，在第一中间层中使用的第一参数被实时地更新的情况下，处理器120可以基于第一参数的实时更新来实时地补偿在第一层和最后一层中的每一个中所使用的参数。在第一中间层中使用的第一参数被更新之后第二中间层中使用的第二参数被实时地更新的情况下，处理器120可以基于第一参数和第二参数的更新来实时地补偿在第一层和最后一层中的每一个中所使用的参数。层的参数更新顺序可以是随机确定的，或者可以基于每个层的参数的数量、每个层的特性等来确定。
根据一个示例，在第二模式下的操作期间，处理器120可以更新在包括在人工智能模型中的第一中间层中使用的第一参数并实时地补偿在第一层和最后一层中的每一个中所使用的参数，并且在第二中间层中使用的第二参数被实时地更新的情况下，处理器120可以基于更新的第一参数和第二参数实时地补偿在第一层和最后一层中的每一个中所使用的参数。
根据另一示例，处理器120可以在第二模式下的操作期间更新在包括在人工智能模型中的第一中间层中使用的第一参数，并执行从第二模式到第一模式的切换，并且基于在第二中间层中使用的第二参数在第一模式下被实时地更新，处理器120可以基于第一参数和第二参数的更新来实时地补偿在第一层和最后一层中的每一个中所使用的参数。例如，处理器120可以在第一模式和第二模式混合的混合模式下执行更新并补偿参数的操作。
图3A、图3B和图3C是示出根据本公开的实施例的在第一模式下的示例性操作的示图。
图3A是示出根据本公开的实施例的在第一模式下的示例性基本操作的示图。
基于第一模式被选择，处理器120可以顺序地执行在包括在人工智能模型310中的多个层之中需要更新参数的至少一个层的参数的更新。处理器120可以首先补偿中间层的参数，并且最后补偿在第一层(层1)和最后一层(层N)中使用的参数。这是因为在第一层(层1)和最后一层(层N)中使用的参数的数量小于其他层中的每一个层的参数的数量，使得更容易执行参数补偿。例如，在CNN的情况下，使用与每个卷积层的通道数量相同数量的滤波器(或内核)，并且靠近输入端和输出端的卷积层中的通道数量相对小，因此滤波器的数量也小。结果，滤波器系数(即参数的数量)变得相对小。这是因为每个卷积层的参数的数量是“输入通道数量*滤波器宽度*滤波器高度*滤波器数量(输出通道数量)”。
作为示例，为了便于说明，假设在包括在人工智能模型中的多个层中的每个层中使用的滤波器的数量是64。根据一个示例，在输入图像是RGB图像的情况下，第一层的输入通道的数量是3(根据另一示例，在输入图像是亮度图像的情况下，第一层的输入通道的数量是1)，在第一层中应用的滤波器的大小是3*3，并且滤波器的数量是64，因此在第一层中使用的参数的数量是3*3*3*64。此外，第一层的输出通道的数量为64，因此第二层的输入通道的数量为64。因此，在第二层中使用的参数的数量是64*3*3*64，其与第一层相比增加了。
根据另一示例，假设在包括在人工智能模型中的多个层中的每个层中使用的滤波器的数量是128，并且输入图像是亮度图像，则第一层的输入通道的数量是1，在第一层中应用的滤波器的大小是3*3，并且滤波器的数量是128，因此在第一层中使用的参数的数量是1*3*3*128。此外，第一层的输出通道的数量为128，因此第二层的输入通道的数量为128。因此，在第二层中使用的参数的数量是128*3*3*128，其与第一层相比增加了。
此外，通道的数量可以在输出端处返回为通道的原始数量，因此，与输入端和输出端中的每一个的卷积层相对应的参数的数量相对小于在其他卷积层中的每个卷积层中使用的参数的数量。根据VDCNN的示例，其他卷积层中的每个卷积层的参数数量可以是第一卷积层或最后卷积层的参数数量的64倍。此外，在EDSR中，其他卷积层中的每个卷积层的参数数量可以是第一卷积层或最后卷积层的参数数量的1820倍。然而，这仅是示例，并且也可以以靠近输入端的层的滤波器的数量小，且越远离输入端，滤波器的数量越大的形式来实现人工智能模型。
在图3A中，假设了需要更新在第二层(层2)中使用的参数的情况。
在该示例中，处理器120可以更新在第二层(层2)中使用的参数，同时补偿在剩余层中的至少一个层中使用的参数，例如，如图3A所示在第一层(层1)和最后一层(层N)中的每一个中所使用的参数。例如，在第一层(层1)和最后一层(层N)中使用的参数可以被临时参数替代以进行补偿。这是因为在多个相应层中使用的参数彼此相关并且被学习以输出最佳输出图像，因此，在仅更新第二层(层2)中使用的参数的情况下，在输出图像中出现伪像。
例如，处理器120可以用对第二层(层2)中更新的参数进行补偿的补偿参数来替代在第一层(层1)和最后一层(层N)中的每一个中所使用的参数。可以基于学习来获得用于补偿其他层中的每个层中的更新参数的补偿参数。可以在电子装置100、外部装置或外部服务器中的至少一个中执行用于获得补偿参数的学习。作为示例，为了便于说明，将假设在外部服务器中执行学习。外部服务器可以更新在包括在人工智能模型中的多个层中的至少一个层中使用的参数，并且然后学习剩余层的参数以获得补偿参数。外部服务器可以学习剩余层的参数，以允许人工智能模型输出没有伪像的图像，即使在将包括在人工智能模型中的多个层中的至少一个层中使用的参数更新为新参数的情况下。例如，外部服务器可以将第二层的参数更新为新参数，固定(fix)更新的参数，固定剩余中间层的现有参数，并且然后学习第一层和最后一层的参数以获得相应的补偿参数。此外，外部服务器可以将第二层和第三层的参数更新为新参数，固定更新的参数，固定剩余中间层的现有参数，并且学习第一层和最后一层的参数以获得相应的补偿参数。外部服务器可以向电子装置100提供如上所述的基于学习而获得的补偿参数。
根据实施例，在以帧为单位将图像输入到人工智能模型的情况下，处理器120可以在至少一个帧被输入的同时更新第二层(层2)的参数。例如，可以在输入一个帧的同时更新第二层(层2)的所有参数。然而，根据需要，也可以在输入多个帧的同时扩展对第二层(层2)的参数的更新。例如，处理器120可以基于垂直同步信号(Vsync信号)或水平同步信号(Hsync信号)中的至少一个在消隐时段中执行参数更新，但是本公开不必限于此。
此外，处理器120可以在至少一个帧被输入的同时，更新第二层(层2)的参数并补偿第一层(层1)和最后一层(层N)中的每一个的参数。例如，处理器120可以在一个帧被输入的同时，更新第二层(层2)的所有参数并补偿第一层(层1)和最后一层(层N)中的每一个的所有参数。然而，根据需要，处理器120可以在一个帧被输入的同时更新第二层(层2)的所有参数，并且可以在下一帧被输入的同时补偿第一层(层1)和最后一层(层N)中的每一个的参数。此外，还可以在至少一个帧(例如，多个帧)被输入的同时执行对第一层(层1)和最后一层(层N)中的每一个的参数的补偿。
图3B是示出根据本公开的实施例的在第一模式下的示例性顺序参数更新操作的示图。
图3B的第一行示出了其中根据预先在包括在人工智能模型310中的多个层中的每个层中设置的参数来执行图像处理的示例。
可能发生需要对在包括在人工智能模型310中的多个层中的至少一个层中使用的参数进行更新的事件。例如，由于输入图像的数据传输速率或输入图像的格式的变化，可能需要基于新的参数集来设置包括在人工智能模型310中的参数。
在该示例中，如图3B的第二行所示，处理器120可以基于新的参数集(例如，与改变后的输入图像格式相对应的参数集)来更新一个中间层(例如，第二层)的参数，并且用临时参数0替代第一层和最后一层中的每一个的参数，以补偿第二层的参数更新。在此，可以通过用新参数替代第二层的参数并在剩余中间层的现有参数被固定的状态下学习第一层和最后一层的参数来获得临时参数0。
如图3B的第三行所示，处理器120可以基于新的参数集来更新需要参数更新的下一层(例如，第四层)的参数，并且用临时参数1替代第一层和最后一层中的每一个的参数，以补偿第四层的参数更新。可以通过用新参数替代第二层和第四层的参数并在剩余中间层的现有参数被固定的状态下学习第一层和最后一层的参数来获得临时参数1。这样，处理器120可以更新剩余中间层(例如，第三层)的参数，并且用临时参数2替代第一层和最后一层中的每一个的参数，以补偿第三层的参数更新，如图3B的第四行所示。可以通过用新参数替代需要参数更新的所有中间层中的每一个的参数并学习第一层和最后一层的参数来获得临时参数2。
基于以上述方式对需要参数更新的所有中间层中的每一个的参数进行了更新，处理器120也可以更新第一层和最后一层的参数，如图3B的最后一行所示。例如，处理器120可以基于新的参数集来更新需要参数更新的所有中间层和第一层(或最后一层)的参数，并且用临时参数3替代最后一层(或第一层)的参数，以补偿需要参数更新的所有中间层和第一层(或最后一层)的参数更新。可以通过用新参数替代需要参数更新的所有中间层和第一层(或最后一层)的参数并学习最后一层(或第一层)的参数来获得临时参数3。
图3C是示出根据本公开的实施例的在第一模式下的顺序参数更新操作的另一示例的示图。
已经参考图3B描述了对第一层和最后一层的参数进行更新的示例，但是本公开不必限于此。
例如，对应于图3C的第一行至第三行的操作与对应于图3B的第一行至第三行的操作相同或相似。然而，如图3C的第四行所示，可以在一些中间层的参数被更新之后更新第一层的参数，并且如图3C的最后一行所示，可以在剩余中间层的参数被更新之后更新最后一层的参数。
在该示例中，仅最后一层的参数可以被图3C的第四行和最后一行中的补偿参数替代，因为第一层的参数已经被更新。一旦最后一层的参数被更新，参数更新操作就可以完成。
图4是示出根据本公开的另一实施例的在第一模式下的示例性操作的示图。
尽管已经参考图3A、图3B和图3C描述了对在一个层中使用的所有参数进行更新并且然后对下一层的参数进行更新的示例，但是可以根据本公开的另一实施例对在至少两个层中使用的参数同时进行更新。
图4的第一行示出了根据预先在包括在人工智能模型310中的多个层中的每个层中设置的现有参数来执行图像处理的示例。
可能发生需要对在包括在人工智能模型310中的多个层中使用的参数进行更新的事件。例如，由于数据传输速率的变化、或者图像分辨率、数据量或图像质量的变化，可能需要基于新的参数集来设置包括在人工智能模型310中的参数。
在该示例中，如图4的第二行所示，处理器120可以在至少一个帧被输入的同时，更新第二层(层2)的一些参数和第四层(层4)的一些参数，并用临时参数0替代第一层(层1)和最后一层(层N)中的每一个的参数，以补偿第二层和第四层的参数更新。例如，处理器120可以在一个帧被输入的同时，更新第二层(层2)的一些参数和第四层(层4)的一些参数，并补偿第一层(层1)和最后一层(N层)中的每一个的所有参数。然而，根据需要，处理器120可以在一个帧被输入的同时更新第二层(层2)的一些参数和第四层(层4)的一些参数，并且可以在下一帧被输入的同时补偿第一层(层1)和最后一层(层N)中的每一个的参数。在这种情况下，可以通过用新参数替代第二层(层2)的一些参数和第四层(层4)的一些参数并在剩余中间层的现有参数被固定的状态下学习第一层(层1)和最后一层(层N)的参数来获得临时参数0。
如图4的第三行所示，处理器120可以在接下来的至少一个帧被输入的同时，更新第二层(层2)的剩余参数和第四层(层4)的剩余参数，并用临时参数1替代第一层(层1)和最后一层(层N)中的每一个的参数，以补偿第二层和第四层的参数更新。在这种情况下，可以通过用新参数替代第二层(层2)的所有参数和第四层(层4)的所有参数并在剩余中间层的现有参数被固定的状态下学习第一层(层1)和最后一层(层N)的参数来获得临时参数1。
假设在第二层(层2)的所有参数和第四层(层4)的所有参数被更新之后连续地执行参数更新，并且仅第一层(层1)、第三层(层3)和最后一层(层N)未执行参数更新。
在该示例中，如图4的第四行所示，处理器120可以在接下来的至少一个帧被输入的同时，更新另一层的一些参数(例如，第一层(层1)的一些参数和第三层(层3)的一些参数)，并用临时参数2替代最后一层(层N)的参数，以补偿第一层和第三层的参数更新。
如图4的最后一行所示，处理器120可以在接下来的至少一个帧被输入的同时，更新第一层(层1)的剩余参数和第三层(层3)的剩余参数，并用临时参数3替代最后一层(层N)的参数，以补偿第一层和第三层的参数更新。
尽管已经根据实施例描述了其中在特定帧周期上执行参数更新操作和参数补偿操作的示例，但是可以基于必要的时间(例如，一个帧周期的一部分、整个帧周期或多个帧周期)来执行参数更新操作和参数补偿操作。
图5A、图5B和图5C是示出根据本公开的各种实施例的在第二模式下的示例性操作的示图。
根据本公开的实施例，如图5A所示，处理器120可以在第二模式下仅使用插值后的图像而无需将插值后的图像输入到人工智能模型来生成输出图像。人工智能模型可以是指例如如上所述的用于生成残差图像的模型，在第二模式下使用绕过人工智能模型的图像处理路径。此外，还可以根据需要对插值后的图像执行一种后处理。
根据本公开的另一实施例，如图5B所示，处理器120可以在第二模式下将插值后的图像输入到人工智能模型，并且仅使用插值后的图像而无需使用从人工智能模型输出的残差图像来生成输出图像。例如，处理器120可以在第二模式下如现有图像处理方法中那样将插值后的图像输入到人工智能模型，而无需更新人工智能模型的参数，并且在不使用从人工智能模型输出的残差图像的情况下生成输出图像。
根据本公开的又一实施例，如图5C所示，处理器120可以在第二模式下并行地将输入图像输入到人工智能模型并对输入图像执行插值处理，并且仅使用插值后的图像而无需使用从人工智能模型输出的残差图像来生成输出图像。然而，根据又一实施例，可以在第二模式下仅使用插值后的图像而不将输入图像输入到人工智能模型、或者使用输入图像和插值后的图像两者来生成输出图像。
图6是示出根据本公开的另一实施例的在第一模式和第二模式混合的混合模式下的示例性操作的示图。
在根据本公开的实施例的混合模式下，处理器120可以首先在需要人工智能模型的参数更新的第二模式下操作。例如，可以不将插值后的图像输入到人工智能模型，或者可以仅使用插值后的图像而不使用从人工智能模型输出的残差图像来获得输出图像。然而，处理器120可以在第二模式下的操作期间对在包括在人工智能模型中的至少一个第一中间层中使用的第一参数进行更新，并且执行从第二模式到第一模式的切换。基于在第一模式下实时地更新在第二中间层中使用的第二参数，处理器120可以基于在第二模式下更新的第一参数和在第一模式下更新的第二参数来实时地补偿在第一层和最后一层中的每一个中所使用的参数。
例如，图6的第一行示出了其中根据预先在包括在人工智能模型310中的多个层中的每个层中设置的参数来执行图像处理的示例。
可能发生需要对在包括在人工智能模型310中的多个层中的至少一个层中使用的参数进行更新的事件。例如，由于输入图像的数据传输速率的变化、或者输入图像的格式、分辨率、压缩率、图像质量、数据量等的变化，可能需要基于新的参数集来设置包括在人工智能模型310中的参数。
在该示例中，处理器120如图6的第二行所示以第二模式操作，并且可以如图6的第三行所示在第二模式下的操作期间基于新的参数集来更新至少一个中间层(例如，第二层)的参数。例如，处理器120可以并行地但独立地更新包括在人工智能模型310中的第二层的参数，并且仅使用通过对输入图像帧执行插值处理而获得的图像帧来生成输出图像帧。
如图6的第四行所示，处理器120可以执行从第二模式到第一模式的切换，基于新的参数集来更新至少一个其他中间层(例如，第四层)的参数，并且用临时参数0替代第一层和最后一层中的每一个的参数，以补偿第四层的参数更新。在这种情况下，处理器120以第一模式操作，因此处理器120可以不仅使用插值后的图像，而且使用从人工智能模型310输出的残差图像来获得输出图像。
如图6的第五行所示，处理器120可以在第一模式下基于新的参数集来附加地更新中间层之中的至少一个其他层(例如，第三层)的参数，并且用临时参数1替代第一层和最后一层中的每一个的参数，以补偿第三层的参数更新。
如图6的最后一行所示，基于以上述方式更新了需要参数更新的所有中间层中的每一个的参数，处理器120也可以更新第一层和最后一层的参数。
如在上述实施例中那样，尽管在需要参数更新的情况下处理器120基本上以第一模式操作，但是处理器120也可以以混合模式操作，其中处理器120可以在特定定时处以第二模式操作。这是因为在特定定时处，第一模式下的操作结果可能比第二模式下的操作结果差。因此，处理器120可以在第一模式和第二模式被适当地混合的混合模式下操作，以最小化输出图像的图像质量的退化。
根据上述实施例，已经假设并描述了人工智能模型310的数量为一个的情况。然而，根据另一实施例，处理器120可以顺序地或并行地操作多个人工智能模型。在该示例中，在需要对多个人工模型中的每一个中包括的参数进行更新的情况下，处理器120可以根据上述各种实施例顺序地或并行地执行对多个人工智能模型中的每一个中包括的参数的更新。例如，处理器120可以根据上述各种实施例对包括在第一人工智能模型中的参数执行更新，并且然后根据上述各种实施例对包括在第二人工智能模型中的参数执行更新。处理器120可以并行地执行对包括在第一人工智能模型中的参数的更新和对包括在第二人工智能模型中的参数的更新。在该示例中，处理器120可以以相同的方式或不同的方式执行对包括在第一人工智能模型中的参数的更新和对包括在第二人工智能模型中的参数的更新。例如，处理器120可以以图3B所示的方式执行对包括在第一人工智能模型中的参数的更新，并且以图3C所示的方式执行对包括在第二人工智能模型中的参数的更新。
图7是示出根据本公开的实施例的人工智能模型的另一示例的示图。
尽管已经通过示例的方式参考图1A至图6描述了执行超分辨率处理的情况，但是本公开的实施例不仅可以应用于对应的图像处理，而且可以应用于使用人工智能模型的各种类型的图像处理。例如，本公开的实施例还可以应用于样式转移处理。样式转移可以是指例如其中在存在两个图像(内容图像和样式图像)的情况下，保持内容图像的主要内容并且将内容图像的样式改变为与期望样式图像的样式类似的处理。
例如，如图7所示，可以使用如图7所示的包括多个层的基于CNN的人工智能模型(例如，“Perceptual Losses for Real-Time Style Transfer”(Justin Johnson，Alexandre Alahi和Li Fei-Fei))来执行样式转移处理，并且在需要对包括在人工智能模型中的多个层中的至少一个层进行参数更新的情况下，例如，在改变要应用的样式的情况下，可以通过应用本公开的各种实施例来执行参数更新。
图8是示出根据本公开的实施例的处理器的示例性实施方式的示图。
根据本公开的实施例的处理器120可以包括通用处理器(例如但不限于CPU、AP、DSP)、图形专用处理器(例如，GPU或VPU)、人工智能专用处理器(例如，NPU)等。
然而，根据本公开的另一实施例，处理器120可以被设计为专用于处理特定人工智能模型的专用硬件。例如，在神经网络是复杂的且实时操作很重要的情况下，主要使用专用硬件。在该示例中，实现高的参数更新速度可能更加困难。因此，在专用硬件的情况下，参数可以存储在内部寄存器中，或者仅可以操作具有固定值的神经网络模型。然而，根据本公开的各种实施例，即使在处理器120由专用硬件实现的情况下，也可以实现高的参数更新速度。
图8通过示例的方式示出了其中处理器120被设计为专用硬件的示例。例如，图8所示的专用硬件800可以被设计为诸如ASIC或FPGA的硬件芯片。如图所示，可以针对实时处理而考虑诸如DRAM之类的外部存储器的延迟，并且可以将中间结果存储在诸如SRAM之类的内部存储器中并对其进行处理。
图9是示出根据本公开的实施例的电子装置的示例性操作的示图。
参考图9，电子装置100基于关于输入图像的信息来识别是否需要对在包括在人工智能模型中的多个层中使用的参数集进行更新。
电子装置100可以在不需要进行更新的情况下以正常模式操作，并且电子装置100可以在需要进行更新的情况下以更新模式操作。
正常模式可以是其中使用包括预先设置的参数在内的人工智能模型来处理输入图像的模式。例如，电子装置100可以在正常模式下，对输入图像执行插值处理，并且基于通过将插值后的图像输入到包括预先设置的参数在内的人工智能模型而获得的残差图像、以及插值后的图像，来获得输出图像。
更新模式可以包括第一模式和第二模式，并且电子装置100可以基于滤波器中设置的现有参数与现有参数将要更新为的参数之间的差异来选择第一模式或第二模式。以上已经详细描述了第一模式和第二模式，因此这里可以不重复其描述。
电子装置100可以通过基于正常模式、第一模式或第二模式中的任何一种模式处理输入图像来获得输出图像。输出图像可以是具有4K、8K或更高的高分辨率的图像。
图10是示出根据本公开的实施例的电子装置的示例性实施方式的示图。
参考图10，电子装置100'包括存储器110、处理器(例如，包括处理电路)120、输入器(例如，包括输入电路)130、显示器140、输出器(例如，包括输出电路)150和用户接口(例如，包括接口电路)160。这里可以不重复图10中所示组件当中与图2中所示组件重叠的组件的详细描述。
处理器120可以包括各种处理电路，并且根据需要在对输入图像进行插值处理之前执行附加的预处理。根据示例，处理器120可以附加地执行预滤波以去除输入图像中的噪声。例如，可以通过应用平滑滤波器(例如，高斯滤波器、通过将输入图像与预定引导进行比较而执行滤波的引导滤波器等)，来去除显著噪声。
输入器130可以包括各种输入电路并且接收各种类型的内容。例如，输入器130可以通过诸如基于AP的无线保真(WiFi，无线LAN网络)、蓝牙、Zigbee、有线/无线局域网(LAN)、广域网(WAN)、以太网、IEEE1394、高清多媒体接口(HDMI)、USB、移动高清链路(MHL)或音频工程学会/欧洲广播联盟(AES/EBU)等的通信方法，从外部装置(例如，源装置)、外部存储介质(例如，USB存储器)、外部服务器(例如，在线存储)等经由流式传输或下载来接收图像信号。图像信号可以是SD图像、HD图像、全HD图像或超HD图像中的任何一种的数字图像信号，但是不限于此。
此外，输入器130可以从外部服务器接收与本公开的各种实施例有关的参数信息，诸如与关于输入图像的信息相对应的参数集和用于补偿一些参数的实时更新的补偿参数。
显示器140可以由包括自发光元件的显示器或包括非自发光元件和背光的显示器来实现。例如，显示器140可以通过各种类型的显示器来实现，例如但不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、发光二极管(LED)、微型LED、迷你型LED、等离子体显示面板(PDP)、量子点(QD)显示器和量子点发光二极管(QLED)。显示器140中可以包括可以以诸如非晶硅薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT和有机TFT(OTFT)之类的形式实现的驱动电路、背光单元等。同时，显示器140可以由与触摸传感器结合的触摸屏、柔性显示器、可卷曲显示器、三维(3D)显示器、其中多个显示模块彼此物理连接的显示器等来实现。处理器120可以控制显示器140输出根据上述各种实施例获得的输出图像。在本文中，输出图像可以是具有4K、8K或更高的高分辨率的图像。
输出器150可以包括各种输出电路并且输出声音信号。例如，输出器150可以将在处理器120中处理的数字声音信号转换成模拟声音信号，并且放大并输出模拟声音信号。例如，输出器150可以包括可输出至少一个声道的至少一个扬声器单元、D/A转换器、音频放大器等。根据示例，输出器150可以输出各种类型的多声道声音信号。在这种情况下，处理器120可以控制输出器150对输入声音信号执行增强处理以与输入图像的增强处理相对应，并且输出经处理的声音信号。例如，处理器120可以将输入的两声道声音信号转换成虚拟多声道(例如，5.1声道)声音信号，识别电子装置100’被放置的位置以将声音信号处理为针对该位置优化的立体声声音信号，或者根据输入图像的类型(例如，内容类别)提供优化的声音信号。
用户接口160可以包括各种接口电路，并且可以通过诸如按钮、触摸板、鼠标或键盘之类的设备来实现，或者可以通过可执行上述显示功能和操作输入功能的触摸屏、遥控器收发器等来实现。遥控器收发器可以通过红外通信方法、蓝牙通信方法或Wi-Fi通信方法中的至少一种通信方法从外部遥控设备接收遥控信号或发送遥控信号。
根据实现示例，电子装置100’可以附加地包括调谐器或解调器。调谐器(未示出)可以调谐由用户选择的频道或预先存储的所有频道，以通过天线接收射频(RF)广播信号。解调器(未示出)可以接收并解调数字IF(DIF)信号并执行信道解码等。根据实施例，通过调谐器接收的输入图像可以通过解调器(未示出)来处理，并且然后被提供给处理器120以进行根据本公开的实施例的图像处理。
图11是示出根据本公开的实施例的服务器的示例性配置的框图。
参考图11，根据本公开的实施例的服务器200包括存储器210、处理器(例如，包括处理电路)220和通信接口(例如，包括通信电路)230。
存储器210的实现示例与电子装置100的存储器110的实现示例类似，因此这里可以不重复其详细描述。
存储器210存储关于在电子装置100或100’中使用的人工智能模型的信息。
根据一个示例，存储器210可以基于输入到电子装置100或100'的输入图像的特性(例如，格式、分辨率和压缩率)、输入图像的数据传输速率等来存储人工智能模型的各种参数集。可以通过基于输入图像的特性(例如，输入图像的格式、分辨率、压缩率、图像质量和数据量以及数据传输速率)学习人工智能模型，来获得各种参数集。
根据另一示例，在包括在人工智能模型中的多个层中的至少一些层的参数在电子装置100或100'中被使用的情况下，存储器210可以存储用于补偿参数更新的补偿参数。也可以通过学习来获得补偿参数，将在下文参考对处理器220的操作的描述对此进行更详细地描述。
通信接口230可以包括各种通信电路，并且执行与包括电子装置100或100'在内的各种外部装置的通信。通信接口230的实现示例与电子装置100'的输入器130的实现示例类似，因此这里可以不重复其详细描述。
处理器220可以包括各种处理电路并控制服务器200的总体操作。处理器220的实现示例与电子装置100或100'的处理器120的实现示例类似，因此这里可以不重复其详细描述。
处理器220可以基于输入到电子装置100或100'的输入图像的特性(例如，格式、分辨率和压缩率)、输入图像的数据传输速率等来获得人工智能模型的各种参数集，并且将获得的参数集存储在存储器210中。处理器220可以根据诸如来自电子装置100或100'的请求之类的各种事件，来控制通信接口230将存储在存储器210中的参数集发送给电子装置100或100'。
此外，处理器220可以更新在包括在人工智能模型中的多个层中的至少一个层中使用的参数，并且学习剩余层的参数以获得补偿参数集。处理器220可以学习剩余层的参数，以允许人工智能模型输出没有伪像的图像，即使在将包括在人工智能模型中的多个层中的至少一个层中使用的参数更新为新参数的情况下。例如，处理器220可以将特定的第一中间层的参数更新为新参数，固定更新的参数，固定剩余中间层的现有参数，并且然后学习第一层和最后一层的参数以获得与其相对应的第一补偿参数集。此外，除了特定的第一中间层之外，处理器220还可以将另一个第二中间层的参数更新为新参数，固定更新的参数，固定剩余中间层的现有参数，并且学习第一层和最后一层的参数以获得与其相对应的第二补偿参数集。处理器220可以将获得的补偿参数集存储在存储器210中。
这样，在更新了包括在人工智能模型中的至少一个层的参数的情况下，处理器220可以针对每种情况学习并获得与剩余层中的至少一个层相对应的补偿参数集以补偿参数更新，并且将获得的补偿参数集存储在存储器210中。
处理器220可以根据诸如来自电子装置100或100'的请求之类的各种事件，来控制通信接口230将存储在存储器210中的补偿参数发送给电子装置100或100'。
图12是示出根据本公开的实施例的控制电子装置的示例性方法的流程图。
根据图12所示的存储关于包括多个层的人工智能模型的信息的电子装置的控制方法，电子装置100或100'可以对输入图像执行插值处理(S1210)。包括在人工智能模型中的多个层中的每个层可以使用具有不同参数的滤波器基于插值后的图像生成残差图像。
电子装置100或100'识别是否需要对在包括在人工智能模型中的多个层中的至少一个层中使用的参数进行更新(S1220)。
在识别出需要更新参数的情况下(S1220：是)，电子装置100或100’根据更新模式(例如，第一模式或第二模式)获得输出图像(S1230)。
第一模式可以是其中基于使用对参数进行实时更新的人工智能模型所处理的图像(例如，残差图像和插值后的图像)来获得输出图像的模式。此外，第二模式可以是其中基于插值后的图像来获得输出图像的模式。输出图像可以是具有4K、8K或更高的高分辨率的图像。
在识别出不需要更新参数的情况下(S1220：否)，电子装置100或100’根据正常模式获得输出图像(S1240)。正常模式可以是其中基于通过将插值后的图像输入到包括预先设置的参数在内的人工智能模型而获得的残差图像、以及插值后的图像来获得输出图像的模式。
此外，在根据第一模式或第二模式对输入图像的处理中(S1230)，在需要更新在多个层中的至少一个层中使用的滤波器的参数的情况下，可以基于滤波器的当前参数与当前参数将要更新为的参数之间的差异来选择第一模式或第二模式。
此外，控制方法还可以包括：基于第一模式被选择，实时地更新在多个层中的至少一个层中使用的参数；以及基于参数的更新，实时地补偿在剩余层中的至少一个层中使用的参数。
在该示例中，在对参数的实时补偿中，可以基于在至少一个中间层中使用的参数的实时更新，来实时地补偿在多个层之中的第一层和最后一层中的每一个中所使用的参数。
此外，在对参数的实时补偿中，一旦实时地更新了在第一中间层中使用的第一参数，则可以基于第一参数的更新来实时地补偿在第一层和最后一层中的每一个中所使用的参数，并且在第一中间层的第一参数被更新之后，一旦实时地更新了在第二中间层中使用的第二参数，则可以基于第一参数和第二参数的更新来实时地补偿在第一层和最后一层中的每一个中所使用的参数。
此外，在根据第一模式或第二模式对输入图像的处理中(S1230)，可以在第二模式下的操作期间对在包括在人工智能模型中的第一中间层中使用的第一参数进行更新，并且可以执行从第二模式到第一模式的切换，以及一旦在第一模式下实时地更新了在第二中间层中使用的第二参数，则可以基于第一参数和第二参数的更新来实时地补偿在第一层和最后一层中的每一个中所使用的参数。
可以基于其中至少一个中间层包括更新的参数的人工智能模型的学习来获得用于补偿在剩余层中的至少一个层中使用的参数的补偿参数。
此外，在根据第一模式或第二模式对输入图像的处理中(S1230)，可以基于输入图像的数据传输速率或关于输入图像的信息中的至少一个来识别是否需要参数更新。
根据上述各种示例实施例，在需要对在包括在人工智能模型中的多个层中使用的参数进行更新的情况下，可以用更少的硬件资源有效地更新参数。此外，可以显著地减少由于参数更新而可能出现在图像中的伪像。
另外，根据本公开的各种示例实施例，在由于输入信息的变化而需要参数更新的情况下，在多种模式中的一种模式下执行操作，并且因此可以基于所显示图像的图像质量来识别是否应用本公开的实施例。例如，在由于输入信息的变化而需要更新参数的情况下，例如，如果使用第二模式，则由于不充足的边缘处理、纹理处理等而显示具有退化的图像质量的输出图像，而如果使用第一模式，则由于充分的边缘处理、纹理处理等而显示具有增强的图像质量的输出图像。因此，可以识别是否应用本公开的实施例。
除了显示装置以外，本公开的各种实施例还可以应用于能够执行图像处理的所有电子装置，例如但不限于诸如机顶盒之类的图像接收装置和图像处理装置。
可以以能够安装在现有电子装置中的应用的形式、或者以软件的形式来实现根据上述本公开的各种实施例的方法。备选地，可以使用基于深度学习的人工神经网络(或深度人工神经网络)(例如，学习网络模型)来执行根据上述本公开的各种实施例的方法。
此外，可以通过相对于现有电子装置执行软件升级或硬件升级来实现根据上述本公开的各种实施例的方法。
此外，可以通过设置在电子装置中的嵌入式服务器或者图像处理装置的外部服务器来执行上述本公开的各种实施例。
根据本公开的实施例，可以通过包括存储在机器可读存储介质(例如，计算机可读存储介质)中的指令在内的软件来实现上述各种实施例。机器可以是从存储介质调用所存储的指令的装置，并且可以根据所调用的指令进行操作，并且可以包括根据所公开的实施例的图像处理装置(例如，电子装置100或100')。在处理器执行指令的情况下，处理器可以直接执行与指令相对应的功能，或者其他组件可以在处理器的控制下执行与指令相对应的功能。指令可以包括由编译器生成的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。“非暂时性”存储介质是有形的并且可以不包括信号，并且不区分数据是半永久地还是临时地存储在存储介质上。
此外，根据本公开的实施例，根据上述各种实施例的方法可以被包括并被设置在计算机程序产品中。计算机程序产品可以在卖方和买方之间作为产品进行交易。可以通过可由机器读取的存储介质(例如，致密盘只读存储器(CD-ROM))的形式或通过应用商店(例如，PlayStoreTM)在线分发计算机程序产品。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时存储在存储介质(例如，制造商的服务器、应用商店的服务器或中继服务器的存储器)中或被临时创建。
另外，根据上述各种实施例的元件(例如，模块或程序)中的每一个可以包括单个实体或多个实体，并且上述对应的子组件中的一些可以被忽略，或者还可以在各种实施例中包括其他子组件。备选地或附加地，一些组件(例如，模块或程序)可以被集成到一个实体中，并且可以以相同或相似的方式执行由各个对应组件在集成之前所执行的功能。由根据各种实施例的模块、程序或其他组件执行的操作可以以顺序方式、并行方式、迭代方式或启发方式执行，可以以不同顺序执行至少一些操作，或者可以省略至少一些操作，或者可以添加其他操作。
虽然上文已经示出和描述了本公开的各种示例实施例，但是本公开不限于上述实施例，而是可以由本公开所属领域的技术人员在不脱离如所附权利要求中公开的本公开的精神和范围的情况下进行各种修改。

Claims (11)

1.一种电子装置，包括：
存储器，被配置为存储与包括多个层的人工智能模型有关的信息；以及
处理器，被配置为对输入图像执行插值处理以获得插值后的图像，并且至少基于所述插值后的图像获得输出图像，
其中，所述处理器还被配置为在需要对在所述多个层中的至少一个层中使用的参数进行更新的情况下，以第一模式或第二模式进行操作，其中所述第一模式或所述第二模式是基于在所述多个层中的至少一个层中使用的滤波器的当前参数与所述当前参数将要更新为的参数之间的差异来选择的，
所述第一模式包括以下模式：基于通过使用所述人工智能模型处理所述插值后的图像而获得的图像并基于所述插值后的图像来获得所述输出图像，其中在所述人工智能模型中参数被更新，并且
所述第二模式包括以下模式：在不使用所述人工智能模型的情况下基于所述插值后的图像来获得所述输出图像，以及
其中，所述处理器还被配置为：基于所述第一模式被选择，实时地更新在所述多个层中的至少一个层中使用的参数，并且基于所述参数的更新，实时地补偿在剩余层中的至少一个层中使用的参数。
2.根据权利要求1所述的电子装置，其中，包括在所述人工智能模型中的所述多个层中的每个层被配置为使用具有不同参数的滤波器基于所述插值后的图像生成残差图像，并且
所述处理器被配置为基于从所述人工智能模型输出的所述残差图像和所述插值后的图像来获得所述输出图像。
3.根据权利要求1所述的电子装置，其中，所述处理器被配置为：基于在所述多个层中的至少一个中间层中使用的参数的实时更新，实时地补偿在所述多个层之中的第一层和最后一层中的每一个中所使用的参数。
4.根据权利要求3所述的电子装置，其中，所述处理器被配置为：响应于在第一中间层中使用的第一参数被实时地更新，基于所述第一参数的更新，实时地补偿在所述第一层和所述最后一层中的每一个中所使用的参数，并且响应于在所述第一中间层的所述第一参数被更新之后在第二中间层中使用的第二参数被实时地更新，基于所述第一参数的更新和所述第二参数的更新，实时地补偿在所述第一层和所述最后一层中的每一个中所使用的参数。
5.根据权利要求3所述的电子装置，其中，所述处理器被配置为：在所述第二模式下的操作期间对在包括在所述人工智能模型中的第一中间层中使用的第一参数进行更新，并且执行从所述第二模式到所述第一模式的切换，并且
所述处理器被配置为：响应于在第二中间层中使用的第二参数在所述第一模式下被实时地更新，基于所述第一参数的更新和所述第二参数的更新，实时地补偿在所述第一层和所述最后一层中的每一个中所使用的参数。
6.根据权利要求1所述的电子装置，其中，基于所述人工智能模型的学习，来获得用于对在所述剩余层中的至少一个层中使用的参数进行补偿的补偿参数，其中在所述人工智能模型中所述至少一个层包括更新的参数。
7.根据权利要求1所述的电子装置，其中，所述处理器被配置为：基于所述输入图像的数据传输速率或关于所述输入图像的信息中的至少一个来识别是否需要更新参数。
8.根据权利要求1所述的电子装置，还包括显示器，
其中，所述处理器被配置为控制所述显示器输出所述输出图像，并且
所述输出图像包括具有4K、8K或更高的高分辨率的图像。
9.一种控制电子装置的方法，在所述电子装置中存储有与包括多个层的人工智能模型有关的信息，所述方法包括：
对输入图像执行插值处理以获得插值后的图像；以及
至少基于所述插值后的图像获得输出图像，
其中，获得所述输出图像包括：
在需要对在所述多个层中的至少一个层中使用的参数进行更新的情况下，基于第一模式或第二模式获得所述输出图像，其中所述第一模式或所述第二模式是基于在所述多个层中的至少一个层中使用的滤波器的当前参数与所述当前参数将要更新为的参数之间的差异来选择的，
其中，所述第一模式包括以下模式：基于通过使用所述人工智能模型处理所述插值后的图像而获得的图像并基于所述插值后的图像来获得所述输出图像，其中在所述人工智能模型中参数被更新，并且
所述第二模式包括以下模式：在不使用所述人工智能模型的情况下基于所述插值后的图像来获得所述输出图像，以及
其中，所述方法还包括：基于所述第一模式被选择，实时地更新在所述多个层中的至少一个层中使用的参数，并且基于所述参数的更新，实时地补偿在剩余层中的至少一个层中使用的参数。
10.根据权利要求9所述的方法，其中，包括在所述人工智能模型中的所述多个层中的每个层使用具有不同参数的滤波器基于所述插值后的图像生成残差图像，并且
所述电子装置基于从所述人工智能模型输出的所述残差图像和所述插值后的图像来获得所述输出图像。
11.一种存储计算机指令的非暂时性计算机可读介质，所述计算机指令在由存储有与包括多个层的人工智能模型有关的信息的电子装置的处理器执行时，使得所述电子装置执行操作，所述操作包括：
对输入图像执行插值处理以获得插值后的图像；以及
至少基于所述插值后的图像获得输出图像，
其中，获得所述输出图像包括：
在需要对在所述多个层中的至少一个层中使用的参数进行更新的情况下，基于第一模式或第二模式获得所述输出图像，其中所述第一模式或所述第二模式是基于在所述多个层中的至少一个层中使用的滤波器的当前参数与所述当前参数将要更新为的参数之间的差异来选择的，
其中，所述第一模式包括以下模式：基于通过使用所述人工智能模型处理所述插值后的图像而获得的图像并基于所述插值后的图像来获得所述输出图像，其中在所述人工智能模型中参数被更新，并且
所述第二模式包括以下模式：在不使用所述人工智能模型的情况下基于所述插值后的图像来获得所述输出图像，以及
其中，所述操作还包括：基于所述第一模式被选择，实时地更新在所述多个层中的至少一个层中使用的参数，并且基于所述参数的更新，实时地补偿在剩余层中的至少一个层中使用的参数。
CN202010112631.8A 2019-08-14 2020-02-24 电子装置及其控制方法 Active CN112399120B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190099609A KR20210020387A (ko) 2019-08-14 2019-08-14 전자 장치 및 그 제어 방법
KR10-2019-0099609 2019-08-14

Publications (2)

Publication Number Publication Date
CN112399120A CN112399120A (zh) 2021-02-23
CN112399120B true CN112399120B (zh) 2023-09-19

Family

ID=69159578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112631.8A Active CN112399120B (zh) 2019-08-14 2020-02-24 电子装置及其控制方法

Country Status (6)

Country Link
US (2) US11100607B2 (zh)
EP (2) EP3779862B1 (zh)
JP (1) JP6978542B2 (zh)
KR (1) KR20210020387A (zh)
CN (1) CN112399120B (zh)
WO (1) WO2021029505A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
CN110727633A (zh) * 2019-09-17 2020-01-24 广东高云半导体科技股份有限公司 基于SoC FPGA的边缘人工智能计算***构架
TWI733341B (zh) * 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
CN113707101B (zh) * 2021-08-23 2022-11-04 深圳创维－Rgb电子有限公司 一种Mini LED背光控制方法、装置及相关设备
WO2024043731A1 (ko) * 2022-08-24 2024-02-29 삼성전자 주식회사 인터폴레이션을 수행하는 전자 장치, 동작 방법, 및 저장 매체
CN115861343B (zh) * 2022-12-12 2024-06-04 中山大学·深圳 基于动态隐式图像函数的任意尺度图像表示方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087201A (zh) * 2017-05-10 2017-08-22 西安万像电子科技有限公司 图像处理方法和装置
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN109218727A (zh) * 2017-06-30 2019-01-15 华为软件技术有限公司 视频处理的方法和装置
CN109785279A (zh) * 2018-12-28 2019-05-21 江苏师范大学 一种基于深度学习的图像融合重建方法
CN109862370A (zh) * 2017-11-30 2019-06-07 北京大学 视频超分辨率处理方法及装置
CN109903221A (zh) * 2018-04-04 2019-06-18 华为技术有限公司 图像超分方法及装置
CN110021047A (zh) * 2018-01-10 2019-07-16 佳能株式会社 图像处理方法、图像处理装置和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056811A (ko) 2012-11-13 2015-05-27 인텔 코포레이션 차세대 비디오를 위한 콘텐츠 적응적 변환 코딩
US9153231B1 (en) 2013-03-15 2015-10-06 Amazon Technologies, Inc. Adaptive neural network speech recognition models
US20170127045A1 (en) * 2015-10-28 2017-05-04 Toppano Co., Ltd. Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
WO2018053340A1 (en) 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN108205813B (zh) * 2016-12-16 2022-06-03 微软技术许可有限责任公司 基于学习网络的图像风格化
JP6704583B2 (ja) 2016-12-27 2020-06-03 株式会社デンソーアイティーラボラトリ 学習システムおよび学習方法
US11048997B2 (en) * 2016-12-27 2021-06-29 Texas Instruments Incorporated Reduced complexity convolution for convolutional neural networks
KR102592721B1 (ko) 2017-01-11 2023-10-25 한국전자통신연구원 이진 파라미터를 갖는 컨볼루션 신경망 시스템 및 그것의 동작 방법
US10572979B2 (en) 2017-04-06 2020-02-25 Pixar Denoising Monte Carlo renderings using machine learning with importance sampling
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
US10176551B2 (en) * 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
JP6925911B2 (ja) * 2017-08-30 2021-08-25 株式会社日立製作所 機械学習装置及び機械学習方法
US20190095794A1 (en) 2017-09-26 2019-03-28 Intel Corporation Methods and apparatus for training a neural network
US10776688B2 (en) 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
CN108596841B (zh) 2018-04-08 2021-01-19 西安交通大学 一种并行实现图像超分辨率及去模糊的方法
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087201A (zh) * 2017-05-10 2017-08-22 西安万像电子科技有限公司 图像处理方法和装置
CN109218727A (zh) * 2017-06-30 2019-01-15 华为软件技术有限公司 视频处理的方法和装置
CN109862370A (zh) * 2017-11-30 2019-06-07 北京大学 视频超分辨率处理方法及装置
CN110021047A (zh) * 2018-01-10 2019-07-16 佳能株式会社 图像处理方法、图像处理装置和存储介质
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN109903221A (zh) * 2018-04-04 2019-06-18 华为技术有限公司 图像超分方法及装置
CN109785279A (zh) * 2018-12-28 2019-05-21 江苏师范大学 一种基于深度学习的图像融合重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An HVS-Directed Neural-Network-Based Image;Chin-Teng Lin等;《IEEE TRANSACTIONS ON FUZZY SYSTEMS》;20070831;第15卷(第4期);605-615 *

Also Published As

Publication number Publication date
EP3907695A1 (en) 2021-11-10
US20210327027A1 (en) 2021-10-21
EP3779862A1 (en) 2021-02-17
WO2021029505A1 (en) 2021-02-18
EP3907695B1 (en) 2022-09-28
KR20210020387A (ko) 2021-02-24
US20210049740A1 (en) 2021-02-18
US11100607B2 (en) 2021-08-24
US11574385B2 (en) 2023-02-07
JP6978542B2 (ja) 2021-12-08
CN112399120A (zh) 2021-02-23
EP3779862B1 (en) 2021-09-15
JP2021034009A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
CN112399120B (zh) 电子装置及其控制方法
US11003951B2 (en) Image processing apparatus and image processing method thereof
US11978178B2 (en) Electronic device, control method thereof, and system
US11893748B2 (en) Apparatus and method for image region detection of object based on seed regions and region growing
CN112866803B (zh) 电子装置及其控制方法
EP3719741B1 (en) Image processing apparatus and image processing method thereof
KR102246954B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
US20230386057A1 (en) Electronic apparatus and image processing method thereof
US11436442B2 (en) Electronic apparatus and control method thereof
KR20210108027A (ko) 전자 장치 및 그 제어 방법
WO2024110799A1 (ko) 전자 장치 및 그 제어 방법
US11961214B2 (en) Electronic apparatus and image processing method thereof
KR20230164980A (ko) 전자 장치 및 그 영상 처리 방법
KR20240117282A (ko) 전자 장치 및 그 영상 처리 방법
KR20240077363A (ko) 전자 장치 및 그 제어 방법
KR20240114171A (ko) 전자 장치 및 그 영상 처리 방법
KR20220158525A (ko) 전자 장치 및 그 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant