CN109934792B - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN109934792B
CN109934792B CN201910137568.0A CN201910137568A CN109934792B CN 109934792 B CN109934792 B CN 109934792B CN 201910137568 A CN201910137568 A CN 201910137568A CN 109934792 B CN109934792 B CN 109934792B
Authority
CN
China
Prior art keywords
image block
index
image
vector
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910137568.0A
Other languages
English (en)
Other versions
CN109934792A (zh
Inventor
李炫承
金东炫
文永秀
安泰庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109934792A publication Critical patent/CN109934792A/zh
Application granted granted Critical
Publication of CN109934792B publication Critical patent/CN109934792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种电子装置及其控制方法。该电子装置包括：存储器，配置成存储均与多个图像图案对应的多个过滤器；以及处理器，配置成基于包括目标像素和多个周围像素的图像块内的像素之间的关系将图像块分类到多个图像图案中的一个图像图案，以及通过将多个过滤器之中的、与被分类到的图像图案对应的至少一个过滤器应用于图像块来获得最终图像块，在最终图像块中，目标像素经历过图像处理，其中，多个过滤器通过以下方式获得：基于多个图像图案中的每个图像图案，通过人工智能算法学习多个第一样本图像块与对应于多个第一样本图像块的多个第二样本图像块之间的关系。

Description

电子装置及其控制方法
分案申请声明
本申请是2018年12月11日递交于国家知识产权局(CNIPA)的发明名称为“电子装置及其控制方法”且申请号为201811509816.1的中国发明专利申请的分案申请。
技术领域
本公开总体涉及电子装置及其控制方法，以及例如涉及执行图像处理的电子装置及其控制方法。
本公开还涉及使用机器学习算法模拟人脑的识别功能和决策功能的人工智能(AI)***及其应用。
背景技术
近年来，实现人类水平智能的人工智能***被用于各个领域。人工智能***是机器执行学习和决策且本身变得智能化的***，不同于现有的基于规则的智能***。随着人工智能***的使用越来越多，提高了识别率并且更加准确地了解用户的品味，使得现有的基于规则的智能***逐渐被基于深度学习的人工智能***所取代。
人工智能技术可包括机器学习(例如，深度学习)和使用机器学习的元技术。
机器学习可包括自身对输入数据的特征进行分类/学习的算法技术，以及元技术可包括使用诸如深度学习等机器学习算法模拟人脑的功能(诸如识别、决策等)的技术，并且可包括诸如语言理解、视觉理解、推理/预测、知识表达、运动控制等技术领域。
人工智能技术可应用的各个领域如下。语言理解可指识别和应用/处理人类语言的技术，以及可包括自然语言处理、机器翻译、对话***、问答、语音识别/合成等。视觉理解可指识别和处理诸如人类视觉之类的事物的技术，以及可包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改进等。推理/预测可指判定和逻辑推理以及预测信息的技术，以及可包括基于知识/概率的推理、优化预测、基于偏好的规划、建议等。知识表达可指将人类经验信息自动化并处理为知识数据的技术，以及可包括知识建构(数据创建/分类)、知识管理(数据利用)等。运动控制可指控制车辆的自动驾驶和机器人的运动的技术，以及可包括运动控制(导航、碰撞、驾驶)、操纵控制(行为控制)等。
同时，常规图像处理方法可分为非基于学习的技术和基于学习的技术。非基于学习的技术具有图像处理速度快的优点，但是存在不能根据图像特性进行灵活图像处理的问题。基于学习的技术具有能够进行灵活图像处理的优点，但是存在难以实时处理的问题。
例如，考虑放大图像的分辨率的情况，在作为非基于学习的技术的代表性方法的插值方法中，使用具有低通特性的过滤器计算与分辨率被放大的位置对应的像素的亮度。详细地，存在基于样条的双立方插值方式、使用通过简化理想低通过滤器(Sinc Kernel)形成的Lanczos过滤器的重采样方式等。这种非基于学习的技术由于低复杂性而显示出稳定的图像放大性能，但可能无法反映仅由图像所具有的先验信息，使得边缘税度模糊、边缘锯齿状、边缘附近出现混叠或振影。
作为基于学习的技术的代表性方法，存在直接使用高图像质量图像数据库进行重建的方式，针对每个分类等级学习和使用高分辨率转换规则的方式，通过深度学习网络以端对端映射形式学习低分辨率/高分辨率转换并在放大图像时使用学习的网络放大图像的方式。
在基于学***滑的边缘。然而，由于高复杂性，基于学习的技术适合于需要非实时的应用，但是难以将基于学习的技术应用于需要实时的装置，诸如电视(TV)。另外，难以将基于学习的技术应用于片上***(Soc)实施例进行实时实现。
另外，基于学***坦区域显示出噪声分量或在详细表征的表面上显示出低性能。另外，基于学习的技术存在图像可能无法被放大到非学习放大倍数的问题。
因此，需要开发能够执行灵活的图像处理并且提高图像处理速度的技术。
发明内容
本公开的示例性实施方式解决了上述缺点以及上文未描述的其它缺点。
本公开提供了实时执行基于学习的图像处理的电子装置及其控制方法。
根据本公开的示例性方面，电子装置包括：存储器，配置成存储多个过滤器，每个过滤器均与多个图像图案对应；以及处理器，配置成基于包括目标像素和多个周围像素的图像块内的像素之间的关系将图像块分类到多个图像图案中的一个图像图案，以及通过将多个过滤器之中的、与被分类到的图像图案对应的至少一个过滤器应用于图像块来获得最终图像块，在最终图像块中，目标像素经历过图像处理，其中，多个过滤器通过以下方式获得：基于多个图像图案中的每个图像图案，通过人工智能算法学习多个第一样本图像块与对应于多个第一样本图像块的多个第二样本图像块之间的关系。
处理器可从图像块计算(确定)梯度向量，基于梯度向量和存储在存储器中并包括多个索引向量的索引矩阵来计算(确定)图像块与多个索引向量中的每个索引向量的相关性，以及基于所计算(确定)的相关性将图像块分类到多个图像图案中的一个图像图案，并且多个索引向量可基于从多个第一样本图像块计算(确定)出并分别与多个图像图案对应的多个样本梯度向量来获得。
当图像块的水平方向性的强度大于图像块的竖直方向性的强度时，处理器可从图像块计算梯度向量，以及当图像块的水平方向性的强度小于图像块的竖直方向性的强度时，处理器可将图像块转置并从转置后的图像块计算梯度向量。
处理器可使用存储在存储器中的本征向量来减小梯度向量的尺寸，并基于已减小尺寸的梯度向量来计算图像块与多个索引向量中的每个索引向量的相关性，并且本征向量可通过应用多个样本梯度向量的主成分分析进行创建。
处理器可基于梯度向量和存储在存储器中的第一索引矩阵来计算图像块与多个索引向量组中的每个索引向量组的第一相关性，基于第一相关性来获得多个索引向量组中的一个索引向量组，基于梯度向量以及存储在存储器中的多个第二索引矩阵之中的与所获得的索引向量组对应的第二索引矩阵来计算图像块与所获得的索引向量组中所包括的多个索引向量中的每个索引向量的第二相关性，以及通过基于第二相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块，可通过将多个索引向量划分成预定数量的组来获得多个索引向量组，第一索引矩阵可包括表示多个索引向量组中的每个索引向量组的索引向量，以及多个第二索引矩阵中的每个第二索引矩阵均可包括与多个索引向量组中的每个索引向量组对应的多个索引向量。
处理器可基于第二相关性来获得包括在所获得的索引向量组中的多个索引向量中的一个索引向量，基于存储在存储器中的相似索引向量信息来获得包括在多个索引向量组中的其它索引向量组中的、并与获得的索引向量对应的至少一个附加索引向量，基于梯度向量、获得的索引向量和获得的附加索引向量来计算图像块的第三相关性，以及通过基于第三相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块。
处理器可基于计算的多个相关性来获得多个过滤器中的至少两个过滤器，基于至少两个过滤器以及图像块与至少两个过滤器中的每个过滤器对应的相关性来计算最终过滤器，以及通过将计算的最终过滤器应用于图像块来获得最终图像块。
多个第一样本图像块可以是分别已降低其中相应的第二样本图像块的分辨率的图像，以及处理器可通过将多个过滤器中的至少一个过滤器应用于图像块来获得目标像素的分辨率被放大的最终图像块。
处理器可通过对图像块应用非基于学习的分辨率放大技术来获得目标像素的分辨率被放大的附加图像块，以及基于计算的多个相关性中的最大相关性和附加图像块来更新最终图像块。
处理器可计算多个周围像素中的每个周围像素以及目标像素的水平梯度和竖直梯度，并基于水平梯度和竖直梯度计算梯度向量。
多个过滤器中的每个过滤器均可通过以下方式获得：从多个第一样本图像块之中获得与多个索引向量中的一个索引向量对应的多个第一子样本图像块，从多个第二样本图像块之中获得与多个第一子样本图像块对应的多个第二子样本图像块，以及通过人工智能算法学习多个第一子样本图像块与多个第二子样本图像块之间的关系。
根据本公开的另一示例性方面，控制电子装置的方法包括：基于包括目标像素和多个周围像素的图像块内的像素之间的关系，将图像块分类到多个图像图案中的一个图像图案；以及通过将均与多个图像图案对应的多个过滤器之中的、与被分类到的图像图案对应的至少一个过滤器应用于图像块来获得最终图像块，在最终图像块中，目标像素经历过图像处理，其中，多个过滤器可通过以下方式来获得：基于多个图像图案中的每个图像图案，通过人工智能算法来学习多个第一样本图像块与对应于多个第一样本图像块的多个第二样本图像块之间的关系。
分类可包括：从图像块计算(确定)梯度向量；基于包括多个索引向量的索引矩阵和梯度向量来计算(确定)图像块与多个索引向量中的每个索引向量的相关性；以及基于所计算(确定)的相关性将图像块分类到多个图像图案中的一个图像图案，并且多个索引向量可基于从多个第一样本图像块计算的多个样本梯度向量来获得，以及该多个索引向量可分别与多个图像图案对应。
在计算梯度向量的过程中：当图像块的水平方向性的强度大于图像块的竖直方向性的强度时，可从图像块计算梯度向量；以及当图像块的水平方向性的强度小于图像块的竖直方向性的强度时，可对图像块进行转置并从转置后的图像块计算梯度向量。
方法还可包括使用本征向量减小梯度向量的尺寸，其中，在计算相关性的过程中，基于已减小尺寸的梯度向量来计算图像块与多个索引向量中的每个索引向量的相关性，以及通过应用多个样本梯度向量的主成分分析来创建本征向量。
计算相关性可包括：基于第一索引矩阵和梯度向量来计算图像块与多个索引向量组中的每个索引向量组的第一相关性；基于第一相关性来获得多个索引向量组中的一个索引向量组；基于梯度向量以及多个第二索引矩阵之中的与所获得的索引向量组对应的第二索引矩阵来计算图像块与所获得的索引向量组中所包括的多个索引向量中的每个索引向量的第二相关性；以及在获得最终图像块的过程中，可通过基于第二相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块，可通过将多个索引向量划分成预定数量的组来获得多个索引向量组，第一索引矩阵可包括表示多个索引向量组中的每个索引向量组的索引向量，以及多个第二索引矩阵中的每个第二索引矩阵均可包括与多个索引向量组中的每个索引向量组对应的多个索引向量。
计算相关性可包括：基于第二相关性来获得包括在所获得的索引向量组中的多个索引向量中的一个索引向量；基于相似的索引向量信息来获得包括在多个索引向量组中的其它索引向量组中的、并与获得的索引向量对应的至少一个附加索引向量；以及基于梯度向量、获得的索引向量和获得的附加索引向量来计算图像块的第三相关性，并且在获得最终图像块的过程中，可通过基于第三相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块。
获得最终图像块可包括：基于计算的多个相关性来获得多个过滤器中的至少两个过滤器；基于该至少两个过滤器以及图像块与至少两个过滤器中的每个过滤器对应的相关性来计算最终过滤器；以及通过将计算的最终过滤器应用于图像块来获得最终图像块。
多个第一样本图像块可以是分别已降低其中相应的第二样本图像块的分辨率的图像，以及在获得最终图像块的过程中，可通过将多个过滤器中的至少一个过滤器应用于图像块来获得目标像素的分辨率被放大的最终图像块。
方法还可包括：通过对图像块应用非基于学习的分辨率放大技术来获得目标像素的分辨率被放大的附加图像块；以及基于计算的多个相关性中的最大相关性和附加图像块来更新最终图像块。
在计算梯度向量的过程中，可计算多个周围像素中的每个周围像素以及目标像素的水平梯度和竖直梯度，并可基于水平梯度和竖直梯度来计算梯度向量。
多个过滤器中的每个过滤器均可通过以下方式获得：从多个第一样本图像块之中获得与多个索引向量中的一个索引向量对应的多个第一子样本图像块，从多个第二样本图像块之中获得与多个第一子样本图像块对应的多个第二子样本图像块，以及通过人工智能算法学习多个第一子样本图像块与多个第二子样本图像块之间的关系。
根据如上所述的本公开的各种示例性实施方式，电子装置可实时执行图像处理并因而用于各种应用中，并且该电子装置可通过执行基于学习的图像处理而与非基于学习的图像处理相比提高了图像处理的质量。
附图说明
从以下结合附图的详细描述中，本公开的上述和/或其它方面、特征和伴随的有益效果将更加显而易见以及容易理解，在附图中，相同的附图标记表示相同的元件，以及其中：
图1A是示出根据本公开的示例性实施方式的示例性电子装置的部件的框图；
图1B是示出电子装置的部件的示例的框图；
图2是示出根据本公开的示例性实施方式的处理器的示例性操作的图示；
图3A、图3B、图3C、图3D和图3E是示出根据本公开的示例性实施方式的判定图像块的方向性和创建梯度向量的示例性方法的图示；
图4A和图4B是示出根据本公开的示例性实施方式的梯度向量的示例性特征维数缩减的图示；
图5A和图5B是示出根据本公开的示例性实施方式的使用索引矩阵的过滤器的示例性搜索的图示；
图6A、图6B和图6C是示出根据本公开的示例性实施方式的减少过滤器的搜索计算量的示例性方法的图示；
图7A和图7B是示出根据本公开的另一示例性实施方式的减少过滤器的搜索计算量的示例性方法的图示；
图8A和图8B是示出根据本公开的示例性实施方式的将过滤器应用于图像块的示例性方法的图示；
图9A和图9B是示出根据本公开的示例性实施方式的过滤器的示例性学习方法的图示；
图10是示出根据本公开的示例性实施方式的示例性流操作的流程图；以及
图11是示出根据本公开的示例性实施方式的控制电子装置的示例性方法的流程图。
具体实施方式
本公开的各种示例性实施方式可进行不同地修改。因此，在附图中示出了具体示例性实施方式，并且在本公开中对其进行了详细描述。然而，将理解，本公开并不局限于具体示例性实施方式，而是包括在不脱离本公开的范围和精神的情况下的所有修改、等同物和替代物。此外，可能没有详细描述公知的功能或结构，它们以不必要的细节使本公开模糊不清楚。
下文中，将参照附图更详细地描述本公开的各种示例性实施方式。
图1A是示出根据本公开的示例性实施方式的电子装置100的示例性部件的框图。如图1A中所示，电子装置100包括存储器110和处理器(例如，包括处理电路)120。
电子装置100可以是执行图像处理的装置。例如，电子装置100可以是基于通过人工智能算法学***板PC、服务器、冰箱、洗衣机、标牌等。另外，电子装置100可以是例如但不限于自身配置有云计算环境的***。然而，电子装置100不限于此，而可以是可执行图像处理的任何装置。
存储器110可存储与多个图像图案中的每个图像图案对应的多个过滤器。此处，多个图像图案可根据图像特性进行分类。例如，第一图像图案可以是具有许多水平方向上的线的图像图案，以及第二图像图案可以是具有许多旋转方向上的线的图像图案。
存储器110还可存储包括多个索引向量的索引矩阵。该多个索引向量可基于从多个第一样本图像块计算(确定)的多个样本梯度向量来获得，并且该多个索引向量可分别与多个图像图案对应。该多个过滤器可通过以下方式获得：基于多个索引向量中的每个索引向量，通过人工智能算法学习多个第一样本图像块以及与多个第一样本图像块对应的多个第二样本图像块之间的关系。
多个索引向量和多个过滤器可由外部服务器而不是电子装置100创建。然而，多个索引向量和多个过滤器不限于此，还可由电子装置100创建。在这种情况下，存储器110可存储多个第一样本图像块和多个第二样本图像块。
下面描述创建梯度向量、多个索引向量和多个过滤器的方法。
存储器110可存储至少一个图像块。存储器110可存储多个第一样本图像块和多个第二样本图像块。另外，存储器110可存储非基于学习的过滤器，并且存储器的类型不受限制。
存储器110可例如但不限于通过硬盘、非易失性存储器、易失性存储器等来实现，并且可以是可存储数据的任何部件。
处理器120可包括各种处理电路，以及通常控制电子装置100的操作。
根据示例性实施方式，处理器120可通过例如但不限于数字信号处理器(DSP)、微处理器和/或时序控制器(TCON)等来实现。然而，处理器120不限于此，而可包括例如但不限于以下中的一个或多个：专用处理器、中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器，和/或可由这些术语等来限定。另外，处理器120可通过嵌入了处理算法的片上***(SoC)或大规模集成电路(LSI)来实现，和/或可以以现场可编程门阵列(FPGA)的形式实现。
处理器120可接收从外部服务器输入的包括目标像素和多个周围像素的图像块。在这种情况下，处理器120可将图像块存储在存储器110中。处理器120可读取存储在存储器110中的图像块。处理器120可从存储在存储器110中的图像帧读取具有预定尺寸的图像块。例如，处理器120可读取图像帧的左上端的3×3的第一图像块，并且可对第一图像块进行图像处理。另外，处理器120可读取从图像帧的左上端向右移动单位像素的3×3的第二图像块，并且可对第二图像块进行图像处理。以这种方式，处理器120可对整个图像帧执行图像处理。
目标像素可以是变为下面将描述的过滤目标的像素。即，目标像素可基于多个周围像素的像素值进行过滤。
处理器120可基于包括目标像素和多个周围像素的图像块内的像素之间的关系将图像块分类到多个图像图案中的一个图像图案。例如，当在水平方向上彼此相邻的像素的像素值之间的差异小于在竖直方向上彼此相邻的像素的像素值之间的差异时，处理器120可将图像块分类到具有竖直方向的特性的图像图案。
然而，本公开不限于此，处理器120还可依赖各种方法获得图像块内的像素之间的关系。
另外，处理器120可通过将多个过滤器之中的、与被分类到的图像图案对应的至少一个过滤器应用于图像块来获得最终图像块，在该最终图像块中目标像素进行了图像处理。
作为用于对图像块进行分类的另一示例，处理器120可从图像块计算(确定)梯度向量。例如，处理器120可计算用于多个周围像素中的每个周围像素以及目标像素的水平梯度和竖直梯度，并基于水平梯度和竖直梯度计算梯度向量。梯度向量可指示在预定方向上存在的像素相对于每个像素的变化量。即，可通过梯度向量来检测图像块的特性。
例如，处理器120可使用Sobel算子计算3×3的图像块的水平梯度和竖直梯度。水平梯度和竖直梯度中的每项均可包括九个元素，以及处理器120可以以预定顺序排列水平梯度和竖直梯度中的每项的元素，并将元素转换成向量形式。预定顺序可通过各种方法设置。然而，预定顺序可与用于在创建下面将描述的多个索引向量和多个过滤器的过程中计算梯度向量的顺序相同。
除了Sobel算子之外，处理器120还可通过各种方法计算图像块的梯度向量，并且该各种方法不受特别限制。除了水平梯度向量和竖直梯度向量之外，还可计算具有另一角度的梯度向量，并且可使用任何方法，只要梯度向量是通过与在创建下面将描述的多个索引向量和多个过滤器的过程中使用的方法相同的方法计算的即可。下文中，为了便于说明，描述了计算c×1的梯度向量的情况。此处，c可根据图像块的尺寸而变化。
处理器120可基于梯度向量和存储在存储器110中的索引矩阵来计算图像块与多个索引向量中的每个索引向量的相关性。索引矩阵可包括多个索引向量，并且该多个索引向量可基于从多个第一样本图像块计算的多个样本梯度向量来获得。
例如，在针对图像块的特性中的每个特性而将从1,000,000个第一样本图像块计算的1,000,000个样本梯度向量划分成组的情况下，多个索引向量中的每个索引向量均可以是表示每个组的向量。即，图像块与多个索引向量中的每个索引向量的相关性可意指图像块与a个组中的每个组的相似性。另外，图像块可被认为具有与对应于a个相关性中的最大相关性的组的特性相似的特性。
然而，这仅是示例，并且第一样本图像块的数量和组的数量可以改变。另外，组的数量还可根据过滤器的类型而改变。例如，在分辨率放大过滤器的情况下，组的数量为a，但是在锐化过滤器的情况下，组的数量可以不是a。
处理器120可通过基于计算的相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块，在该最终图像块中目标像素进行了图像处理。此处，过滤器可以是分辨率放大过滤器、锐化过滤器等，但不限于此，并且也可以是与图像处理相关的任何过滤器。
另外，可通过以下方式来获得多个过滤器：基于多个索引向量中的每个索引向量，通过人工智能算法来学习多个第一样本图像块与对应于多个第一样本图像块的多个第二样本图像块之间的关系。
例如，多个过滤器中的每个过滤器均可通过以下方式获得：从多个第一样本图像块之中获得与多个索引向量中的一个索引向量对应的多个第一子样本图像块，从多个第二样本图像块之中获得与多个第一子样本图像块对应的多个第二子样本图像块，以及通过人工智能算法学习多个第一子样本图像块与多个第二子样本图像块之间的关系。
在上述示例中，多个过滤器中的每个过滤器均可以是例如但不限于通过人工智能算法学习a个组中的一个组的图像特性而获得的分辨率放大过滤器。在第一图像特性由第一索引向量表示且存在与第一索引向量对应的第一过滤器以及第二图像特性由第二索引向量表示且存在与第二索引向量对应的第二过滤器的情况下，当图像块与第一图像特性之间的相关性高时，与通过第二过滤器放大其分辨率的情况相比，在通过第一过滤器放大其分辨率的情况下，图像块可显示出更高的质量。原因是第一过滤器和第二过滤器是学习成分别适合于第一图像特性和第二图像特性的过滤器。
当图像块的水平方向性的强度大于图像块的竖直方向性的强度时，处理器120可从图像块计算梯度向量，以及当图像块的水平方向性的强度小于图像块的竖直方向性的强度时，处理器120可对图像块进行转置并从转置后的图像块计算梯度向量。
例如，处理器120可将竖直方向性占优势的图像块转置为水平方向性占优势的图像块，并且从水平方向性占优势的图像块计算梯度向量。在这种情况下，可减少索引向量的数量，从而可提高计算速度。
例如，在针对每个图像特性将具有水平方向性的图像块划分成a个第一组的情况下，针对每个图像特性还可将具有竖直方向性的图像块划分成a个第二组。因此，针对每个图像特性，可形成总共2×a个组，以及可创建总共2×a个索引向量。
因此，在处理器120对竖直方向性占优势的图像块进行转置的情况下，转置后的图像块可具有水平方向性，并且可被包括在第一组中的一个组中。即，处理器120可通过对竖直方向性占优势的图像块进行转置而将属于第二组中的一个组的图像块处理到第一组中的一个组中，并且可在无需对水平方向性占优势的图像块进行转置的情况下，处理第一组中的一个组中的水平方向性占优势的图像块。因此，根据转置操作，索引向量的数量可减少一半，并且可提高计算速度。
处理器120可通过将过滤器应用于转置后的图像块并对图像块再次进行转置来获得最终图像块，在该最终图像块中，目标像素经历过图像处理。在图像块未进行转置的情况下，可省略将过滤器应用于图像块并随后对图像块再次进行转置的操作。
同时，尽管上文中描述了处理器120对竖直方向性占优势的图像块进行转置的情况，但这仅是示例，以及处理器120还可将水平方向性占优势的图像块进行转置。
同时，处理器120可使用存储在存储器110中的本征向量来减小梯度向量的尺寸，并基于已减小尺寸的梯度向量计算图像块与多个索引向量中的每个索引向量的相关性。此处，可通过应用多个样本梯度向量的主成分分析来创建本征向量。
当在索引向量存在的状态下不使用本征向量时，索引矩阵可具有a×c的形式。在这点上，当使用本征向量将c×1的梯度向量减小为c'×1的梯度向量时，索引矩阵可具有a×c'的形式。详细地，包括在a×c的索引矩阵中的多个索引向量的特征尺寸可使用相同的特征向量来减小，并且包括已减小特征尺寸的多个索引向量的索引矩阵可具有a×c’的形式。此处，本征向量可具有c’×c的形式，并且c’可小于c。
与使用a×c的索引矩阵的情况相比，在使用a×c’的索引矩阵的情况下，可提高计算速度。
同时，主成分分析是提取主成分的统计方法，其将许多变量的变化类型模式简明地表示为原始变量的线性组合。即，在存在p个变量的情况下，从p个变量获得的信息可减少为显著小于p的k个变量。在上面的示例中，可认为c特征尺寸减小为c'特征尺寸。然而，减小的特征尺寸的数量不受限制，而也可以改变。
下文中，描述了使用本征向量来减少索引矩阵和梯度向量的情况。然而，本公开不限于此，不使用本征向量的配置与本公开的示例性实施方式对应。
同时，处理器120可基于梯度向量和存储在存储器110中的第一索引矩阵来计算图像块与多个索引向量组中的每个索引向量组的第一相关性，基于第一相关性获得多个索引向量组中的一个索引向量组，以及从存储在存储器110中的多个第二索引矩阵之中获得与所获得的索引向量对应的第二索引矩阵。
此处，可通过将多个索引向量划分成预定数量的组来获得多个索引向量组。例如，可根据特性将多个索引向量组划分成总共四个组，以及四个组中的每个组均可包括b个索引向量。同一组中的b个索引向量可彼此相似。
第一索引矩阵可包括表示多个索引向量组中的每个索引向量组的索引向量。在上述示例中，在四个组中的每个组中，可将b个索引向量中的一个索引向量设置为代表，并且可使用表示各个组的四个索引向量来形成第一索引矩阵。此处，第一索引矩阵可具有4×c’的形式。
多个第二索引矩阵中的每个第二索引矩阵均可包括与多个索引向量组中的每个索引向量组对应的多个索引向量。例如，多个索引向量中的每个索引向量均可具有b×c’的形式。
在上述示例中，处理器120可基于第一相关性确定图像块属于多个索引向量组中的哪个索引向量组，并从多个第二索引矩阵之中获得与对应组对应的第二索引矩阵。
处理器120可基于梯度向量和获得的第二索引矩阵来计算图像块与包括在所获得的索引向量中的多个索引向量中的每个索引向量的第二相关性，并可通过基于第二相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块。可通过如上所述的方法来提高计算速度。
然而，这仅是示例，并且索引向量组的数量可以改变。另外，多个索引向量组中所包括的索引向量的数量可彼此不同。
同时，根据上述示例性实施方式，可仅计算与总共a个索引向量中的一些索引向量的相关性。因此，省略了与其它索引向量的相关性的计算，并且在分组不恰当的情况下，可能无法检测到具有最高相关性的索引向量。下文中，描述了对此进行补充的方法。
处理器120可基于第二相关性来获得包括在所获得的索引向量组中的多个索引向量中的一个索引向量，基于存储在存储器110中的相似索引向量信息来获得包括在多个索引向量组中的其它索引向量组中的、并与获得的索引向量对应的至少一个附加索引向量，基于梯度向量、获得的索引向量和获得的附加索引向量来计算图像块的第三相关性，以及通过基于第三相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块。
即，存储器110还可存储相似的索引向量信息，该信息是关于针对每个索引向量并具有相似特性的不同索引向量组中所包括的附加索引向量的信息。
当基于第二相关性获得一个索引向量时，处理器120可基于存储在存储器110中的信息来计算图像块与附加索引向量的相关性，其中，该附加索引向量具有与所获得的索引向量的特性相似的特性。处理器120可基于图像块与所获得的索引向量的相关性以及图像块与附加索引向量的相关性来获得至少一个过滤器。
在这种情况下，在计算图像块与附加索引向量的相关性的过程中执行附加乘法，使得与前一示例性实施方式相比速度可能降低，但是与前一示例性实施方式相比精度可能提高。另外，在附加索引向量的数量不是很多的情况下，速度的降低可能并不显著。
处理器120可基于计算的多个相关性来获得多个过滤器中的至少两个过滤器，基于至少两个过滤器以及与至少两个过滤器中的每个过滤器对应的相关性来计算最终过滤器，以及通过将计算的最终过滤器应用于图像块来获得最终图像块。
例如，处理器120可获得第一过滤器和第二过滤器，并基于与第一过滤器和第二过滤器中的每个过滤器对应的第一相关性和第二相关性，通过对第一过滤器和第二过滤器进行加权和求和来计算最终过滤器。
然而，本公开不限于此，处理器120还可在不考虑相关性的情况下从第一过滤器和第二过滤器计算最终过滤器。
同时，多个第一样本图像块可以是相应的第二样本图像块的分辨率分别被降低的图像，以及处理器120可通过将多个过滤器中的至少一个过滤器应用于图像块来获得目标像素的分辨率被放大的最终图像块。
在这种情况下，多个过滤器可以是通过人工智能算法学习和获得的过滤器，以从多个第一样本图像块中的每个第一样本图像块中导出分辨率被放大的对应第二样本图像块。
处理器120可通过对图像块应用非基于学习的分辨率放大技术来获得目标像素的分辨率被放大的附加图像块，并基于计算的多个相关性中的最大相关性和附加图像块来更新最终图像块。
例如，处理器120可选择计算的多个相关性中的最大相关性，并基于选择的相关性确定最终图像块的变化水平。详细地，处理器120可在所选择的相关性变大时通过减小附加图像块的影响来最小化和/或减少最终图像块的变化，以及在所选择的相关性变小时通过放大附加图像块的影响来放大最终图像块的变化。
图1B是示出电子装置100的示例性部件的框图。如图1B中所示，电子装置100包括存储器110、处理器(例如，包括处理电路)120、通信器(例如，包括通信电路)130、显示器140、用户接口150、音频处理器(例如，包括音频处理电路)160和视频处理器(例如，包括视频处理电路)170。对于图1B中示出的部件当中的、与图1A中示出的这些部件重叠的部件，此处可能未重复进行详细描述。
处理器120可包括各种处理电路，并通常使用存储在存储器110中的各种程序来控制存储器110的操作。
例如，处理器120可包括但不限于随机存取存储器(RAM)121、只读存储器(ROM)122、主中央处理单元(CPU)123、图形处理器124、第一接口125-1至第n接口125-n以及总线126。
RAM 121、ROM 122、主CPU 123、图形处理器124、第一接口125-1至第n接口125-n等可通过总线126彼此连接。
第一接口125-1至第n接口125-n连接至如上所述的各种部件。其中一个接口可以是通过网络连接至外部服务器的网络接口。
主CPU 123访问存储器110，以使用存储在存储器110中的操作***(O/S)执行启动。另外，主CPU 123使用存储在存储器110中的各种程序等执行各种操作。
用于启动***等的指令***可存储在ROM 122中。当输入开启命令以向主CPU 123供电时，主CPU 123根据存储在ROM 122中的指令将存储在存储器110中的操作***(O/S)复制到RAM 121，并执行O/S以启动***。当启动完成时，主CPU 123将存储在存储器110中的各种应用程序复制到RAM 121，并执行复制到RAM 121的应用程序以执行各种操作。
图形处理器124使用计算器(未示出)和渲染器(未示出)渲染包括诸如图标、图像、文本等各种对象的屏幕。计算器(未示出)基于根据接收到的控制命令，根据屏幕的布局来计算属性值，诸如相应对象将被显示的坐标值，相应对象的形状、尺寸、颜色等。渲染器(未示出)基于计算器(未示出)中计算的属性值来渲染包括对象的各种布局的屏幕。由渲染器(未示出)渲染的屏幕显示在显示器140的显示区域上。
同时，如上所述的处理器120的操作可由存储在存储器110中的程序执行。
存储器110存储各种数据，诸如图像块分析模块、过滤器模块、用于驱动电子装置100的操作***(O/S)软件模块等。
通信器130可包括各种通信电路，并且通信器130是以各种类型的通信方式与各种类型的外部服务器执行通信的部件。通信器130可包括各种通信芯片中所包括的各种通信电路，例如但不限于无线保真(WiFi)芯片131、蓝牙芯片132、无线通信芯片133、近场通信(NFC)芯片134等。处理器120使用通信器130与各种外部服务器执行通信。
WiFi芯片131和蓝牙芯片132分别以WiFi方式和蓝牙方式执行通信。在使用WiFi芯片131或蓝牙芯片132的情况下，可首先发送和接收诸如服务集标识符(SSID)、对话密钥等各种类型的连接信息，使用连接信息连接通信，并且随后可发送和接收各种类型的信息。无线通信芯片133意指根据诸如以下各种通信协议执行通信的芯片：电气与电子工程师协会(IEEE)、ZigBee、第三代移动通信(3G)、第三代合作伙伴项目(3GPP)和长期演进(LTE)等。NFC芯片134意指使用诸如135kHz、13.56MHz、433MHz、860MHz至960MHz、2.45GHz等各种射频识别(RFID)频带中的13.56MHz频带以NFC方式操作的芯片。
处理器120可通过通信器130从外部服务器接收索引矩阵、多个过滤器等。可替代地，处理器120可通过通信器130从外部服务器实时接收图像块等。
显示器140可通过各种类型的显示器来实现，例如但不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子体显示面板(PDP)等。显示器140可包括可以以诸如a-si、低温多晶硅(LTPS)、薄膜晶体管(TFT)、有机TFT(OTFT)等形式实现的驱动电路、背光单元等。同时，显示器140可通过触摸屏来实现，其中，触摸屏中结合了触摸传感器。
处理器120可控制显示器140显示图像块和最终图像块。
用户接口150接收各种用户交互。此处，用户接口150可根据电子装置100的实施例以各种形式来实现。例如，用户接口150可包括各种接口电路，例如但不限于接收用户语音的麦克风、感测用户运动的摄像机、电子装置100中所包括的按钮等。在电子装置100是通过基于触摸的电子装置来实现的情况下，用户接口150还可以以触摸屏的形式来实现，该触摸屏与触摸板一起形成层状结构。在这种情况下，用户接口150可用作上文所述的显示器140。
音频处理器160是对音频数据执行处理的部件。音频处理器160可包括各种音频处理电路，并且可执行各种类型的处理，例如但不限于，可对音频数据执行解码、放大、滤噪等。
视频处理器170是对视频数据执行处理的部件。视频处理器170可包括各种视频处理电路，并且可执行各种类型的图像处理，例如但不限于，可对视频数据执行解码、缩放、滤噪、帧率转换、分辨率转换等。
同时，如上所述由外部服务器提供的包括索引矩阵、多个过滤器等的模型是基于人工智能算法学习的决策模型，并且可以是例如基于神经网络的模型。学习的决策模型可设计成在计算机上模拟人脑结构，以及可包括模拟人类神经网络的神经元并具有权重的多个网络节点。多个网络节点可在其中形成连接关系，以模拟通过突触发送和接收信号的神经元的突触活动。另外，学习的决策模型可包括例如神经网络模型或从神经网络模型开发的深度学习模型。在深度学习模型中，多个网络节点可位于不同的深度(或层)处，并且可根据卷积连接关系在其中发送和接收数据。学习的决策模型的示例可包括例如但不限于深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BRDNN)等，但不限于此。
另外，电子装置100可使用个人秘书程序，其是人工智能专用程序(或人工智能代理)，以接收通过将过滤器应用于如上所述的图像块而获得的最终图像块。在这种情况下，用于提供基于人工智能(AI)的服务的专用程序的个人秘书程序可由现有的通用处理器(例如，中央处理单元(CPU))或单独的AI专用处理器(例如，图形处理单元(GPU))来执行。
在输入预定用户输入(例如，取决于拍摄按钮的操纵等的图像拍摄等)或者从外部装置输入图像块的情况下，可操作(或执行)人工智能代理。
根据本公开的另一示例性实施方式，电子装置100可将输入图像块发送至外部服务器。外部服务器可通过对图像块直接应用过滤器来获得最终图像块，并将获得的最终图像块发送至电子装置100。
处理器120可通过如上所述的方法，通过实时执行基于学习的图像处理来提高图像处理的质量。
下文中，将参照附图更详细地描述处理器120的示例性操作。
图2是示出根据本公开的示例性实施方式的处理器120的示例性操作的图示。
当输入图像块时，处理器120可首先执行图像块的梯度提取210。例如，处理器120可判定图像块的方向性并创建梯度向量。另外，处理器120还可基于图像块的方向性判定结果对图像块进行转置。
处理器120可使用本征向量260执行梯度向量的特征维数缩减220。
处理器120可使用索引矩阵270对过滤器执行过滤器搜索230，该过滤器将被应用于特征维数被缩减的梯度向量。
处理器120可基于搜索结果来获得过滤器数据库DB 280中所包括的多个过滤器中的至少一个过滤器，并将至少一个过滤器应用于图像块(过滤器应用240)。
过滤器数据库280中所包括的多个过滤器可以是基于学习的过滤器。例如，可通过以下方式来获得多个过滤器：通过人工智能算法来学习多个第一样本图像块与对应于多个第一样本图像块的多个第二样本图像块之间的关系。即，可认为如上所述的操作是将基于学习的过滤器应用于图像块。
同时，与如上所述的操作独立地，处理器120可将非基于学习的过滤器应用于图像块(非基于学习的过滤器的应用250)。例如，处理器120可并行地执行对同一图像块应用基于学习的过滤器和应用非基于学习的过滤器。
另外，处理器120可对取决于应用基于学习的过滤器的第一结果和取决于应用非基于学习的过滤器的第二结果进行加权和求和。
同时，本征向量260、索引矩阵270和过滤器数据库280可使用多个第一样本图像块和对应于多个第一样本图像块的多个第二样本图像块进行创建。
在图2中，取决于方向性判定结果的图像块的转置，梯度向量的特征维数缩减以及非基于学习的过滤器的应用都是可选操作，并且可以省略。
图3A、图3B、图3C、图3D和图3E是示出根据本公开的示例性实施方式的判定图像块的方向性和创建梯度向量的示例性方法的图示。
如图3中所示，处理器120可使用诸如Sx和Sy的掩模来判定图像块的方向性。例如，处理器120可通过将5×5的图像块和掩模应用于下列方程式1来判定图像块的方向性：
[方程式1]
GV＝∑∑sx(n，m)Y(i+n，j+m)
GH＝∑∑sy(n，m)Y(i+n，j+m)
此处，GV指示图像块的竖直方向性，GH指示图像块的水平方向性，n和m分别指示用于识别行和列的索引，以及i和j指示图像帧中的图像块的参考点。
处理器120可通过将竖直方向性的大小与水平方向性的大小进行相互比较来获得图像块的方向性。
处理器120可基于在创建本征向量、索引矩阵和多个过滤器的情况下使用的方向性来确定是否对图像块进行转置。例如，在当创建本征向量、索引矩阵和多个过滤器时仅使用了水平方向性而并未使用竖直方向性的情况下，处理器120在图像块具有水平方向性时不对图像块进行转置，而当图像块具有竖直方向性时，处理器120可对图像块进行转置。在当创建本征向量、索引矩阵和多个过滤器时仅使用了竖直方向性而并未使用水平方向性的情况下，处理器120在图像块具有竖直方向性时不对图像块进行转置，而当图像块具有水平方向性时，处理器120可对图像块进行转置。
在图3B中，基块指示在创建本征向量、索引矩阵和多个过滤器的情况下使用的方向性。
在基块具有竖直方向性的情况下，如图3B的上端那样，处理器120可仅对左侧两个图像块的右图像块进行转置。在基块具有水平方向性的情况下，如图3B的下端那样，处理器120可仅对左侧两个图像块的右图像块进行转置。
由于仅使用了竖直方向性和水平方向性中的一项，因此可减少本征向量、索引矩阵和多个过滤器的数据量。另外，可生成取决于方向性判定和图像块的转置的附加计算，但是由于本征向量、索引矩阵和多个过滤器的数据量的减少，因而可减少后续操作中的计算量。例如，根据方向性判定操作，可减少整体计算量。
同时，诸如图3A中示出的Sx和Sy的掩模仅是示例，并且处理器120可通过另外的方法来判定图像块的方向性。另外，尽管图3B中仅示出了5×5的图像块中的3×3的像素，但是这是为了说明方向性。处理器120可通过应用5×5的图像块和如图3A中所示的掩模来判定图像块的方向性。
然而，本公开不限于此，并且处理器120还可仅使用图像块中的一些像素来判定图像块的方向性，以提高计算速度。例如，处理器120可通过将用于判定3×3的方向性的掩模应用于除了位于5×5的图像块中的边缘附近的像素之外的3×3的像素来判定图像块的方向性。
下文中，为了便于说明，描述了输入3×3的图像块的情况。然而，本公开不限于此，并且处理器120可对具有其它尺寸的图像块以同样的方式进行操作。另外，存储器110可存储与各种图像尺寸、索引矩阵、多个向量、以下将描述的梯度计算算子等对应的掩模。
如图3C中所示，处理器120可使用Sobel算子计算3×3的图像块的水平梯度和竖直梯度。如图3D中所示，处理器120可通过Sobel算子和3×3的图像块的相乘来获得3×3的水平梯度和3×3的竖直梯度。
如图3E中所示，处理器120可从3×3的水平梯度和3×3的竖直梯度计算c×1的梯度向量。
尽管上文描述了在对图像块进行转置之后再计算梯度向量的情况，但是本公开不限于此。例如，处理器120可仅判定图像块的方向性，并计算图像块的水平梯度和竖直梯度。另外，当图像块需要转置时，处理器120可通过反映来自水平梯度和竖直梯度的转置来改变梯度向量的计算顺序。
图4A和图4B是示出根据本公开的示例性实施方式的梯度向量的特征维数缩减的图示。
如图4A中所示，处理器120可使用c’×c的本征向量来缩减c×1的梯度向量的特征维数。例如，处理器120可获得c’×1的梯度向量，其特征维数通过c’×c的本征向量与c×1的梯度向量之间的相乘进行缩减。
图4B示出特征维数被缩减的梯度向量梯度向量’的示例。
本征向量可通过外部服务器，通过主成分分析方法进行创建，以及电子装置100可从外部服务器接收本征向量并将本征向量存储在存储器110中。例如，外部服务器可创建10,000个第一样本图像块中的每个第一样本图像块的梯度向量。创建梯度向量的方法与上面描述的方法相同。此处，外部服务器可判定第一样本图像块中的每个第一样本图像块的方向性，基于判定的方向性对第一样本图像块进行转置，并计算用于转置后的第一样本图像块的梯度向量。然后，外部服务器可通过对计算的多个样本梯度向量中的每个样本梯度向量应用主成分分析方法来计算本征向量。
然而，本公开不限于此，并且处理器120还可通过主成分分析方法直接创建本征向量。在这种情况下，存储器110可存储多个第一样本图像块。
下文中，为了便于说明，描述了使用特征维数被缩减的梯度向量的情况。然而，如上所述的特征维数的缩减是可选操作，因而可在不缩减梯度向量的特征维数的情况下，执行后续操作。
图5A和图5B是示出根据本公开的示例性实施方式的使用索引矩阵的过滤器的示例性搜索的图示。
如图5A中所示，存储器110可存储a×c’的索引矩阵。索引矩阵可包括1×c’的索引向量。此处，索引向量表示图像块的特性，并且还可被称为类或组。图5A示出包括索引向量的索引矩阵，索引向量指示图像块的特性被划分成的a个类或组中的每个类或组的特性。
处理器120可执行a×c’的索引矩阵与特征维数被缩减的c’×1的梯度向量之间的相乘，并计算如图5B中所示的a×1的相关性向量。相关性向量的每行均指示图像块与每个类或每个组的相关性。
相关性向量中的数越高，相关性越高。例如，在0.9作为图5B中的最大数的情况下，处理器120可判定图像块具有与0.9对应的类或组的特性。
索引矩阵可通过外部服务器创建，以及电子装置100可从外部服务器接收索引矩阵并将索引矩阵存储在存储器110中。外部服务器可使用K-SVD或K-Means算法(无监督学习方法中的一种)来计算索引向量，该索引向量可表示从多个第一样本图像块计算的多个样本梯度向量。外部服务器可创建包括索引向量的索引矩阵。
然而，本公开不限于此，并且处理器120还可计算可表示从多个第一样本图像块计算的多个样本梯度向量的索引向量。
另外，尽管上文描述了将图像块的特性划分成a个类或组的情况，但是图像块的特性不限于此，而还可划分成另外数量的类或组。然而，下文中，为了便于说明，描述了将图像块的特性划分成a个类或组的情况。另外，在上文中一起使用了索引向量、类和组，但是下文中描述了将类用作指示图像块的特性的概念以及索引向量指示每个类的情况。
同时，类或组的数量可根据过滤器的类型而改变。例如，在分辨率放大过滤器的情况下，可将图像块的特性划分成a个类或组，但是在锐化过滤器的情况下，可将图像块的特性划分成不同于a数量的类或组。
图6A、图6B和图6C是示出根据本公开的示例性实施方式的减少过滤器的搜索计算量的示例性方法的图示。
图6A是示出将多个类分组为四个组的图示，并且可在每个组610、组611、组612和组613中指定表示每个组的类620。图6B示出了第一索引矩阵索引矩阵1，该第一索引矩阵索引矩阵1包括与表示每个组的类620对应的多个索引向量。图6C示出了第二索引矩阵索引矩阵2，该第二索引矩阵索引矩阵2包括与四个组中的一个中所包括的类对应的多个索引向量。即，第二索引矩阵的数量与组的数量相同。
第一索引矩阵和第二索引矩阵可通过外部服务器创建，并且电子装置100可从外部服务器接收第一索引矩阵和第二索引矩阵，并将第一索引矩阵和第二索引矩阵存储在存储器110中。外部服务器可通过k-means聚类方法等对索引向量执行分组，并确定表示每个组的索引向量。然而，本公开不限于此，并且外部服务器还可计算表示每个组的代表性索引向量。在这种情况下，代表性索引向量可不与相应组中的所有索引向量相一致。
然而，本公开不限于此，并且处理器120还可通过如上所述的方法计算第一索引矩阵和第二索引矩阵，并将第一索引矩阵和第二索引矩阵存储在存储器110中。
处理器120可执行4×c’的第一索引矩阵与特征维数被缩减的c’×1的梯度向量之间的相乘，并计算与每个组的相关性。处理器120可基于与每个组的相关性中的最大相关性来获得一个组。处理器120可执行对应于所获得的组的b×c’的第二索引矩阵与特征维数被缩减的c’×1的梯度向量之间的相乘，并计算与所获得的组中所包括的类中的每个类的相关性。
在这种情况下，不执行包括在除了所获得的组之外的其它组中的b×3类之中的***类之外的类的相关性的计算，并且与图5A和图5B相比，可降低精度，但是可提高计算速度。
在减少组的数量的情况下，还可提高精度。还可通过增加组的数量来提高计算速度。
图7A和图7B是示出根据本公开的另一示例性实施方式的减少过滤器的搜索计算量的示例性方法的图示。例如，图7A和图7B的方法是在完全执行图6A、图6B和图6C的方法之后通过附加计算来选择具有较高相关性的类的方法。
如图7A中所示，处理器120可获得第三组中的、作为与图像块的相关性最高的类的类A 710，作为与第二索引矩阵的相关性的计算结果。
如图7B中所示，存储器110可存储用于类A 710的第三索引矩阵索引矩阵3。第三索引矩阵可包括多个索引向量，该多个索引向量对应于在不同于类A 710的组的组中所包括的且具有与类A 710的特性相似特性的类A’720-1、类A’720-2和类A’720-3。另外，存储器110可存储用于不是类A 710的其它类中的每个类的第三索引矩阵。例如，第三索引矩阵的数量可与类的数量相同。另外，多个第三索引矩阵的尺寸可彼此不同。
多个第三索引矩阵可通过外部服务器创建或通过处理器120创建。
处理器120可执行3×c’的第三索引矩阵与特征维数被缩减的c’×1的梯度向量之间的相乘，并计算与类A’720-1、类A'720-2和类A'720-3的相关性，其中这些类具有与类A710的特性相似的特性。
与图6A、图6B和图6C的方法相比，计算与第三索引矩阵的相关性的过程可添加到图7A和图7B的方法中，但是可提高精度。
图8A和图8B是示出根据本公开的示例性实施方式的将过滤器应用于图像块的示例性方法的图示。在图8中，为了便于说明，示出了5×5的图像块。
处理器120可基于通过如图5A、图5B、图6A、图6B、图6C、图7A和图7B中所示的方法计算的相关性来将多个过滤器中的至少一个过滤器应用于图像块。例如，当如图5B中所示计算了与所有类的相关性时，处理器120可获得以高相关性为顺序的对应于0.9的类的第一过滤器、对应于0.2的类的第二过滤器以及对应于0.1的类的第三过滤器。多个过滤器中的每个过滤器均可与多个类中的每个类对应。例如，在根据图像块的特性创建a个类的情况下，创建与a个类中的每个类对应的一个过滤器，并且可创建总共a个过滤器。下面描述对创建过滤器的方法的详细描述。
处理器120可通过下列方程式2将多个过滤器转换成一个过滤器：
[方程式2]
Figure BDA0001977427340000261
此处，H(1)、H(2)和H(3)分别指示第一过滤器、第二过滤器和第三过滤器，以及C(1)、C(2)和C(3)分别指示图像块与第一过滤器、第二过滤器和第三过滤器的相关性。
然而，本公开不限于此，处理器120还可在不考虑每个过滤器的相关性的情况下将多个过滤器转换成一个过滤器。在这种情况下，处理器120可通过用1替换方程式2中的C(1)、C(2)和C(3)来将多个过滤器转换成一个过滤器。
如图8A中所示，处理器120可通过对5×5的图像块应用过滤器来获得用于目标像素810的最终图像块820。图8A的右侧示出被图像处理后的总共六个目标像素的最终图像块，并且其是应用了分辨率放大过滤器的视图。即，一个目标像素可放大为总共九个像素。
处理器120可将图像块向量化并将过滤器应用于图像块。例如，处理器120可将5×5的图像块向量化并将过滤器应用于5×5的图像块。即，处理器120可通过执行过滤器与向量之间的相乘来获得如图8A的右侧所示的3×3的最终图像块。将图像块向量化以及从向量获得最终图像块的方法与图3E中描述的方法相同或相似，因而省略了重叠的描述。
尽管上文中描述了使用分辨率放大过滤器的情况，但是本公开不限于此。例如，可使用锐化过滤器。在这种情况下，分辨率保持不变，并且可基于多个周围像素对目标像素进行过滤以使其锐化。锐化过滤器还可通过人工智能算法进行创建，以及在学习过程中使用的样本图像可不同于分辨率放大过滤器中所使用的样本图像。下面提供了对此的详细描述。
同时，处理器120可将图像块是否根据初始图像块的方向性进行转置的信息存储在存储器110中。当从转置后的图像块获得最终图像块时，如图8B中所示，处理器120可基于存储在存储器110中的信息再次对最终图像块进行转置。
同时，处理器120可通过将非基于学习的过滤器应用于图像块来获得附加图像块，并基于计算的多个相关性中的最大相关性和附加图像块来更新最终图像块。
详细地，处理器120可更新最终图像块，如下列方程式3所表示的：
[方程式3]
Y1′＝w·Y1+(1-w)·Y2
Figure BDA0001977427340000271
此处，Y1’指示更新后的最终图像块，Y1指示最终图像块，Y2指示附加图像块，w指示权重，c指示计算的多个相关性中的最大相关性，以及k指示常量。
根据过滤器的类型和图像特性的类型，非基于学***坦区域显示出噪声分量或在详细表征的表面上显示出低性能。因此，如下列方程式3所表示的，在使用通过非基于学***坦区域，可提供优异的过滤性能。
另外，由于在更新过程中将图像块与基于学***坦区域的情况下，图像块与多个类的相关性可能很低。在学***坦区域的样本图像块。
同时，处理器120还可通过将非基于学习的分辨率放大过滤器串联连接至基于学习的分辨率放大过滤器来执行非学习放大倍率的分辨率放大。
例如，基于学习的分辨率放大过滤器仅根据学习的分辨率放大倍率进行操作，并且可能未对非学习的分辨率放大倍率进行操作。然而，处理器120可使用基于学习的分辨率放大过滤器来放大分辨率，以及然后使用非基于学习的分辨率放大过滤器执行重采样，以获得根据期望的分辨率放大倍率的结果。
同时，尽管描述了在方程式2中对三个过滤器进行加权与求和的情况，但是本公开不限于此。例如，处理器120可仅使用一个过滤器或使用多个过滤器，并且对多个过滤器应用不同的权重。
另外，处理器120可提供使用一个过滤器的最终图像块以及使用应用了不同权重的多个过滤器的多个最终图像块，并且可根据用户的选择改变方程式2。例如，处理器120可根据方程式2提供使用一个过滤器的最终图像块和使用多个过滤器的多个最终图像块，并且在用户选择使用一个过滤器的最终图像块的情况下，处理器120可在后续过滤器应用过程中使用一个过滤器。
图9A和图9B是示出根据本公开的示例性实施方式的过滤器的示例性学习方法的图示。在图9A和图9B中，为了便于说明，描述了分辨率放大过滤器的学习方法和在外部服务器中执行学习的情况。
如图9A中所示，外部服务器可存储高分辨率图像。如图9B中所示，外部服务器可从高分辨率图像读取多个第二样本图像块，并通过降低多个第二样本图像块中的每个第二样本图像块的分辨率来获得多个第一样本图像块。外部服务器可存储具有高分辨率的多个第二样本图像块以及对应于多个第二样本图像块且具有低分辨率的多个第一样本图像块。此处，高分辨率和低分辨率旨在指示相对状态，以及低分辨率图像块可表示例如具有比高分辨率图像块的分辨率低的分辨率的图像块。
外部服务器可从多个第一样本图像块获得多个样本梯度向量。此处，外部服务器可根据多个第一样本图像块的方向性执行转置，但是这属于可选操作。
外部服务器可从多个样本梯度向量获得本征向量，并缩减多个样本梯度向量的特征维数。然而，外部服务器还可在不缩减特征维数的情况下执行学习。
外部服务器可针对图像块的特性中的每个特性而将特征维数被缩减的多个样本梯度向量划分成预定数量的组，并获得表示每个组的索引向量。此处，表示每个组的索引向量可与多个样本梯度向量中的、对应于相应组的一个相同，或可不同。外部服务器可获得包括多个索引向量的索引矩阵。
为了便于说明，描述了外部服务器将图像块的特性划分成具有竖直方向性和水平方向性的两个组的情况。在这种情况下，外部服务器可获得表示每个组的两个索引向量，以及获得包括两个索引向量的索引矩阵。
另外，外部服务器可将第一样本图像块分类到两个组中的一个组。例如，外部服务器可计算第一样本图像块的第一样本梯度向量，通过索引矩阵与第一样本梯度向量之间的相乘计算第一样本图像块与两个组的相关性，以及将第一样本图像块分类到具有更高相关性的组。外部服务器可对所有的第一样本图像块执行如上所述的过程。因此，例如，可将1,000,000个第一样本图像块中的354,000个第一样本图像块分类到具有水平方向性的组，以及可将1,000,000个第一样本图像块中的646,000个第一样本图像块分类到具有竖直方向性的组。
外部服务器可通过以下方式来创建第一过滤器：通过人工智能算法学***方向性的354,000个第一样本图像块与对应于354,000个第一样本图像块的354,000个第二样本图像块之间的关系。另外，外部服务器可通过以下方式来创建第二过滤器：通过人工智能算法学习具有竖直方向性的646,000个第一样本图像块与对应于646,000个第一样本图像块的646,000个第二样本图像块之间的关系。
索引向量可被认为是指示一个图像块的特性的索引，以及可基于与对应索引向量对应的图像块的特性，通过学习第一样本图像块和对应于第一样本图像块的第二样本图像块来获得对应于索引向量的过滤器。
外部服务器可通过最小化和/或减小L2范数误差的方法和最小化和/或减小L1范数误差的方法来执行学习。例如，外部服务器可通过下列方程式4最小化和/或减小L2范数误差来计算图像放大过滤器：
[方程式4]
Figure BDA0001977427340000301
Figure BDA0001977427340000302
此处，K指类，X指示高分辨率样本图像块的图像值，以及Y指示低分辨率样本图像块的图像值。
然而，这仅是示例，并且可使用各种学习方法。
另外，尽管图9A和图9B中描述了学习高分辨率图像块和低分辨率图像块的情况，但是本公开不限于此。例如，外部服务器还可通过学习模糊图像块和锐化图像块来获得锐化过滤器或模糊过滤器。在这种情况下，图像块的分辨率可能不变。此处，模糊图像块意指具有比锐化图像块的锐度相对低的锐度的图像块。
另外，电子装置100而不是外部服务器也可直接执行学习。在这种情况下，存储器110可存储第一样本图像块和第二样本图像块，以及处理器120可通过基于存储的信息执行学习来获得索引矩阵和多个过滤器。另外，当输入图像块时，处理器120可通过将至少一个过滤器应用于输入图像块来创建最终图像块。
同时，上文描述了取决于方向性判定结果的图像块的转置，梯度向量的特征维数缩减以及非基于学习的过滤器的应用都是可选操作。例如，索引矩阵和过滤器可根据是否执行可选操作而变化。
例如，当执行了取决于方向性判定结果的图像块的转置时，可创建a×c的索引矩阵(在未执行特征维数缩减的情况下)。另一方面，当未执行了取决于方向性判定结果的图像块的转置时，可创建2×a×c的索引矩阵(在未执行特征维数缩减的情况下)。原因在于，在图像特性被划分成a个的情况下，当未执行转置时，划分了水平方向性和竖直方向性的两种情况，因此图像特性加倍。
当执行了梯度向量的特征维数缩减时，可创建a×c’的索引矩阵(在执行了转置的情况下)。另一方面，当未执行梯度向量的特征维数缩减时，可创建a×c的索引矩阵(在执行了转置的情况下)。
图10是示出根据本公开的示例性实施方式的示例性图像发送操作的流程图。
外部服务器200可以是例如但不限于向电子装置100提供图像的装置。另外，外部服务器200可以是例如但不限于台式计算机、膝上型个人计算机、平板电脑、智能手机等以及服务器，并且可以是可通过人工智能算法执行学习以及执行编码的任何装置。
外部服务器200可从高分辨率图像获得低分辨率图像(S1010)。例如，外部服务器200可从8K视频获得4K视频。降低视频的分辨率的方法可以是任何方法。
另外，外部服务器200可通过学习高分辨率图像和低分辨率图像来创建过滤器信息(S1020)。例如，外部服务器200可将高分辨率图像的相应帧划分成具有预定尺寸的图像块，并且还可通过相同的方法来划分低分辨率图像。在这种情况下，从高分辨率图像创建的图像块的数量可与从低分辨率图像创建的图像块的数量相同。另外，从高分辨率图像创建的图像块中的每个图像均可与从低分辨率图像创建的图像块中的一个图像对应，并且可与从低分辨率图像创建的图像块中的这一个图像仅在分辨率方面不同。下文中，将从高分辨率图像创建的图像块和从低分辨率图像创建的图像块分别描述为高分辨率图像块和低分辨率图像块。
外部服务器200可通过执行用于从低分辨率图像块导出对应的高分辨率图像块的学习来创建多个过滤器。此处，创建多个过滤器的方法与图1A至图9B中描述的方法相同，因而此处未重复对这部分内容的描述。
另外，外部服务器200可对低分辨率图像进行编码和压缩(S1030)。编码方法不受特别限制。
外部服务器200可将过滤器信息和编码后的低分辨率图像发送至电子装置100(S1040)。此处，过滤器信息可包括索引矩阵和多个过滤器。另外，根据示例性实施方式，过滤器信息还可包括本征向量。另外，过滤器信息可包括将低分辨率图像的相应帧划分成具有预定尺寸的图像块的方法。
电子装置100可对编码后的低分辨率图像进行解码以重构低分辨率图像(S1050)。解码方法不受特别限制，只要其与外部服务器200的编码方法对应即可。
电子装置100可通过将过滤器信息应用于低分辨率图像来重构高分辨率图像(S1060)。例如，电子装置100可基于过滤器信息中所包括的将低分辨率图像的相应帧划分成具有预定尺寸的图像块的方法，来将低分辨率图像划分成多个图像块。另外，电子装置100可基于索引矩阵和多个过滤器来从相应图像块获得高分辨率图像块。获得高分辨率图像块的方法与图1A至图9B中描述的方法相同，因而此处未重复对这部分内容的描述。电子装置100可从多个高分辨率图像块获得高分辨率图像。
仅通过当前的编码技术难以发送8K图像，但是可通过如上所述的方法发送8K图像。例如，外部服务器200可对4K图像进行编码，并将编码的4K图像发送至电子装置100。另外，电子装置100可对接收的信息进行解码以重构4K图像，并且可使用通过人工智能算法学习的学习数据从4K图像创建8K图像，从而从4K图像导出8K图像。
从外部服务器200发送至电子装置100的过滤器信息仅是用于从4K图像导出8K图像的工具，并且可被认为是不同于图像信息的信息。例如，过滤器信息的容量可远小于直接发送8K图像时的容量，并且在使用如上所述的过滤器信息的情况下，8K图像的流传输是可行的。
图11是示出根据本公开的示例性实施方式的控制电子装置的示例性方法的流程图。
基于图像块内的像素之间的关系，将包括目标像素和多个周围像素的图像块分类到多个图像图案中的一个图像图案(S1110)。另外，通过将均与多个图像图案对应的多个过滤器之中的、与被分类到的图像图案对应的至少一个过滤器应用于图像块来获得最终图像块，在最终图像块中，目标像素经历过图像处理(S1120)。可通过以下方式来获得多个过滤器：基于多个图像图案中的每个图像图案，通过人工智能算法来学习多个第一样本图像块与对应于多个第一样本图像块的多个第二样本图像块之间的关系。
分类(S1110)可包括从图像块计算梯度向量，基于梯度向量和包括多个索引向量的索引矩阵来计算图像块与多个索引向量中的每个索引向量的相关性，以及基于所计算的相关性将图像块分类到多个图像图案中的一个图像图案，并且多个索引向量可基于从多个第一样本图像块计算的多个样本梯度向量来获得，以及该多个索引向量可分别与多个图像图案对应。
另外，在计算梯度向量的过程中：当图像块的水平方向性的强度大于图像块的竖直方向性的强度时，可从图像块计算梯度向量；以及当图像块的水平方向性的强度小于图像块的竖直方向性的强度时，可对图像块进行转置并从转置后的图像块计算梯度向量。
同时，根据本公开的示例性实施方式的控制电子装置的方法还可包括使用本征向量减小梯度向量的尺寸，其中，在计算相关性的过程中，基于已减小尺寸的梯度向量来计算图像块与多个索引向量中的每个索引向量的相关性，以及通过应用多个样本梯度向量的主成分分析来创建本征向量。
另外，计算相关性可包括基于第一索引矩阵和梯度向量来计算图像块与多个索引向量组中的每个索引向量组的第一相关性，基于第一相关性来获得多个索引向量组中的一个索引向量组，从多个第二索引矩阵之中获得与所获得的索引向量组对应的第二索引矩阵，以及基于梯度向量和所获得的第二索引矩阵来计算图像块与所获得的索引向量组中所包括的多个索引向量中的每个索引向量的第二相关性，以及在获得最终图像块的过程(S1120)中，可通过基于第二相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块，可通过将多个索引向量划分成预定数量的组来获得多个索引向量组，第一索引矩阵可包括表示多个索引向量组中的每个索引向量组的索引向量，以及多个第二索引矩阵中的每个第二索引矩阵均可包括与多个索引向量组中的每个索引向量组对应的多个索引向量。
计算相关性可包括基于第二相关性来获得包括在所获得的索引向量中的多个索引向量中的一个索引向量，基于相似的索引向量信息来获得包括在多个索引向量组中的其它索引向量组中的、并与获得的索引向量对应的至少一个附加索引向量，以及基于梯度向量、获得的索引向量和获得的附加索引向量来计算图像块的第三相关性，并且在获得最终图像块的过程(S1120)中，可通过基于第三相关性将多个过滤器中的至少一个过滤器应用于图像块来获得最终图像块。
同时，获得最终图像块的过程(S1120)可包括基于计算的多个相关性来获得多个过滤器中的至少两个过滤器，基于该至少两个过滤器以及与至少两个过滤器中的每个过滤器对应的相关性来计算最终过滤器，以及通过将计算的最终过滤器应用于图像块来获得最终图像块。
另外，多个第一样本图像块可以是分别降低了相应的第二样本图像块的分辨率的图像，以及在获得最终图像块的过程(S1120)中，可通过将多个过滤器中的至少一个过滤器应用于图像块来获得目标像素的分辨率被放大的最终图像块。
根据本公开的示例性实施方式的控制电子装置的方法还可包括通过对图像块应用非基于学习的分辨率放大技术来获得目标像素的分辨率被放大的附加图像块，并基于计算的多个相关性中的最大相关性和附加图像块来更新最终图像块。
同时，在计算梯度向量的过程中，可计算多个周围像素中的每个周围像素以及目标像素的水平梯度和竖直梯度，并可基于水平梯度和竖直梯度来计算梯度向量。
另外，多个过滤器中的每个过滤器均可通过以下方式获得：从多个第一样本图像块之中获得与多个索引向量中的一个索引向量对应的多个第一子样本图像块，从多个第二样本图像块之中获得与多个第一子样本图像块对应的多个第二子样本图像块，以及通过人工智能算法学习多个第一子样本图像块与多个第二子样本图像块之间的关系。
根据如上所述的本公开的各种示例性实施方式，电子装置可实时执行图像处理并因而用于各种应用中，并且电子装置可通过执行基于学习的图像处理而与非基于学习的图像处理相比提高了图像处理的质量。
同时，处理器可对图像块的每个像素应用过滤器。处理器可对图像块中的每个像素的每个子像素应用过滤器。处理器可仅对子像素中的一部分子像素应用过滤器。处理器可将图像块中的每个像素的色度分量和亮度分量彼此区分开，并将过滤器应用于色度分量和亮度分量中的至少一项。
同时，根据本公开的示例性实施方式，如上所述的各种示例性实施方式可通过软件来实现，该软件包括存储在机器可读存储介质(例如，计算机可读存储介质)中的指令。机器可以是从存储介质调用存储的指令的装置并可根据所调用的指令进行操作，并且可包括根据本公开的示例性实施方式的电子装置。在命令由处理器执行的情况下，处理器可直接地执行与命令对应的功能，或其它部件可在处理器的控制之下执行与命令对应的功能。命令可包括由编译器或解译器创建或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。此处，术语“非暂时性”可指例如有形的且并不区分数据是否是半永久性地或暂时性地存储在存储介质上的存储介质。
另外，根据本公开的示例性实施方式，根据如上所述的各种示例性实施方式的方法可被包括和提供在计算机程序产品中。计算机程序产品可作为卖方与买方之间的产品进行交易。计算机程序产品可以以存储介质(例如，压缩只读存储器(CD-ROM))的形式分布，该存储介质可由机器读取或通过应用程序商店(例如，PlayStoreTM)在线读取。在在线分布的情况下，计算机程序产品中的至少一部分可至少暂时地存储在存储介质中，诸如以下服务器中的存储器：制造商的服务器、应用程序商店的服务器或将暂时创建的中继服务器。
另外，根据本公开的示例性实施方式，如上所述的各种示例性实施方式可使用软件、硬件或软件与硬件的任何组合在计算机或计算机可读记录介质中实现。在一些情况下，本公开中描述的示例性实施方式可由处理器自己来实现。根据软件实施例，本公开中描述的诸如程序和功能的示例性实施方式可由单独的软件模块来实现。每个软件模块均可执行本公开中描述的一个或多个功能和操作。
同时，用于执行根据本公开的上述各种示例性实施方式的机器的处理操作的计算机指令可存储在非暂时性计算机可读介质中。存储在非暂时性计算机可读介质中的计算机指令在它们由特定机器的处理器执行时允许特定机器在根据上述各种示例实施例的机器中执行处理操作。非暂时性计算机可读介质可指例如半永久性地存储数据并通过机器可读取的介质。非暂时性计算机可读介质的示例可包括光盘(CD)、数字多功能光盘(DVD)、硬盘、蓝牙光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
另外，根据上述各种示例性实施方式的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且可省略上述对应子部件中的一些子部件，或各种示例性实施方式还可包括其它子部件。可替代地或另外地，一些部件(例如，模块或程序)可集成为一个实体，并且可在以相同或相似的方式执行在被集成之前由相应的对应组件执行的功能。由根据各种示例性实施方式的模块、程序或其它部件执行的操作可以以连续方式、并行方式、迭代方式或启发式方式执行，至少一些操作可以以不同的顺序执行或被省略，或者可添加其它操作。
尽管已经在上文中示出和描述了本公开的各种示例性实施方式，但是本公开并不限于上述具体示例性实施方式，而是可在不脱离如所附权利要求中所公开的本公开的真实精神和完整范围的情况下，由本公开所属领域的技术人员进行各种修改。这些修改还应被理解为落入本公开的范围和精神内。

Claims (18)

1.电子装置，包括：
存储器，配置成存储多个过滤器和包括多个索引向量的索引矩阵，所述多个过滤器中的每个过滤器均与多个图像图案对应；以及
处理器，配置成：
基于包括目标像素和多个周围像素的图像块的方向性，确定是否对所述图像块进行转置；
当所述图像块的水平方向性的强度大于所述图像块的竖直方向性的强度时，从所述图像块确定梯度向量，当所述图像块的水平方向性的强度小于所述图像块的竖直方向性的强度时，对所述图像块进行转置并从转置后的图像块确定所述梯度向量，所述梯度向量指示所述目标像素和所述多个周围像素之间的关系；
基于所述梯度向量和所述索引矩阵来确定所述图像块与所述多个索引向量中的每个索引向量的相关性；
基于所述相关性将所述图像块分类到所述多个图像图案中的一个图像图案；以及
通过将所述多个过滤器之中的、与被分类到的图像图案对应的至少一个过滤器应用于所述图像块来获得最终图像块，在所述最终图像块中，所述目标像素经历过图像处理，
其中，所述多个过滤器通过以下方式获得：基于所述多个图像图案中的每个图像图案，通过人工智能算法学习多个第一样本图像块与对应于所述多个第一样本图像块的多个第二样本图像块之间的关系，
其中，所述电子装置配置成通过以下方式来获得所述多个过滤器中的每个过滤器：从所述多个第一样本图像块之中获得与所述多个图像图案中的一个图像图案对应的多个第一子样本图像块，从所述多个第二样本图像块之中获得与所述多个第一子样本图像块对应的多个第二子样本图像块，以及通过所述人工智能算法学习所述多个第一子样本图像块与所述多个第二子样本图像块之间的关系。
2.如权利要求1所述的电子装置，其中，所述多个索引向量是基于从所述多个第一样本图像块确定的多个样本梯度向量而获得的，其中，所述多个索引向量与所述多个图像图案对应。
3.如权利要求2所述的电子装置，其中，所述处理器配置成使用存储在所述存储器中的本征向量来减小所述梯度向量的尺寸，以及基于已减小尺寸的所述梯度向量来确定所述图像块与所述多个索引向量中的每个索引向量的相关性，以及
所述本征向量是通过应用所述多个样本梯度向量的主成分分析创建的。
4.如权利要求2所述的电子装置，其中，所述处理器配置成基于所述梯度向量和存储在所述存储器中的第一索引矩阵来确定所述图像块与多个索引向量组中的每个索引向量组的第一相关性，基于所述第一相关性来获得所述多个索引向量组中的一个索引向量组，基于所述梯度向量以及存储在所述存储器中的多个第二索引矩阵之中的与所获得的索引向量组对应的第二索引矩阵，确定所述图像块与所获得的索引向量组中所包括的多个索引向量中的每个索引向量的第二相关性，以及通过基于所述第二相关性将所述多个过滤器中的至少一个过滤器应用于所述图像块来获得所述最终图像块，其中：
通过将所述多个索引向量划分成预定数量的组来获得所述多个索引向量组，
所述第一索引矩阵包括表示所述多个索引向量组中的每个索引向量组的索引向量，以及
所述多个第二索引矩阵中的每个第二索引矩阵均包括与所述多个索引向量组中的每个索引向量组对应的多个索引向量。
5.如权利要求4所述的电子装置，其中，所述处理器配置成基于所述第二相关性来获得包括在所获得的索引向量组中的所述多个索引向量中的一个索引向量，基于存储在所述存储器中的相似索引向量信息来获得包括在所述多个索引向量组中的、除了所获得的所述多个索引向量中的一个索引向量之外的并与所获得的索引向量对应的至少一个附加索引向量，基于所述梯度向量、所获得的索引向量和所获得的附加索引向量来确定所述图像块的第三相关性，以及通过基于所述第三相关性将所述多个过滤器中的至少一个过滤器应用于所述图像块来获得所述最终图像块。
6.如权利要求2所述的电子装置，其中，所述处理器配置成基于确定的多个相关性来获得所述多个过滤器中的至少两个过滤器，基于所述至少两个过滤器以及与所述至少两个过滤器中的每个过滤器对应的相关性来确定最终过滤器，以及通过将所确定的最终过滤器应用于所述图像块来获得所述最终图像块。
7.如权利要求2所述的电子装置，其中，所述多个第一样本图像块包括已降低其中相应的第二样本图像块的分辨率的图像，以及
所述处理器配置成通过将所述多个过滤器中的至少一个过滤器应用于所述图像块来获得所述最终图像块，在所述最终图像块中，所述目标像素的分辨率被放大。
8.如权利要求7所述的电子装置，其中，所述处理器配置成：
通过对所述图像块应用非基于学习的分辨率放大技术来获得附加图像块，在所述附加图像块中，所述目标像素的分辨率被放大；以及
基于确定的多个相关性中的最大相关性和所述附加图像块来更新所述最终图像块。
9.如权利要求2所述的电子装置，其中，所述电子装置配置成基于所述多个索引向量中的一个索引向量从所述多个第一样本图像块之中获得所述多个第一子样本图像块。
10.控制电子装置的方法，包括：
基于包括目标像素和多个周围像素的图像块的方向性，确定是否对所述图像块进行转置；
当所述图像块的水平方向性的强度大于所述图像块的竖直方向性的强度时，从所述图像块计算梯度向量，当所述图像块的水平方向性的强度小于所述图像块的竖直方向性的强度时，对所述图像块进行转置并从转置后的图像块计算所述梯度向量，所述梯度向量指示所述目标像素和所述多个周围像素之间的关系；
基于所述梯度向量和包括多个索引向量的索引矩阵，确定所述图像块与所述多个索引向量中的每个索引向量的相关性；
基于所确定的相关性，将所述图像块分类到多个图像图案中的一个图像图案；以及
通过将均与所述多个图像图案对应的多个过滤器之中的、与被分类到的图像图案对应的至少一个过滤器应用于所述图像块来获得最终图像块，在所述最终图像块中，所述目标像素经历过图像处理，
其中，所述多个过滤器通过以下方式来获得：基于所述多个图像图案中的每个图像图案，通过人工智能算法来学习所述多个第一样本图像块与对应于所述多个第一样本图像块的多个第二样本图像块之间的关系，
其中，所述多个过滤器中的每个过滤器通过以下方式来获得：从所述多个第一样本图像块之中获得与所述多个图像图案中的一个图像图案对应的多个第一子样本图像块，从所述多个第二样本图像块之中获得与所述多个第一子样本图像块对应的多个第二子样本图像块，以及通过所述人工智能算法学习所述多个第一子样本图像块与所述多个第二子样本图像块之间的关系。
11.如权利要求10所述的方法，其中，所述多个索引向量基于从所述多个第一样本图像块计算的多个样本梯度向量来获得，其中，所述多个索引向量与所述多个图像图案对应。
12.如权利要求11所述的方法，还包括使用本征向量减小所述梯度向量的尺寸，
其中，在确定所述相关性的过程中，基于已减小尺寸的所述梯度向量来计算所述图像块与所述多个索引向量中的每个索引向量的相关性，以及
通过应用所述多个样本梯度向量的主成分分析来创建所述本征向量。
13.如权利要求11所述的方法，其中，确定所述相关性包括：
基于第一索引矩阵和所述梯度向量来确定所述图像块与多个索引向量组中的每个索引向量组的第一相关性；
基于所述第一相关性来获得所述多个索引向量组中的一个索引向量组；
基于所述梯度向量以及多个第二索引矩阵之中的与所获得的索引向量组对应的第二索引矩阵来确定所述图像块与所获得的索引向量组中所包括的多个索引向量中的每个索引向量的第二相关性；以及
其中，在获得所述最终图像块的过程中，通过基于所述第二相关性将所述多个过滤器中的至少一个过滤器应用于所述图像块来获得所述最终图像块，其中：
通过将所述多个索引向量划分成预定数量的组来获得所述多个索引向量组，
所述第一索引矩阵包括表示所述多个索引向量组中的每个索引向量组的索引向量，以及
所述多个第二索引矩阵中的每个第二索引矩阵均包括与所述多个索引向量组中的每个索引向量组对应的多个索引向量。
14.如权利要求13所述的方法，其中，确定所述相关性包括：
基于所述第二相关性来获得包括在所获得的索引向量组中的所述多个索引向量中的一个索引向量；
基于相似索引向量信息来获得包括在所述多个索引向量组中的、除了所获得的所述多个索引向量中的一个索引向量之外的并与所获得的索引向量对应的至少一个附加索引向量；以及
基于所述梯度向量、所获得的索引向量和所获得的附加索引向量来确定所述图像块的第三相关性，以及
其中，在获得所述最终图像块时，通过基于所述第三相关性将所述多个过滤器中的至少一个过滤器应用于所述图像块来获得所述最终图像块。
15.如权利要求11所述的方法，其中，获得所述最终图像块包括：
基于确定的多个相关性来获得所述多个过滤器中的至少两个过滤器；
基于所述至少两个过滤器以及与所述至少两个过滤器中的每个过滤器对应的相关性来确定最终过滤器；以及
通过将所确定的最终过滤器应用于所述图像块来获得所述最终图像块。
16.如权利要求11所述的方法，其中，所述多个第一样本图像块包括已降低其中相应的第二样本图像块的分辨率的图像，以及
在获得所述最终图像块时，通过将所述多个过滤器中的至少一个过滤器应用于所述图像块来获得所述最终图像块，在所述最终图像块中，所述目标像素的分辨率被放大。
17.如权利要求16所述的方法，还包括：
通过对所述图像块应用非基于学习的分辨率放大技术来获得附加图像块，在所述附加图像块中，所述目标像素的分辨率被放大；以及
基于确定的多个相关性中的最大相关性和所述附加图像块来更新所述最终图像块。
18.如权利要求11所述的方法，其中，所述多个第一子样本图像块基于所述多个索引向量中的一个索引向量从所述多个第一样本图像块之中来获得。
CN201910137568.0A 2017-12-18 2018-12-11 电子装置及其控制方法 Active CN109934792B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762599936P 2017-12-18 2017-12-18
US62/599,936 2017-12-18
KR1020180027790A KR101882704B1 (ko) 2017-12-18 2018-03-09 전자 장치 및 그 제어 방법
KR10-2018-0027790 2018-03-09
CN201811509816.1A CN109934247A (zh) 2017-12-18 2018-12-11 电子装置及其控制方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811509816.1A Division CN109934247A (zh) 2017-12-18 2018-12-11 电子装置及其控制方法

Publications (2)

Publication Number Publication Date
CN109934792A CN109934792A (zh) 2019-06-25
CN109934792B true CN109934792B (zh) 2022-03-29

Family

ID=63078585

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811509816.1A Pending CN109934247A (zh) 2017-12-18 2018-12-11 电子装置及其控制方法
CN201910137568.0A Active CN109934792B (zh) 2017-12-18 2018-12-11 电子装置及其控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811509816.1A Pending CN109934247A (zh) 2017-12-18 2018-12-11 电子装置及其控制方法

Country Status (7)

Country Link
US (1) US10650283B2 (zh)
EP (2) EP3499416A1 (zh)
JP (1) JP6728487B2 (zh)
KR (1) KR101882704B1 (zh)
CN (2) CN109934247A (zh)
AU (1) AU2018319215B2 (zh)
WO (1) WO2019124652A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127846B1 (ko) * 2018-11-28 2020-06-29 주식회사 카이 영상을 처리하는 방법, 영상을 재생하는 방법 및 그 장치들
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
US11494884B2 (en) 2019-02-21 2022-11-08 Canon U.S.A., Inc. Method and system for evaluating image sharpness
KR102410907B1 (ko) * 2019-05-22 2022-06-21 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN111986069A (zh) 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
US11625559B2 (en) * 2020-03-27 2023-04-11 Intel Corporation Attenuating visual artifacts of image processing systems using adversarial networks on-the-fly
CN111598806B (zh) * 2020-05-15 2023-06-13 Oppo（重庆）智能科技有限公司 图像滤波方法和装置、电子设备及存储介质
CN113742288A (zh) * 2020-05-29 2021-12-03 伊姆西Ip控股有限责任公司 用于数据索引的方法、电子设备和计算机程序产品
CN111402143B (zh) * 2020-06-03 2020-09-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
KR102437193B1 (ko) 2020-07-31 2022-08-30 동국대학교 산학협력단 복수의 배율에 따라 크기 변환된 영상으로 학습된 병렬 심층 신경망 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350498A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
KR20070019131A (ko) * 2005-08-11 2007-02-15 오병주 주성분분석, 선형판별분석, 레이디얼 기저함수 신경망을결합한 얼굴인식방법
JP2011019190A (ja) * 2009-07-10 2011-01-27 Toshiba Corp 画像処理装置及び画像処理方法
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5933105B2 (ja) 1977-03-16 1984-08-13 旭化成株式会社 被覆電線の製造方法および装置
JP3486975B2 (ja) * 1993-08-27 2004-01-13 ソニー株式会社 ノイズ低減装置及び方法
US5499057A (en) 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
KR100237636B1 (ko) 1995-11-02 2000-01-15 구자홍 블록킹효과 개선장치
JP4093621B2 (ja) 1997-12-25 2008-06-04 ソニー株式会社 画像変換装置および画像変換方法、並びに学習装置および学習方法
JP4265237B2 (ja) 2003-02-27 2009-05-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP4683294B2 (ja) 2006-03-16 2011-05-18 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
US7903899B2 (en) * 2007-05-23 2011-03-08 Videosurf, Inc. Method of geometric coarsening and segmenting of still images
JP2009010853A (ja) * 2007-06-29 2009-01-15 Noritsu Koki Co Ltd 画像補正方法と画像補正装置
JP5152559B2 (ja) 2007-07-19 2013-02-27 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4453768B2 (ja) 2008-04-15 2010-04-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5347862B2 (ja) 2008-09-29 2013-11-20 ソニー株式会社 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
CN102792335A (zh) 2010-03-12 2012-11-21 国立大学法人名古屋工业大学 图像处理装置、图像处理程序、及生成图像的方法
JP5615088B2 (ja) 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
JP5769241B2 (ja) 2011-07-15 2015-08-26 国立大学法人 筑波大学 超解像画像処理装置及び超解像画像処理用辞書作成装置
CN104995911B (zh) 2013-02-15 2017-02-22 富士胶片株式会社 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
EP3058510B1 (en) * 2014-11-28 2017-12-20 FotoNation Limited A method for producing a histogram of oriented gradients
GB2539845B (en) * 2015-02-19 2017-07-12 Magic Pony Tech Ltd Offline training of hierarchical algorithms
US10839483B2 (en) 2015-06-30 2020-11-17 Korea Advanced Institute Of Science And Technology Method of converting low-resolution image to high-resolution image and image conversion device performing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350498A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
KR20070019131A (ko) * 2005-08-11 2007-02-15 오병주 주성분분석, 선형판별분석, 레이디얼 기저함수 신경망을결합한 얼굴인식방법
JP2011019190A (ja) * 2009-07-10 2011-01-27 Toshiba Corp 画像処理装置及び画像処理方法
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Clustering-Oriented Multiple Convolutional Neural Networks for Single Image Super-Resolution;Peng Ren 等;《SpringerLink》;20171004;165-176页 *
Peng Ren 等.Clustering-Oriented Multiple Convolutional Neural Networks for Single Image Super-Resolution.《SpringerLink》.2017, *
RAISR:Rapid and Accurate Image Super Resolution;Yaniv Romano 等;《IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING》;20170131;110-124页 *
Super-resolution Using Multiple Structured Dictionaries Based on the Gradient Operator and Bicubic Interpolation;Faezeh Yeganli 等;《2016 24th Signal Processing and Communication Application Conference (SIU),IEEE》;20160623;第II部分 *

Also Published As

Publication number Publication date
US10650283B2 (en) 2020-05-12
RU2019109207A3 (zh) 2021-09-21
US20190188539A1 (en) 2019-06-20
WO2019124652A1 (en) 2019-06-27
CN109934792A (zh) 2019-06-25
AU2018319215B2 (en) 2023-03-09
JP2020507824A (ja) 2020-03-12
EP3499416A1 (en) 2019-06-19
AU2018319215A1 (en) 2019-07-04
JP6728487B2 (ja) 2020-07-22
KR101882704B1 (ko) 2018-07-27
EP3502967A1 (en) 2019-06-26
CN109934247A (zh) 2019-06-25
RU2019109207A (ru) 2020-09-29

Similar Documents

Publication Publication Date Title
CN109934792B (zh) 电子装置及其控制方法
US11250548B2 (en) Digital image completion using deep learning
CN111104962B (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
US11694334B2 (en) Segmenting objects in vector graphics images
US10755391B2 (en) Digital image completion by learning generation and patch matching jointly
US11074671B2 (en) Electronic apparatus and control method thereof
US11734851B2 (en) Face key point detection method and apparatus, storage medium, and electronic device
CN111869220B (zh) 电子装置及其控制方法
CN110830849A (zh) 电子装置、控制电子装置的方法和用于控制服务器的方法
CN114008663A (zh) 实时视频超分辨率
KR102410907B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR102616700B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
CN114830168B (zh) 图像重建方法、电子设备和计算机可读存储介质
WO2022072199A1 (en) Sparse optical flow estimation
EP4352692A1 (en) Volumetric sampling with correlative characterization for dense estimation
CN108154153A (zh) 场景分析方法和***、电子设备
US20240233319A9 (en) Machine learning model training using synthetic data for under-display camera (udc) image restoration
CN116229130A (zh) 模糊图像的类型识别方法、装置、计算机设备和存储介质
US20230093827A1 (en) Image processing framework for performing object depth estimation
CN116310308A (zh) 图像分割方法、装置、计算机设备和存储介质
RU2779609C2 (ru) Электронное устройство и способ управления им
KR20200027085A (ko) 전자 장치 및 그 제어 방법
US20240119570A1 (en) Machine learning model training using synthetic data for under-display camera (udc) image restoration
CN116363442A (zh) 目标检测方法及装置、非瞬时性存储介质
CN114581973A (zh) 人脸姿态估计方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant