CN112868045A - 用于基于ml的放大的帧处置 - Google Patents

用于基于ml的放大的帧处置 Download PDF

Info

Publication number
CN112868045A
CN112868045A CN201980068299.5A CN201980068299A CN112868045A CN 112868045 A CN112868045 A CN 112868045A CN 201980068299 A CN201980068299 A CN 201980068299A CN 112868045 A CN112868045 A CN 112868045A
Authority
CN
China
Prior art keywords
edge
region
sub
edge region
framed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980068299.5A
Other languages
English (en)
Other versions
CN112868045B (zh
Inventor
朱淼琪
高岛芳和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of CN112868045A publication Critical patent/CN112868045A/zh
Application granted granted Critical
Publication of CN112868045B publication Critical patent/CN112868045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

在基于ML的放大处理中对输入图像进行帧处置以产生输出图像，包括：从输入图像的有效画面范围的边缘检测并提取加框边缘区域；通过在每个加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域，以产生填充的边缘区域；放大填充的边缘区域以产生放大的填充的边缘区域；将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸；将裁剪后的边缘区域***到输出图像的边缘中；并且放大输入图像的非边缘区域，并将放大的非边缘区域***到输出图像中。

Description

用于基于ML的放大的帧处置
相关申请的交叉引用
本申请依据35U.S.C.§119(e)要求于2018年10月18日提交的标题为“Machine-Learning Based Single Image Upscaling Application for Motion Pictures.”的共同待决的美国临时专利申请No.62/747,453的优先权权益。上面引用的申请的公开通过引用并入本文。
技术领域
本公开涉及帧处置，并且更具体而言，涉及用于基于机器学习(基于ML)的放大的帧处置。
背景技术
机器学习(ML)可以被用于执行图像超分辨率放大。但是，当图像包含在后期处理期间***的加框边缘(例如，信箱、邮筒、窗口框)时，常规的基于ML的放大处理存在一些已观察到的问题。因而，当通过常规的基于ML的放大来处理具有这种加框边缘的图像时，该放大会沿着图像的边缘产生伪影，这会导致最终输出中损失清楚和/或清晰的边缘。
发明内容
本公开提供了在基于ML的训练处理之前处理输入中的帧边缘。
在一个实施方式中，公开了一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的方法。该方法包括：从输入图像的有效画面范围的边缘检测并提取加框边缘区域；通过在每个加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域，以产生填充的边缘区域；放大填充的边缘区域以产生放大的填充的边缘区域；将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸；将裁剪后的边缘区域***到输出图像的边缘中；并且放大输入图像的非边缘区域，并将放大的非边缘区域***到输出图像中。
在一个实施方式中，在每个加框边缘区域周围添加额外像素包括：确定如何在每个加框边缘区域周围填充额外像素；并且在每个加框边缘区域周围添加额外像素的子区域。在一个实施方式中，添加子区域包括确定每个子区域的类型。在一个实施方式中，子区域的第一类型包括具有完全在有效画面范围内的像素的子区域。在一个实施方式中，该方法还包括：当确定子区域为第一类型时，在子区域的方向中扩展每个加框边缘区域。在一个实施方式中，子区域的第二类型包括具有不在有效画面范围内但是在填充的边缘区域之一的边缘上的至少一个像素的子区域。在一个实施方式中，该方法还包括：当确定子区域为第二类型时，在边缘上使用蝴蝶图像来扩展加框边缘区域。在一个实施方式中，子区域的第三类型包括具有不在有效画面范围内但是在填充的边缘区域之一的拐角上的至少一个像素的子区域。在一个实施方式中，该方法还包括：当确定子区域为第三类型时，在拐角上使用蝴蝶图像来扩展每个加框边缘区域。
在另一个实施方式中，公开了一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的***。该***包括：边缘区域提取器，被配置为从输入图像的有效画面范围的边缘检测并提取加框边缘区域；边缘区域扩展器，被配置为通过在每个加框边缘区域周围添加额外像素来扩展每个加框边缘区域以产生填充的边缘区域，其中边缘区域扩展器将填充的边缘区域馈入放大处理器以进行放大并产生放大的填充的边缘区域；边缘区域裁剪器，被配置为将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸；边缘区域充填器，被配置为将裁剪后的边缘区域***到输出图像的边缘中；以及非边缘区域充填器，被配置为放大输入图像的非边缘区域，并将放大的非边缘区域***到输出图像中。
在一个实施方式中，边缘区域扩展器通过在每个加框边缘区域周围添加额外像素的子区域来在每个加框边缘区域周围添加额外像素。在一个实施方式中，添加子区域包括确定每个子区域的类型。在一个实施方式中，子区域的第一类型包括具有完全在有效画面范围内的像素的子区域。在一个实施方式中，边缘区域扩展器被配置为：当确定子区域为第一类型时，在子区域的方向中扩展每个加框边缘区域。在一个实施方式中，子区域的第二类型包括具有不在有效画面范围内但是在填充的边缘区域之一的边缘上的至少一个像素的子区域。在一个实施方式中，边缘区域扩展器被配置为：当确定子区域为第二类型时，在边缘上使用蝴蝶图像来扩展每个加框边缘区域。在一种实施方式中，子区域的第三类型包括具有不在有效画面范围内但是在填充的边缘区域之一的拐角上的至少一个像素的子区域。在一个实施方式中，边缘区域扩展器被配置为：当确定子区域为第三类型时，在拐角上使用蝴蝶图像来扩展每个加框边缘区域。
在又一个实施方式中，公开了一种存储计算机程序以在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的非暂态计算机可读存储介质。该计算机程序包括使计算机执行以下操作的可执行指令：从输入图像的有效画面范围的边缘检测并提取加框边缘区域；通过在每个加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域，以产生填充的边缘区域；放大填充的边缘区域以产生放大的填充的边缘区域；将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸；将裁剪后的边缘区域***到输出图像的边缘中；并且放大输入图像的非边缘区域，并将放大的非边缘区域***到输出图像中。
在一个实施方式中，使计算机扩展提取出的加框边缘区域的可执行指令包括使计算机执行以下操作的可执行指令：确定如何在每个加框边缘区域周围填充额外像素；并且添加额外像素的子区域。
根据通过示例的方式说明本公开的各方面的本描述，应当清楚其它特征和优点。
附图说明
关于本公开的结构和操作二者的细节，可以通过研究附图来部分地收集，其中相同的附图标记指代相同的部分，并且其中：
图1A示出了信箱边缘；
图1B示出了邮筒边缘；
图1C示出了窗口框边缘；
图2是图示根据本公开的一个实施方式的用于在基于ML的放大处理中进行帧处置的处理的流程图；
图3是图示根据本公开的一个实施方式的图2所示的帧处置处理的填充处理的详细流程图；
图4是图示根据本公开的一个实施方式的用于在基于ML的放大处理中进行帧处置的处理的流程图；
图5是图示根据本公开的一个实施方式的图4所示的帧处置处理的填充处理的详细流程图；
图6是示出根据本公开的一个实施方式的帧处置***的框图；
图7A是根据本公开的实施方式的计算机***和用户的表示；以及
图7B是图示根据本公开的实施方式的托管帧处置应用的计算机***的功能框图。
具体实施方式
如上所述，当图像包含在后期处理期间***的加框边缘时，常规的基于ML的放大处理存在一些已观察到的问题。例如，当通过常规的基于ML的放大处理具有这种加框边缘的图像时，放大处理会沿着图像的边缘产生伪影，这会导致最终输出中损失清楚和/或清晰的边缘。图1A、图1B和图1C示出了加框边缘的示例。图1A示出了信箱边缘100；图1B示出了邮筒边缘110；而图1C示出了窗口框边缘120。
为了解决常规处理的上面提到的问题，本公开的某些实施方式提供了在基于ML的训练处理之前处理输入中的帧边缘。
在阅读这些描述之后，将清楚如何在各种实施方式和应用中实现本公开。虽然本文将描述本公开的各种实施方式，但是应该理解的是，这些实施方式仅以示例而非限制的方式呈现。同样地，各种实施方式的这种详细描述不应当被解释为限制本公开的范围或广度。
图2是图示根据本公开的一个实施例的用于在基于ML的放大处理中进行帧处置的处理200的流程图。在图2的所示实施方式中，帧处置处理200包括：当通过基于ML的放大处理来处理图像时，处理输入图像的边缘以实质上减少沿着图像边缘的伪影。图2还示出了帧处置处理与常规的基于ML的放大处理的比较。
在左侧所示的常规的基于ML的放大处理中，没有在加框边缘区域210周围添加额外的填充像素。因此，当通过基于ML的放大处理来处理图像时，该放大处理沿着图像的边缘产生伪影212，这可以导致在最终输出中损失清楚和/或清晰的边缘。相反，图2右侧所示的处理包括在基于ML的放大之前执行的帧处置处理。
在图2的所示实施方式中，在基于ML的放大处理之前，从输入图像的有效画面范围206中检测并提取204加框边缘区域202。在帧处置处理的一个实施方式中，然后通过在提取出的加框边缘区域周围添加额外的填充/像素来扩展提取出的加框边缘区域202，以产生填充的边缘区域220。图3中示出了如何添加额外的填充/像素的细节。
在图2的所示实施方式中，将填充的边缘区域220馈入基于ML的放大处理器(例如，神经网络)以产生放大的填充的边缘区域222。在一个实施方式中，放大的填充的边缘区域222被裁剪成与放大处理之前的原始区域202的尺寸乘以放大因子对应的尺寸。因此，裁剪产生边缘上没有伪影的清楚边缘区域224。然后将裁剪后的且清楚的边缘区域224***到输出图像中作为输出的放大的图像。
在一个实施方式中，对输入图像的有效画面范围的所有边缘重复以下步骤：(1)从输入图像的有效画面范围中检测并提取加框边缘区域；(2)对加框边缘区域进行填充；(3)放大填充的加框边缘区域；(4)将放大的加框边缘区域裁剪成原始区域的尺寸；以及(5)将裁剪后的加框边缘区域***到输出图像中。此外，提取并放大剩余的非边缘区域，并将其***到输出图像中以完成放大的输出图像。
图3是图示根据本公开的一个实施方式的图2所示的帧处置处理的填充处理222的详细流程图。图3的所示实施方式示出了用附加的填充/像素区域(B和C区域)填充提取出的加框边缘区域302以产生填充的区域320。
在一个实施方式中，要添加到提取出的加框边缘区域302的附加填充/像素区域包括八个子区域(例如，两侧、顶部和底部，以及四个拐角)。在这个实施方式中，八个子区域被分为3种类型的填充设计(pad design)(例如，A、B、C)。
在一个示例中，类型A填充设计被用于有效画面范围300内的子区域。因此，通过向四个方向扩展图像范围来形成类型A填充设计。在图3中，类型A填充设计被用于左侧子区域、底部子区域和底部左拐角子区域。因而，填充的区域320示出了通过向四个方向扩展图像范围而形成的那些子区域(即，左侧子区域、底部子区域和底部左拐角子区域)。
在另一个示例中，类型B填充设计被用于不在有效画面范围300内但是在边缘(例如，左、右、顶部或底部)中的子区域。因此，在边缘上使用蝴蝶图像形成类型B填充设计。在一个实施方式中，蝴蝶图像是指作为在提取出的加框边缘区域302与类型B填充区域之间的线(例如，线322或线324)处的镜像图像的图像。
在图3中，类型B填充设计被用于不在有效画面范围300中并且不在任何拐角中的顶部子区域和右侧子区域。因而，填充的区域320示出在边缘上使用蝴蝶图像形成的那些子区域(即，顶部子区域和右侧子区域)。
在另一个示例中，类型C填充设计被用于不在有效画面范围300内但是在拐角中的子区域(例如，顶部左侧拐角、顶部右侧拐角、底部左侧拐角或底部右侧拐角)。因此，在拐角点上使用蝴蝶图像形成类型C填充设计。在图3中，类型C填充设计被用于不在有效画面范围300中但是在拐角中的顶部左侧拐角子区域、顶部右侧拐角子区域和底部右侧拐角子区域。因而，填充的区域320示出在拐角点上使用蝴蝶图像形成的那些子区域(即，顶部左侧拐角子区域、顶部右侧拐角子区域和底部右侧拐角子区域)。
图4是图示根据本公开的一个实施方式的用于在基于ML的放大处理中进行帧处置的处理400的流程图。在图4的所示实施方式中，帧处置处理400包括在方框410处检测输入图像的有效画面范围内的加框边缘区域的位置。在方框420处，从有效画面范围提取检测到的加框边缘区域。然后，在方框430处，通过在该区域周围添加额外的填充/像素来扩展提取出的加框边缘区域，以产生填充的边缘区域。图5所示的流程图中示出了如何添加额外的填充/像素的细节。
在图4的所示实施方式中，在方框440处，将填充的边缘区域馈入基于ML的放大处理器(例如，神经网络)，以产生放大的填充的边缘区域。在方框450处，将放大的填充的边缘区域裁剪成与放大之前的原始区域的尺寸乘以放大因子对应的尺寸。因此，裁剪产生在边缘上没有伪影的清楚边缘区域。然后，在方框460处，将裁剪后的且清楚的边缘区域***到输出图像的边缘中作为输出的放大的图像。
在一个实施方式中，在方框470处，做出是否已经处理了输入图像的所有边缘区域的确定。如果在方框470处确定不是所有边缘区域都已经被处理，那么针对下一个边缘区域重复步骤410至460。否则，如果在方框470处确定已经处理了所有边缘区域，那么在方框480处通过提取、放大非边缘区域并将其***到输出图像中，处理400继续进行。
图5是图示根据本公开的一个实施方式的图4所示的帧处置处理的填充处理430的详细流程图。在图5的所示实施方式中，首先在方框500处做出关于如何在目标边缘区域周围填充像素的确定。在一个实施方式中，要在目标边缘区域(即，图3中所示的加框边缘区域302)周围填充的像素被分组为多个子区域。
在图5的所示实施方式中，要填充的像素被分组为三个子区域。在方框510处，检查要在目标边缘区域周围填充的每个子区域，以确定其是否是第一类型(例如，图3中的类型A)，其中子区域在有效画面范围(例如，图3中的300)内。如果子区域在有效画面范围内，那么在方框512处，在子区域的方向中扩展图像范围。
否则，如果在方框520处确定子区域在有效画面范围之外，但是在边缘中(例如，图3中的类型B)，那么在方框522处在边缘上使用蝴蝶图像来填充图像范围。如上面所指示的，类型B填充设计被用于不在有效画面范围中并且不在任何拐角中的顶部子区域和右侧子区域。
否则，如果在方框530处确定子区域在有效画面范围之外，但是在拐角中(例如，图3中的类型C)，那么在方框532处在拐角点上使用蝴蝶图像来填充图像范围。如上面所指示的，类型C填充设计被用于不在有效画面范围中而在拐角中的顶部左侧拐角子区域、顶部右侧拐角子区域和底部右侧拐角子区域。
如果在方框540处确定有更多子区域要处理，那么在方框550处，该处理移至下一个子区域，并返回到方框510。否则，该处理终止。
虽然以特定顺序布置了图5中的处理500的方框510、520、530，但是可以以任何顺序执行这些方框而不影响处理500的结果。
图6是示出根据本公开的一个实施方式的帧处置***600的框图。在图6的所示实施方式中，帧处置***600包括加框边缘区域提取器610、边缘区域扩展器620、边缘区域裁剪器640，以及包括边缘区域充填器652和非边缘区域充填器654的区域充填器650。
在图6的所示实施方式中，边缘区域提取器610被配置为检测输入图像的有效画面范围内的加框边缘区域的位置并从有效画面范围中提取该边缘区域。边缘区域扩展器620被配置为通过在每个区域周围添加额外的填充/像素来扩展每个边缘区域，以产生填充的边缘区域。如上所述，在图5所示的流程图中示出如何添加额外的填充/像素的细节。
在图6的所示实施方式中，将填充的边缘区域馈入基于ML的放大处理器(例如，神经网络630)以产生放大的填充的边缘区域。边缘区域裁剪器640被配置为将每个放大的填充的边缘区域裁剪成与放大处理之前的原始区域的尺寸乘以放大因子对应的尺寸。因此，裁剪产生在边缘上没有伪影的清楚边缘区域。边缘区域充填器652被配置为将裁剪后的且清楚的边缘区域***到输出图像的边缘中。此外，非边缘区域充填器654被配置为放大非边缘区域并将放大的非边缘区域***到输出图像中以完成放大的输出图像。
在一个实施方式中，帧处置***600是完全使用硬件配置的***，其包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其它等效的集成或分立逻辑电路***。在另一个实施方式中，帧处置***600是使用硬件和软件的组合来配置的。
图7A是根据本公开的实施方式的计算机***700和用户702的表示。用户702使用计算机***700来实现用于放大处理中的帧处置的应用。
计算机***700存储并执行图7B的帧处置应用790。另外，计算机***700可以与软件程序704进行通信。软件程序704可以包括用于增强的颜色再现应用的软件代码。软件程序704可以被加载在诸如CD、DVD或存储驱动器之类的外部介质上，如将在下面进一步解释的。
此外，计算机***700可以连接到网络780。网络780可以以各种不同的体系架构连接，例如，客户端-服务器体系架构、对等网络体系架构或其它类型的体系架构。例如，网络780可以与服务器785进行通信，该服务器785协调在增强的颜色再现应用中使用的引擎和数据。而且，网络可以是不同类型的网络。例如，网络780可以是互联网、局域网或局域网的任何变体、广域网、城域网、内联网或外联网或者无线网络。
图7B是图示根据本公开的实施方式的托管帧处置应用790的计算机***700的功能框图。控制器710是可编程处理器，并且控制计算机***700及其组件的操作。控制器710从存储器720或嵌入式控制器存储器(未示出)加载指令(例如，以计算机程序的形式)，并执行这些指令以控制***。在其执行中，控制器710向帧处置应用790提供软件***，以使得能够在增强的颜色再现应用内创建和配置引擎和数据提取器。可替代地，该服务可以被实现为控制器710或计算机***700中的单独的硬件组件。
存储器720临时存储数据以供计算机***700的其它组件使用。在一个实施方式中，存储器720被实现为RAM。在一个实施方式中，存储器720还包括长期或永久存储器，诸如闪存和/或ROM。
存储装置730或者临时或者长时间存储数据，以供计算机***700的其它组件使用。例如，存储装置730存储由帧处置应用790所使用的数据。在一个实施方式中，存储装置730是硬盘驱动器。
介质设备740接收可移除介质，并向***的介质读取和/或写入数据。在一个实施方式中，例如，介质设备740是光盘驱动器。
用户接口750包括用于接受来自计算机***700的用户的用户输入并将信息呈现给用户702的组件。在一个实施方式中，用户接口750包括键盘、鼠标、音频扬声器和显示器。控制器710使用来自用户702的输入来调整计算机***700的操作。
I/O接口760包括一个或多个I/O端口，以连接到对应的I/O设备，诸如外部存储装置或补充设备(例如，打印机或PDA)。在一个实施方式中，I/O接口760的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口之类的端口。在另一个实施方式中，I/O接口760包括用于与外部设备无线通信的无线接口。
网络接口770包括有线和/或无线网络连接，诸如支持以太网连接的RJ-45或“Wi-Fi”接口(包括但不限于802.11)。
计算机***700包括计算机***所特有的附加硬件和软件(例如，电源、冷却、操作***)，但是为简单起见在图7B中未具体示出这些组件。在其它实施方式中，可以使用计算机***的不同配置(例如，不同的总线或存储配置或多处理器配置)。
提供本文所公开的实施方式的描述以使得本领域的任何技术人员能够制造或使用本公开。对这些实施方式的许多修改对于本领域技术人员而言将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的原理可以应用于其它实施方式。因此，本公开并不旨在限于本文中所示的实施方式，而是应被赋予与本文中公开的原理和新颖特征一致的最广范围。
本公开的各种实施方式以电子硬件、计算机软件或这些技术的组合来实现。一些实施方式包括由一个或多个计算设备执行的一个或多个计算机程序。一般而言，计算设备包括一个或多个处理器、一个或多个数据存储组件(例如，易失性或非易失性存储器模块以及永久性的光和磁存储设备，诸如硬盘和软盘驱动器、CD-ROM驱动器和磁带驱动器)、一个或多个输入设备(例如，游戏控制器、鼠标和键盘)，以及一个或多个输出设备(例如，显示设备)。
计算机程序包括可执行代码，该可执行代码通常存储在持久性存储介质中，然后在运行时复制到存储器中。至少一个处理器通过以规定的顺序从存储器中检索程序指令来执行代码。当执行程序代码时，计算机从输入和/或存储设备接收数据、对数据执行操作，然后将结果数据递送到输出和/或存储设备。
本领域技术人员将认识到的是，本文描述的各种说明性模块和方法步骤可以被实现为电子硬件、软件、固件或前述的组合。为了清楚地说明硬件和软件的这种互换性，在本文已总体上根据其功能性描述了各种说明性模块和方法步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个***上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能性，但是这样的实施方式决定不应当被解释为导致脱离本公开的范围。此外，模块或步骤内的功能的分组是为了便于描述。可以在不脱离本公开的情况下将具体功能从一个模块或步骤移动到另一个模块或步骤。
不是每个上面讨论的示例的所有特征在本公开的特定实施方式中都是必需的。另外，应理解的是，本文呈现的描述和附图代表本公开广泛预期的主题。还应理解的是，本公开的范围完全涵盖对于本领域技术人员而言将变得明显的其它实施方式，并且本公开的范围因此仅由所附权利要求书来限制。

Claims (20)

1.一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的方法，所述方法包括：
从所述输入图像的有效画面范围的边缘检测并提取加框边缘区域；
通过在每个所述加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域，以产生填充的边缘区域；
放大所述填充的边缘区域以产生放大的填充的边缘区域；
将每个所述放大的填充的边缘区域裁剪成与放大之前的每个所述加框边缘区域的尺寸乘以放大因子对应的尺寸；
将裁剪后的边缘区域***到所述输出图像的边缘中；以及
放大所述输入图像的非边缘区域，并将放大的非边缘区域***到所述输出图像中。
2.根据权利要求1所述的方法，其中在每个所述加框边缘区域周围添加额外像素包括：
确定如何在每个所述加框边缘区域周围填充所述额外像素；以及
在每个所述加框边缘区域周围添加所述额外像素的子区域。
3.根据权利要求2所述的方法，其中添加子区域包括确定每个子区域的类型。
4.根据权利要求3所述的方法，其中所述子区域的第一类型包括：
具有完全在所述有效画面范围内的像素的子区域。
5.根据权利要求4所述的方法，还包括：
当确定所述子区域为所述第一类型时，在所述子区域的方向中扩展每个所述加框边缘区域。
6.根据权利要求3所述的方法，其中所述子区域的第二类型包括：
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的边缘上的至少一个像素的子区域。
7.根据权利要求6所述的方法，还包括：
当确定所述子区域为所述第二类型时，在所述边缘上使用蝴蝶图像来扩展所述加框边缘区域。
8.根据权利要求3所述的方法，其中所述子区域的第三类型包括：
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的拐角上的至少一个像素的子区域。
9.根据权利要求8所述的方法，还包括：
当确定所述子区域为所述第三类型时，在所述拐角上使用蝴蝶图像来扩展每个所述加框边缘区域。
10.一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的***，所述***包括：
边缘区域提取器，被配置为从所述输入图像的有效画面范围的边缘检测并提取加框边缘区域；
边缘区域扩展器，被配置为通过在每个加框边缘区域周围添加额外像素来扩展每个所述加框边缘区域以产生填充的边缘区域，
其中边缘区域扩展器将所述填充的边缘区域馈入放大处理器以进行放大并产生放大的填充的边缘区域；
边缘区域裁剪器，被配置为将每个所述放大的填充的边缘区域裁剪成与放大之前的每个所述加框边缘区域的尺寸乘以放大因子对应的尺寸；
边缘区域充填器，被配置为将裁剪后的边缘区域***到所述输出图像的边缘中；以及
非边缘区域充填器，被配置为放大所述输入图像的非边缘区域，并将放大的非边缘区域***到所述输出图像中。
11.根据权利要求10所述的***，其中边缘区域扩展器通过在每个所述加框边缘区域周围添加所述额外像素的子区域来在每个所述加框边缘区域周围添加所述额外像素。
12.根据权利要求11所述的***，其中添加子区域包括确定每个所述子区域的类型。
13.根据权利要求12所述的***，其中所述子区域的第一类型包括：
具有完全在所述有效画面范围内的像素的子区域。
14.根据权利要求13所述的***，其中边缘区域扩展器还被配置为：当确定所述子区域为所述第一类型时，在所述子区域的方向中扩展每个所述加框边缘区域。
15.根据权利要求12所述的***，其中所述子区域的第二类型包括：
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的边缘上的至少一个像素的子区域。
16.根据权利要求15所述的***，其中边缘区域扩展器还被配置为：当确定所述子区域为所述第二类型时，在所述边缘上使用蝴蝶图像来扩展每个所述加框边缘区域。
17.根据权利要求12所述的***，其中所述子区域的第三类型包括：
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的拐角上的至少一个像素的子区域。
18.根据权利要求17所述的***，其中边缘区域扩展器被配置为：当确定所述子区域为所述第三类型时，在所述拐角上使用蝴蝶图像来扩展每个所述加框边缘区域。
19.一种存储计算机程序以在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的非暂态计算机可读存储介质，所述计算机程序包括使计算机执行以下操作的可执行指令：
从所述输入图像的有效画面范围的边缘检测并提取加框边缘区域；
通过在每个所述加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域，以产生填充的边缘区域；
放大所述填充的边缘区域以产生放大的填充的边缘区域；
将每个所述放大的填充的边缘区域裁剪成与放大之前的每个所述加框边缘区域的尺寸乘以放大因子对应的尺寸；
将裁剪后的边缘区域***到所述输出图像的边缘中；以及
放大所述输入图像的非边缘区域，并将放大的非边缘区域***到所述输出图像中。
20.根据权利要求19所述的非暂态计算机可读存储介质，其中使计算机扩展所述提取出的加框边缘区域的可执行指令包括使计算机执行以下操作的可执行指令：
确定如何在每个所述加框边缘区域周围填充所述额外像素；并且
添加所述额外像素的子区域。
CN201980068299.5A 2018-10-18 2019-10-16 用于基于ml的放大的帧处置 Active CN112868045B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747453P 2018-10-18 2018-10-18
US62/747,453 2018-10-18
US16/440,808 US11265446B2 (en) 2018-10-18 2019-06-13 Frame handling for ML-based upscaling
US16/440,808 2019-06-13
PCT/US2019/056499 WO2020081659A1 (en) 2018-10-18 2019-10-16 Frame handling for ml-based upscaling

Publications (2)

Publication Number Publication Date
CN112868045A true CN112868045A (zh) 2021-05-28
CN112868045B CN112868045B (zh) 2024-07-12

Family

ID=70280043

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980068299.5A Active CN112868045B (zh) 2018-10-18 2019-10-16 用于基于ml的放大的帧处置
CN201980069159.XA Pending CN112930552A (zh) 2018-10-18 2019-10-17 大尺寸图像的训练和放大
CN201980068285.3A Active CN112868034B (zh) 2018-10-18 2019-10-17 用于放大的增强颜色再现
CN201980068332.4A Pending CN112868046A (zh) 2018-10-18 2019-10-17 调整放大输出时的清晰度和细节

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201980069159.XA Pending CN112930552A (zh) 2018-10-18 2019-10-17 大尺寸图像的训练和放大
CN201980068285.3A Active CN112868034B (zh) 2018-10-18 2019-10-17 用于放大的增强颜色再现
CN201980068332.4A Pending CN112868046A (zh) 2018-10-18 2019-10-17 调整放大输出时的清晰度和细节

Country Status (6)

Country Link
US (5) US10931853B2 (zh)
EP (4) EP3844707A4 (zh)
JP (5) JP7416774B2 (zh)
KR (4) KR102649544B1 (zh)
CN (4) CN112868045B (zh)
WO (4) WO2020081659A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
CN112396558B (zh) * 2019-08-15 2024-07-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
US11154773B2 (en) 2019-10-31 2021-10-26 Nvidia Corpration Game event recognition
US11673061B2 (en) 2020-01-17 2023-06-13 Nvidia Corporation Extensible dictionary for game events
US11170471B2 (en) * 2020-01-20 2021-11-09 Nvidia Corporation Resolution upscaling for event detection
US11715200B2 (en) 2020-01-31 2023-08-01 Illumina, Inc. Machine learning-based root cause analysis of process cycle images
JP7325636B2 (ja) * 2020-06-24 2023-08-14 三菱電機株式会社 学習装置、推論装置、プログラム、学習方法及び推論方法
AU2022214943A1 (en) * 2021-01-29 2023-02-09 Illumina, Inc. Deep learning-based root cause analysis of process cycle images
US20230156169A1 (en) * 2021-11-18 2023-05-18 Capital One Services, Llc Reduced bandwidth image transfer
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법
KR20240003817A (ko) 2022-07-01 2024-01-11 아주스틸 주식회사 빅픽쳐 기술을 이용한 디자인 강판 제조방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1577832A2 (en) * 2004-03-19 2005-09-21 Casio Computer Co., Ltd. Image processing apparatus for correcting distortion of image and image shooting apparatus for correcting distortion of shot image
US20100034476A1 (en) * 2008-08-09 2010-02-11 Keyence Corporation Image Data Compression Method, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium
CN102682424A (zh) * 2012-01-07 2012-09-19 河南科技大学 基于边缘方向差值的图像放大处理方法
CN103646379A (zh) * 2013-11-28 2014-03-19 青岛海信信芯科技有限公司 一种图像放大方法和装置
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS572353A (en) 1980-06-06 1982-01-07 Toray Ind Inc Polyester resin composition
JP2502175B2 (ja) 1990-08-18 1996-05-29 富士通株式会社 原画像パタ―ンデ―タ再生方法及び装置
JPH08149321A (ja) * 1994-11-16 1996-06-07 Canon Inc カラー画像通信装置及び方法
JPH11112795A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 画像処理システム
JP2000332999A (ja) 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
EP1164781A1 (en) 1999-03-15 2001-12-19 Matsushita Electric Industrial Co., Ltd. Image processing device, image processing method, and recorded medium
JP2000324337A (ja) 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
ATE453903T1 (de) 2001-12-21 2010-01-15 Ibm Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
JP4760288B2 (ja) 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
CA2679436C (en) * 2007-04-05 2018-10-23 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
EP2457196A4 (en) 2009-07-21 2013-02-06 Qualcomm Inc METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES
US8494308B2 (en) 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20130028538A1 (en) 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
WO2013089261A1 (ja) 2011-12-12 2013-06-20 日本電気株式会社 画像処理システム及び画像処理方法
US8620073B2 (en) 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
WO2014008329A1 (en) * 2012-07-03 2014-01-09 Marseille Networks, Inc. System and method to enhance and process a digital image
US10147202B2 (en) * 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
JP6349703B2 (ja) 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
CN106662739B (zh) * 2014-06-03 2020-06-12 Mtt创新公司 应用于成像、照明和投影的高效的动态高对比度透镜作用
EP3038049A1 (en) 2014-12-22 2016-06-29 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
EP3166068B1 (en) 2015-11-06 2020-08-12 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
WO2017124036A1 (en) 2016-01-16 2017-07-20 Flir Systems, Inc. Systems and methods for image super-resolution using iterative collaborative filtering
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
FR3059804B1 (fr) 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910161B (zh) 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
KR101861342B1 (ko) 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
JP7184488B2 (ja) * 2017-04-21 2022-12-06 株式会社半導体エネルギー研究所 画像処理方法および受像装置
CN107633229A (zh) 2017-09-21 2018-01-26 北京智芯原动科技有限公司 基于卷积神经网络的人脸检测方法及装置
CN107945125B (zh) * 2017-11-17 2021-06-22 福州大学 一种融合频谱估计法和卷积神经网络的模糊图像处理方法
CN107945146B (zh) * 2017-11-23 2021-08-03 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
CN109146814B (zh) * 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1577832A2 (en) * 2004-03-19 2005-09-21 Casio Computer Co., Ltd. Image processing apparatus for correcting distortion of image and image shooting apparatus for correcting distortion of shot image
US20100034476A1 (en) * 2008-08-09 2010-02-11 Keyence Corporation Image Data Compression Method, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium
CN102682424A (zh) * 2012-01-07 2012-09-19 河南科技大学 基于边缘方向差值的图像放大处理方法
CN103646379A (zh) * 2013-11-28 2014-03-19 青岛海信信芯科技有限公司 一种图像放大方法和装置
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAIWU等: "A New Approach to Compute CNNs for Extremely Large Images", 《PROCEEDINGS OF THE 2017 ACM ON CONFERENCE MANAGEMENT》, pages 39 - 48 *

Also Published As

Publication number Publication date
CN112868034A (zh) 2021-05-28
EP3844708A1 (en) 2021-07-07
JP2022505293A (ja) 2022-01-14
JP2022505275A (ja) 2022-01-14
US20200126194A1 (en) 2020-04-23
KR20210057077A (ko) 2021-05-20
JP7416774B2 (ja) 2024-01-17
JP2022505303A (ja) 2022-01-14
EP3844707A1 (en) 2021-07-07
US20200126184A1 (en) 2020-04-23
KR102593893B1 (ko) 2023-10-27
KR20210056376A (ko) 2021-05-18
KR102649544B1 (ko) 2024-03-22
US11252301B2 (en) 2022-02-15
CN112930552A (zh) 2021-06-08
US20200126183A1 (en) 2020-04-23
KR20210054554A (ko) 2021-05-13
US20210168263A1 (en) 2021-06-03
JP2023139008A (ja) 2023-10-03
US11252300B2 (en) 2022-02-15
EP3844706A4 (en) 2022-07-06
JP2022505203A (ja) 2022-01-14
WO2020081770A1 (en) 2020-04-23
CN112868045B (zh) 2024-07-12
EP3844682A4 (en) 2022-07-13
WO2020081659A1 (en) 2020-04-23
JP7404359B2 (ja) 2023-12-25
US11533413B2 (en) 2022-12-20
US10931853B2 (en) 2021-02-23
WO2020081776A1 (en) 2020-04-23
JP7304414B2 (ja) 2023-07-06
EP3844706A1 (en) 2021-07-07
EP3844708A4 (en) 2022-06-08
US11265446B2 (en) 2022-03-01
EP3844707A4 (en) 2022-07-13
CN112868046A (zh) 2021-05-28
KR20210054556A (ko) 2021-05-13
US20200128151A1 (en) 2020-04-23
WO2020081772A1 (en) 2020-04-23
CN112868034B (zh) 2024-01-16
KR102550342B1 (ko) 2023-07-05
EP3844682A1 (en) 2021-07-07
KR102596182B1 (ko) 2023-11-02

Similar Documents

Publication Publication Date Title
CN112868045B (zh) 用于基于ml的放大的帧处置
US8902229B2 (en) Method and system for rendering three dimensional views of a scene
KR102247565B1 (ko) 렌더링 방법 및 장치
JP2015195571A5 (ja) 画像処理装置及びその制御方法
US9407835B2 (en) Image obtaining method and electronic device
JP5676610B2 (ja) 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法
CN111133474B (zh) 图像处理设备、图像处理方法和计算机可读记录介质
CN104517273A (zh) 一种图像超分辨率处理方法及装置
CN113379768A (zh) 一种图像处理方法、装置、存储介质和计算机设备
US11037311B2 (en) Method and apparatus for augmenting data in monitoring video
US20150128029A1 (en) Method and apparatus for rendering data of web application and recording medium thereof
JP3898075B2 (ja) 画像処理装置、画像処理方法及び記録媒体
CN104978712A (zh) 图像处理方法及装置
JP6613625B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP7476345B2 (ja) 輪郭精度評価を用いた画像セグメンテーション訓練
EP2988269A1 (en) A system and method for scaling and copying graphics
JP6639120B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2017016073A1 (zh) 一种图片处理方法、装置、终端及存储介质
US10965902B2 (en) Information processing apparatus and control method therefor
CN112419141A (zh) 图片处理方法、装置、计算机设备
JP6489733B2 (ja) 画像出力装置、画像出力方法、およびプログラム
CN118317165A (zh) 视频水印的嵌入方法、装置、电子设备及存储介质
KR20230165584A (ko) 영상 왜곡 보정 장치 및 방법
JP2011128720A (ja) 画像処理装置
Lai Fast structure-preserving image retargeting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant