CN112930552A - 大尺寸图像的训练和放大 - Google Patents

大尺寸图像的训练和放大 Download PDF

Info

Publication number
CN112930552A
CN112930552A CN201980069159.XA CN201980069159A CN112930552A CN 112930552 A CN112930552 A CN 112930552A CN 201980069159 A CN201980069159 A CN 201980069159A CN 112930552 A CN112930552 A CN 112930552A
Authority
CN
China
Prior art keywords
sub
picture
pictures
image
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980069159.XA
Other languages
English (en)
Inventor
朱淼琪
高岛芳和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of CN112930552A publication Critical patent/CN112930552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

训练和放大大尺寸输入图像，包括：将大尺寸输入图像划分成多个小尺寸的子图片；使用目标填充像素扩展小尺寸的多个子图片中的每个子图片，以产生扩展的子图片；使用基于ML的放大器对每个子图片进行放大以产生扩展的放大的子图片；将扩展放大的子图片裁剪成等于每个子图片的原始尺寸乘以放大因子的放大尺寸；对多个子图片重复扩展、放大和裁剪；以及将多个裁剪的子图片进行级联以产生输出图像。

Description

大尺寸图像的训练和放大
相关申请的交叉引用
本申请援引35U.S.C.§119(e)要求于2018年10月18日提交的标题为“Machine-Learning Based Single Image Upscaling Application for Motion Pictures”的共同待决的美国临时专利申请No.62/747,453的优先权权益。上面引用的申请的公开内容通过引用并入本文。
技术领域
本公开涉及训练和放大图像，并且更具体而言，涉及训练和放大大尺寸输入图像。
背景技术
机器学习(ML)可以用于执行图像超分辨率放大。但是，常规的基于ML的训练和放大过程存在一些已观察到的问题。例如，当目标图像尺寸增加时，基于ML的训练和放大所需的存储器尺寸将呈指数增长，尤其是用具有许多层的深度神经网络的情况下。为了在使用先进的基于神经网络的训练和放大过程的同时将所需的存储器尺寸维持在实际范围内，期望一种独立于输入/输出图像尺寸的方法。
发明内容
本公开提供了训练和放大大尺寸输入图像。
在一个实施方式中，公开了一种用于训练和放大大尺寸输入图像的方法。该方法包括：将大尺寸输入图像划分成小尺寸的多个子图片；使用目标填充像素扩展小尺寸的多个子图片中的每个子图片，以产生扩展的子图片；使用基于ML的放大器对每个子图片进行放大以产生扩展的放大的子图片；将扩展的放大的子图片裁剪成等于每个子图片的原始尺寸乘以放大因子的放大尺寸；对多个子图片重复扩展、放大和裁剪；以及级联多个裁剪的子图片以产生输出图像。
在一个实施方式中，扩展每个子图片包括：确定如何在每个子图片周围填充额外像素；以及在每个子图片周围添加额外像素的子区(sub-region)。在一个实施方式中，添加子区包括确定每个子区的类型。在一个实施方式中，第一类型的子区包括具有完全在大尺寸图像的有效图片区域内的像素的子区。在一个实施方式中，该方法还包括：当确定子区是第一类型时，将每个子图片延展到子区的方向中。在一个实施方式中，第二类型的子区包括具有不在大尺寸图像的有效图片区域内，而是在每个子图片的边缘上的像素的子区。在一个实施方式中，该方法还包括：当确定子区为第二类型时，在边缘上使用蝴蝶图像(butterfly image)来延展每个子图片。在一个实施方式中，第三类型的子区包括具有不在大尺寸图像的有效图片区域内，而是在每个子图片的角上的像素的子区。在一个实施方式中，该方法还包括：当确定子区为第三类型时，在角上使用蝴蝶图像来延展子图片。
在另一个实施方式中，公开了一种大尺寸图像放大***。该***包括：图像划分器，被配置为将大尺寸的输入图像划分成多个子图片；子图片延展器，被配置为通过在每个子图片周围添加额外的像素来延展多个子图片中的每个子图片，以产生扩展的子图片，其中扩展的子图片被馈送到神经网络中以训练并放大扩展的子图片；子图片裁剪器，被配置为接收扩展和放大的子图片，并将其裁剪为与原始子图片的尺寸乘以放大因子对应的尺寸；以及图像充填器，被配置为将多个子图片中的所有裁剪的子图片进行级联以重构输出图像。
在一个实施方式中，子图片延展器通过在每个子图片周围添加额外像素的子区来在每个子图片周围添加额外像素。在一个实施方式中，添加子区包括确定每个子区的类型。在一个实施方式中，第一类型的子区包括具有完全在大尺寸输入图像的有效图片区域内的像素的子区。在一个实施方式中，子图片延展器还被配置为：当确定子区为第一类型时，将每个子图片延展到子区的方向中。在一个实施方式中，第二类型的子区包括具有不在大尺寸输入图像的有效图片区域内，而是在每个延展的子图片的边缘上的像素的子区。在一个实施方式中，子图片延展器还被配置为：当确定子区为第二类型时，在边缘上使用蝴蝶图像来延展每个子图片。在一个实施方式中，第三类型的子区包括具有不在大尺寸输入图像的有效图片区域内，而是在每个延展子图片的角上的像素的子区。在一个实施方式中，子图片延展器还被配置为：当确定子区为第三类型时，在角上使用蝴蝶图像来延展每个子图片。
在又一个实施方式中，公开了一种非暂态计算机可读存储介质，其存储用于训练和放大大尺寸输入图像的计算机程序。该计算机程序包括可执行指令，该可执行指令使计算机：将大尺寸输入图像划分成多个小尺寸的子图片；使用目标填充像素扩展多个小尺寸子图片中的每个子图片，以产生扩展的子图片；使用基于ML的放大器对每个子图片进行放大以产生扩展的放大子图片；将扩展的放大子图片裁剪成等于每个子图片的原始尺寸乘以放大因子的放大尺寸；重复使计算机扩展、放大和裁剪多个子图片的可执行指令；以及级联多个裁剪的子图片以产生输出图像。
在一个实施方式中，使计算机扩展每个子图片的可执行指令包括使计算机执行以下操作的可执行指令：确定如何在每个子图片周围填充额外像素；以及添加额外像素的子区。
其它特征和优点应当从通过举例说明本公开的各方面的本描述中显而易见。
附图说明
关于本公开的结构和操作的细节，可以通过研究附图来部分地收集，其中相同的附图标记指代相同的部分，并且其中：
图1A示出了被划分成六个小尺寸子图片的大尺寸输入图像；
图1B示出了子图片的处理以及从子图片形成输出图像；
图2是图示根据本公开的一个实施方式的(相对于图1B描述的)扩展过程的详细流程图；
图3是图示根据本公开的一个实施方式的用于训练和放大大尺寸图像的过程的流程图；
图4是图示根据本公开的一个实施方式的填充过程的详细流程图；
图5是图示根据本公开的一个实施方式的裁剪过程的详细流程图；
图6是示出根据本公开的一个实施方式的大尺寸图像放大***的框图；
图7A是根据本公开的实施方式的大尺寸图像放大***和用户的表示；以及
图7B是图示根据本公开的实施方式的托管大尺寸图像放大应用的计算机***的功能框图。
具体实施方式
如上所述，常规的基于ML的训练和放大过程具有一些已观察到的问题。例如，当目标图像尺寸增加时，基于ML的训练和放大所需的存储器尺寸将呈指数增长，尤其是用具有许多层的深度神经网络的情况下。为了在使用先进的基于神经网络的训练和放大过程的同时将所需的存储器尺寸维持在实际范围内，期望一种独立于输入/输出图像尺寸的方法。
为了解决常规过程的上述问题，本公开的某些实施方式提供：
(1)将大尺寸输入图像划分成多个小尺寸的子图片；(2)通过目标填充围绕子图片的像素来扩展每个子图片；(3)放大扩展的子图片；(4)从扩展和放大的子图片中裁剪出图像区域；以及(5)级联裁剪的子图片图像以重构输出的放大图像。
在阅读这些描述之后，如何在各种实施方式和应用中实现本公开将变得显而易见。虽然本文将描述本公开的各种实施方式，但是应该理解的是，这些实施方式仅以示例而非限制的方式给出。照此，各种实施方式的这种详细描述不应当被解释为限制本公开的范围或广度。
图1A和1B形成了流程图，该流程图图示了根据本公开的一个实施方式的用于训练和放大大尺寸图像的过程。在一个实施方式中，大尺寸图像包括高清晰度(HD)或更高清晰度的图像。例如，HD图像可以被定义为具有1920x1080像素的分辨率，而更高分辨率的图像(诸如，4K)可以被定义为具有3840x2160像素的分辨率。因此，HD或4K图像可以被分类为大尺寸图像，其不能作为单个输入图像被处理成复杂的神经网络层进行训练。
图1A所示的实施方式示出了被划分成六个小尺寸子图片110、120、130、140、150、160的大尺寸输入图像100。图1B示出了子图片的处理以及从子图片形成输出图像。图1B示出了用于六个子图片中的两个子图片的过程。但是，其它四个子图片可以类似于用于所示的两个子图片的过程进行处理。
关于小尺寸的子图片需要有多小，取决于存储器尺寸和训练中使用的神经网络的复杂性。即，较大的存储器尺寸允许使用较大尺寸的子图片进行处理，而更复杂的神经网络需要较小尺寸的子图片。在一个示例中，可以被发送用于训练的子图片的最大尺寸是64x64或128x128像素。
在图1B所示的实施方式中，子图片的每个130、160被分别处理。最初，使用扩展过程170，通过目标填充子图片周围的像素来扩展每个子图片。该扩展过程170在图2中图示，并且在图2的描述部分中详细描述。
在图1B所示的实施方式中，填充每个子图片(通过扩展过程170)以形成扩展的子图片132、162。然后，扩展的子图片132、162被放大(通过基于神经网络的放大过程180)。因此，在图1B的放大过程180中，所需的存储器尺寸由每个子图片的尺寸和神经网络的复杂度定义，而不是由总体输入图像的尺寸定义。
图1B示出了扩展和放大的子图片134、164。扩展和放大的子图片134、164中的每一个都被裁剪以产生子图片136、166的原始图像区域。裁剪的子图片图像116、126、136、146、156、166被级联，以重构输出的放大图像190。
图2是图示根据本公开的一个实施方式的扩展处理170(参考图1B描述的)的详细流程图。图2所示的实施方式示出了一个子图片130用附加的填充/像素区A、B、C进行扩展以产生扩展的子图片132。虽然图2仅示出了用于子图片130的扩展过程，但是可以使用这里针对子图片130描述的相同过程来扩展其它子图片。
在一个实施方式中，要添加到子图片130的附加填充/像素区包括八个子区(例如，两侧、顶部和底部，以及四个角)。在这个实施方式中，八个子区被分为3种类型的填充设计(例如，A、B、C)。
在一个示例中，类型A填充设计用于有效图片区域100内的子区。因此，通过将图像区域延展到四个方向来形成类型A填充设计。在图2中，类型A填充设计用于左侧子区、底部子区和底部左角子区。因此，扩展子图片132示出了通过将图像区域延展到四个方向而形成的那些子区(即，左子区、底部子区和左下角子区)。
在另一个示例中，类型B填充设计用于不在有效图片区域100内但在边缘(例如，左、右、上或下)中的子区。因此，在边缘上使用蝴蝶图像形成类型B填充设计。在图2中，类型B填充设计用于不在有效图片区域100中并且不在任何角中的顶部子区和右侧子区。因此，扩展的子图片132示出了在边缘上使用蝴蝶图像形成的那些子区(即，顶部子区和右侧子区)。
在另一个示例中，类型C填充设计用于不在有效图片区域100内但在角(例如，左上角、右上角、左下角或右下角)中的子区。因此，在角点上使用蝴蝶图像形成类型C填充设计。在图2中，类型C填充设计用于不在有效图片区域100中并且在角中的左上角子区、右上角子区和右下角子区。因此，扩展的子图片132示出了在角点上使用蝴蝶图像形成的那些子区(即，左上角子区、右上角子区和右下角子区)。
图3是图示根据本公开的一个实施方式的用于训练和放大大尺寸图像的过程300的流程图。在图3所示的实施方式中，在方框310处将大尺寸输入图像划分成多个小尺寸子图片。图1A示出了被划分成六个小尺寸子图片110、120、130、140、150、160的大尺寸输入图像100的一个示例。
在方框320处，使用子图片周围的目标填充像素来扩展每个子图片。在一个实施方式中，扩展过程包括在每个子图片周围添加额外的填充/像素以产生扩展的子图片。在图2中所示的流程图和图4中所示的流程图中图示了如何将额外的填充/像素添加到每个子图片的详细信息。
在一个实施方式中，在方框330处，将每个填充的子图片馈送到基于ML的放大处理器(例如，神经网络)中，以产生放大的填充的子图片。在方框340处，将每个放大和填充的子图片裁剪成子图片的原始尺寸乘以放大因子。如果在方框350处确定存在更多的(一个或多个)子图片要处理，那么过程300被引导到方框320以处理更多的(一个或多个)子图片。在方框360处，所有裁剪的子图片被级联，以重构输出图像。
图4是图示根据本公开的一个实施方式的填充过程(图3中的方框320)的详细流程图。在图4所示的实施方式中，首先在方框400处确定如何填充子图片周围的像素。在一个实施方式中，要在子图片周围填充的像素被分组成多个子区(类型A、B和C)。
在图4所示的实施方式中，要填充的像素被分组成三个子区。在方框410处，检查要在子图片周围填充的每个子区，以确定它是否是第一类型(例如，图2中的类型A)，其中该子区在有效图片区域内(例如，图1A中的100)。如果子区在有效图片区域内，那么在方框412处，子图片的图像区域然后被延展到子区的方向中。
否则，如果在方框420处确定子区在有效图片区域之外，但是在边缘中(例如，图2中的类型B)，那么在方框422处在边缘上使用蝴蝶图像填充子图片。如上所述，类型B填充设计用于不在有效图片区域中并且不在任何角中的顶部子区和右侧子区。
否则，如果在方框430处确定子区在有效图片区域之外，但是在角中(例如，图2中的类型C)，那么在方框432处在角点上使用蝴蝶图像填充子图片。如上所述，类型C填充设计用于不在有效图片区域中并且在角中的左上角子区、右上角子区和右下角子区。
如果在方框440处确定有更多子区要处理，那么在方框450处，该过程移动到下一个子区，并且返回到方框410。否则，该过程终止。
虽然以特定顺序布置了图4中的过程320的方框410、420、430，但是可以以任何顺序执行这些方框而不影响过程320的结果。
图5是图示根据本公开的一个实施方式的裁剪过程(图3中的方框340)的详细流程图。在图5所示的实施方式中，在方框500处，接收扩展和放大的子图片。在方框510处，确定子图片的原始尺寸和放大因子。然后在方框520处，通过将原始尺寸乘以放大因子来确定放大尺寸。在方框530处，子图片被裁剪成放大尺寸。在方框540处，输出裁剪的子图片。
图6是示出根据本公开的一个实施方式的大尺寸图像放大***600的框图。在图6所示的实施方式中，大尺寸图像放大***600包括图像划分器610、子图片延展器620、子图片裁剪器640和图像充填器650。
在图6所示的实施方式中，图像划分器610被配置为将大尺寸输入图像划分成多个小尺寸子图片。在一个实施方式中，将大尺寸输入图像划分成多个小的等尺寸的子图片。子图片延展器620被配置为通过在子图片周围添加额外的填充/像素来延展子图片，以产生扩展的子图片。
在图6所示的实施方式中，将扩展的子图片馈送到基于ML的放大处理器(例如，神经网络630)中以产生扩展的和放大的子图片。子图片裁剪器640被配置为将扩展和放大的子图片裁剪成与在放大过程之前原始子图片的尺寸乘以放大因子对应的尺寸。图像充填器650然后被配置为级联所有裁剪的子图片以重构输出图像。
在一个实施方式中，大尺寸图像放大***600是完全用硬件配置的***，包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其它等效的集成或分立逻辑电路***。在另一个实施方式中，大尺寸图像放大***600用硬件和软件的组合配置。
图7A是根据本公开的实施方式的大尺寸图像放大***700和用户702的表示。用户702使用计算机***700来实现用于放大过程中的帧处理的应用。
计算机***700存储并执行图7B的大尺寸图像放大应用790。另外，计算机***700可以与软件程序704通信。软件程序704可以包括用于大尺寸图像放大应用的软件代码。可以将软件程序704加载在诸如CD、DVD或存储驱动器之类的外部介质上，如将在下面进一步解释的。
此外，计算机***700可以连接到网络780。网络780可以以各种不同的体系架构连接，例如，客户端-服务器体系架构、对等网络体系架构或其它类型的体系架构。例如，网络780可以与服务器785通信，该服务器785协调在大尺寸图像放大应用中使用的引擎和数据。而且，网络可以是不同类型的网络。例如，网络780可以是互联网、局域网，或局域网、广域网、城域网、内联网或外联网或无线网络的任何变体。
图7B是图示根据本公开的实施方式的托管大尺寸图像放大应用790的计算机***700的功能框图。控制器710是可编程处理器，并且控制计算机***700及其组件的操作。控制器710从存储器720或嵌入式控制器存储器(未示出)加载指令(例如，以计算机程序的形式)，并执行这些指令以控制***。在其执行中，控制器710向大尺寸图像放大应用790提供软件***，诸如以使得能够在大尺寸图像放大应用内创建和配置引擎和数据提取器。可替代地，这个服务可以被实现为控制器710或计算机***700中的分离的硬件组件。
存储器720临时存储数据以供计算机***700的其它组件使用。在一个实施方式中，存储器720被实现为RAM。在一个实施方式中，存储器720还包括长期或永久存储器，诸如闪存和/或ROM。
存储装置730临时或长时间存储数据，以供计算机***700的其它组件使用。例如，存储装置730存储由大尺寸图像放大应用790使用的数据。在一个实施方式中，存储装置730是硬盘驱动器。
介质设备740接收可移除介质，并向***的介质读取和/或写入数据。在一个实施方式中，例如，介质设备740是光盘驱动器。
用户接口750包括用于接受来自计算机***700的用户的用户输入并将信息呈现给用户702的组件。在一个实施方式中，用户接口750包括键盘、鼠标、音频扬声器和显示器。控制器710使用来自用户702的输入来调节计算机***700的操作。
I/O接口760包括一个或多个I/O端口，以连接到对应的I/O设备，诸如外部存储装置或补充设备(例如，打印机或PDA)。在一个实施方式中，I/O接口760的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口之类的端口。在另一个实施方式中，I/O接口760包括用于与外部设备无线通信的无线接口。
网络接口770包括支持以太网连接的有线和/或无线网络连接，诸如RJ-45或“Wi-Fi”接口(包括但不限于802.11)。
计算机***700包括计算机***所特有的附加硬件和软件(例如，电源、冷却、操作***)，但是为简单起见在图7B中未具体示出这些组件。在其它实施方式中，可以使用计算机***的不同配置(例如，不同的总线或存储配置或多处理器配置)。
提供本文所公开的实施方式的描述以使本领域的任何技术人员能够制造或使用本公开。对这些实施方式的许多修改对于本领域技术人员而言将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的原理可以应用于其它实施方式。例如，虽然以上描述提到了放大大尺寸图像的问题，但是放大的困难还可以包括放大具有更大位深度(例如，16位深度相对8位深度)的图像的困难。因此，本公开并不旨在限于本文中所示的实施方式，而是应被赋予与本文中公开的原理和新颖特征一致的最广范围。
本公开的各种实施方式以电子硬件、计算机软件或这些技术的组合来实现。一些实施方式包括由一个或多个计算设备执行的一个或多个计算机程序。一般而言，计算设备包括一个或多个处理器、一个或多个数据存储组件(例如，易失性或非易失性存储器模块以及持久性的光和磁存储设备，诸如硬盘和软盘驱动器、CD-ROM驱动器和磁带驱动器)、一个或多个输入设备(例如，游戏控制器、鼠标和键盘)，以及一个或多个输出设备(例如，显示设备)。
计算机程序包括可执行代码，该可执行代码通常存储在持久性存储介质中，然后在运行时复制到存储器中。至少一个处理器通过以规定顺序从存储器中检索程序指令来执行代码。当执行程序代码时，计算机从输入和/或存储设备接收数据、对数据执行操作，然后将结果数据传递到输出和/或存储设备。
本领域技术人员将认识到的是，本文描述的各种说明性模块和方法步骤可以被实现为电子硬件、软件、固件或前述的组合。为了清楚地说明硬件和软件的这种互换性，在本文已总体上根据其功能性描述了各种说明性模块和方法步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个***上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能性，但是此类实施方式决定不应当被解释为导致脱离本公开的范围。此外，模块或步骤内的功能的分组是为了便于描述。可以在不脱离本公开的情况下将具体功能从一个模块或步骤移动到另一个模块或步骤。
不是每个上面讨论的示例的所有特征在本公开的特定实施方式中都是必需的。另外，应理解的是，本文给出的描述和附图代表本公开广泛预期的主题。还应理解的是，本公开的范围完全涵盖对于本领域技术人员而言将变得显而易见的其它实施方式，并且本公开的范围因此仅由所附权利要求书来限制。

Claims (20)

1.一种用于训练和放大大尺寸输入图像的方法，所述方法包括：
将大尺寸输入图像划分成小尺寸的多个子图片；
使用目标填充像素扩展小尺寸的所述多个子图片中的每个子图片，以产生扩展的子图片；
使用基于ML的放大器对每个子图片进行放大以产生扩展的放大的子图片；
将扩展的放大的子图片裁剪成等于每个子图片的原始尺寸乘以放大因子的放大尺寸；
对所述多个子图片重复扩展、放大和裁剪；以及
将多个裁剪的子图片进行级联以产生输出图像。
2.如权利要求1所述的方法，其中扩展每个子图片包括：
确定如何在每个子图片周围填充额外像素；以及
在每个子图片周围添加额外像素的子区。
3.如权利要求2所述的方法，其中添加子区包括确定所述子区中的每个子区的类型。
4.如权利要求3所述的方法，其中第一类型的子区包括：
具有完全在大尺寸图像的有效图片区域内的像素的子区。
5.如权利要求4所述的方法，还包括：
当确定子区是第一类型时，将每个子图片延展到子区的方向中。
6.如权利要求3所述的方法，其中第二类型的子区包括：
具有不在大尺寸图像的有效图片区域内但在每个子图片的边缘上的像素的子区。
7.如权利要求6所述的方法，还包括：
当确定子区是第二类型时，在边缘上使用蝴蝶图像来延展每个子图片。
8.如权利要求3所述的方法，其中第三类型的子区包括：
具有不在大尺寸图像的有效图片区域内但在每个子图片的角上的像素的子区。
9.如权利要求8所述的方法，还包括：
当确定子区为第三类型时，在角上使用蝴蝶图像延展子图片。
10.一种大尺寸图像放大***，包括：
图像划分器，被配置为将大尺寸输入图像划分成多个子图片；
子图片延展器，被配置为通过在每个子图片周围添加额外像素来延展所述多个子图片中的每个子图片以产生扩展的子图片，
其中将扩展的子图片馈送到神经网络中，以训练和放大扩展的子图片；
子图片裁剪器，被配置为接收扩展和放大的子图片并将其裁剪成与原始子图片的尺寸乘以放大因子对应的尺寸；以及
图像充填器，被配置为级联所述多个子图片中的所有裁剪的子图片以重构输出图像。
11.如权利要求10所述的***，其中所述子图片延展器通过在每个子图片周围添加额外像素的子区来在每个子图片周围添加额外像素。
12.如权利要求11所述的***，其中添加子区包括确定所述子区中的每个子区的类型。
13.如权利要求12所述的***，其中在第一类型的子区中包括：
具有完全在大尺寸输入图像的有效图片区域内的像素的子区。
14.如权利要求13所述的***，其中所述子图片延展器还被配置为：当确定子区是第一类型时，将每个子图片延展到子区的方向中。
15.如权利要求12所述的***，其中第二类型的子区包括：
具有不在大尺寸输入图像的有效图片区域内但在每个延展的子图片的边缘上的像素的子区。
16.如权利要求15所述的***，其中所述子图片延展器还被配置为：当确定子区是第二类型时，在边缘上使用蝴蝶图像来延展每个子图片。
17.如权利要求12所述的***，其中第三类型的子区包括：
具有不在大尺寸输入图像的有效图片区域内但在每个延展的子图片的角上的像素的子区。
18.如权利要求17所述的***，其中所述子图片延展器还被配置为：当确定子区是第三类型时，在角上使用蝴蝶图像来延展每个子图片。
19.一种非暂态计算机可读存储介质，存储用于训练和放大大尺寸输入图像的计算机程序，所述计算机程序包括可执行指令，所述可执行指令使计算机：
将大尺寸输入图像划分成小尺寸的多个子图片；
使用目标填充像素扩展小尺寸的所述多个子图片中的每个子图片，以产生扩展的子图片；
使用基于ML的放大器对每个子图片进行放大以产生扩展的放大的子图片；
将扩展的放大的子图片裁剪成等于每个子图片的原始尺寸乘以放大因子的放大尺寸；
重复使计算机扩展、放大和裁剪所述多个子图片的可执行指令；以及
将多个裁剪的子图片进行级联以产生输出图像。
20.如权利要求19所述的非暂态计算机可读存储介质，其中使计算机扩展每个子图片的可执行指令包括使计算机执行以下操作的可执行指令：
确定如何在每个子图片周围填充额外像素；以及
添加额外像素的子区。
CN201980069159.XA 2018-10-18 2019-10-17 大尺寸图像的训练和放大 Pending CN112930552A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747453P 2018-10-18 2018-10-18
US62/747,453 2018-10-18
US16/442,131 US11252300B2 (en) 2018-10-18 2019-06-14 Training and upscaling of large size image
US16/442,131 2019-06-14
PCT/US2019/056675 WO2020081772A1 (en) 2018-10-18 2019-10-17 Training and upscaling of large size image

Publications (1)

Publication Number Publication Date
CN112930552A true CN112930552A (zh) 2021-06-08

Family

ID=70280043

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980068299.5A Active CN112868045B (zh) 2018-10-18 2019-10-16 用于基于ml的放大的帧处置
CN201980068332.4A Pending CN112868046A (zh) 2018-10-18 2019-10-17 调整放大输出时的清晰度和细节
CN201980068285.3A Active CN112868034B (zh) 2018-10-18 2019-10-17 用于放大的增强颜色再现
CN201980069159.XA Pending CN112930552A (zh) 2018-10-18 2019-10-17 大尺寸图像的训练和放大

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201980068299.5A Active CN112868045B (zh) 2018-10-18 2019-10-16 用于基于ml的放大的帧处置
CN201980068332.4A Pending CN112868046A (zh) 2018-10-18 2019-10-17 调整放大输出时的清晰度和细节
CN201980068285.3A Active CN112868034B (zh) 2018-10-18 2019-10-17 用于放大的增强颜色再现

Country Status (6)

Country Link
US (5) US11265446B2 (zh)
EP (4) EP3844707A4 (zh)
JP (5) JP7416774B2 (zh)
KR (4) KR102649544B1 (zh)
CN (4) CN112868045B (zh)
WO (4) WO2020081659A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling
US11154773B2 (en) 2019-10-31 2021-10-26 Nvidia Corpration Game event recognition
US11673061B2 (en) 2020-01-17 2023-06-13 Nvidia Corporation Extensible dictionary for game events
US11170471B2 (en) * 2020-01-20 2021-11-09 Nvidia Corporation Resolution upscaling for event detection
US11715200B2 (en) 2020-01-31 2023-08-01 Illumina, Inc. Machine learning-based root cause analysis of process cycle images
JP7325636B2 (ja) * 2020-06-24 2023-08-14 三菱電機株式会社 学習装置、推論装置、プログラム、学習方法及び推論方法
JP2024505317A (ja) * 2021-01-29 2024-02-06 イルミナ インコーポレイテッド プロセスサイクル画像の深層学習ベースの根本原因分析
US20230156169A1 (en) * 2021-11-18 2023-05-18 Capital One Services, Llc Reduced bandwidth image transfer
WO2023224320A1 (ko) * 2022-05-17 2023-11-23 삼성전자 주식회사 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법
KR20240003817A (ko) 2022-07-01 2024-01-11 아주스틸 주식회사 빅픽쳐 기술을 이용한 디자인 강판 제조방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237624A (en) * 1990-08-18 1993-08-17 Fujitsu Limited Reproduction of image pattern data
JP2015108670A (ja) * 2013-12-03 2015-06-11 株式会社ニコン 画像処理装置、電子カメラ及び画像処理プログラム
US20170132759A1 (en) * 2015-11-06 2017-05-11 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US20170206632A1 (en) * 2016-01-19 2017-07-20 Google Inc. Image upscaling
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS572353A (en) 1980-06-06 1982-01-07 Toray Ind Inc Polyester resin composition
JPH08149321A (ja) * 1994-11-16 1996-06-07 Canon Inc カラー画像通信装置及び方法
JPH11112795A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 画像処理システム
JP2000332999A (ja) * 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
WO2000056060A1 (fr) 1999-03-15 2000-09-21 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de traitement d'image, et support enregistre
JP2000324337A (ja) 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
DE60234900D1 (de) 2001-12-21 2010-02-11 Ibm Verfahren und Schaltungen zur Bildskalierung mit Hilfe neuronaler Netzwerke
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
JP4760288B2 (ja) * 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
CA2679436C (en) * 2007-04-05 2018-10-23 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
JP5271031B2 (ja) * 2008-08-09 2013-08-21 株式会社キーエンス 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
EP2457196A4 (en) * 2009-07-21 2013-02-06 Qualcomm Inc METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES
US8494308B2 (en) 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20130028538A1 (en) 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
US9317904B2 (en) 2011-12-12 2016-04-19 Nec Corporation Image processing system and image processing method
CN102682424B (zh) * 2012-01-07 2014-12-17 河南科技大学 基于边缘方向差值的图像放大处理方法
US8620073B2 (en) 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
CN104756151A (zh) * 2012-07-03 2015-07-01 马赛网络股份有限公司 用于增强和处理数字图像的***及方法
US10147202B2 (en) 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
CN103646379B (zh) * 2013-11-28 2019-04-26 青岛海信电器股份有限公司 一种图像放大方法和装置
WO2015184549A1 (en) * 2014-06-03 2015-12-10 Mtt Innovation Incorporated Efficient, dynamic, high contrast lensing with applications to imaging, illumination and projection
EP3038049A1 (en) 2014-12-22 2016-06-29 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
CN108780570B (zh) 2016-01-16 2022-12-06 特利丹菲力尔有限责任公司 使用迭代协同滤波的图像超分辨率的***和方法
US9836820B2 (en) 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN106204447A (zh) 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
FR3059804B1 (fr) 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910161B (zh) 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
KR101861342B1 (ko) 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
US11238559B2 (en) * 2017-04-21 2022-02-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method and image receiving apparatus
CN107633229A (zh) 2017-09-21 2018-01-26 北京智芯原动科技有限公司 基于卷积神经网络的人脸检测方法及装置
CN107945125B (zh) * 2017-11-17 2021-06-22 福州大学 一种融合频谱估计法和卷积神经网络的模糊图像处理方法
CN107945146B (zh) * 2017-11-23 2021-08-03 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
CN109146814B (zh) * 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10547823B2 (en) 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237624A (en) * 1990-08-18 1993-08-17 Fujitsu Limited Reproduction of image pattern data
JP2015108670A (ja) * 2013-12-03 2015-06-11 株式会社ニコン 画像処理装置、電子カメラ及び画像処理プログラム
US20170132759A1 (en) * 2015-11-06 2017-05-11 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US20170206632A1 (en) * 2016-01-19 2017-07-20 Google Inc. Image upscaling
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAI WU: ""A New Approach to Compute CNNs for Extremely Large Images"", 《PROCEEDINGS OF THE 2017 ACM ON CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT, CIRM\'17，ACM PRESS》, pages 39 - 43 *

Also Published As

Publication number Publication date
JP2022505275A (ja) 2022-01-14
EP3844707A4 (en) 2022-07-13
JP7416774B2 (ja) 2024-01-17
JP7404359B2 (ja) 2023-12-25
JP2023139008A (ja) 2023-10-03
CN112868045A (zh) 2021-05-28
KR20210056376A (ko) 2021-05-18
JP7304414B2 (ja) 2023-07-06
KR20210054554A (ko) 2021-05-13
KR102593893B1 (ko) 2023-10-27
EP3844707A1 (en) 2021-07-07
EP3844706A4 (en) 2022-07-06
WO2020081772A1 (en) 2020-04-23
KR102550342B1 (ko) 2023-07-05
US20200128151A1 (en) 2020-04-23
WO2020081770A1 (en) 2020-04-23
EP3844708A4 (en) 2022-06-08
CN112868034B (zh) 2024-01-16
KR102596182B1 (ko) 2023-11-02
US11252300B2 (en) 2022-02-15
US11265446B2 (en) 2022-03-01
US20200126184A1 (en) 2020-04-23
CN112868045B (zh) 2024-07-12
EP3844682A1 (en) 2021-07-07
JP2022505203A (ja) 2022-01-14
KR20210054556A (ko) 2021-05-13
JP2022505303A (ja) 2022-01-14
US11252301B2 (en) 2022-02-15
EP3844706A1 (en) 2021-07-07
US11533413B2 (en) 2022-12-20
US20200126183A1 (en) 2020-04-23
US20200126194A1 (en) 2020-04-23
KR20210057077A (ko) 2021-05-20
US10931853B2 (en) 2021-02-23
US20210168263A1 (en) 2021-06-03
KR102649544B1 (ko) 2024-03-22
WO2020081659A1 (en) 2020-04-23
JP2022505293A (ja) 2022-01-14
EP3844682A4 (en) 2022-07-13
CN112868034A (zh) 2021-05-28
EP3844708A1 (en) 2021-07-07
WO2020081776A1 (en) 2020-04-23
CN112868046A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112930552A (zh) 大尺寸图像的训练和放大
JP6735908B2 (ja) パノラマビデオ圧縮方法および装置
JP5757592B2 (ja) 超解像画像を生成する方法，装置，コンピュータプログラム製品
US9256919B2 (en) Systems and methods for image processing using a resizing template
JP2015195571A5 (ja) 画像処理装置及びその制御方法
US20170091152A1 (en) Generating grid layouts with mutable columns
JP2020126651A (ja) ニューラルネットワークのコンボルーション演算を処理する方法及び装置
CN110806847A (zh) 一种分布式多屏幕显示方法、装置、设备及***
JP2008124742A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008147850A (ja) デザイン編集方法およびデザイン編集装置およびデザイン編集プログラム
CN116830568A (zh) 与视图无关的多摄像机体积捕获***
CN104517273A (zh) 一种图像超分辨率处理方法及装置
JP2015015699A (ja) 画像処理装置、情報処理方法及びプログラム
US11037311B2 (en) Method and apparatus for augmenting data in monitoring video
JP2020087104A (ja) コンピュータプログラム、画像処理方法、及び画像処理装置
JP5719271B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP6199101B2 (ja) 描画方法、描画装置、および描画プログラム
KR102434428B1 (ko) 합성 영상 생성 방법, 합성 영상 생성 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
CN102446344A (zh) 一种基于DirectFB的图片旋转的实现方法
JP2007148568A (ja) 情報処理装置、情報処理方法
CN112419141A (zh) 图片处理方法、装置、计算机设备
US20190132545A1 (en) Information processing apparatus and control method therefor
JP2011097474A (ja) 画像処理装置および画像処理方法
CN114742704A (zh) 图像扩增方法和基于图像扩增的模型训练方法
JP2017175498A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination