JP7155271B2 - 画像処理システム及び画像処理方法 - Google Patents
画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- JP7155271B2 JP7155271B2 JP2020539002A JP2020539002A JP7155271B2 JP 7155271 B2 JP7155271 B2 JP 7155271B2 JP 2020539002 A JP2020539002 A JP 2020539002A JP 2020539002 A JP2020539002 A JP 2020539002A JP 7155271 B2 JP7155271 B2 JP 7155271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- generator
- gradient
- upsampled
- image generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 19
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 48
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000005457 optimization Methods 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 210000000887 face Anatomy 0.000 description 5
- 230000003936 working memory Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000004547 Hallucinations Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
Claims (13)
- 画像生成器をトレーニングするために画像のペアのセットを受信する入力インターフェースであって、各ペアは、シーンの低解像度画像及び前記シーンの高解像度画像を含む、入力インターフェースと、
最適化問題を解いて、前記高解像度画像の画像勾配と、前記画像生成器によってアップサンプリングされた対応する低解像度画像の画像勾配との間の距離を低減する前記画像生成器のパラメータを生成することによって前記画像生成器をトレーニングするプロセッサと、
前記画像生成器のパラメータをレンダリングする出力インターフェースと、
を備え、
前記プロセッサは、ガウスカーネル畳み込みと、それに後続する空間勾配計算とを用いて、画像勾配を計算するように構成される、画像処理システム。 - 前記画像生成器は、ニューラルネットワークであり、前記画像生成器のパラメータは、前記プロセッサが前記画像のペアのセットを用いて前記ニューラルネットワークをトレーニングする、前記ニューラルネットワークの異なる層のノード間の結合の重みである、請求項1に記載の画像処理システム。
- 前記プロセッサは、前記高解像度画像の画像勾配と前記画像生成器によってアップサンプリングされた前記対応する低解像度画像の画像勾配との間の距離、及び、前記高解像度画像のピクセル強度と前記画像生成器によってアップサンプリングされた前記対応する低解像度画像のピクセル強度との間の距離の重み付き組み合わせを含むコスト関数を最小化する、請求項1に記載の画像処理システム。
- 前記プロセッサは、確率的勾配降下を用いて前記最適化問題を解く、請求項1に記載の画像処理システム。
- 前記プロセッサは、ピクセル単位で画像勾配を求める、請求項1に記載の画像処理システム。
- 請求項1に記載の画像処理システムによってトレーニングされた前記画像生成器に作動的に接続されたデバイスであって、前記画像生成器を用いて入力画像をアップサンプリングするとともに、アップサンプリングされた入力画像に基づいて制御アクションを実行するように構成される、デバイス。
- 画像処理方法であって、画像処理の方法は、前記方法を実施する記憶された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法のステップを実行し、前記方法は、
画像生成器をトレーニングするために画像のペアのセットを受信することであって、各ペアは、シーンの低解像度画像及び前記シーンの高解像度画像を含むことと、
最適化問題を解くことによって、前記高解像度画像の画像勾配と前記画像生成器によってアップサンプリングされた対応する低解像度画像の画像勾配との間の距離を低減する前記画像生成器のパラメータを生成することによって前記画像生成器をトレーニングすることと、
前記画像生成器のパラメータを出力することと、
を含み、
ガウスカーネル畳み込みと、それに後続する空間勾配計算とを用いて、画像勾配を計算すること、を更に含む、
画像処理方法。 - 前記画像生成器は、ニューラルネットワークである、請求項7に記載の画像処理方法。
- 前記最適化問題を解くことは、
前記高解像度画像の画像勾配と前記画像生成器によってアップサンプリングされた前記対応する低解像度画像の画像勾配との間の距離、及び、前記高解像度画像のピクセル強度と前記画像生成器によってアップサンプリングされた前記対応する低解像度画像のピクセル強度との間の距離の重み付き組み合わせを含むコスト関数を最小化すること、
を含む、請求項7に記載の画像処理方法。 - 前記最適化問題は、確率的勾配降下を用いて解かれる、請求項7に記載の画像処理方法。
- 前記高解像度画像の画像勾配および前記対応する低解像度画像の画像勾配は、ピクセル単位で計算される、請求項7に記載の画像処理方法。
- 方法を実行するプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法は、
画像生成器をトレーニングするために画像のペアのセットを受信することであって、各ペアは、シーンの低解像度画像及び前記シーンの高解像度画像を含むことと、
最適化問題を解くことによって、前記高解像度画像の画像勾配と前記画像生成器によってアップサンプリングされた対応する低解像度画像の画像勾配との間の距離を低減する前記画像生成器のパラメータを生成することによって前記画像生成器をトレーニングすることと、
前記画像生成器の前記パラメータを出力することと、
を含み、
前記プロセッサは、ガウスカーネル畳み込みと、それに後続する空間勾配計算とを用いて、画像勾配を計算するように構成される、媒体。 - 前記最適化問題を解くことは、
前記高解像度画像の画像勾配と前記画像生成器によってアップサンプリングされた前記対応する低解像度画像の画像勾配との間の距離、及び、前記高解像度画像のピクセル強度と前記画像生成器によってアップサンプリングされた前記対応する低解像度画像のピクセル強度との間の距離の重み付き組み合わせを含むコスト関数を最小化すること、
を含む、請求項12に記載の媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/939,731 | 2018-03-29 | ||
US15/939,731 US10540749B2 (en) | 2018-03-29 | 2018-03-29 | System and method for learning-based image super-resolution |
PCT/JP2018/040787 WO2019187298A1 (en) | 2018-03-29 | 2018-10-26 | Image processing system and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021511579A JP2021511579A (ja) | 2021-05-06 |
JP7155271B2 true JP7155271B2 (ja) | 2022-10-18 |
Family
ID=64457060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539002A Active JP7155271B2 (ja) | 2018-03-29 | 2018-10-26 | 画像処理システム及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10540749B2 (ja) |
JP (1) | JP7155271B2 (ja) |
WO (1) | WO2019187298A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6909979B2 (ja) * | 2015-11-05 | 2021-07-28 | 日本電気株式会社 | 画像処理システム、画像処理方法、および画像処理プログラム |
US11010872B2 (en) * | 2019-04-29 | 2021-05-18 | Intel Corporation | Method and apparatus for person super resolution from low resolution image |
CN111008930B (zh) * | 2019-11-20 | 2024-03-19 | 武汉纺织大学 | 一种织物图像超分辨率重建方法 |
CN110956126B (zh) * | 2019-11-27 | 2023-09-15 | 云南电网有限责任公司电力科学研究院 | 一种联合超分辨率重建的小目标检测方法 |
CN111047546A (zh) * | 2019-11-28 | 2020-04-21 | 中国船舶重工集团公司第七一七研究所 | 一种红外图像超分辨率重构方法、***及电子设备 |
CN111210426B (zh) * | 2020-01-15 | 2021-03-02 | 浙江大学 | 一种基于非限制标准模板的图像质量评分方法 |
SG10202005064VA (en) * | 2020-05-29 | 2021-12-30 | Yitu Pte Ltd | A decoder training method, a high-resolution face image generation method, a device and a computer device |
CN111754405B (zh) * | 2020-06-22 | 2023-08-08 | 北京大学深圳研究生院 | 图像降分辨率及复原方法、设备及可读存储介质 |
CN113935898A (zh) * | 2020-07-08 | 2022-01-14 | 华为技术有限公司 | 图像处理方法、***、电子设备及计算机可读存储介质 |
CN111932463B (zh) * | 2020-08-26 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
US11898435B2 (en) | 2020-09-25 | 2024-02-13 | Halliburton Energy Services, Inc. | Correcting borehole images using machine-learning models |
US11445198B2 (en) * | 2020-09-29 | 2022-09-13 | Tencent America LLC | Multi-quality video super resolution with micro-structured masks |
AU2020281143B1 (en) * | 2020-12-04 | 2021-03-25 | Commonwealth Scientific And Industrial Research Organisation | Creating super-resolution images |
CN113139907B (zh) * | 2021-05-18 | 2023-02-14 | 广东奥普特科技股份有限公司 | 视觉分辨率增强的生成方法、***、装置及存储介质 |
JP7208314B1 (ja) | 2021-08-19 | 2023-01-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 学習装置、学習方法及び学習プログラム |
CN115761448B (zh) * | 2022-12-02 | 2024-03-01 | 美的集团(上海)有限公司 | 神经网络的训练方法、训练装置和可读存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8326069B2 (en) * | 2008-06-30 | 2012-12-04 | Intel Corporation | Computing higher resolution images from multiple lower resolution images |
US9064476B2 (en) * | 2008-10-04 | 2015-06-23 | Microsoft Technology Licensing, Llc | Image super-resolution using gradient profile prior |
JP2010108062A (ja) * | 2008-10-28 | 2010-05-13 | Daihatsu Motor Co Ltd | 物体認識装置 |
CN101888557A (zh) | 2010-06-12 | 2010-11-17 | 北京理工大学 | 基于梯度域变换的卡通图像及视频上采样方法 |
JP5837572B2 (ja) * | 2011-03-28 | 2015-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体 |
CN102682449B (zh) * | 2012-04-25 | 2014-12-17 | 中国人民解放军军事医学科学院卫生装备研究所 | 软组织核磁图像自适应外力水平集自动分割及实现方法 |
JP6463593B2 (ja) * | 2015-11-02 | 2019-02-06 | コグネックス・コーポレイション | ビジョンシステムでラインを検出するためのシステム及び方法 |
US9836820B2 (en) | 2016-03-03 | 2017-12-05 | Mitsubishi Electric Research Laboratories, Inc. | Image upsampling using global and local constraints |
US20170337682A1 (en) | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
CN106204489B (zh) | 2016-07-12 | 2019-04-16 | 四川大学 | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 |
CN106156798B (zh) * | 2016-07-25 | 2019-10-25 | 河海大学 | 基于环形空间金字塔和多核学习的场景图像分类方法 |
CN108133456A (zh) * | 2016-11-30 | 2018-06-08 | 京东方科技集团股份有限公司 | 人脸超分辨率重建方法、重建设备以及计算机*** |
CN107240066A (zh) | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
US10970819B2 (en) * | 2017-05-26 | 2021-04-06 | Rakuten, Inc. | Image processing device, image processing method, and image processing program |
-
2018
- 2018-03-29 US US15/939,731 patent/US10540749B2/en active Active
- 2018-10-26 WO PCT/JP2018/040787 patent/WO2019187298A1/en active Application Filing
- 2018-10-26 JP JP2020539002A patent/JP7155271B2/ja active Active
Non-Patent Citations (1)
Title |
---|
Y. Tang et al.,"Convolutional neural network with gradient information for image super-resolution", 2016 IEEE International Conference on Information and Automation (ICIA),米国,IEEE,2016年,pp.1714-1719,Internet<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7832094> |
Also Published As
Publication number | Publication date |
---|---|
US10540749B2 (en) | 2020-01-21 |
US20190304063A1 (en) | 2019-10-03 |
JP2021511579A (ja) | 2021-05-06 |
WO2019187298A1 (en) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7155271B2 (ja) | 画像処理システム及び画像処理方法 | |
US12008797B2 (en) | Image segmentation method and image processing apparatus | |
JP6611107B2 (ja) | 画像をアップサンプリングするコンピューターシステム及び方法 | |
JP7093886B2 (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
US11232286B2 (en) | Method and apparatus for generating face rotation image | |
JP7282810B2 (ja) | 視線追跡方法およびシステム | |
US11481869B2 (en) | Cross-domain image translation | |
US10565757B2 (en) | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images | |
JP6639700B2 (ja) | マルチモーダルデジタル画像を生成する方法及びシステム | |
WO2020199931A1 (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 | |
Zhou et al. | Learning face hallucination in the wild | |
US11636668B2 (en) | Bilateral convolution layer network for processing point clouds | |
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
JP6728487B2 (ja) | 電子装置及びその制御方法 | |
KR102616700B1 (ko) | 영상 처리 장치 및 그 영상 처리 방법 | |
Adate et al. | Deep learning techniques for image processing | |
Pan et al. | Towards bidirectional arbitrary image rescaling: Joint optimization and cycle idempotence | |
WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
Hu et al. | Towards effective learning for face super-resolution with shape and pose perturbations | |
WO2023093363A1 (en) | Methods and devices for gaze estimation | |
US20230040793A1 (en) | Performance of Complex Optimization Tasks with Improved Efficiency Via Neural Meta-Optimization of Experts | |
US20220301348A1 (en) | Face reconstruction using a mesh convolution network | |
RU2757563C1 (ru) | Способ визуализации 3d портрета человека с измененным освещением и вычислительное устройство для него | |
Lücke et al. | Occlusive components analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220310 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220324 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220329 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220527 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220531 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220712 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220906 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20221004 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7155271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |