JP2018151747A - 超解像度処理装置、超解像度処理方法およびコンピュータプログラム - Google Patents
超解像度処理装置、超解像度処理方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2018151747A JP2018151747A JP2017046113A JP2017046113A JP2018151747A JP 2018151747 A JP2018151747 A JP 2018151747A JP 2017046113 A JP2017046113 A JP 2017046113A JP 2017046113 A JP2017046113 A JP 2017046113A JP 2018151747 A JP2018151747 A JP 2018151747A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- image
- super
- learning
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 136
- 238000004590 computer program Methods 0.000 title claims description 20
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000013016 learning Effects 0.000 claims abstract description 159
- 238000010801 machine learning Methods 0.000 claims description 56
- 238000010129 solution processing Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 88
- 238000000034 method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 102100033620 Calponin-1 Human genes 0.000 description 2
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
つまり、機械学習部12は、以下のような手順により、階層構造化された学習用セットおよびフィルタを作成する。
次に、超解像度処理装置1が実行する処理の手順について説明する。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
10 入力画像取得部
11 縮小画像作成部
12 機械学習部
13 第1階層フィルタ取得部
14 候補画像作成部
15 第2階層フィルタ取得部
16 超解像度処理部
17 記憶装置
Claims (4)
- 第2解像度の画像を超解像度処理して、第2解像度よりも高解像度の第3解像度の画像を作成する超解像度処理装置であって、
第3解像度の画像を含む学習用セットのサブセットである第1階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第2解像度の画像を第3解像度の画像に超解像度処理するための第1フィルタ、および第2解像度よりも低解像度の第1解像度の画像を第2解像度の画像に超解像度処理するための第2フィルタを取得する第1階層フィルタ取得部と、
第2解像度の入力画像から第1解像度の縮小画像を作成する縮小画像作成部と、
前記第1階層フィルタ取得部が取得した各前記第2フィルタを用いて、前記第1解像度の縮小画像を超解像度処理して第2解像度の候補画像を作成する候補画像作成部と、
前記候補画像作成部が作成した前記第2解像度の候補画像と前記第2解像度の入力画像との差分が最小となる第2フィルタに対応する第1フィルタを用いて、前記第2解像度の入力画像を超解像度処理することにより、第3解像度の超解像度画像を作成する超解像度処理部と
を備える超解像度処理装置。 - さらに、
前記差分が最小となる前記第2フィルタを機械学習するのに用いた前記第1階層の学習用サブセットのサブセットである第2階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された第1フィルタおよび第2フィルタを取得する第2階層フィルタ取得部を備え、
前記候補画像作成部は、さらに、前記第2階層フィルタ取得部が取得した前記第2階層の各前記第2フィルタを用いて、前記第1解像度の縮小画像を超解像度処理して第2解像度の候補画像を作成し、
前記超解像度処理部は、さらに、前記候補画像作成部が前記第2階層の前記第2フィルタを用いて作成した前記第2解像度の候補画像と前記第2解像度の入力画像との差分が最小となる第2フィルタに対応する第1フィルタを用いて、前記第2解像度の入力画像を超解像度処理することにより、前記第3解像度の超解像度画像を作成する
請求項1に記載の超解像度処理装置。 - 第2解像度の画像を超解像度処理して、第2解像度よりも高解像度の第3解像度の画像を作成する超解像度処理方法であって、
第3解像度の画像を含む学習用セットのサブセットである第1階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第2解像度の画像を第3解像度の画像に超解像度処理するための第1フィルタ、および第2解像度よりも低解像度の第1解像度の画像を第2解像度の画像に超解像度処理するための第2フィルタを取得するステップと、
第2解像度の入力画像から第1解像度の縮小画像を作成するステップと、
取得された各前記第2フィルタを用いて、前記第1解像度の縮小画像を超解像度処理して第2解像度の候補画像を作成するステップと、
作成された前記第2解像度の候補画像と前記第2解像度の入力画像との差分が最小となる第2フィルタに対応する第1フィルタを用いて、前記第2解像度の入力画像を超解像度処理することにより、第3解像度の超解像度画像を作成するステップと
を含む超解像度処理方法。 - 第2解像度の画像を超解像度処理して、第2解像度よりも高解像度の第3解像度の画像を作成するためのコンピュータプログラムであって、
コンピュータを、
第3解像度の画像を含む学習用セットのサブセットである第1階層の複数の学習用サブセットの各々について、該学習用サブセットを用いて機械学習された、第2解像度の画像を第3解像度の画像に超解像度処理するための第1フィルタ、および第2解像度よりも低解像度の第1解像度の画像を第2解像度の画像に超解像度処理するための第2フィルタを取得する第1階層フィルタ取得部と、
第2解像度の入力画像から第1解像度の縮小画像を作成する縮小画像作成部と、
前記第1階層フィルタ取得部が取得した各前記第2フィルタを用いて、前記第1解像度の縮小画像を超解像度処理して第2解像度の候補画像を作成する候補画像作成部と、
前記候補画像作成部が作成した前記第2解像度の候補画像と前記第2解像度の入力画像との差分が最小となる第2フィルタに対応する第1フィルタを用いて、前記第2解像度の入力画像を超解像度処理することにより、第3解像度の超解像度画像を作成する超解像度処理部と
して機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046113A JP6236731B1 (ja) | 2017-03-10 | 2017-03-10 | 超解像度処理装置、超解像度処理方法およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046113A JP6236731B1 (ja) | 2017-03-10 | 2017-03-10 | 超解像度処理装置、超解像度処理方法およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6236731B1 JP6236731B1 (ja) | 2017-11-29 |
JP2018151747A true JP2018151747A (ja) | 2018-09-27 |
Family
ID=60477075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017046113A Active JP6236731B1 (ja) | 2017-03-10 | 2017-03-10 | 超解像度処理装置、超解像度処理方法およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6236731B1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200052402A (ko) * | 2018-10-23 | 2020-05-15 | 주식회사 아나패스 | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 |
JP2020135535A (ja) * | 2019-02-21 | 2020-08-31 | 株式会社Ye Digital | 車両判別方法、車両判別装置および車両判別プログラム |
WO2020251337A1 (ko) * | 2019-06-13 | 2020-12-17 | 엘지이노텍 주식회사 | 카메라 장치 및 카메라 장치의 이미지 생성 방법 |
KR102213765B1 (ko) * | 2019-08-09 | 2021-02-08 | 엘지이노텍 주식회사 | 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기 |
WO2021112280A1 (ko) * | 2019-12-04 | 2021-06-10 | 엘지전자 주식회사 | 신호 처리 장치 및 이를 구비하는 영상표시장치 |
KR102337412B1 (ko) * | 2021-03-17 | 2021-12-09 | 주식회사 에스아이에이 | 딥러닝 기반 초해상도 이미징 방법 |
KR20220038638A (ko) * | 2021-02-02 | 2022-03-29 | 엘지이노텍 주식회사 | 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기 |
US11373274B1 (en) | 2021-03-17 | 2022-06-28 | Si Analytics Co., Ltd. | Method for super resolution imaging based on deep learning |
JP2023505481A (ja) * | 2020-09-29 | 2023-02-09 | テンセント・アメリカ・エルエルシー | 複数品質ビデオ超解像度のための方法、コンピュータ・システム及びコンピュータ・プログラム |
JP2023514428A (ja) * | 2020-04-02 | 2023-04-05 | ソニーグループ株式会社 | テクスチャマッピング用途のためのブロック圧縮テクスチャの超解像 |
WO2023128349A1 (ko) * | 2021-12-31 | 2023-07-06 | 주식회사 에스아이에이 | 협력 학습을 이용한 초해상도 이미징 방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313650B (zh) * | 2021-06-09 | 2023-10-13 | 北京百度网讯科技有限公司 | 图像画质增强方法、装置、设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013532878A (ja) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
JP2015129987A (ja) * | 2014-01-06 | 2015-07-16 | 国立大学法人三重大学 | 医用高解像画像形成システムおよび方法。 |
-
2017
- 2017-03-10 JP JP2017046113A patent/JP6236731B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013532878A (ja) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ,ドミトリー | 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター |
JP2015129987A (ja) * | 2014-01-06 | 2015-07-16 | 国立大学法人三重大学 | 医用高解像画像形成システムおよび方法。 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200052402A (ko) * | 2018-10-23 | 2020-05-15 | 주식회사 아나패스 | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 |
KR102122065B1 (ko) | 2018-10-23 | 2020-06-11 | 주식회사 아나패스 | 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치 |
JP2020135535A (ja) * | 2019-02-21 | 2020-08-31 | 株式会社Ye Digital | 車両判別方法、車両判別装置および車両判別プログラム |
WO2020251337A1 (ko) * | 2019-06-13 | 2020-12-17 | 엘지이노텍 주식회사 | 카메라 장치 및 카메라 장치의 이미지 생성 방법 |
CN114208147A (zh) * | 2019-08-09 | 2022-03-18 | Lg伊诺特有限公司 | 图像传感器、相机模块和包括相机模块的光学装置 |
CN114208147B (zh) * | 2019-08-09 | 2023-07-25 | Lg伊诺特有限公司 | 图像传感器、相机模块和包括相机模块的光学装置 |
KR102213765B1 (ko) * | 2019-08-09 | 2021-02-08 | 엘지이노텍 주식회사 | 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기 |
WO2021029599A1 (ko) * | 2019-08-09 | 2021-02-18 | 엘지이노텍 주식회사 | 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기 |
WO2021112280A1 (ko) * | 2019-12-04 | 2021-06-10 | 엘지전자 주식회사 | 신호 처리 장치 및 이를 구비하는 영상표시장치 |
US12008732B2 (en) | 2020-04-02 | 2024-06-11 | Sony Group Corporation | Super-resolution of block-compressed texture for texture mapping applications |
JP7450863B2 (ja) | 2020-04-02 | 2024-03-18 | ソニーグループ株式会社 | テクスチャマッピング用途のためのブロック圧縮テクスチャの超解像 |
JP2023514428A (ja) * | 2020-04-02 | 2023-04-05 | ソニーグループ株式会社 | テクスチャマッピング用途のためのブロック圧縮テクスチャの超解像 |
JP7357791B2 (ja) | 2020-09-29 | 2023-10-06 | テンセント・アメリカ・エルエルシー | 複数品質ビデオ超解像度のための方法、コンピュータ・システム及びコンピュータ・プログラム |
JP2023505481A (ja) * | 2020-09-29 | 2023-02-09 | テンセント・アメリカ・エルエルシー | 複数品質ビデオ超解像度のための方法、コンピュータ・システム及びコンピュータ・プログラム |
KR102494123B1 (ko) | 2021-02-02 | 2023-02-06 | 엘지이노텍 주식회사 | 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기 |
KR20220038638A (ko) * | 2021-02-02 | 2022-03-29 | 엘지이노텍 주식회사 | 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기 |
US11373274B1 (en) | 2021-03-17 | 2022-06-28 | Si Analytics Co., Ltd. | Method for super resolution imaging based on deep learning |
KR102337412B1 (ko) * | 2021-03-17 | 2021-12-09 | 주식회사 에스아이에이 | 딥러닝 기반 초해상도 이미징 방법 |
WO2023128349A1 (ko) * | 2021-12-31 | 2023-07-06 | 주식회사 에스아이에이 | 협력 학습을 이용한 초해상도 이미징 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6236731B1 (ja) | 2017-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6236731B1 (ja) | 超解像度処理装置、超解像度処理方法およびコンピュータプログラム | |
Nie et al. | Fully convolutional networks for multi-modality isointense infant brain image segmentation | |
US11631162B2 (en) | Machine learning training method, system, and device | |
EP4345746A2 (en) | Method and system for image segmentation and identification | |
US11886990B2 (en) | Classification device, classification method, and computer program product | |
Wu et al. | Residual attention based network for hand bone age assessment | |
CN108986115B (zh) | 医学图像分割方法、装置及智能终端 | |
US10303446B2 (en) | Program generating method, program generating device, and recording medium | |
CN109800781A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
CN108629772A (zh) | 图像处理方法及装置、计算机设备和计算机存储介质 | |
WO2020059446A1 (ja) | 学習装置及び学習方法 | |
CN110910483B (zh) | 三维重建方法、装置及电子设备 | |
CN113487656B (zh) | 图像配准方法及装置,训练方法及装置,控制方法及装置 | |
WO2020252256A1 (en) | Deep-learning models for image processing | |
CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
Banerjee et al. | A semi-automated approach to improve the efficiency of medical imaging segmentation for haptic rendering | |
CN116894844B (zh) | 一种髋关节图像分割与关键点联动识别方法及装置 | |
JP6347028B1 (ja) | アップサンプル装置、コンピュータプログラム、コンピュータシステム、機器、及びアップサンプル方法 | |
JP2018124990A (ja) | モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム | |
Liu et al. | Research on Deep Learning Model of Feature Extraction Based on Convolutional Neural Network | |
CN116051813A (zh) | 全自动智能腰椎定位与识别方法及应用 | |
JP2020075063A (ja) | 画像補間・臓器抽出装置およびそのプログラム | |
CN113837192B (zh) | 图像分割方法及装置,神经网络的训练方法及装置 | |
JP7337303B2 (ja) | 学習装置、及び学習方法 | |
WO2021044671A1 (ja) | 学習装置、学習装置の作動方法、学習装置の作動プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170905 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20170905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6236731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |