KR102652117B1 - 이미지 보정 방법 및 이미지 보정 시스템 - Google Patents
이미지 보정 방법 및 이미지 보정 시스템 Download PDFInfo
- Publication number
- KR102652117B1 KR102652117B1 KR1020190083310A KR20190083310A KR102652117B1 KR 102652117 B1 KR102652117 B1 KR 102652117B1 KR 1020190083310 A KR1020190083310 A KR 1020190083310A KR 20190083310 A KR20190083310 A KR 20190083310A KR 102652117 B1 KR102652117 B1 KR 102652117B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- correction
- learning
- input
- corrected
- Prior art date
Links
- 238000012545 processing Methods 0.000 title description 4
- 238000003672 processing method Methods 0.000 title 1
- 238000003702 image correction Methods 0.000 claims abstract description 81
- 238000011156 evaluation Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 60
- 238000010586 diagram Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
이미지 보정 방법이 제공된다. 입력 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행하여 보정 이미지를 생성하는 단계로서, 이미지 보정은 학습 이미지를 이용하여 학습된 미리 학습된 이미지 생성 파라미터를 갖는 이미지 생성기에 의해 이미지 보정을 수행하는 것을 포함하는 단계, 학습 이미지를 이용하여 학습된 미리 학습된 이미지 평가 파라미터를 갖는 이미지 평가기에 의해 보정 이미지의 품질 값을 생성하는 단계, 및 품질 값이 설정 값보다 작으면 보정 이미지에 대해 이미지 보정을 다시 수행하고, 품질 값이 설정 값보다 크면 보정 이미지를 최종 이미지로 출력하는 단계를 포함한다.
Description
본 발명은 이미지 보정 방법 및 이미지 보정 시스템에 관한 것이다.
이미지에서 깊이 맵(depth map) 이미지를 생성하는 방법은 지속적으로 연구되고 있다. 깊이 맵은 이미지에서 일정 거리 이상의 이미지를 블러 처리하는 아웃 포커싱에 사용될 수도 있고, 카메라의 초점을 맞추는데 사용될 수 있다. 그 외에도 깊이 맵은 카메라와 물체 간의 거리를 인식하여 자동차 자율주행에 이용되는 등 그 필요성이 대두되고 있다.
한 편, 비지도 학습 네트워크 중 하나인 생성적 적대 신경망(Generative Adversarial Network)이 차세대 딥러닝 알고리즘으로 주목받고 있다. 생성적 적대 신경망은 진짜 같은 가짜를 생성하는 생성 모델과 생성 모델에서 생성된 가짜의 진위를 판별하는 판별 모델을 포함한다. 생성적 적대 신경망은 생성 모델과 판별 모델이 서로 적대적으로 학습된다.
본 발명이 해결하고자 하는 기술적 과제는 이미지 장치에서 입력되는 이미지를 미리 훈련된 생성기 및 미리 훈련된 평가기를 이용하여 보정된 이미지를 출력하는 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은, 입력 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행하여 보정 이미지를 생성하는 단계로서, 이미지 보정은 학습 이미지를 이용하여 학습된 미리 학습된 이미지 생성 파라미터를 갖는 이미지 생성기에 의해 이미지 보정을 수행하는 것을 포함하는 단계, 학습 이미지를 이용하여 학습된 미리 학습된 이미지 평가 파라미터를 갖는 이미지 평가기에 의해 보정 이미지의 품질 값을 생성하는 단계, 및 품질 값이 설정 값보다 작으면 보정 이미지에 대해 이미지 보정을 다시 수행하고, 품질 값이 설정 값보다 크면 보정 이미지를 최종 이미지로 출력하는 단계를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템은, 미리 학습된 이미지 생성 파라미터를 저장하는 이미지 생성 파라미터 저장부와, 가이드 이미지와 입력 이미지를 입력 받고, 미리 학습된 이미지 생성 파라미터에 의해, 가이드 이미지를 이용하여 입력 이미지를 보정한 보정 이미지를 생성하는 이미지 생성부를 포함하는 이미지 생성기, 미리 학습된 이미지 평가 파라미터를 저장하는 이미지 평가 파라미터 저장부와, 보정 이미지를 입력 받고, 미리 학습된 이미지 평가 파라미터에 의해, 보정 이미지의 품질 값을 생성하는 이미지 평가부를 포함하는 이미지 평가기, 및 품질 값이 설정 값보다 크다고 판단되면 보정 이미지를 출력하고, 품질 값이 설정 값보다 작다고 판단되면 보정 이미지를 이미지 생성부에 입력 이미지로 입력하는 판단기를 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 전자 장치는, 이미지 보정 프로그램이 저장된 메모리, 및 메모리에 저장된 이미지 보정 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고, 프로그램은 적어도 하나의 프로세서를 이용하여, 입력 이미지에 대해 가이드 이미지를 이용하여 보정 이미지를 생성하되, 보정 이미지를 생성하는 것은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터에 의해 보정 이미지를 생성하는 것을 포함하고, 보정 이미지의 품질 값을 생성하고, 품질 값이 설정 값보다 커질 때까지 보정 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 4는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 5는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 6은 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 블록도이다.
도 8은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 흐름도이다.
도 9는 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템을 적용한 일예를 도시한 도면이다.
도 10은 본 발명의 몇몇 실시예들에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 4는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 5는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 6은 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 블록도이다.
도 8은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 흐름도이다.
도 9는 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템을 적용한 일예를 도시한 도면이다.
도 10은 본 발명의 몇몇 실시예들에 따른 전자 장치를 설명하기 위한 도면이다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 개략도이다.
도 1을 참고하면, 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템은 이미지 장치(10), 이미지 생성기(20), 이미지 평가기(30), 판단기(40) 및 디스플레이(50)를 포함할 수 있다.
이미지 장치(10)는 복수의 카메라 모듈을 포함할 수 있다. 이미지 장치(10)는 서로 다른 카메라 모듈을 포함할 수 있다.
예를 들어, 이미지 장치(10)는 광각 카메라와 망원 카메라를 포함할 수 있다. 또는 이미지 장치(10)는 모노 카메라와 RGB 카메라를 포함할 수 있다. 또는, 적외선 카메라와 RGB 카메라를 포함할 수 있다.
이미지 장치(10)는 이미지 장치(10)에서 획득한 이미지들을 이미지 생성기(20)에 제공할 수 있다.
이미지 생성기(20)는 이미지 생성부(22)와 생성 파라미터 저장부(24)를 포함할 수 있다.
이미지 생성기(20)는 이미지 장치(10)로부터 가이드 이미지와 입력 이미지를 입력 받을 수 있다. 이미지 생성부(22)는 입력 이미지에 대해 보정 이미지를 생성할 수 있다. 생성 파라미터 저장부(24)는 미리 학습된 이미지 생성 파라미터를 저장할 수 있다.
이미지 생성기(20)로 입력되는 가이드 이미지는 이미지 보정 시스템에 따라 여러 종류의 가이드 이미지를 포함할 수 있다.
본 발명의 몇몇 실시예들에 따른 이미지 생성기(20)는 비지도 학습 네트워크를 이용하여 품질 값을 생성할 수 있다. 비지도 학습 네트워크는 GAN(Generative Adversarial Networks)을 포함할 수 있고, 이미지 생성기(20)는 GAN의 생성 모듈(generator)일 수 있다.
이미지 평가기(30)는 이미지 평가부(32)와 평가 파라미터 저장부(34)를 포함할 수 있다.
이미지 평가기(30)는 이미지 생성기(20)로부터 보정 이미지가 입력될 수 있다. 이미지 평가부(32)는 이미지 생성기(20)에서 생성된 보정 이미지의 품질 값을 생성할 수 있다. 평가 파라미터 저장부(34)는 미리 학습된 이미지 평가 파라미터를 저장할 수 있다.
본 발명의 몇몇 실시예들에 따른 이미지 평가기(30)는 비지도 학습 네트워크를 이용하여 품질 값을 생성할 수 있다. 비지도 학습 네트워크는 GAN(Generative Adversarial Networks)을 포함할 수 있고, 이미지 평가기(30)는 GAN의 감별 모듈(discriminator)일 수 있다.
판단기(40)는 이미지 평가기(30)로부터 보정 이미지의 품질 값이 입력될 수 있다. 판단기(40)는 보정 이미지의 품질 값이 설정 값보다 큰지 판단할 수 있다.
도 2는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 2를 참고하면, 가이드 이미지와 입력 이미지가 이미지 생성기(20)로 제공될 수 있다.
이미지 생성부(22)는 가이드 이미지를 이용하여, 생성 파라미터 저장부(24)에 저장된 미리 학습된 이미지 생성 파라미터에 의해, 입력 이미지의 보정 이미지를 생성할 수 있다.
이미지 생성기(20)에서 생성된 보정 이미지는 이미지 평가기(30)에 입력될 수 있다.
이미지 평가부(32)는 평가 파라미터 저장부(34)에 저장된 미리 학습된 이미지 평가 파라미터에 의해, 보정 이미지의 품질 값(Quality value)을 생성할 수 있다.
이미지 평가기(30)에서 생성된 보정 이미지의 품질 값은 판단기(40)에 입력될 수 있다. 판단기(40)는 보정 이미지의 품질 값이 설정 값보다 큰 지 판단할 수 있다. 판단기(40)는 보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지를 최종 이미지로 출력할 수 있다.
판단기(40)는 보정 이미지의 품질 값이 설정 값보다 작다고 판단되면, 판단기(40)는 보정 이미지를 이미지 생성기(20)에 입력 이미지로 입력할 수 있다.
예를 들어, 망원 카메라는 제1 이미지(tele image)를 제공하고, 광각 카메라는 제2 이미지(wide image)를 제공할 수 있다. 이 때, 제1 이미지와 제2 이미지가 중첩되는 영역은 제1 이미지와 제2 이미지를 기초로 깊이 맵 이미지가 형성될 수 있다. 하지만, 제1 이미지와 제2 이미지가 중첩되지 않는 영역은 깊이 맵 이미지가 형성되지 않는다.
따라서, 이미지 보정 시스템에는 제1 이미지와 제2 이미지를 기초로 생성된 깊이 맵 이미지가 입력 이미지로 제공되고, 제1 이미지의 RGB 이미지가 가이드 이미지로 제공될 수 있다.
이 때, 이미지 보정 시스템의 정확도를 높이기 위해서, 이미지 보정 시스템에는 제1 이미지의 싱글 뎁스 맵(single image depth map) 이미지가 가이드 이미지로 더 제공될 수 있다.
또는 이미지 보정 시스템에는 제2 이미지의 세그먼테이션 맵(segmentation map) 이미지가 가이드 이미지로 더 제공될 수 있다. 세그먼테이션 맵 이미지는 제2 이미지 내의 오브젝트들을(objects) 오브젝트 별로 구분하는 정보를 포함하고 있을 수 있다.
이미지 보정 시스템은 제1 이미지와 제2 이미지가 중첩되지 않는 영역의 깊이 맵 이미지가 형성된 제1 이미지와 제2 이미지를 기초로 생성된 깊이 맵 이미지를 최종 이미지로 출력할 수 있다.
예를 들어, 그레이 스케일 이미지(grayscale image)는 색상 정보는 없으나 노이즈(noise)가 적고, RGB 이미지는 색상 정보는 있으나 조도가 낮고 노이즈가 많을 수 있다. 따라서, 이미지 보정 시스템에는 모노 카메라 또는 적외선 카메라의 그레이 스케일 이미지가 가이드 이미지로 제공되고, RGB 카메라의 RGB 이미지가 입력 이미지로 제공될 수 있다.
이 때, 이미지 보정 시스템은 입력 이미지로 제공된 RGB 이미지에서 노이즈가 개선되고 색상이 개선된 이미지를 최종 이미지로 출력할 수 있다.
예를 들어, 라이다(lidar) 카메라의 이미지를 기초로 생성된 깊이 맵 이미지는 상대적으로 정확한 깊이 맵 정보를 가지나, 낮은 밀도를 갖는 이미지(sparse map)일 수 있다. 따라서, 이미지 보정 시스템에는 라이더 카메라의 이미지를 기초로 생성된 깊이 맵 이미지가 입력 이미지로 제공하고, RGB 카메라의 RGB 이미지가 가이드 이미지로 제공될 수 있다.
이 때, 이미지 보정 시스템은 입력 이미지로 제공된 밀도가 낮은 깊이 맵 이미지(sparse depth map)에서 밀도가 개선된 깊이 맵 이미지(dense depth map)를 출력할 수 있다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다. 도 3은 도 2에 따른 이미지 보정 시스템의 학습을 설명하기 위한 도면이다.
도 3을 참고하면, 학습 이미지가 이미지 생성기(20)에 제공될 수 있다. 학습 이미지는 학습 가이드 이미지, 학습 입력 이미지 및 미리 정한 이미지(ground truth)를 포함할 수 있다.
미리 정한 이미지는 이미지 생성기(20)가 학습 입력 이미지를 입력 받아 학습 보정 이미지로 생성해야 되는 기준 이미지 또는 타겟 이미지일 수 있다.
학습 가이드 이미지 및 학습 입력 이미지는 가이드 이미지 및 입력 이미지와 동일한 정보를 포함하는 이미지일 수 있다.
도 2에서 설명한 예를 참고하면, 망원 카메라의 제1 이미지와 광각 카메라의 제2 이미지를 기초로 생성된 깊이 맵 이미지를 보정하기 위한 이미지 보정 시스템의 경우, 제1 이미지와 제2 이미지를 기초로 생성된 깊이 맵 이미지가 학습 입력 이미지로 제공되고, 제1 이미지의 RGB 이미지가 가이드 이미지로 제공될 수 있다. 이 때, 제2 이미지의 스테레오 뎁스 맵(stereo depth map)이미지가 미리 정한 이미지로 제공될 수 있다.
예를 들어, 모노 카메라 또는 적외선 카메라의 그레이 스케일 이미지를 보정하기 위한 이미지 보정 시스템의 경우, 모노 카메라 또는 적외선 카메라의 그레이 스케일 이미지가 학습 가이드 이미지로 제공되고, RGB 카메라의 RGB 이미지가 학습 입력 이미지로 제공될 수 있다. 이 때, 고조도에서 촬영된 RGB 카메라의 RGB 이미지가 미리 정한 이미지로 제공될 수 있다.
예를 들어, 라이다(lidar) 카메라의 이미지를 기초로 생성된 깊이 맵 이미지를 보정하기 위한 이미지 보정 시스템의 경우, 라이더 카메라의 이미지를 기초로 생성된 깊이 맵 이미지가 학습 입력 이미지로 제공하고, RGB 카메라의 RGB 이미지가 학습 가이드 이미지로 제공될 수 있다.
이미지 생성부(22)는 학습 가이드 이미지를 이용하여 학습 입력 이미지를 보정한 학습 보정 이미지를 생성할 수 있다. 이미지 생성부(22)는 학습 보정 이미지와 미리 정한 이미지의 차이를 포함하는 이미지 생성기(20)의 손실을 계산할 수 있다.
이미지 생성부(22)에서 생성된 학습 보정 이미지는 이미지 평가기(30)로 입력될 수 있다.
이미지 평가부(32)는 학습 보정 이미지의 품질 값을 생성할 수 있다.
이미지 평가부(32)는 학습 보정 이미지의 품질 값과 미리 정한 이미지의 품질 값의 차이를 포함하는 이미지 평가기(30)의 손실을 계산할 수 있다.
판단기(40)는 이미지 생성기(20)가 학습 보정 이미지를 생성하고, 이미지 평가기(30)가 학습 보정 이미지의 품질 값을 생성하는 것을 설정 횟수만큼 수행하였는지 판단할 수 있다.
도 4는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다. 설명의 편의를 위해, 도 2에서 전술한 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템과 다른 점을 중심으로 설명한다.
도 4를 참고하면, 이미지 생성부(22)에서 생성된 보정 이미지는 이미지 평가기(30)에 입력될 수 있다. 이미지 평가기(30)는 가이드 이미지와 입력 이미지가 더 입력될 수 있다.
이미지 평가부(32)는 가이드 이미지와 입력 이미지를 이용하여 평가 파라미터 저장부(34)에 저장된 미리 학습된 이미지 평가 파라미터에 의해, 보정 이미지의 품질 값(Quality value)을 생성할 수 있다.
따라서, 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템은 가이드 이미지와 입력 이미지를 더 입력 받으므로, 이미지 보정 시스템의 로드(load)는 증가하나, 최종 출력되는 보정 이미지의 품질은 증가될 수 있다.
도 5는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다. 도 5은 도 4에 따른 이미지 보정 시스템의 학습을 설명하기 위한 도면이다. 설명의 편의를 위해, 도 3에서 전술한 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템의 학습과 다른 점을 중심으로 설명한다.
도 5를 참고하면, 이미지 평가기(30)는 이미지 생성기(20)에서 생성된 학습 보정 이미지와 미리 정한 이미지를 입력 받을 수 있다. 이미지 평가기(30)는 학습 가이드 이미지, 학습 입력 이미지가 더 입력될 있다.이미지 평가부(32)는 학습 가이드 이미지와 학습 입력 이미지를 이용하여, 학습 보정 이미지의 품질 값(Quality value)을 생성할 수 있다. 따라서, 이미지 평가부(32)는 학습 입력 이미지가 더 입력되므로, 더 정확한 학습 보정 이미지의 품질 값을 생성할 수 있다.
도 6은 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법을 설명하기 위한 흐름도이다.
도 6을 참고하면, 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은, 가이드 이미지와 입력 이미지가 입력됨으로써 시작될 수 있다(S100).
그 후, 보정 이미지는 입력 이미지에 대해 이미지 보정을 수행하여 생성될 수 있다(S110). 이미지 보정은 가이드 이미지와 미리 학습된 이미지 생성 파라미터에 의해 수행될 수 있다.
그 후, 보정 이미지의 품질 값이 생성될 수 있다(S120). 보정 이미지의 품질 값은 미리 학습된 이미지 평가 파라미터에 의해 생성될 수 있다.
또는, 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은, 가이드 이미지 및 보정 이미지를 더 이용하여 품질 값을 생성할 수 있다. 예를 들어, 도 2에 도시된 이미지 보정 시스템은, 미리 학습된 이미지 평가 파라미터, 가이드 이미지 및 보정 이미지를 이용하여 품질 값을 생성할 수 있다. 따라서, 이미지 보정 시스템의 로드는 증가하나, 개선된 보정 이미지의 품질 값이 생성될 수 있다.
그 후, 보정 이미지의 품질 값이 설정 값보다 큰 지 판단할 수 있다(S130).
보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지가 최종 이미지로 출력될 수 있다(S140).
S130단계에서, 보정 이미지의 품질 값이 설정 값보다 작다고 판단되면, S110단계로 돌아가, 보정 이미지가 입력 이미지로 입력될 수 있다.
S130단계에서, 본 발명의 몇몇 실시예에 따른 이미지 보정 방법은, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되었는지 더 판단할 수 있다.
이 경우, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되지 않더라도, 보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지가 최종 이미지로 출력될 수 있다.
보정 이미지의 품질 값이 설정 값 보다 작다고 판단되더라도, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되었다고 판단되면, 보정 이미지가 최종 이미지로 출력될 수 있다.
즉, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되기 전에, 보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지가 최종 이미지로 출력되고, 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은 종료될 수 있다.
도 7은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 블록도이다.
도 7을 참고하면, 본 발명의 몇몇 실시예에 따른 이미지 보정 방법은, 학습 가이드 이미지와 학습 입력 이미지가 제공됨으로써 시작될 수 있다(S200).
학습 가이드 이미지를 이용하여 학습 입력 이미지를 보정한 학습 보정 이미지가 생성될 수 있다(S210).
그 후, 이미지 생성기의 손실을 계산할 수 있다(S220). 이미지 생성기의 손실은 학습 입력 이미지와 미리 정한 이미지를 이용하여 이미지 생성기의 손실을 계산할 수 있다. 이미지 생성기의 손실은 학습 보정 이미지와 미리 정한 이미지의 차이를 포함할 수 있다.
예를 들어, 이미지 생성기의 손실은 수학식 1을 이용하여 계산될 수 있다.
[수학식 1]
여기서, 는 설정 횟수 에서 계산된 이미지 생성기의 손실을 의미하고, 는 설정 횟수 에서 학습 입력 이미지의 임의의 영역 또는 임의의 구역 의미할 수 있다. 는 학습 보정 이미지를 의미하고, 는 미리 정한 이미지를 의미할 수 있다.
그 후, 학습 보정 이미지를 생성하고(S210) 이미지 생성기의 손실을 계산하는 것(S220)이 설정 횟수만큼 수행되었는지 판단할 수 있다(S230).
학습 보정 이미지를 생성하고(S210) 이미지 생성기의 손실을 계산하는 것(S220)이 설정 횟수만큼 수행되지 않았다고 판단되면, S210 단계로 돌아가, 학습 보정 이미지는 학습 입력 이미지로 입력될 수 있다. S210 단계와 S220 단계는 설정 횟수만큼 수행될 수 있다.
학습 보정 이미지를 생성하고(S210) 이미지 생성기의 손실을 계산하는 것(S220)이 설정 횟수만큼 수행되었다고 판단되면, 이미지 생성기의 총 손실(total loss)을 계산할 수 있다(S240).
이미지 생성기의 총 손실은 설정 횟수 각각에 계산된 이미지 생성기의 손실과 가중치를 이용하여 계산될 수 있다. 예를 들어, 총 손실(Total Loss)는 수학식 2를 이용하여 계산될 수 있다.
[수학식 2]
여기서, 는 S220단계에서, 각각의 설정 횟수에서 계산된 이미지 생성기의 손실을 의미할 수 있고, 는 각각의 설정 횟수에 대한 가중치를 의미할 수 있다. 가중치는 설정 횟수 각각에 따라 상이하게 설정될 수 있다.가중치는, 예를 들어, 학습 입력 이미지의 임의의 영역 또는 임의의 구역이 미리 정한 이미지에 가까운 영역 또는 구역일수록 큰 값을 가질 수 있다.예를 들어, 도 2에서 설명한 망원 카메라의 제1 이미지와 광각 카메라의 제2 이미지를 기초로 생성된 깊이 맵 이미지의 경우, 학습 입력 이미지는 제1 이미지와 제2 이미지가 중첩되어 깊이 맵 이미지가 생성된 영역에 가까울수록 큰 가중치가 설정될 수 있다.
예를 들어, 가중치는 설정 횟수 초반에 크게 설정될 수 있다. 이미지 생성기가 학습 입력 이미지를 입력 받아 생성한 학습 보정 이미지는 다시 학습 입력 이미지로 입력될 수 있기 때문에, 학습 입력 이미지는 설정 횟수만큼 이미지 보정되는 동안 변동될 수 있다. 따라서, 설정 횟수 초반의 학습 입력 이미지가 더 정확한 이미지를 포함할 수 있으므로, 설정 횟수 초반에 더 큰 가중치가 설정될 수 있다.
깊이 맵 이미지가 생성된 영역에 가까운 이미지 일수록 신뢰도가 높은 이미지이기 때문이다.
학습 입력 이미지를 입력 받아 학습 보정 이미지를 생성하는 과정을 반복함에 따라, 학습 보정 이미지가 변경될 수 있기 때문이다.
그 후, 이미지 생성기의 총 손실을 기초로 미리 학습된 생성 파라미터를 업데이트할 수 있다(S250).
도 8은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 흐름도이다.
도 8을 참고하면, 이미지 보정 방법은, 학습 가이드 이미지와 학습 입력 이미지가 제공됨으로써 시작될 수 있다(S300).
학습 가이드 이미지를 이용하여 학습 입력 이미지를 보정한 학습 보정 이미지가 생성될 수 있다(S310).
그 후, 학습 보정 이미지를 입력 받아, 학습 보정 이미지의 품질 값을 생성할 수 있다(S320).
그 후, 학습 보정 이미지를 생성하고(S310), 학습 보정 이미지의 품질 값을 계산하고(S320), 이미지 평가기의 손실을 계산하는 것(S330)이 설정 횟수만큼 수행되었는지 판단할 수 있다(S340).
학습 보정 이미지를 생성하고(S310), 학습 보정 이미지의 품질 값을 계산하고(S320), 이미지 평가기의 손실을 계산하는 것(S330)이 설정 횟수만큼 수행되지 않았다고 판단되면, S310 단계로 돌아가, 학습 보정 이미지는 학습 입력 이미지로 입력될 수 있다. S310 단계 내지 S340 단계는 설정 횟수만큼 수행될 수 있다.
학습 보정 이미지를 생성하고(S310), 학습 보정 이미지의 품질 값을 계산하고(S320), 이미지 평가기의 손실을 계산하는 것(S330)이 설정 횟수만큼 수행되지 않았다고 판단되면, 이미지 평가기의 총 손실을 계산할 수 있다(S350).
삭제
이미지 평가기의 총 손실은 설정 횟수 각각에 계산된 이미지 평가기의 손실과 가중치를 이용하여 계산될 수 있다.
그 후, 이미지 평가기의 총 손실을 기초로 미리 학습된 평가 파라미터를 업데이트할 수 있다(S360).
도 9는 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템을 적용한 일예를 도시한 도면이다. 도 9는 도 2에서 설명한 망원 카메라의 제1 이미지와 광각 카메라의 제2 이미지를 기초로 생성된 깊이 맵 이미지를 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템에 적용한 예를 도시한 도면이다.
이미지 보정 시스템에는 제1 이미지와 제2 이미지를 기초로 형성된 깊이 맵(depth map)이미지(100)가 입력 이미지로 제공될 수 있다. 깊이 맵 이미지(100)는 제1 이미지와 제2 이미지가 중첩되는 영역의 제1 깊이 맵 이미지(110)와 제1 이미지와 제2 이미지가 중첩되지 않는 영역의 제2 깊이 맵 이미지(120)를 포함할 수 있다.
이미지 보정 시스템에는 제2 이미지의 RGB 이미지가 가이드 이미지로 제공될 수 있다. 이미지 보정 시스템에는 가이드 이미지로 제2 이미지의 싱글 깊이 맵(single depth map)이미지가 더 제공될 수 있다.
이미지 보정 시스템은, 깊이 맵 이미지(100)가 보정된 보정 깊이 맵 이미지(200)를 생성할 수 있다. 보정 깊이 맵 이미지(200)는 제2 깊이 맵 이미지(120)가 보정된 이미지(140) 일 수 있다. 이미지 보정 시스템은 이미지 보정을 수행하여, 제2 깊이 맵 이미지(120)를 보정할 수 있고, 최종 출력 이미지(300)를 생성할 수 있다.
도 10은 본 발명의 몇몇 실시예들에 따른 전자 장치를 나타내는 도면이다.
도 10을 참고하면, 전자 장치는 메모리(60), 프로세서(70)를 포함할 수 있다. 메모리(60)와 프로세서(70)는 버스(90)를 통해 예를 들어, CPU(Central Processing Unit)(82), NPU(Neural Network Processing Unit)(84) 및 GPU(Gan Network Processing Unit)(86)에 연결될 수 있다.
메모리(60)는 본 발명의 몇몇 실시예들에 따른 이미지 보정 프로그램이 저장될 수 있다.메모리(60)는 본 발명의 몇몇 실시예들에 따른 학습된 이미지 생성 파라미터와 학습된 이미지 평가 파라미터가 저장될 수 있다.
프로세서(70)는, 예를 들어, CPU(82), NPU(84) 또는 GPU(86)를 통하여 이미지 보정 프로그램을 실행할 수 있다.프로세서(70)는 입력 이미지에 대해 가이드 이미지를 이용하여 보정 이미지를 생성할 수 있다. 보정 이미지를 생성하는 것은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터에 의해 보정 이미지를 생성할 수 있다.
프로세서(70)는, 예를 들어, GPU(86)의 생성 모듈(generator module; 87)를 통해, 입력 이미지에 대해 이미지 보정을 수행하여 보정 이미지를 생성할 수 있다.프로세서(70)는 미리 학습된 평가 파라미터에 의해 보정 이미지의 품질 값을 생성할 수 있다.
프로세서(70)는, 예를 들어, GPU(86)의 감별 모듈(discriminator module; 88)을 통해, 보정 이미지의 품질 값을 생성할 수 있다.
GPU(86)의 감별 모듈(88)은, 예를 들어, 가이드 이미지와 입력 이미지를 더 입력 받아, 보정 이미지의 품질 값을 생성할 수 있다.
프로세서(70)는 보정 이미지의 품질 값이 설정 값보다 커질 때까지 보정 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 반복하여 수행할 수 있다.
프로세서(70)는, 예를 들어, GPU(86)를 통해, 보정 이미지의 품질 값이 설정 값보다 커질 때까지 이미지 보정을 반복하여 수행할 수 있다.
프로세서(70)는, 예를 들어, CPU(82), NPU(84) 또는 GPU(86)를 통하여 이미지 생성 파라미터와 이미지 평가 파라미터를 미리 학습시킬 수 있다.
이미지 생성 파라미터는, 예를 들어, GPU(86)의 생성 모듈(generator module; 87)를 통해 미리 학습될 수 있다. GPU(86)의 생성 모듈(generator module; 87)은 학습 가이드 이미지와 학습 입력 이미지를 입력받아 이미지 생성 파라미터를 미리 학습시킬 수 있다.
이미지 평가 파라미터는, 예를 들어, GPU(86)의 감별 모듈(discriminator module; 88)을 통해 미리 학습될 수 있다. GPU(86)의 감별 모듈(88)은, 예를 들어, 미리 정한 이미지와 학습 보정 이미지를 입력받아 이미지 평가 파라미터를 미리 학습시킬 수 있다.
GPU(86)의 감별 모듈(88)은, 예를 들어, 학습 가이드 이미지와 학습 입력 이미지를 더 입력 받아, 보정 이미지의 품질 값을 생성할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 이미지 장치 20: 이미지 생성기
30: 이미지 평가기 40: 판단기
50: 디스플레이 60: 메모리
70: 프로세서
30: 이미지 평가기 40: 판단기
50: 디스플레이 60: 메모리
70: 프로세서
Claims (20)
- 입력 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행하여 보정 이미지를 생성하는 단계로서, 상기 이미지 보정은 학습 이미지를 이용하여 학습된 미리 학습된 이미지 생성 파라미터를 갖는 이미지 생성기에 의해 상기 이미지 보정을 수행하는 것을 포함하는 단계;
상기 학습 이미지를 이용하여 학습된 미리 학습된 이미지 평가 파라미터를 갖는 이미지 평가기에 의해 상기 보정 이미지의 품질 값을 생성하는 단계; 및
상기 품질 값이 설정 값보다 작으면 상기 보정 이미지에 대해 상기 가이드 이미지를 이용한 상기 이미지 보정을 다시 수행하고, 상기 품질 값이 설정 값보다 크면 상기 보정 이미지를 최종 이미지로 출력하는 단계를 포함하는 이미지 보정 방법. - 제 1항에 있어서,
상기 보정 이미지의 품질 값을 생성하는 단계는
상기 가이드 이미지와 상기 입력 이미지를 이용하여 상기 미리 학습된 이미지 평가 파라미터에 의해 상기 품질 값을 생성하는 것을 포함하는 이미지 보정 방법. - 제 1항에 있어서,
상기 학습 이미지는 학습 가이드 이미지, 학습 입력 이미지 및 미리 정한 이미지를 포함하고,
(a) 상기 학습 가이드 이미지와 상기 학습 입력 이미지를 제공받아, 상기 학습 입력 이미지를 보정한 학습 보정 이미지를 생성하는 단계; 및
(b) 상기 학습 보정 이미지와 상기 미리 정한 이미지를 이용하여 상기 학습 보정 이미지와 상기 미리 정한 이미지 간의 차이를 포함하는 생성기의 손실을 계산하는 단계를 포함하고,
설정 횟수만큼 상기 학습 보정 이미지를 상기 학습 입력 이미지로 하여 상기 (a) 단계 및 (b) 단계를 반복하는 것을 포함하는 이미지 보정 방법. - 제 3항에 있어서,
상기 설정 횟수만큼 상기 (a) 단계 및 (b) 단계를 반복한 후, 상기 미리 정한 설정 횟수 각각에 계산된 상기 생성기의 손실과 가중치를 이용하여 생성기의 총 손실을 계산하는 단계; 및
상기 생성기의 총 손실을 기초로 상기 미리 학습된 이미지 생성 파라미터를 업데이트하는 단계를 포함하는 이미지 보정 방법. - 제 3항에 있어서,
(a) 상기 학습 보정 이미지를 입력 받아, 상기 학습 보정 이미지의 품질 값을 생성하는 단계; 및
(b) 상기 학습 보정 이미지와 상기 미리 정한 이미지를 이용하여 상기 학습 보정 이미지의 품질 값과 상기 미리 정한 이미지의 품질 값의 차이를 포함하는 평가기의 손실을 계산하는 단계를 포함하고,
상기 설정 횟수만큼 상기 학습 보정 이미지를 상기 학습 입력 이미지로 하여 상기 (a) 단계 및 (b) 단계를 반복하는 것을 포함하는 이미지 보정 방법. - 제 5항에 있어서,
상기 설정 횟수만큼 상기 (a) 단계 및 (b) 단계를 반복한 후, 상기 설정 횟수만큼 계산된 상기 평가기의 손실과 가중치를 이용하여 평가기의 총 손실을 계산하는 단계를 더 포함하는 이미지 보정 방법. - 미리 학습된 이미지 생성 파라미터를 저장하는 이미지 생성 파라미터 저장부와, 가이드 이미지와 입력 이미지를 입력 받고, 상기 미리 학습된 이미지 생성 파라미터에 의해, 상기 가이드 이미지를 이용하여 상기 입력 이미지를 보정한 보정 이미지를 생성하는 이미지 생성부를 포함하는 이미지 생성기;
미리 학습된 이미지 평가 파라미터를 저장하는 이미지 평가 파라미터 저장부와, 상기 보정 이미지를 입력 받고, 상기 미리 학습된 이미지 평가 파라미터에 의해, 상기 보정 이미지의 품질 값을 생성하는 이미지 평가부를 포함하는 이미지 평가기; 및
상기 품질 값이 설정 값보다 크다고 판단되면 상기 보정 이미지를 출력하고, 상기 품질 값이 설정 값보다 작다고 판단되면 상기 보정 이미지를 상기 이미지 생성부에 상기 입력 이미지로 입력하는 판단기를 포함하고,
상기 이미지 생성부는, 상기 가이드 이미지를 이용하여 상기 판단기로부터 입력된 상기 보정 이미지를 보정하는 이미지 보정 시스템. - 제 7항에 있어서,
상기 이미지 평가부는
상기 가이드 이미지와 상기 입력 이미지를 더 입력 받고, 상기 가이드 이미지와 상기 입력 이미지를 이용하여 상기 품질 값을 생성하는 이미지 보정 시스템. - 제 7항에 있어서,
상기 미리 학습된 이미지 생성 파라미터는
상기 이미지 생성기에 학습 가이드 이미지와 학습 입력 이미지를 제공하여, 상기 학습 입력 이미지를 보정한 학습 보정 이미지를 생성하고, 상기 학습 보정 이미지와 미리 정한 이미지 간의 차이를 포함하는 이미지 생성기의 손실을 계산하고, 상기 계산된 이미지 생성기의 손실을 기초로 결정되는 이미지 보정 시스템. - 이미지 보정 프로그램이 저장된 메모리; 및
상기 메모리에 저장된 상기 이미지 보정 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고,
상기 프로그램은 상기 적어도 하나의 프로세서를 이용하여,
입력 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행하여 보정 이미지를 생성하되, 상기 보정 이미지를 생성하는 것은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터에 의해 상기 보정 이미지를 생성하는 것을 포함하고,
상기 보정 이미지의 품질 값을 생성하고,
상기 품질 값이 설정 값보다 커질 때까지 상기 보정 이미지에 대해 상기 가이드 이미지를 이용한 상기 이미지 보정을 수행하는 전자 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190083310A KR102652117B1 (ko) | 2019-07-10 | 2019-07-10 | 이미지 보정 방법 및 이미지 보정 시스템 |
US16/896,517 US11430089B2 (en) | 2019-07-10 | 2020-06-09 | Image processing method and image processing system for generating a corrected image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190083310A KR102652117B1 (ko) | 2019-07-10 | 2019-07-10 | 이미지 보정 방법 및 이미지 보정 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210007234A KR20210007234A (ko) | 2021-01-20 |
KR102652117B1 true KR102652117B1 (ko) | 2024-03-27 |
Family
ID=74102437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190083310A KR102652117B1 (ko) | 2019-07-10 | 2019-07-10 | 이미지 보정 방법 및 이미지 보정 시스템 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11430089B2 (ko) |
KR (1) | KR102652117B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220161595A (ko) * | 2021-05-27 | 2022-12-07 | 삼성디스플레이 주식회사 | 전자 장치 및 그 구동 방법 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE240557T1 (de) | 1992-11-24 | 2003-05-15 | Pavilion Tech Inc | Betreiben eines neuronalen netzwerks mit fehlenden und/oder inkompletten daten |
JPH11259445A (ja) | 1998-03-13 | 1999-09-24 | Matsushita Electric Ind Co Ltd | 学習装置 |
CN100570388C (zh) | 2003-12-18 | 2009-12-16 | 株式会社Lg化学 | 使用神经网络评估电池的充电状态的设备和方法 |
US8643701B2 (en) | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
JP2012151670A (ja) * | 2011-01-19 | 2012-08-09 | Renesas Electronics Corp | 画像投影システム及び半導体集積回路 |
US10204432B2 (en) * | 2014-06-12 | 2019-02-12 | Interdigital Ce Patent Holdings | Methods and systems for color processing of digital images |
KR102172992B1 (ko) | 2014-07-31 | 2020-11-02 | 삼성전자주식회사 | 이미지 촬영 장치 및 이미지 촬영 방법 |
TWI554103B (zh) | 2014-11-13 | 2016-10-11 | 聚晶半導體股份有限公司 | 影像擷取裝置及其數位變焦方法 |
US10074038B2 (en) | 2016-11-23 | 2018-09-11 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
KR101739394B1 (ko) | 2016-12-30 | 2017-05-26 | 재단법인대구경북과학기술원 | 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법 |
KR102053242B1 (ko) | 2017-04-26 | 2019-12-06 | 강현인 | 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법 |
KR20190028880A (ko) | 2017-09-11 | 2019-03-20 | 숭실대학교산학협력단 | 봇넷 탐지 시스템을 학습하기 위한 학습 데이터를 생성하는 방법 및 그 장치 |
KR102053527B1 (ko) * | 2017-10-15 | 2019-12-06 | 알레시오 주식회사 | 이미지 처리 방법 |
US10388002B2 (en) * | 2017-12-27 | 2019-08-20 | Facebook, Inc. | Automatic image correction using machine learning |
US10852379B2 (en) * | 2018-06-07 | 2020-12-01 | Siemens Healthcare Gmbh | Artifact reduction by image-to-image network in magnetic resonance imaging |
EP3620989A1 (en) * | 2018-09-07 | 2020-03-11 | Panasonic Intellectual Property Corporation of America | Information processing method, information processing apparatus, and program |
CN109658352B (zh) * | 2018-12-14 | 2021-09-14 | 深圳市商汤科技有限公司 | 图像信息的优化方法及装置、电子设备和存储介质 |
CN109961491B (zh) * | 2019-04-12 | 2023-05-26 | 上海联影医疗科技股份有限公司 | 多模态图像截断补偿方法、装置、计算机设备和介质 |
US11195277B2 (en) * | 2019-04-25 | 2021-12-07 | GE Precision Healthcare LLC | Systems and methods for generating normative imaging data for medical image processing using deep learning |
-
2019
- 2019-07-10 KR KR1020190083310A patent/KR102652117B1/ko active IP Right Grant
-
2020
- 2020-06-09 US US16/896,517 patent/US11430089B2/en active Active
Non-Patent Citations (1)
Title |
---|
Lijun Zhao ET AL, Simultaneously Color-Depth Super-Resolution with Conditional Generative Adversarial Network, Pattern Recognition, Volume 88, 28 Nov. 2018(2018.11.28.) 1부.* |
Also Published As
Publication number | Publication date |
---|---|
KR20210007234A (ko) | 2021-01-20 |
US11430089B2 (en) | 2022-08-30 |
US20210012462A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11636670B2 (en) | Method for recognizing object in image | |
CN110858286B (zh) | 一种用于目标识别的图像处理方法及装置 | |
CN108846826B (zh) | 物体检测方法、装置、图像处理设备及存储介质 | |
CN112837303A (zh) | 一种用于模具监视的缺陷检测方法、装置、设备及介质 | |
CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
WO2017004803A1 (en) | An apparatus and a method for semantic image labeling | |
US10861189B2 (en) | Vehicle camera model for simulation using deep neural networks | |
JP2016194925A (ja) | 道路境界物の検出方法及び装置 | |
JP2014089626A (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
CN107274378B (zh) | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 | |
CN111241924B (zh) | 基于尺度估计的人脸检测及对齐方法、装置、存储介质 | |
CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
KR101563569B1 (ko) | 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법 | |
CN112580434B (zh) | 一种基于深度相机的人脸误检优化方法、***及人脸检测设备 | |
CN111553296B (zh) | 一种基于fpga实现的二值神经网络立体视觉匹配方法 | |
JP4757787B2 (ja) | 感情推定装置 | |
KR102652117B1 (ko) | 이미지 보정 방법 및 이미지 보정 시스템 | |
CN111260056B (zh) | 一种网络模型蒸馏方法及装置 | |
CN107274425B (zh) | 一种基于脉冲耦合神经网络的彩色图像分割方法及装置 | |
CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
CN114529484B (zh) | 针对成像中直流分量变化的深度学习样本增强方法 | |
CN115311550A (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
CN113902044A (zh) | 一种基于轻量级yolov3的图像目标提取方法 | |
CN108182685B (zh) | 一种结合置信传播思想和pcnn的图像分割方法及装置 | |
Weber et al. | Learning implicit depth information for monocular 3d object detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |