KR20240006587A - 이미지 선명도를 결정하기 위한 방법, 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체 - Google Patents

이미지 선명도를 결정하기 위한 방법, 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20240006587A
KR20240006587A KR1020237041459A KR20237041459A KR20240006587A KR 20240006587 A KR20240006587 A KR 20240006587A KR 1020237041459 A KR1020237041459 A KR 1020237041459A KR 20237041459 A KR20237041459 A KR 20237041459A KR 20240006587 A KR20240006587 A KR 20240006587A
Authority
KR
South Korea
Prior art keywords
frequency spectrum
blur
dimensional frequency
image
dimensional
Prior art date
Application number
KR1020237041459A
Other languages
English (en)
Inventor
피터 다니엘 코즈마
마티아스 레란트-나예스트
Original Assignee
에이아이모티브 케이에프티.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이아이모티브 케이에프티. filed Critical 에이아이모티브 케이에프티.
Publication of KR20240006587A publication Critical patent/KR20240006587A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력 이미지가 충분히 선명한지를 결정하기 위한 방법이며, 방법은 블러 점수 임계 값을 제공하는 단계, 입력 이미지를 이미지 처리 시스템에 입력하는 단계, 이미지 처리 시스템에 의해, 입력 이미지의 2차원 주파수 스펙트럼을 발생시키는 단계, 2차원 주파수 스펙트럼으로부터 1차원 주파수 스펙트럼(14)을 발생시키는 단계, 1차원 주파수 스펙트럼(14) 상에 직선 라인(16)을 적합화하는 단계, 및 적합화의 잔차에 기초하여 블러 점수 값을 결정하고, 블러 점수 값과 블러 점수 임계 값의 비교에 기초하여 입력 이미지를 충분히 선명한 것으로 간주하는 단계를 포함한다. 본 발명은 또한 상기 방법을 수행하는 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체에 관한 것이다.

Description

이미지 선명도를 결정하기 위한 방법, 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체
본 발명은 입력 이미지가 계획된 적용 또는 추가 이미지 처리를 위해 충분한 상세들 또는 정보를 포함하는 것을 보장하기 위해, 입력 이미지가 충분히 선명한지를 결정하기 위한 방법에 관한 것이다. 본 발명은 또한 방법을 구현하는 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체에 관한 것이다.
이미지의 선명도를 측정하거나 결정하는 것은 다양한 적용들에 사용된다. 의료 적용들 또는 자율 주행과 관련된 적용들과 같은 적용들은 통상적으로 불충분하게 선명한 이미지가 잘못된 결정들을 초래하고 건강 위험들 또는 사고들을 야기할 수 있으므로 더 높은 레벨의 선명도를 필요로 한다. 블러리 이미지들(블러를 갖는 이미지들), 즉, 선명도가 없는 이미지들은 통상적으로 나쁘게 정의된 에지들, 희미하고 밝고 어두운 구역들 등을 갖는다. 블러리 이미지들의 가능한 원인들은 CA 2 562 480 A1에 요약되고, 원인들은 카메라가 초점이 맞지 않는 것, 또는 전경 또는 배경에 잘못 초점이 맞추어진 것, 또는 최상의 초점이 특정 거리에 대해 설정되며 따라서 다른 거리들에 있는 객체들이 초점이 맞지 않는 것; 이미지가 촬영될 때(모션 블러) 카메라 또는 객체들의 이동, 이미지의 디지털화 또는 후처리를 포함한다. 블러리 이미지들은 블러리니스가 또한 결과들의 불확실성을 증가시키기 때문에, 에지 검출 작업들 또는 세그먼트화 작업들을 수행하기 더 어렵게 할 수 있다.
US 2004/0120598 A1은 디지털 이미지들에서 이미지 블러를 추정하고 감소시키기 위한 블러 검출 시스템을 개시한다. 디지털 이미지들은 통상적으로 순방향 이산 코사인 변환(DCT)에 의해 인코딩되어 저장된다. 블러 표시기로서, 단일 DCT 계수, DCT 계수들의 세트 또는 다른 DCT 계수들에 하나 이상의 DCT 계수의 비교가 사용된다. 각각의 DCT 계수는 그 대응하는 주파수 성분과 연관되고 이와 같이 2차원 히스토그램이 발생된다. 그 다음, 2차원(2D) 히스토그램은 방사 주파수 스펙트럼과 유사한, 1차원(1D) 히스토그램으로 감소된다. 블러 표시기들은 1D 히스토그램으로부터, 예를 들어, 이미지의 영역에서 최대 DCT 계수를 사용함으로써, 또는 제1 영역의 표준 편차 대 다른 영역의 표준 편차의 비율을 사용함으로써 결정되며, 높은 비율은 블러된 이미지를 표시하고 낮은 비율은 집중된 이미지를 표시한다.
US 2004/0156559 A1은 참조를 사용하지 않고 압축된 비디오 시퀀스들의 질을 측정하기 위한 방법 및 장치를 개시하며, 따라서 질 정보는 개별 이미지 프레임들로부터 직접 유도된다. 이미지 프레임들은 고속 푸리에 변환(FFT)에 의해 변환되고, 축적된 중간 대 고 주파수 진폭과 축적된 저 주파수 진폭 사이의 비율이 결정된다. 이러한 비율은 낮은 비율들이 더 많은 저주파수 성분들이 이미지에 존재하는 것을 표시하므로 이미지 선명도를 결정하기 위해 사용되며, 따라서 이미지는 블러리로 나타날 수 있다.
US 2014/0003734 A1은 입력 이미지 내의 검출된 에지들 및 주파수 도메인에서의 입력 이미지의 스펙트럼 에너지 정보에 기초하여 블러 값을 추정하기 위한 검출된 시스템을 개시한다. 이미지는 공간 도메인으로부터 주파수 도메인으로 변환되고 주파수 성분들은 블러리 및 비블러리(선명한) 이미지들을 분류하기 위한 모델에 기초하여 분석된다. 입력 이미지의 2D 전력 스펙트럼이 계산되며, 그로부터 방향 독립 1D 스펙트럼이 계산된다. 2D 스펙트럼은 저주파수, 중간 주파수, 및 고주파수 영역들에 대응하는 원형 영역들로 분할되고, 블러 값은 각각의 영역에서 카운트들에 기초하여 결정된다. 대안적으로, 에지 검출은 블러 값을 결정하기 위해 사용된다.
KR 10-1570602 B1은 이미지의 선명도를 측정하기 위한 방법을 개시하며, 이미지가 선명한지의 여부의 결정은 이산 푸리에 변환에 의해 발생되는 2D 스펙트럼에 기초한다. 방향성 정보는 또한 이미지의 선명도를 결정하기 위해 사용된다.
공지된 접근법들을 고려하여, 이미지의 선명도에 대한 결정이 이미지의 콘텐츠, 객체들에 관계없이 이루어질 수 있는 도움으로 방법에 대한 요구가 있다. 이미지가 충분히 선명한지의 결정을 보완하기 위해 에지 검출을 사용하고 있는 공지된 접근법들은 이미지의 콘텐츠에 매우 의존하며, 따라서 콘텐츠는 선명도에 대한 결정에 영향을 미칠 수 있다. 동일하게 선명한 이미지들이 상이한 장면들, 예를 들어 소수의 객체들만을 갖는 하나의 장면 및 더 많은 객체들을 갖는 다른 장면을 캡처하면, 그것은 상이한 양의 검출된 에지들을 초래할 것이며, 따라서 검출된 에지들에 기초한 결정은 또한 상이할 수 있다. 이러한 이유로, 에지 검출에 기초한 방법들은 알려지지 않거나 동적으로 변하는 장면들에 직접 사용될 수 없다. 더욱이, 동적으로 변하는 장면들에 대해, 실시간 선명도 결정을 허용하는 신뢰성 있는 방법이 필요하다.
다른 공지된 접근법들의 일부는 이미지가 충분히 선명한지의 여부를 결정하기 위해 머신 러닝 도구들을 사용하고 있다. 머신 러닝 도구들의 사용은 상당한 양의 트레이닝 데이터, 및 또한 트레이닝 데이터의 별도의 분류를 필요로 하며, 이는 상당한 양의 시간 및 노력을 필요로 한다. 상기 이유들로, 정확하고 객관적인 결정을 더 용이하게 그리고 빠르게 제공하는 해결책이 강하게 요구된다.
본 발명의 주요 목적은 최대 가능한 정도로 종래 기술 접근법들의 단점들이 없는, 이미지가 선명한지의 여부를 결정하기 위한 방법을 제공하는 것이다.
본 발명의 목적은 이미지의 선명도에 대한 결정이 이미지의 콘텐츠와 관계없이 종래 기술 접근법들보다 더 효율적인 방식으로 이루어질 수 있는 도움으로 방법을 제공하는 것이다. 따라서, 본 발명의 목적은 이미지가 충분히 선명한지의 여부를 결정할 수 있는 신뢰성 있는 방법을 제공하는 것이다.
본 발명의 추가 목적은 본 발명에 따른 방법의 단계들을 수행하기 위한 수단을 포함하는 데이터 처리 시스템을 제공하는 것이다.
더욱이, 본 발명의 목적은 하나 이상의 컴퓨터 상에 본 발명에 따른 방법의 단계들을 구현하기 위한 비일시적 컴퓨터 프로그램 제품 및 하나 이상의 컴퓨터 상에 방법의 단계들을 수행하기 위한 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체를 제공하는 것이다.
본 발명의 목적들은 청구항 1에 따른 방법에 의해 달성될 수 있다. 본 발명의 목적들은 청구항 14에 따른 데이터 처리 시스템에 의해, 청구항 15에 따른 비일시적 컴퓨터 프로그램 제품에 의해, 그리고 청구항 16에 따른 비일시적 컴퓨터 판독가능 매체에 의해 더 달성될 수 있다. 본 발명의 바람직한 실시예들은 종속항들에 정의된다.
종래 기술 접근법들과 비교하여 본 발명에 따른 방법의 주요 장점은 이미지가 또한 실시간 결정을 허용할 수 있는 빠르고 쉬운 방식으로 충분히 선명한지를 결정할 수 있다는 사실로부터 나온다. 그러한 빠른 결정은 한편으로 카메라 스트림에서 비롯되는 이미지들의 연속 분석을 허용하거나, 다른 한편으로 또한 충분히 선명한 이미지들을 캡처하기 위해 카메라의 재조정 또는 그의 설정들을 허용한다.
이미지의 2차원 주파수 스펙트럼으로부터 발생되는 1차원 주파수 스펙트럼, 특히 1차원 주파수 스펙트럼의 형상 또는 엔벨로프가 이미지의 선명도에 대응한다는 점이 인식되었다. 충분히 선명한 이미지들은 매끄러운 엔벨로프를 갖는 1차원 주파수 스펙트럼을 초래하는 한편, 블러리 이미지들은 덜 매끄러운 엔벨로프를 갖는 1차원 주파수 스펙트럼을 초래하는 경향이 있으며, 즉, 엔벨로프는 일부 구조들을 포함하는 것으로 밝혀졌다. 이러한 이유로, 직선 라인이 1차원 주파수 스펙트럼 상에 적합화될 때, 선명한 이미지들은 덜 좋은 맞춤을 갖는 블러리 이미지들과 반대로, 상대적으로 좋은 적합화를 갖는다. 적합화의 잔차는 적합화의 질을 특징화할 수 있으며, 따라서 그것은 이미지의 선명도에 대한 결정이 기초될 수 있는 파라미터로서 사용될 수 있다. 이러한 파라미터는 예를 들어, 선명도의 스케일에 대응하는 임계치 또는 일련의 임계치들에 비교될 수 있다.
본 발명에 따른 방법의 특정 실시예들은 이미지 자체에 기초하여 그러한 임계치를 발생시킬 수 있다.
본 발명에 따른 방법의 추가 장점은 이미지의 선명도에 대한 실시간 결정을 하는 것을 허용하는 제한된 계산 필요를 갖는다는 것이다. 제한된 계산 필요들로 인해, 본 발명에 따른 방법은 각각의 입력 이미지에 대해 두 번, 원래 입력 이미지에 대해 한 번 및 입력 이미지의 블러된 버전(블러된 이미지)에 대해 한 번 실행될 수 있어, 여전히 실시간 의사 결정을 허용한다. 유리하게는, 본 발명에 따른 방법은 이미지의 콘텐츠에 의존하지 않으며, 즉, 장면 독립적이고, 따라서, 방법은 임의의 종류들의 장면들을 캡처하는 이미지에 사용될 수 있다.
따라서, 본 발명에 따른 방법은 의료 적용들(의료 이미지 처리)을 포함하거나 셀프 드라이빙 또는 자율주행 차량들의 비전을 개선하는, 임의의 비전 기반 장면 이해 시스템에 사용될 수 있다.
본 발명의 바람직한 실시예들은 이하의 도면들을 참조하여 예로서 후술된다.
도 1은 입력 이미지의 일 예이다.
도 2는 도 1의 입력 이미지로부터 발생되는 블러된 이미지의 일 예이다.
도 3a 및 도 3b는 각각 도 1 및 도 2의 확대 상세도들이다.
도 4는 도 1의 입력 이미지의 예시적인 2차원 스펙트럼이다.
도 5는 도 2의 블러된 이미지의 예시적인 2차원 스펙트럼이다.
도 6은 도 4로부터 발생되는 예시적인 1차원 스펙트럼(히스토그램), 및 히스토그램 상에 적합화되는 직선 라인이다.
도 7은 도 5로부터 발생되는 예시적인 1차원 스펙트럼(히스토그램), 및 히스토그램 상에 적합화되는 직선 라인이다.
도 8은 입력 이미지의 블러링의 정도를 표시하는 블러 파라미터의 함수로서 블러 점수 값의 에볼루션이다.
본 발명은 입력 이미지(10)가 충분히 선명한지를 결정하기 위한 방법에 관한 것이다. 충분한 선명도의 레벨은 방법의 특정 적용에 의존할 수 있으며, 예를 들어, 의료 적용들 또는 자율 주행과 관련된 적용들은 이미지 선명도가 입력 이미지(10)에 기초한 결정에 직접 영향을 미칠 수 있으므로 더 높은 레벨의 선명도를 필요로 할 수 있고, 따라서, 불충분하게 선명한 이미지는 건강 위험들 또는 사고들을 야기할 수 있다. 결정에 기초하여, 불충분한 선명도를 갖는 입력 이미지들(10)은 그에 따라 라벨링(플래깅)되거나 특정 적용들에 대해 심지어 무시될 수 있거나, 경고 신호가 발생될 수 있다. 더욱이, 충분한 선명도의 레벨은 각각의 적용에 대해 독립적으로 설정될 수 있다.
본 발명에 따르면, 입력 이미지(10)가 충분히 선명한지를 결정하기 위한 방법은 입력 이미지(10)를 위한 블러 점수 임계 값을 제공하는 단계를 포함한다. 블러 점수 임계 값은 바람직하게는 입력 이미지(10)가 충분히 선명한지 또는 그의 선명도가 계획된 적용에 대해 불충분한지를 구별하는 값이다. 블러 점수 임계 값을 제공하는 단계는 바람직하게는 제1 시나리오와 제2 시나리오 사이의 경험적 데이터에 근거하여 이루어진 결정을 포함한다. 상기 제1 시나리오에서, 블러 점수 임계 값은 미리 결정된 값이고, 상기 제2 시나리오에서, 블러 점수 임계 값은 입력 이미지(10) 자체에 기초하여 추가 단계들에 의해 결정된다.
블러 점수 임계 값이 미리 결정된 값인 제1 시나리오에서, 그것은 바람직하게는 입력 이미지(10)를 기록하는 카메라의 카메라 유형 또는 카메라 설정들, 입력 이미지(10)를 기록할 시의 조명 조건들, 콘텐츠 또는 입력 이미지(10)의 예상된 콘텐츠와 같은, 경험적 데이터에 근거하여 결정된다. 제2 시나리오에서, 블러 점수 임계 값은 입력 이미지(10) 자체에 기초하여 직접 결정될 수 있다.
제1 시나리오는 바람직하게는 제한된 양의 블러링만이 입력 이미지들(10) 상에 예상되는 적용들에 대응한다(즉, 입력 이미지(10)의 블러리니스는 도 8의 0.95까지의 범위 내의 블러 파라미터에 대응함). 따라서, 제1 시나리오에서, 경험적으로 결정된(미리 결정된) 블러 점수 임계 값들이 사용될 수 있다. 제1 시나리오는 예를 들어, 입력 이미지들(10)이 좋은 날씨 조건들의 주간에 셀프 드라이빙 카의 카메라에 의해 기록되며, 따라서 카메라에 의해 기록되는 입력 이미지들(10)이 유사한 선명도를 갖는 것으로 예상되는 경우들에 관한 것이다. 그러한 시나리오에서, 경험적으로 미리 결정된 블러 점수 임계 값은 바람직하게는 카메라 유형 및 카메라 설정들에 기초하여, 입력 이미지들(10)을 위해 제공될 수 있다. 바람직한 실시예에서, 제1 시나리오에서, 동일한 블러 점수 임계 값은 모든 입력 이미지들(10)을 위해 제공될 수 있다.
바람직하게는, 미리 결정된 블러 점수 임계 값은 입력 이미지(10)의 잡음과 관련되는 카메라의 이득에 기초하여 결정된다. 바람직한 실시예에서, 미리 정의된 블러 점수 임계 값들의 세트는 상이한 카메라 설정들 또는 이미징 조건들을 위해 제공되고, 적절한 블러 점수 임계 값은 각각의 입력 이미지(10)를 위해 또는 입력 이미지들(10)의 각각의 세트를 위해 선택된다. 미리 결정된 블러 점수 임계 값을 사용함으로써, 0.3 또는 0.4까지의 범위 내의 블러 파라미터에 대응하는 블러리니스(즉, 인간의 육안에 의해 보여질 수 없는 매우 약간의 블러링)을 갖는 입력 이미지들(10)은 바람직하게는 충분히 선명한 것으로 분류된다. 그러나, 심지어 그러한 입력 이미지들(10)이 본 발명에 따른 방법에 의해 구별되어야 할 때, 제2 시나리오가 선택될 수 있다.
제2 시나리오는 바람직하게는 입력 이미지들(10)의 블러리니스가 더 넓은 범위에서 변할 수 있으며, 따라서, 블러 점수 임계 값들이 바람직하게는 입력 이미지(10) 자체에 기초하여 결정되는 적용들에 대응한다. 제2 시나리오는 예를 들어, 입력 이미지들(10)이 야간에 또는 나쁜 날씨 조건들(예를 들어, 비)에 셀프 드라이빙 카의 카메라에 의해 기록될 수 있거나, 입력 이미지들(10)의 질에 관한 어떠한 선험적 지식이 없으며, 따라서 기록된 입력 이미지들(10)의 선명도 또는 블러리니스가 더 넓은 범위에서 변할 수 있으므로, 더 견고한 분류 방법이 필요한 경우들에 관한 것이다. 그러한 시나리오에서, 블러 점수 임계 값은 바람직하게는 입력 이미지(10) 자체에 기초하여, 각각의 입력 이미지(10)를 위해 개별적으로 제공된다. 따라서, 블러 점수 임계 값이 입력 이미지(10) 자체에 기초하여 계산되는 제2 시나리오는 또한 임의의 종류들의 입력 이미지들(10), 즉, 임의의 날씨 또는 이미지 조건들(좋고 나쁜 조건들을 포함함)에서 기록되는 입력 이미지들(10)에 사용될 수 있다.
본 발명에 따른 방법은 또한 입력 이미지(10)를 이미지 처리 시스템에 입력하는 단계를 포함한다. 예시적인 입력 이미지(10)는 도 1에 도시된다. 도 1의 입력 이미지(10)의 확대 상세도(10')는 도 3a에 도시된다. 입력 이미지(10)는 디지털 카메라에 의해 촬영된 이미지일 수 있거나 또한 디지털화된(예를 들어, 스캔된) 사진일 수 있으며, 더욱이, 입력 이미지(10)는 카메라 스트림의 프레임일 수 있고, 입력 이미지(10)는 또한 미가공 이미지 또는 사전 처리된 이미지일 수 있다.
본 발명에 따른 방법은 입력 이미지(10)의 2차원 주파수 스펙트럼(12)(예를 들어 도 4 참조)을 발생시키는 단계를 더 포함하며, 2차원 주파수 스펙트럼(12)은 이미지 처리 시스템에 의해 발생된다. 입력 이미지(10)의 2차원 주파수 스펙트럼(12)은 바람직하게는 2차원 푸리에 변환, 예컨대 고속 푸리에 변환, 또는 2차원 웨이브릿 변환, 예컨대 이산 코사인 변환을 입력 이미지(10) 상에 적용함으로써 발생된다.
적용된 2차원 푸리에 변환으로 인해, 본 발명에 따른 방법은 또한 입력 이미지들(10)을 취급할 수 있으며, 입력 이미지(10)의 적어도 일부는 (예를 들어, 가까운 객체가 입력 이미지(10)의 의도된 콘텐츠가 아닌 입력 이미지(10) 상에 캡처될 때) 블러리하다. 그러한 경우들에서도, 입력 이미지(10)의 나머지는 여전히 고주파수, 중간 주파수, 및 저주파수 성분들을 포함할 수 있으며, 따라서 본 발명에 따른 방법은 입력 이미지(10)의 대다수가 충분히 선명한지를 결정할 수 있다. 경우들에서, 입력 이미지(10)의 가장 큰 부분이 블러리 객체에 의해 커버될 때, 이어서 방법은 입력 이미지를 충분히 선명하지 않은 것으로 분류할 수 있고, 따라서 상기 입력 이미지(10)로부터 유의미한 결론들을 인출하는 것을 제안할 수 있다. 이러한 특징은 또한 본 발명에 따른 방법의 의도된 사용 및 적용과 잘 적합화되며, 불분명한 블러리 이미지들이 회피될 수 있다. 선명한 부분들 및 불분명한(블러리) 부분들을 갖는 입력 이미지들(10)의 추가 사용이 입력 이미지(10)의 전체 선명도에 관계없이 회피되어야 하는 경우들에서, 이때 그러한 경우들에서 입력 이미지들(10)는 다른 방법들에 의해, 예를 들어 에지 검출을 입력 이미지(10)에 적용함으로써 필터링될 수 있다.
2차원 주파수 스펙트럼(12)으로부터, 1차원 주파수 스펙트럼(14)은 아래에 상세화되는 바와 같이 발생되고 직선 라인(16)은 1차원 주파수 스펙트럼(14) 상에 적합화된다(예를 들어 도 6 참조). 직선 라인(16)은 바람직하게는 선형 회귀 방법에 의해 적합화되고, 블러 점수 값은 적합화의 잔차에 기초하여 결정된다. 잔차는 바람직하게는 1차원 주파수 스펙트럼(14) 및 적합화된 직선 라인(16)의 데이터 포인트들의 거리이며, 거리는 바람직하게는 임의의 공지된 메트릭들로 결정되고, 예를 들어 거리는 유클리디안 거리 또는 유클리디안 제곱 거리이다. 블러 점수 값은 선명한 이미지들에 대한 것보다 블러리 이미지들에 대해 더 높은 것으로 발견되었으며, 따라서, 입력 이미지(10)는 블러 점수 값이 블러 점수 임계 값 미만이면 충분히 선명한 것으로 간주된다. 블러 점수 값은 입력 이미지(10)의 실제 장면으로부터 독립적이며, 따라서 본 발명에 따른 방법은 카메라 스트림이 동적으로 변하는 장면들을 캡처할 때의 경우들에서도, 연속적인 선명도 모니터링, 즉, 카메라 스트림에서 비롯되는 입력 이미지들(10)에 사용될 수 있다.
2차원 주파수 스펙트럼(12)은 통상적으로 2차원 진폭 스펙트럼 및 2차원 위상 스펙트럼을 포함하며, 그 중 2개는 입력 이미지(10)를 단일 뜻으로 함께 설명한다. 바람직하게는, 1차원 주파수 스펙트럼(14)은 2차원 주파수 스펙트럼(12)의 2차원 진폭 스펙트럼으로부터 발생되며, 2차원 진폭 스펙트럼은 공간 주파수들의 진폭들을 포함한다. 2차원 위상 스펙트럼은 바람직하게는 1차원 주파수 스펙트럼(14)을 결정하기 위해 생략될 수 있다.
1차원 주파수 스펙트럼(14)은 임의의 2차원을 1차원 이진 관계에 적용함으로써 2차원 주파수 스펙트럼(12) 또는 2차원 진폭 스펙트럼으로부터 발생될 수 있으며, 결과적인 1차원 주파수 스펙트럼(14)은 주파수들에 의해 순서화된다. 일 예로서, 1차원 주파수 스펙트럼(14)은 주파수 매핑에 의해, 또는 2차원 주파수 스펙트럼(12) 또는 2차원 진폭 스펙트럼의 하나 이상의 슬라이스를 취함으로써 발생된다.
바람직하게는, 2차원 진폭 스펙트럼의 로그가 계산되고, 1차원 주파수 스펙트럼(14)은 2차원 진폭 스펙트럼의 로그로부터 발생된다. 2차원 진폭 스펙트럼의 로그를 계산함으로써, 더 낮은 진폭들 및 더 높은 진폭들을 갖는 주파수들은 1차원 주파수 스펙트럼(14) 내에 더 동일하게 표현된다.
1차원 주파수 스펙트럼(14)은 대안적으로 2차원 주파수 스펙트럼(12)의 주파수 범위들에 대응하는 빈들을 갖는 히스토그램 및 각각의 빈에 대한 히스토그램 값들이며, 각각의 히스토그램 값은 바람직하게는 대응하는 주파수 범위 내의 평균 진폭 또는 통합된 진폭이다.
바람직하게는, 2차원 주파수 스펙트럼(12)이 중앙에 놓이며, 즉, 제로 주파수에 대응하는 주파수는 스펙트럼의 중심 내에 배치되고 주파수들은 중심으로부터 반경방향 외부로 증가한다(도 4 및 도 5에서와 같음). 1차원 주파수 스펙트럼(14)은 그러한 경우에 바람직하게는 반경 평균화에 의해 또는 2차원 주파수 스펙트럼(12), 또는 2차원 진폭 스펙트럼의 반경 방향 슬라이스를 취함으로써 발생된다.
(제1 시나리오에서) 경험적 데이터에 근거하여 블러 점수 임계 값을 결정하는 것 외에, 블러 점수 임계 값은 또한 (제2 시나리오에서) 이하의 단계들에 의해 입력 이미지(10) 자체에 근거하여 결정될 수 있다. 바람직하게는, 블러된 이미지(20)(예를 들어 도 2 참조)는 입력 이미지(10)로부터, 바람직하게는 가우시안 블러링에 의해 발생되며, 가우시안 함수는 0.01 내지 2의 범위의 표준 편차를 갖는다. 이미지 처리 시스템의 사용에 의해, 블러된 이미지(20)의 추가 2차원 주파수 스펙트럼(22)(예를 들어 도 5 참조)이 발생되고, 바람직하게는, 추가 2차원 주파수 스펙트럼(22)은 2차원 주파수 스펙트럼(12)과 동일한 방식으로, 즉, 동일한 변환, 즉, 동일한 2차원 푸리에 변환 또는 동일한 2차원 웨이브릿 변환을 사용함으로써 발생된다. 추가 2차원 주파수 스펙트럼(22)으로부터 추가 1차원 주파수 스펙트럼(24)(예를 들어 도 7 참조)이 발생되고, 추가 직선 라인(26)(예를 들어 도 7 참조)은 추가 1차원 주파수 스펙트럼(24) 상에 적합화된다. 바람직하게는, 추가 1차원 주파수 스펙트럼(24)은 1차원 주파수 스펙트럼(14)과 동일한 방식으로 발생되고, 추가 직선 라인(26)은 직선 라인(16)과 동일한 방식으로, 즉, 동일한 적합화 방법, 예를 들어, 동일한 선형 회귀 방법을 사용함으로써 적합화된다. 추가 직선 라인(26)의 적합화의 잔차가 계산되며, 잔차는 블러 점수 임계 값이다. 또한, 잔차는 바람직하게는 직선 라인(16)의 적합화를 위한 것과 동일한 메트릭들로 계산된다. 입력 이미지(10)의 블러 점수 값 및 블러된 이미지(20)로부터의 블러 점수 임계 값을 발생시키기 위한 동일한 방법들 및 파라미터들을 사용함으로써 블러 점수 값 및 블러 점수 임계 값이 용이하게 비교될 수 있다.
블러 점수 값과 블러 점수 임계 값 사이의 비교는 바람직하게는 블러 점수 값으로부터 블러 점수 임계 값을 감산함으로써 발생되는 차이 점수 값에 기초하여 구현될 수 있으며, 양수 값 또는 비음수 값을 갖는 차이 점수 값들은 입력 이미지(10)가 충분히 선명한 것을 표시하고, 음수 값을 갖는 차이 점수 값들은 입력 이미지(10)가 충분히 선명하지 않은 것, 즉 블러리인 것인 것을 표시한다.
블러 점수 값 및 블러 점수 임계 값의 비교의 다른 방식은 점수 비율을 발생시키는 것이며, 점수 비율은 블러 점수 값을 블러 점수 임계 값으로 나눔으로써 발생되고, 1보다 더 크거나 1보다 더 작지 않은 값을 갖는 점수 비율들은 입력 이미지(10)가 충분히 선명한 것을 표시하고, 1 미만의 값을 갖는 점수 비율들은 입력 이미지(10)가 블러리인 것을 표시한다.
본 발명에 따른 방법에 대한 상세한 예는 도 1 내지 도 7과 관련하여 후술된다.
도 1은 차량, 바람직하게는 자율주행 차량의 카메라에 의해 촬영되는 입력 이미지(10)를 도시한다. 2차원 푸리에 변환, 이러한 예에서, 2차원 고속 푸리에 변환(FFT)은 입력 이미지(10)로부터 2차원 주파수 스펙트럼(12)을 발생시키기 위해 사용되었다. 2차원 주파수 스펙트럼(12)은 도 3에 도시되며, 2차원 주파수 스펙트럼(12)이 중앙에 놓이고, 즉, 2차원 주파수 스펙트럼(12)의 중심은 제로 주파수에 대응하며, 그로부터 주파수가 반경방향 외부로 증가한다. 입력 이미지(10)에 대한 선명한 상세들은 더 높은 주파수들에서 더 높은 스펙트럼 값들에 대응하며; 입력 이미지(10)의 블러링은 더 높은 주파수들에서 스펙트럼 값들을 억제한다.
도 2는 가우시안 블러링에 의해 도 1의 입력 이미지(10)로부터 발생되는 블러된 이미지(20)를 도시하며, 가우시안 블러링의 표준 편차는 0.7인 것으로 선택되었다. 도 3a 및 도 3b는 도 1 및 도 2의 확대 상세도들(10', 20')을 각각 도시하며, 그로부터 도 1 및 도 3a에 도시된 입력 이미지(10)가 블러된 이미지(20)보다 더 선명하다는, 즉, 도 2 및 도 3b 상의 객체들의 에지들이 덜 뚜렷하다는 것이 분명히 보여질 수 있다.
도 4는 도 1의 입력 이미지(10)에 기초하여 이미지 처리 시스템에 의해 발생되는 2차원 주파수 스펙트럼(12)이고, 도 5는 도 2의 블러된 이미지(20)에 기초하여 이미지 처리 시스템에 의해 발생되는 추가 2차원 주파수 스펙트럼(22)이다.
2차원 주파수 스펙트럼(12) 및 추가 2차원 주파수 스펙트럼(22)은 둘 다 입력 이미지(10) 상에 및 블러된 이미지(20) 상에 각각 적용된 2차원 FFT 변환에 의해 발생되는 집중된 스펙트럼들이다. 블러된 이미지(20)로부터 발생되는 추가 2차원 주파수 스펙트럼(22)은 선명한 상세들이 블러링에 의해 감소되는 고주파수 성분들을 초래한다는 사실로 인해, 고주파수 성분들을 덜 포함하는 것이 도 4 및 도 5의 비교로부터 보여질 수 있다, 따라서, 추가 2차원 주파수 스펙트럼(22)은 2차원 주파수 스펙트럼(12)보다 더 높은 주파수들을 향해(즉, 추가 2차원 주파수 스펙트럼(22)의 주변들을 향해) 더 빠르게 감쇠한다.
도 6 및 도 7은 1차원 주파수 스펙트럼(14) 및 추가 1차원 주파수 스펙트럼(24)의 예들을 각각 도시한다. 도 6에 따른 1차원 주파수 스펙트럼(14) 및 도 7에 따른 추가 1차원 주파수 스펙트럼(24)은 도 4에 따른 2차원 주파수 스펙트럼(12) 및 도 5에 따른 추가 2차원 주파수 스펙트럼(22) 각각으로부터 발생되는 히스토그램들 둘 다이다. 히스토그램들 각각은 빈들, 본 경우에 주파수 범위들, 바람직하게는 균일한 단일 크기 주파수 범위들에 대응하는 주파수 빈들을 갖는다. 주파수 빈들은 2차원 주파수 스펙트럼(12) 및 추가 2차원 주파수 스펙트럼(22)의 중심 주위의 동심 링들로부터 해석될 수 있으며, 도 6 및 도 7에 따른 히스토그램들은 1 픽셀의 폭을 갖는 동심 링들에 대응하는 주파수 빈들을 가지며, 따라서, 도 6 및 도 7에 따른 각각의 히스토그램은 256개의 주파수 빈을 갖는다. 따라서, 주파수 빈들의 수는 2차원 주파수 스펙트럼(12) 및 추가 2차원 주파수 스펙트럼(22)의 크기에 각각 대응한다.
도 6 및 도 7의 히스토그램들의 히스토그램 값들은 이하의 방식으로 결정된다. 첫째, 각각의 2차원 진폭 스펙트럼은 2차원 주파수 스펙트럼(12) 및 추가 2차원 주파수 스펙트럼(22)에 기초하여 각각 발생된다. 둘째, 각각의 2차원 진폭 스펙트럼의 로그가 계산되고, 그 다음, 히스토그램 값들은 각각의 2차원 진폭 스펙트럼의 로그로부터 반경 평균화에 의해, 즉, 대응하는 히스토그램 값이 주파수 범위(동심 링) 내의 평균 진폭(세기)인 각각의 주파수 빈들에 대해 발생되며, 따라서 히스토그램 값들은 주파수 세기들(로그 주파수 세기들)의 로그이다.
도 6 및 도 7에서, 주파수 빈들은 2차원 주파수 스펙트럼(12) 및 추가 2차원 주파수 스펙트럼(22)의 중심으로부터의 거리(바람직하게는 픽셀들)에 의해 표시된다.
도 6에서, 직선 라인(16)은 선형 회귀를 통해, 예를 들어, 본 기술분야에 공지된 임의의 선형 회귀 방법에 의해 1차원 주파수 스펙트럼(14)(히스토그램) 상에 적합화된다. 적합화의 질을 특징화하는 잔차는 적합화를 위해 계산되며, 더 낮은 값들을 갖는 잔차들은 직선 라인(16)이 1차원 주파수 스펙트럼(14)에 잘 적합화되는 것을 표시하고, 더 높은 값들을 갖는 잔차들은 직선 라인(16)이 1차원 주파수 스펙트럼(14)에 그렇게 잘 적합화되지 않는 것을 표시한다. 잔차는 바람직하게는 입력 이미지(10)의 크기, 예를 들어, 주파수 빈들의 수로 나누어져, 즉, 입력 이미지(10)의 크기와 독립적인 블러 점수 값을 발생시킨다. 입력 이미지(10)가 선명한 상세들을 가지면, 이때 히스토그램(1차원 주파수 스펙트럼(14))이 오히려 균형 유지되며, 즉, 그의 엔벨로프가 편평하고, 따라서 그것은 좋은 선형 적합화 및 낮은 값들을 갖는 잔차 및 블러 점수 값을 초래한다. 블러리 이미지들의 경우에, 히스토그램의 엔벨로프는 특징들을 가지며, 이는 전형적으로 선형 적합화의 질을 감소시키고, 즉, 그것은 더 높은 잔차 및 더 높은 블러 점수 값을 초래한다. 분명한 상관은 엔벨로프의 편평도와 입력 이미지(10)의 선명도 사이에서 밝혀졌다. 적합화의 잔차에 기초하여 계산되는 블러 점수 값은 도 6에 대해 105이다. 잔차가 (입력 이미지(10)의 크기에 의존하는) 빈들의 수로 나누어지는 경우에, 입력 이미지(10)의 크기로부터 그리고 또한 히스토그램 빈들의 수로부터 독립적인 정규화된 블러 점수 값이 발생될 수 있다. 정규화된 블러 점수 값은 도 6에 대해 0.41이며, 이는 주파수 빈들의 수로 나누어진 블러 점수 값이고; 도 6의 히스토그램은 256개의 주파수 빈을 포함한다. 블러 점수 값 및 정규화된 블러 점수 값은 입력 이미지(10)의 실제 장면, 즉, 입력 이미지(10)의 콘텐츠로부터 둘 다 독립적이다.
도 7에서, 추가 직선 라인(26)은 선형 회귀를 통해 추가 1차원 주파수 스펙트럼(24)(히스토그램) 상에 적합화되고, 적합화의 잔차가 계산된다. 도 7에 도시된 예에서, 추가 1차원 주파수 스펙트럼(24) 상에 추가 직선 라인(26)을 적합화하기 위해 사용된 선형 회귀 방법은 도 6에서 1차원 주파수 스펙트럼(14) 상에 직선 라인(16)을 적합화하는 것과 동일하다. 블러 점수 값은 또한 도 2의 블러된 이미지(20)에 대해 계산될 수 있다. 도 7에 대한 블러 점수 값은 116이며, 이는 0.45의 정규화된 블러 점수 값을 초래하며, 블러 점수 값 및 정규화된 블러 점수 값은 도 6에 대한 것과 동일한 방식으로 둘 다 계산된다. 입력 이미지(10) 및 블러된 이미지(20)가 동일한 크기들을 가지므로, 도 7의 히스토그램은 또한 256개의 빈을 갖는다.
베리어 이미지(예를 들어, 블러된 이미지(20))에 대해 계산되는 블러 점수 값은 더 선명한 이미지(예를 들어, 입력 이미지(10))의 것보다 더 높으며, 따라서, 블러 점수 값은 입력 이미지(10)가 충분히 선명한지를 표시하기 위해 사용될 수 있는 것이 도 6 및 도 7의 비교에 기초하여 보여질 수 있다.
도 8은 입력 이미지(10)의 블러링의 정도를 표시하는 블러 파라미터의 함수로서 블러 점수 값의 에볼루션을 도시한다. 일련의 블러된 이미지들(20)은 입력 이미지(10)로부터 블러링에 의해, 예를 들어, 증가하는 블러 파라미터를 갖는 가우시안 블러링을 입력 이미지(10) 상에 적용함으로써 발생된다. 블러 파라미터는 바람직하게는 가우시안 블러링에 사용되는 가우시안 함수의 표준 편차이다.
놀랍게도, 블러된 이미지들(20)의 블러 점수 값들은 우선 적당히 증가하고 있으며, 그 다음 0.4의 블러 파라미터(표준 편차) 주위에서 더 급격한 감소가 시작되고, 0.75의 블러 파라미터(표준 편차) 후에, 빠른 증가가 관찰된다. 0.4 미만의 블러 파라미터에 의해 블러링되는 선명한 이미지들은 그러한 낮은 레벨의 블러링이 육안에 의해 거의 보여질 수 없기 때문에, 선명한 것으로 간주될 수 있다는 점이 주목되어야 한다. 블러링의 관찰된 상이한 효과, 즉, 블러 점수 값의 더 급격한 감소 및 감소는 또한 입력 이미지(10)의 선명도 또는 블러리니스를 표시하기 위해 사용될 수 있다. 예를 들어, 입력 이미지(10)가 충분히 선명하면, 즉, 입력 이미지가 약 0.4의 블러 점수 값을 가지면, 이때 입력 이미지(10)로부터 블러링(예를 들어, 0.7의 표준 편차를 갖는 가우시안 블러링을 가짐)에 의해 발생된 블러된 이미지(20)는 0.32의 블러 점수 값을 갖는다. 입력 이미지(10)의 블러 점수 값으로부터 블러된 이미지(20)의 블러 점수 값을 감산함으로써 발생되는 2개의 블러 점수 값의 차이는 양수(비음수)(0.8)이다.
그러나, 입력 이미지(10)가 블러리인 경우, 예를 들어, 그의 블러리니스가 0.4 이상의 표준 편차를 갖는 가우시안 블러링의 효과와 비교 가능한 경우, 이때 블러 점수 값은 대략 0.39 미만이다. 이러한 입력 이미지(10)가 0.7의 표준 편차를 갖는 가우시안 블러링에 의해 더 블러링될 때, 그것은 1.1 이상의 표준 편차를 갖는 가우시안 블러링의 효과와 비교 가능한 블러리니스를 갖는 블러된 이미지(20)를 초래한다. 그러한 블러된 이미지(20)에서, 0.44(또는 그 이상)의 블러 점수 값이 연관될 수 있다. 이러한 경우에, 입력 이미지(10)의 블러 점수 값으로부터 블러된 이미지(20)의 블러 점수 값을 감산함으로써 발생되는 2개의 블러 점수 값의 차이는 음수(-0.05)이다.
상기 관찰들에 기초하여, 블러된 이미지(20)는 블러 점수 임계 값을 결정하기 위해 사용될 수 있으며, 즉, 입력 이미지(10)의 블러링에 의해 발생되는 블러된 이미지(20)의 블러 점수 값은 블러 점수 임계 값으로서 사용될 수 있다. 따라서, 입력 이미지(10)의 블러 점수 값 및 블러된 이미지(20)로부터 결정되는 블러 점수 임계 값의 비교는 입력 이미지(10)가 충분히 선명한지를 분명히 표시하였다.
바람직하게는, 블러된 이미지(20)를 발생시킴으로써, 적절한 블러 파라미터, 즉 입력 이미지(10)의 상당한 가시 블러링을 초래하는 블러 파라미터가 선택되어야 한다.
바람직한 실시예에서, 선명한 이미지가 취해지고 일련의 블러된 이미지들(20)이 블러링에 의해 발생되며, 일련의 블러된 이미지들(20) 중 각각의 이미지는 바람직하게는 동일한 유형의 일련의 후속 블러링을 적용함으로써 발생된다. 바람직하게는, 일련의 후속 블러링은 미리 결정된 범위에 걸쳐 균일하게 분포되는 상이한 블러 파라미터들을 적용함으로써 수행된다. 예를 들어, 가우시안 블러링은 일련의 블러된 이미지들(20)을 발생시키기 위해 사용되고, 일련의 블러된 이미지들(20) 중 각각의 이미지는 상이한 표준 편차들을 갖는 가우시안 블러링으로 발생되며, 바람직하게는 표준 편차들은 0.1 내지 1.2의 범위 내에 균일하게 분포된다. 바람직하게는, 블러 점수 값은 본 발명에 따른 일련의 블러된 이미지들(20) 각각에 대해, 즉, 각각의 블러된 이미지(20)의 추가 2차원 주파수 스펙트럼(22)을 발생시킴으로써, 추가 2차원 주파수 스펙트럼(22)의 추가 1차원 주파수 스펙트럼(24)을 발생시킴으로써, 그리고 추가 1차원 주파수 스펙트럼(24) 상에 추가 직선 라인(26)을 적합화함으로써 계산되며, 블러 점수 값은 적합화의 잔차에 기초하여 결정된다. 블러된 이미지들(20) 각각에 대한 블러 점수 값들을 계산한 후에, 일련의 블러된 이미지들(20)의 블러 점수 값들의 최소치에 대응하는 블러 파라미터(가우시안 블러링에 대한 표준 편차)가 선택된다. 따라서, 도 8은 또한 제2 시나리오에서 적절한 블러 파라미터를 결정하는 도구로서 해석될 수 있다.
도 8에 따르면, 가우시안 블러링의 경우에, 최소(가장 작은) 블러 점수 값은 0.75의 표준 편차에 속하며, 따라서 이것은 입력 이미지(10)로부터 블러된 이미지(20)를 발생시키기 위한 적절한 블러 파라미터로서 선택될 수 있다. 명백히, 일련의 블러된 이미지들(20)을 발생시키는 데 사용되는 상이한 블러 파라미터들의 수에 따라, 상이한 블러 파라미터들이 선택될 수 있다. 예를 들어, 도 8이 0.05 블러 파라미터 증분들 대신에 0.1 또는 0.2 블러 파라미터 증분들만큼 구성되었으면, 이때 가장 작은 블러 점수 값은 0.7 또는 0.8의 표준 편차에 각각 속할 것이고, 이러한 블러 파라미터는 블러 점수 임계 값을 결정하기 위해 블러된 이미지(20)를 발생시키는 데 사용될 것이다. 그러나, 이것은 입력 이미지(10)가 충분히 선명한지의 여부를 결정하는 방법의 최종 결론에 영향을 미치지 않는다.
본 발명은 또한 본 발명에 따른 방법의 단계들을 수행하기 위한 수단을 포함하는 데이터 처리 시스템에 관한 것이다. 데이터 처리 시스템은 바람직하게는 입력 이미지(10)를 입력하기 위한 입력을 갖는다. 더욱이, 데이터 처리 시스템은 바람직하게는 입력 이미지(10)로부터 2차원 주파수 스펙트럼(12)을 발생시키는 이미지 처리 시스템을 포함한다. 데이터 처리 시스템은 바람직하게는 2차원 주파수 스펙트럼(12)으로부터 1차원 주파수 스펙트럼(14)을 발생시키기 위한 수단을 포함하며, 그 수단은 바람직하게는 이미지 처리 시스템의 일부이다.
데이터 처리 시스템은 바람직하게는 1차원 주파수 스펙트럼(14) 상에 직선 라인(16)을 적합화하기 위한 적합화 유닛을 더 포함한다. 적합화 유닛은 바람직하게는 적합화의 잔차를 결정하도록 구성된다. 데이터 처리 시스템은 바람직하게는 또한 적합화의 잔차에 대한 블러 점수 값을 결정하기 위한 수단을 포함한다.
더욱이, 데이터 처리 시스템은 바람직하게는 블러 점수 값을 블러 점수 임계 값과 비교하기 위한 비교 유닛을 더 포함한다.
데이터 처리 시스템은 바람직하게는 블러링 유닛을, 바람직하게는 이미지 처리 시스템의 일부로서 더 포함하며, 블러링 유닛은 바람직하게는 입력 이미지(10)로부터 블러된 이미지(20)를 발생시키기 위해 본 기술분야에 공지된 가우시안 블러링 또는 임의의 다른 블러링 방법을 적용한다. 바람직하게는, 블러링 유닛은 블러링의 정도를 특징화하는 블러 파라미터에 대한 입력을 갖는다.
본 발명은 더욱이, 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이며, 명령어들은 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 본 발명에 따른 방법의 일 실시예를 수행하게 한다.
컴퓨터 프로그램 제품은 하나 이상의 컴퓨터에 의해 실행 가능할 수 있다.
본 발명은 또한 명령어들을 포함하는 컴퓨터 판독가능 매체에 관한 것이며, 명령어들은 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 본 발명에 따른 방법의 일 실시예를 수행하게 한다.
컴퓨터 판독가능 매체는 단일한 하나이거나 더 많은 별도의 피스들을 포함할 수 있다.
물론, 본 발명은 위에서 상세히 설명된 바람직한 실시예에 제한되지 않으며, 청구범위에 의해 결정된 보호 범위 내에서 추가적인 변형, 수정 및 개발이 가능하다. 또한, 임의의 종속항의 조합에 의해 정의될 수 있는 모든 실시예는 본 발명에 속한다.
10: 입력 이미지
10': 확대 상세도
12: 2차원 주파수 스펙트럼
14: 1차원 주파수 스펙트럼
16: 직선 라인
20: 블러된 이미지
20': 확대 상세도
22: 추가 2차원 주파수 스펙트럼
24: 추가 1차원 주파수 스펙트럼
26: 추가 직선 라인

Claims (16)

  1. 입력 이미지(10)가 충분히 선명한지를 결정하기 위한 방법으로서,
    - 블러 점수 임계 값을 제공하는 단계,
    - 상기 입력 이미지(10)를 이미지 처리 시스템에 입력하는 단계,
    - 상기 이미지 처리 시스템에 의해, 상기 입력 이미지(10)의 2차원 주파수 스펙트럼(12)을 발생시키는 단계,
    - 상기 2차원 주파수 스펙트럼(12)으로부터 1차원 주파수 스펙트럼(14)을 발생시키는 단계,
    - 상기 1차원 주파수 스펙트럼(14) 상에 직선 라인(16)을 적합화하는 단계, 및
    - 상기 적합화의 잔차에 기초하여 블러 점수 값을 결정하고, 상기 블러 점수 값과 상기 블러 점수 임계 값의 비교에 기초하여 상기 입력 이미지(10)를 충분히 선명한 것으로 간주하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 1차원 주파수 스펙트럼(14)은 상기 2차원 주파수 스펙트럼(12)의 2차원 진폭 스펙트럼으로부터 발생되는 것을 특징으로 하는, 방법.
  3. 제2항에 있어서, 상기 2차원 진폭 스펙트럼의 로그를 계산함으로써, 상기 1차원 주파수 스펙트럼(14)은 상기 2차원 진폭 스펙트럼의 로그로부터 발생되는 것을 특징으로 하는, 방법.
  4. 제2항 또는 제3항에 있어서, 상기 1차원 주파수 스펙트럼(14)은 상기 2차원 주파수 스펙트럼(12)의 주파수 범위들에 대응하는 빈들을 갖는 히스토그램 및 각각의 빈에 대한 히스토그램 값들이며, 각각의 히스토그램 값은 상기 대응하는 주파수 범위 내의 평균 진폭 또는 통합된 진폭인 것을 특징으로 하는, 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 2차원 주파수 스펙트럼(12)이 중앙에 놓이며, 상기 1차원 주파수 스펙트럼(14)은 반경 평균화에 의해 발생되는 것을 특징으로 하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 입력 이미지(10)의 2차원 주파수 스펙트럼(12)은 2차원 푸리에 변환 또는 2차원 웨이브릿 변환에 의해 발생되는 것을 특징으로 하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 직선 라인(16)은 선형 회귀 방법에 의해 적합화되는 것을 특징으로 하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 블러 점수 임계 값을 제공하는 단계는 제1 시나리오와 제2 시나리오 사이의 경험적 데이터에 근거하여 결정을 하는 단계를 포함하며, 상기 제1 시나리오에서, 상기 블러 점수 임계 값은 미리 결정된 값이고,
    상기 제2 시나리오에서, 상기 블러 점수 임계 값은 이하의 단계들, 즉
    - 상기 입력 이미지(10)로부터 블러된 이미지(20)를 발생시키는 단계,
    - 상기 이미지 처리 시스템에서, 상기 블러된 이미지(20)의 추가 2차원 주파수 스펙트럼(22)을 발생시키는 단계,
    - 상기 추가 2차원 주파수 스펙트럼(22)으로부터 추가 1차원 주파수 스펙트럼(24)을 발생시키는 단계, 및
    - 상기 추가 1차원 주파수 스펙트럼(24) 상에 추가 직선 라인(26)을 적합화하는 단계로서, 상기 블러 점수 임계 값은 상기 적합화의 잔차에 기초하는 단계에 의해 결정되는 것을 특징으로 하는, 방법.
  9. 제8항에 있어서, 상기 제2 시나리오에서, 상기 블러된 이미지(20)는 블러 파라미터를 갖는 블러링에 의해 발생되고, 상기 블러 파라미터는 이하의 단계들, 즉
    - 선명한 이미지를 취하는 단계,
    - 일련의 후속 블러링을 적용함으로써 상기 선명한 이미지에 기초하여 일련의 블러된 이미지들(20)을 발생시키는 단계,
    - 일련의 블러된 이미지들(20) 중 각각의 이미지에 대한 블러 점수 값을 계산하는 단계, 및
    - 상기 일련의 블러된 이미지들(20)의 블러 점수 값들의 최소치에 대응하는 블러 파라미터를 선택하는 단계에 의해 결정되는 것을 특징으로 하는, 방법.
  10. 제9항에 있어서, 상기 블러된 이미지(20)는 가우시안 블러링에 의해 발생되는 것을 특징으로 하는, 방법.
  11. 제9항 또는 제10항에 있어서, 상기 추가 2차원 주파수 스펙트럼(22)은 상기 2차원 주파수 스펙트럼(12)과 동일한 방식으로 발생되고, 상기 추가 1차원 주파수 스펙트럼(24)은 상기 1차원 주파수 스펙트럼(14)과 동일한 방식으로 발생되고, 상기 추가 직선 라인(26)은 상기 직선 라인(16)과 동일한 방식으로 적합화되는 것을 특징으로 하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 블러 점수 값 및 상기 블러 점수 임계 값의 비교는 상기 블러 점수 값으로부터 상기 블러 점수 임계 값을 감산하여 차이 점수 값을 발생시킴으로써 구현되며, 양수 값 또는 비음수 값을 갖는 차이 점수 값들은 상기 입력 이미지(10)가 충분히 선명한 것을 표시하는 것을 특징으로 하는, 방법.
  13. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 블러 점수 값 및 상기 블러 점수 임계 값의 비교는 상기 블러 점수 값을 상기 블러 점수 임계 값으로 나누어서 점수 비율을 발생시킴으로써 구현되며, 1보다 더 크거나 1보다 더 작지 않은 값을 갖는 점수 비율들은 상기 입력 이미지(10)가 충분히 선명한 것을 표시하는 것을 특징으로 하는, 방법.
  14. 데이터 처리 시스템으로서, 제1항 내지 제13항 중 어느 하나에 따른 방법의 단계들을 수행하기 위한 수단을 포함하는, 데이터 처리 시스템.
  15. 명령어들을 포함하는 비일시적 컴퓨터 프로그램 제품으로서, 상기 명령어들은 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항 내지 제13항 중 어느 하나의 방법을 수행하게 하는, 비일시적 컴퓨터 프로그램 제품.
  16. 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항 내지 제13항 중 어느 하나의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
KR1020237041459A 2021-05-10 2022-05-09 이미지 선명도를 결정하기 위한 방법, 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체 KR20240006587A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
HUP2100190 2021-05-10
HUP2100190 2021-05-10
PCT/HU2022/050043 WO2022238724A1 (en) 2021-05-10 2022-05-09 Method, data processing system, computer program product and computer readable medium for determining image sharpness

Publications (1)

Publication Number Publication Date
KR20240006587A true KR20240006587A (ko) 2024-01-15

Family

ID=89542917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237041459A KR20240006587A (ko) 2021-05-10 2022-05-09 이미지 선명도를 결정하기 위한 방법, 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체

Country Status (5)

Country Link
EP (1) EP4338125A1 (ko)
JP (1) JP2024520196A (ko)
KR (1) KR20240006587A (ko)
CN (1) CN117321628A (ko)
WO (1) WO2022238724A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507775A (ja) 2002-11-25 2006-03-02 サーノフ・コーポレーション 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置
US7181082B2 (en) 2002-12-18 2007-02-20 Sharp Laboratories Of America, Inc. Blur detection system
CA2562480A1 (en) 2006-09-21 2008-03-21 Edythe P. Lefeuvre System for assessing images
WO2013148566A1 (en) 2012-03-26 2013-10-03 Viewdle, Inc. Image blur detection
KR101570602B1 (ko) 2014-02-10 2015-11-19 연세대학교 산학협력단 이미지 선명도 측정 장치 및 방법

Also Published As

Publication number Publication date
WO2022238724A1 (en) 2022-11-17
CN117321628A (zh) 2023-12-29
EP4338125A1 (en) 2024-03-20
JP2024520196A (ja) 2024-05-22

Similar Documents

Publication Publication Date Title
US9361672B2 (en) Image blur detection
CN111080661B (zh) 基于图像的直线检测方法、装置以及电子设备
CN109507192B (zh) 一种基于机器视觉的磁芯表面缺陷检测方法
US10452922B2 (en) IR or thermal image enhancement method based on background information for video analysis
KR101361644B1 (ko) 영상 처리 장치 및 영상 내의 안개 제거 방법
US9704057B1 (en) Methods and apparatus relating to image binarization
JP2008278288A5 (ko)
JP7449507B2 (ja) カメラストリームのためのマスクを生成する方法、コンピュータープログラム製品およびコンピューター可読媒体
JP2018506046A (ja) タイヤ表面の欠陥を検出する方法
CN107886518B (zh) 图片检测方法、装置、电子设备及可读取存储介质
Yahiaoui et al. Optimization of ISP parameters for object detection algorithms
CN114820334A (zh) 图像修复方法、装置、终端设备和可读存储介质
Samanta et al. Development of edge detection technique for images using adaptive thresholding
KR20240006587A (ko) 이미지 선명도를 결정하기 위한 방법, 데이터 처리 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독가능 매체
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
Safonov et al. Adaptive sharpening of photos
Bi et al. Adaptive blind image restoration algorithm of degraded image
Jaiswal et al. Saliency based automatic image cropping using support vector machine classifier
US20190197349A1 (en) Image identification method and image identification device
Rakhshanfar et al. No-reference image quality assessment for removal of processed and unprocessed noise
Purnima et al. Non-Gradient Based Design Metrics for Underwater Image Enhancement
Ojansivu et al. Degradation based blind image quality evaluation
CN115731185A (zh) 基于拉普拉斯算子的电力设备模糊图像识别方法及***
JP2017117066A (ja) 画像処理方法、画像処理装置および画像処理プログラム
Chen et al. Contrast Restoration of Hazy Image in HSV Space