KR101766787B1 - Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법 - Google Patents

Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법 Download PDF

Info

Publication number
KR101766787B1
KR101766787B1 KR1020160146843A KR20160146843A KR101766787B1 KR 101766787 B1 KR101766787 B1 KR 101766787B1 KR 1020160146843 A KR1020160146843 A KR 1020160146843A KR 20160146843 A KR20160146843 A KR 20160146843A KR 101766787 B1 KR101766787 B1 KR 101766787B1
Authority
KR
South Korea
Prior art keywords
image
book
image information
gpu
outline
Prior art date
Application number
KR1020160146843A
Other languages
English (en)
Inventor
이준혁
김기석
백승복
Original Assignee
(주)한국플랫폼서비스기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한국플랫폼서비스기술 filed Critical (주)한국플랫폼서비스기술
Priority to KR1020160146843A priority Critical patent/KR101766787B1/ko
Priority to PCT/KR2017/000774 priority patent/WO2018084381A1/ko
Application granted granted Critical
Publication of KR101766787B1 publication Critical patent/KR101766787B1/ko

Links

Images

Classifications

    • G06K9/00463—
    • G06K9/00449—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법에 관한 것으로, GPU장치를 적용함으로써 영상처리에 따른 빅데이터의 처리속도를 향상시켜 신뢰성을 유지할 수 있도록 하는 것이다.
이를 위해, GPU(Graphic Processing Unit)을 포함하여 영상정보를 처리할 수 있도록 하며, 영상정보를 인식하기 위한 영상인식수단을 포함하는 GPU장치를 기반으로 하여 딥러닝 분석을 이용한 영상 보정 방법에 있어서, 영상인식수단을 이용하여 책과 같은 인쇄물의 영상정보를 수집하는 데이터 수집단계(S10)와 상기 데이터수집 단계(S10)에서 인식된 다양한 영상정보의 위치를 보정하여 평균값을 유추하기 위한 영상 위치 보정단계(S20)와 사용자가 대상 영상물을 촬영하면, 촬영된 책과 같은 인쇄물의 영상에 모델을 피팅하는 모델 피팅단계(S30)와 상기 피팅단계(S30)에서 처리된 영상물의 외곽선을 검출하는 단계(S40); 및 대상 영상을 평면변환하기 위한 영상 평면변환단계(S50)로 구성되는 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법을 제공하게 된다.

Description

GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법{IMAGE CORRECTION METHOD USING DEEP-LEARNING ANALYSIS BASSED ON GPU-UNIT}
본 발명은 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법에 관한 것으로, GPU장치를 적용함으로써 영상처리에 따른 빅데이터의 처리속도를 향상시켜 신뢰성을 유지할 수 있도록 하는 것이다.
일반적으로 GPU(Graphic Prossece Unit)는 그래픽 처리와 같은 영상처리물의 속도를 향상시킬 수 있기 때문에 최근에 각광을 받고 있는 디바이스이다.
이와 같은 GPU장치를 적용하여 많은 양의 영상정보와 같은 빅데이터를 신속하게 처리함으로써, 그 처리의 신뢰도를 향상시킬 수 있는 것이다.
이와 같은 GPU장치는 다양한 분야에서 적용되고 있으며, 그 중 하나의 활용방안으로 영상물을 인식하고 이에 대한 정보를 분석하는 작업이 대표적이며, 이러한 적용방법 중 하나가 책과 같이 인쇄된 문헌의 내용 즉, 텍스트 및 그림과 같은 정보를 인식하는 기술이 있을 수 있다.
그러나, 상기와 같은 인쇄문헌의 텍스트 및 그림과 같은 정보를 인식하는데, 인쇄물을 사진 및 스캔한 아날로그 정보를 디지털화 하여 텍스트 및 그림과 같은 정보를 인식하는 과정을 거치게 되는 이때, 인쇄물을 스캔할 경우 여러가지 유형의 형태가 존재하게 된다.
예를 들어, 책의 두께에 따라 각각의 책장이 휘어지는 형태라던지 또는 스캔도구에 따라 영상이 외곡되는 등과 같은 여러가지 변수가 발생하게 되는 것이다.
이와 같은 이유로, 인쇄물을 스캔하는 아날로그 정보를 디지털화할 때, 인쇄물의 규격을 정형화시키고 이를 복원하여 신뢰도를 향상시킬 수 있는 기술들이 제안되고 있으나, 사용자의 특성에 따른 영상정보의 인식 조건에 따라 다양한 형태의 정보가 제공되고 이를 표준화하기 위한 시행착오를 극복하기 위해 대용량의 데이터를 처리해야 하는 문제가 발생하고 이로 인해 신뢰도가 저하되는 문제가 발생하고 있다.
대한민국 등록특허 제10-1646461호(딥 러닝을 이용한 한국어 의존 구문 분석 방법, 2016년08월01일 등록) 대한민국 등록특허 제10-1657495호(딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법, 2016년09월08일 등록)
본 발명은 아날로그 형태의 영상정보를 보정함에 있어서, 스캔되어지는 인쇄물과 같은 아날로그 정보를 딥러닝기법을 적용하여 분석하고 인쇄물의 규격에 대한 분할을 정밀하게 시행할 수 있도록 하여 보정신뢰도를 향상시킬 수 있도록 하는 기술을 제공하는 것을 목적으로 한다.
본 발명의 목적을 달성하기 위한 GPU(Graphic Processing Unit)을 포함하여 영상정보를 처리할 수 있도록 하며, 영상정보를 인식하기 위한 영상인식수단을 포함하는 GPU장치를 기반으로 하여 딥러닝 분석을 이용한 영상 보정 방법에 있어서,
영상인식수단을 이용하여 책과 같은 인쇄물의 영상정보를 수집하는 데이터 수집단계(S10)와 상기 데이터수집 단계(S10)에서 인식된 다양한 영상정보의 위치를 보정하여 평균값을 유추하기 위한 영상 위치 보정단계(S20)와 사용자가 대상 영상물을 촬영하면, 촬영된 책과 같은 인쇄물의 영상에 모델을 피팅하는 모델 피팅단계(S30)와 상기 피팅단계(S30)에서 처리된 영상물의 외곽선을 검출하는 단계(S40) 및 대상 영상을 평면변환하기 위한 영상 평면변환단계(S50)로 구성되는 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법을 제공하게 된다.
또한, 상기 데이터 수집단계(S10)는 대상물인 책과 같은 인쇄물의 해당 페이지 또는 유사한 페이지의 외곽선에 사용자가 복수개의 마커를 표시하게 되고, 상기 마커는 각각의 면에 동일한 간격으로 표기하게 되며, 가로면과 세로면 중 일측만을 선택하여 적용하게 되고, 상기 대상물에 마커를 표시한 후 영상물의 정보를 인식한 후 각각의 마커에 대하여 좌표값을 가로축의 값인 x값과 세로축의 값인 y값을 인식하게 되고, 복수개의 좌표값을 인식한 후 각각의 샘플영상을 벡터화하여 각각의 영상별 외곽선을 모형화 하기 위해, 각각의 샘플영상은 벡터화하게 되면 xi=[x1, y1 … xn, yn]T로 정의 되고 여기서 n은 하나의 책에 대한 점의 개수, i는 각 샘플 영상의 인덱스인 것을 특징으로 한다.
또한, 상기 영상 위치 보정단계(S20)는 데이터 수집단계(S10)에서 수집되어 벡터화 된 복수개의 영상 정보 샘플의 방향 및 크기를 보정하여 각각의 영상 정보의 외곽선 모형을 유사한 위치 및 유사한 크기로 보정하는 것으로, 복수개의 영상 정보 샘플의 평균값을 산출하고, 상기 평균값으로 부터 모든 샘플에서의 평균을 빼서 변화량에 대한 공분산을 하기의 식을 적용하게 된다.
dxi = xi - μ
또한, 상기 공분산 과정 후 모든 샘플을 하나의 행렬로 만들게 되며, X = [dx1 … dxn](n by N행렬)로 형성하게 되는데, 상기와 같이 형성된 행렬 X에 대한 공분산 행렬을 구하고, 공분산 행렬에 대해 주성분 분석을 수행해서 복수개의 고유벡터(v1…vn)을 얻어 하기의 식과 같이 대상물인 책과 같은 인쇄물의 모델이 완성되는 것을 한다.
x = M(s,θ)(Σαivi + μ)
α는 고유벡터에 대한 계수, μ는 평균, M(s,θ)는 회전과 스케일 변환을 위한 메트릭스임.
상기 모델 피팅단계(S30)에서 영상정보에 모델을 피팅하는 것은 사용자에 따라 다양한 형태의 영상정보가 입력될 수 있기 때문에, 입력된 영상정보를 평균값과의 차이를 보정하게 되며, 상기 영상물의 외곽선을 검출하는 단계(S40)에서 외곽선은 스캔시 적용되는 영상의 음영(흑백)차이를 통하여 책과 배경화면을 구분하고, 책의 각각의 모서리부분을 인식한 후 가로축 또는 세로축 중 하나를 선택하여 상측과 하측면에 이미지상으로 가상의 마커를 설정한 후 상측과 하측면에 각각 대응될 수 있는 마커를 쌍으로 연결하여 대상이 되는 책을 선형으로 분할하게되는 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법을 제공함으로써 본 발명의 목적을 보다 잘 달성할 수 있는 것이다.
본 발명의 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법을 제공함으로써, 사용자에 의해 입력되는 아날로그 정보인 영상정보를 분석하고 이에 따라 보정신뢰도를 향상 시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 순서도이다.
도 2는 본 발명에 따른 데이터 수집단계(S10)의 영상정보를 인식하기 위한 실시예에 대한 예시도이다.
도 3은 본 발명에 따른 영상위치 보정단계(S20)의 영상의 위치보정을 위한 실시예에 대한 예시도이다.
도 4는 본 발명에 따른 영상위치 보정단계(S20)에서 정의된 평균값에 대한 예시도이다.
도 5는 본 발명에 따른 모델 피팅단계(S30)에서 적용될 다양한 형태에 대한 예시도이다.
도 6은 본 발명에 따른 외곽선을 검출하는 단계(S40) 및 영상 평면변환단계(S50)에 대한 예시도이다.
이하에서 당업자가 본 발명을 용이하게 실시할 수 있도록 도면을 참조하여 상세하게 설명하도록 한다.
도 1은 본 발명에 따른 순서도이고, 도 2는 본 발명에 따른 데이터 수집단계(S10)의 영상정보를 인식하기 위한 실시예에 대한 예시도이고, 도 3은 본 발명에 따른 영상위치 보정단계(S20)의 영상의 위치보정을 위한 실시예에 대한 예시도이고, 도 4는 본 발명에 따른 영상위치 보정단계(S20)에서 정의된 평균값에 대한 예시도이고, 도 5는 본 발명에 따른 모델 피팅단계(S30)에서 적용될 다양한 형태에 대한 예시도이며, 도 6은 본 발명에 따른 외곽선을 검출하는 단계(S40) 및 영상 평면변환단계(S50)에 대한 예시도이다.
도 1 내지 도 6을 참조하여 상세하게 설명하면, 본 발명의 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법은 GPU(Graphic Processing Unit)을 포함하여 영상정보를 처리할 수 있도록 하며, 영상정보를 인식하기 위한 영상인식수단을 포함하는 GPU장치를 기반으로 하여 딥러닝 분석을 이용한 영상 보정 방법을 제공하게 된다.
이때, 상기 GPU장치의 영상인식장치부는 별도의 스캔장치를 구비하거나 영상을 촬영할 수 있는 영상카메라 및 스마트폰과 같은 외부장치로 적용될 수 있다.
상기와 같은 구성의 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 보정 방법은 영상인식수단을 이용하여 책과 같은 인쇄물의 영상정보를 수집하는 데이터 수집단계(S10), 데이터수집 단계(S10)에서 인식된 다양한 영상정보의 위치를 보정하여 평균값을 유추하기 위한 영상 위치 보정단계(S20), 사용자가 대상 영상물을 촬영하면, 촬영된 책과 같은 인쇄물의 영상에 모델을 피팅하는 모델 피팅단계(S30), 상기 피팅단계(S30)에서 처리된 영상물의 외곽선을 검출하는 단계(S40) 및 대상 영상을 평면변환하기 위한 영상 평면변환단계(S50)로 구성된다.
상기 데이터 수집단계(S10)는 사용자가 영상을 인식하기 위한 대상물인 책과 같은 인쇄물과 동일한 규격 또는 대상인쇄물을 영상인식수단을 이용하여 다양한 각도 및 다양한 조건으로 스캔 또는 사진 등의 영상물의 정보를 인식하게 되는 것이다.
이때, 상기 다양한 각도 및 다양한 조건으로 영상물의 정보를 인식할 때, 대상물인 책과 같은 인쇄물의 해당 페이지 또는 유사한 페이지의 외곽선에 복수개의 마커를 표시하게 된다.
상기와 같은 마커는 각각의 면에 동일한 간격으로 표기하게 되며, 가로면과 세로면 중 일측만을 선택하여 적용하게 된다.
상기와 같이 대상물에 마커를 표시한 후 영상물의 정보를 인식한 후 각각의 마커에 대하여 좌표값을 가로축의 값인 x값과 세로축의 값인 y값을 인식하게 된다.
이와 같이 복수개의 좌표값을 인식한 후 각각의 샘플영상을 벡터화하여 각각의 영상별 외곽선을 모형화 하게 되는 것이다.
이때, 각각의 샘플영상은 벡터화하게 되면 xi=[x1, y1 … xn, yn]T로 정의 되고 여기서 n은 하나의 책에 대한 점의 개수, i는 각 샘플 영상의 인덱스가 되는 것이다.
상기 단계(S10) 후 영상 위치 보정단계(S20)를 거치게 되는데, 상기 영상 위치 보정단계(S20)는 데이터 수집단계(S10)에서 수집되어 벡터화 된 복수개의 영상 정보 샘플의 방향 및 크기를 보정하여 각각의 영상 정보의 외곽선 모형을 유사한 위치 및 유사한 크기로 보정하게 되는 것이다.
이때, 복수개의 영상 정보 샘플의 평균값을 산출하고, 상기 평균값으로 부터 모든 샘플에서의 평균을 빼서 변화량에 대한 공분산을 구하게 된다.
여기서 상기와 같은 공분산은 하기의 식과 같다.
dxi = xi - μ
상기 과정 후 모든 샘플을 하나의 행렬로 만들게 되며, X = [dx1 … dxn](n by N행렬)로 형성하게 된다.
상기와 같이 형성된 행렬 X에 대한 공분산 행렬을 구하게 되는데, 공분산 행렬에 대해 주성분 분석을 수행해서 복수개의 고유벡터(v1…vn)을 얻어 하기의 식과 같이 대상물인 책과 같은 인쇄물의 모델이 완성되는 것이다.
x = M(s,θ)(Σαivi + μ)
여기서, α는 고유벡터에 대한 계수, μ는 평균, M(s,θ)는 회전과 스케일 변환을 위한 메트릭스이다.
상기와 같이 데이터를 수집하고 영상 위치를 보정하는 과정을 거쳐 고유벡터에 대한 계수, 평균 및 영상물에 대한 회전과 스케일 변환을 위한 메트릭스 값을 구한 후, 영상을 보정하기 위한 영상정보 모델을 피팅하는 모델 피팅단계(S30)를 거치게 된다.
여기서, 모델 피팅은 사용자가 스캔장치 또는 스마트폰으로 대상물인 책과 같은 인쇄물을 촬영하고 그 영상정보에 모델을 피팅한다.
이때, 영상정보에 모델을 피팅하는 것은 사용자에 따라 다양한 형태의 영상정보가 입력될 수 있기 때문에, 입력된 영상정보를 평균값과의 차이를 보정하기 위한 것이다.
예를 들어, 사용자가 입력한 영상정보의 굴곡 또는 왜곡 등에 의해 평균값과의 차이가 발생하게 되고, 이를 평균값에 맞도록 보정하기 위해, 사용자가 입력한 영상정보의 굴국형태, 위치차이와 같은 초기형태를 선정하기 위한 것이다.
상기와 같이 초기형태가 선정되면, 이에 따른 고유벡터에 대한 계수, 평균 및 영상물의 회전과 스케일 변환을 위한 메트릭스 값 및 위치정보를 정의하게 되는 것이다.
상기 단계(S30) 후 외곽선 검출 단계(S40)를 거치게 되는데, 사용자가 촬영한 후 모델 피팅단계(S30)를 통해 정의된 고유벡터에 대한 계수, 평균 및 영상물의 회전과 스케일 변환을 위한 메트릭스 값 및 위치정보를 이용하여 사용자가 촬영한 영상정보를 평균값에 일치하도록 보정한 후 보정된 영상물에서 보정의 대상이 되는 책과 같은 인쇄물의 외곽선을 검출하게 된다.
이때, 상기 외곽선은 스캔시 적용되는 영상의 음영(흑백)차이를 통하여 책과 배경화면을 구분하고, 책의 각각의 모서리부분을 인식한 후 가로축 또는 세로축 중 하나를 선택하여 상측과 하측면에 이미지상으로 가상의 마커를 설정한 후 상측과 하측면에 각각 대응될 수 있는 마커를 쌍으로 연결하여 대상이 되는 책을 선형으로 분할하게 된다.
본발명의 상세한 설명과 함께 첨부된 도면에서는 가로축에 마커를 설정하고 세로방향으로 대상물을 분할하였으나, 이를 한정하는 것은 아니며, 가로방향으로 대상물을 분할하는 방법 중 선택적으로 적용되는 것이다.
이는 본 발명에 따라 보정된 영상정보로부터 텍스트 및 그림 등의 내용을 추출할 때, 텍스트의 표기방법에 따라 적용될 수 있기 때문이다.
상기와 같은 방법에 의해, 책의 각모서리 및 마커별 좌표값을 인식하여 외곽선을 검출하게 된다.
상기 외곽선 검출단계(S40)후 외곽선에 대한 좌표값을 이용하여 어파인 변환을 수행하여 영상 평면변환단계(S50)를 거치게 된다.
또한, 앞선 단계(S40)에서 분할된 부분에 대한 어파인 변환을 통하여 최종적으로 영상정보에 대한 보정을 실시하게 되는 것이다.
이와 같은 방법에 의해 본 발명을 완성할 수 있는 것이다.
S10 : 데이터 수집단계
S20 : 영상 위치 보정단계
S30 : 모델 피팅단계
S40 : 외곽선 검출 단계
S50 : 영상 평면변환단계

Claims (7)

  1. GPU(Graphic Processing Unit)을 포함하여 영상정보를 처리할 수 있도록 하며, 영상정보를 인식하기 위한 영상인식수단을 포함하는 GPU장치를 기반으로 하여 딥러닝 분석을 이용한 영상 보정 방법에 있어서,
    영상인식수단을 이용하여 책과 같은 인쇄물의 영상정보를 수집하는 데이터 수집단계(S10)와;
    상기 데이터수집 단계(S10)에서 인식된 다양한 영상정보의 위치를 보정하여 평균값을 유추하기 위한 영상 위치 보정단계(S20)와;
    사용자가 대상 영상물을 촬영하면, 촬영된 책과 같은 인쇄물의 영상에 모델을 피팅하는 모델 피팅단계(S30)와;
    상기 피팅단계(S30)에서 처리된 영상물의 외곽선을 검출하는 단계(S40); 및 대상 영상을 평면변환하기 위한 영상 평면변환단계(S50)로 구성되되,
    상기 데이터 수집단계(S10)는 대상물인 책과 같은 인쇄물의 해당 페이지 또는 유사한 페이지의 외곽선에 사용자가 복수개의 마커를 표시하게 되고, 상기 마커는 각각의 면에 동일한 간격으로 표기하게 되며, 가로면과 세로면 중 일측만을 선택하여 적용하게 되는 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 대상물에 마커를 표시한 후 영상물의 정보를 인식한 후 각각의 마커에 대하여 좌표값을 가로축의 값인 x값과 세로축의 값인 y값을 인식하게 되고, 복수개의 좌표값을 인식한 후 각각의 샘플영상을 벡터화하여 각각의 영상별 외곽선을 모형화 하기 위해, 각각의 샘플영상은 벡터화하게 되면 xi=[x1, y1 … xn, yn]T로 정의 되고 여기서 n은 하나의 책에 대한 점의 개수, i는 각 샘플 영상의 인덱스인 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법.
  4. 제 1항에 있어서,
    상기 영상 위치 보정단계(S20)는 데이터 수집단계(S10)에서 수집되어 벡터화 된 복수개의 영상 정보 샘플의 방향 및 크기를 보정하여 각각의 영상 정보의 외곽선 모형을 유사한 위치 및 유사한 크기로 보정하는 것으로, 복수개의 영상 정보 샘플의 평균값을 산출하고, 상기 평균값으로 부터 모든 샘플에서의 평균을 빼서 변화량에 대한 공분산을 하기의 식인 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법.
    dxi = xi - μ
  5. 제 4항에 있어서,
    상기 공분산 과정 후 모든 샘플을 하나의 행렬로 만들게 되며, X = [dx1 … dxn](n by N행렬)로 형성하게 되는데, 상기와 같이 형성된 행렬 X에 대한 공분산 행렬을 구하고, 공분산 행렬에 대해 주성분 분석을 수행해서 복수개의 고유벡터(v1…vn)을 얻어 하기의 식과 같이 대상물인 책과 같은 인쇄물의 모델이 완성되는 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법.
    x = M(s,θ)(Σαivi + μ)
    α는 고유벡터에 대한 계수, μ는 평균, M(s,θ)는 회전과 스케일 변환을 위한 메트릭스임.
  6. 제 1항에 있어서,
    상기 모델 피팅단계(S30)에서 영상정보에 모델을 피팅하는 것은 사용자에 따라 다양한 형태의 영상정보가 입력될 수 있기 때문에, 입력된 영상정보를 평균값과의 차이를 보정하는 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법.
  7. 제1항에 있어서,
    상기 영상물의 외곽선을 검출하는 단계(S40)에서 외곽선은 스캔시 적용되는 영상의 음영(흑백)차이를 통하여 책과 배경화면을 구분하고, 책의 각각의 모서리부분을 인식한 후 가로축 또는 세로축 중 하나를 선택하여 상측과 하측면에 이미지상으로 가상의 마커를 설정한 후 상측과 하측면에 각각 대응될 수 있는 마커를 쌍으로 연결하여 대상이 되는 책을 선형으로 분할하게되는 것을 특징으로 하는 GPU장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법.
KR1020160146843A 2016-11-04 2016-11-04 Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법 KR101766787B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160146843A KR101766787B1 (ko) 2016-11-04 2016-11-04 Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
PCT/KR2017/000774 WO2018084381A1 (ko) 2016-11-04 2017-01-23 지피유장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160146843A KR101766787B1 (ko) 2016-11-04 2016-11-04 Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법

Publications (1)

Publication Number Publication Date
KR101766787B1 true KR101766787B1 (ko) 2017-08-09

Family

ID=59652701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160146843A KR101766787B1 (ko) 2016-11-04 2016-11-04 Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법

Country Status (2)

Country Link
KR (1) KR101766787B1 (ko)
WO (1) WO2018084381A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139253A1 (ko) * 2018-01-10 2019-07-18 서울대학교 산학협력단 딥 뉴럴 네트워크를 위한 gpu 메모리 관리 방법 및 그를 수행하는 연산 장치
KR20220019501A (ko) * 2020-08-10 2022-02-17 (주)아이웨이 딥러닝 기반 전자책 자동변환 서비스 제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011027974A2 (ko) * 2009-09-02 2011-03-10 이병수 스캐너 장치 및 스캐닝 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270044B2 (en) * 2006-10-26 2012-09-18 Samsung Electronics Co., Ltd. Scanning apparatus having image correction function
KR20150059989A (ko) * 2013-11-25 2015-06-03 삼성전자주식회사 문서 인식 방법 및 장치
KR101589167B1 (ko) * 2015-02-09 2016-01-27 동의대학교 산학협력단 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011027974A2 (ko) * 2009-09-02 2011-03-10 이병수 스캐너 장치 및 스캐닝 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139253A1 (ko) * 2018-01-10 2019-07-18 서울대학교 산학협력단 딥 뉴럴 네트워크를 위한 gpu 메모리 관리 방법 및 그를 수행하는 연산 장치
KR20190085444A (ko) * 2018-01-10 2019-07-18 서울대학교산학협력단 딥 뉴럴 네트워크를 위한 gpu 메모리 관리 방법 및 그를 수행하는 연산 장치
KR102113093B1 (ko) 2018-01-10 2020-05-20 서울대학교산학협력단 딥 뉴럴 네트워크를 위한 gpu 메모리 관리 방법 및 그를 수행하는 연산 장치
KR20220019501A (ko) * 2020-08-10 2022-02-17 (주)아이웨이 딥러닝 기반 전자책 자동변환 서비스 제공 방법
KR102562170B1 (ko) * 2020-08-10 2023-08-01 (주)아이웨이 딥러닝 기반 전자책 자동변환 서비스 제공 방법

Also Published As

Publication number Publication date
WO2018084381A1 (ko) 2018-05-11

Similar Documents

Publication Publication Date Title
CN111474184B (zh) 基于工业机器视觉的aoi字符缺陷检测方法和装置
US10713528B2 (en) System for determining alignment of a user-marked document and method thereof
US20160154469A1 (en) Mid-air gesture input method and apparatus
US8472727B2 (en) Document comparison and analysis for improved OCR
US8472726B2 (en) Document comparison and analysis
JP6688277B2 (ja) プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN108596867A (zh) 一种基于orb算法的图片校正方法及***
JP2019046095A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN110189347B (zh) 一种测量物体体积的方法及终端
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN113095187A (zh) 一种基于图像特征匹配对齐的试卷批改方法
KR101766787B1 (ko) Gpu장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
CN102737240A (zh) 分析数字文档图像的方法
CN109753981B (zh) 一种图像识别的方法及装置
CN114998347B (zh) 一种半导体面板角点定位方法及装置
CN112084840A (zh) 一种基于三维nmi的指静脉识别方法
CN104933430B (zh) 一种用于移动终端的交互式图像处理方法及***
CN109241807B (zh) 一种远距离二维码定位方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6478282B2 (ja) 情報端末装置及びプログラム
CN109086738A (zh) 一种基于模板匹配的字符识别方法及装置
JP2016206909A (ja) 情報処理装置、情報処理方法
CN114241486A (zh) 一种提高识别试卷学生信息准确率的方法
JP4812743B2 (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体
EP4156095A1 (en) Image processing system, image processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant