KR101965058B1 - 영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치 - Google Patents

영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치 Download PDF

Info

Publication number
KR101965058B1
KR101965058B1 KR1020170063367A KR20170063367A KR101965058B1 KR 101965058 B1 KR101965058 B1 KR 101965058B1 KR 1020170063367 A KR1020170063367 A KR 1020170063367A KR 20170063367 A KR20170063367 A KR 20170063367A KR 101965058 B1 KR101965058 B1 KR 101965058B1
Authority
KR
South Korea
Prior art keywords
image
feature information
pixel
rotation angle
input image
Prior art date
Application number
KR1020170063367A
Other languages
English (en)
Other versions
KR20180128182A (ko
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170063367A priority Critical patent/KR101965058B1/ko
Publication of KR20180128182A publication Critical patent/KR20180128182A/ko
Application granted granted Critical
Publication of KR101965058B1 publication Critical patent/KR101965058B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

객체 인식을 위한 파라미터 제공 방법, 장치 및 그를 이용하여 사이즈 변경 영상의 객체를 인식하는 학습 방법, 장치가 제공된다. 본 발명의 일 실시예에 따른 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상에서 상기 입력영상과 동일한 객체를 인식하는 학습 장치는 상기 입력영상의 각 픽셀과 상기 사이즈 변경 영상의 각 픽셀간 상대 위치 정보, 상기 입력영상 및 상기 입력영상의 객체에 대한 정보를 포함하는 학습 입력 파라미터를 입력받는 입력부 및 상기 학습 입력 파라미터를 이용하여, 상기 사이즈 변경 영상에서 상기 입력영상의 객체와 동일한 객체를 인식하도록 학습하는 학습부를 포함하되, 상기 입력영상과 상기 사이즈 변경 영상은 동일한 픽셀 수를 가지며, 상기 입력영상의 각 픽셀과 상기 사이즈 변경 영상의 각 픽셀은 동일한 위치에서 서로 대응되고, 상기 상대 위치 정보는 상기 입력영상의 각 픽셀별 픽셀 값 및 상기 입력영상과 상기 사이즈 변경 영상이 미리 정해진 일정 거리(d)만큼 떨어진 상태에서 상기 입력영상의 각 픽셀별로 상기 사이즈 변경 영상에서 서로 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00057
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00058
)를 포함하는 것을 특징으로 한다.

Description

영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치{METHOD AND APPARATUS FOR PROVIDING FEATURE INFORMATION OF OBJECT FOR OBJECT RECOGNITION, METHOD AND APPARATUS FOR LEARNING OBJECT RECOGNITION OF IMAGE USING THEREOF}
본 발명은 영상의 객체 인식을 위한 객체 특징 정보를 제공하는 기술 및 그를 이용하여 영상의 객체를 인식하기 위한 학습을 수행하는 기술에 관한 것이다.
근래에 들어 딥러닝(deep-learning)은 얼굴 인식, 전신 인식, 자세 인식, 음성 인식, 객체 인식, 데이터 마이닝 등 다양한 인식에 적용되고 있다.
특히, 영상으로부터 특정 객체를 인식하는 객체 인식과 딥러닝 학습 네트워크를 접목시키는 연구는 다양한 방식으로 활발히 이루어지고 있다.
딥러닝에 의한 객체 인식의 가장 큰 장점은 기존에는 연구자들이 인식을 위해 구축한 최적의 특징(SIFT, LBP, HOG 등) 설계에 많은 노력이 필요했지만 딥러닝은 데이터로부터 자연스러운 특징을 스스로 학습할 수 있어 해당 분야 전문가의 지식이나 응용 분야의 제한을 적게 받는다는 점이다.
이러한 장점에도 불구하고, 딥러닝을 이용한 객체 인식은 여전히 초기 단계여서 인식률이 높지 않으며, 특히 학습된 영상의 객체에 비해 인식 대상 영상의 객체가 일정 비율 이상으로 확대 또는 축소되어 있는 경우 객체에 대한 인식률이 현저히 감소되는 문제가 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 학습된 영상의 객체에 비해 인식 대상 영상의 객체가 일정 비율 이상으로 확대 또는 축소되어 있을지라도 해당 객체에 대한 인식률을 높일 수 있는 방안을 제공하고자 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상의 객체를 인식하기 위한 학습 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부, 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부, 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부 및 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 학습부를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00001
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00002
)를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 영상의 객체를 인식하기 위한 학습 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부, 상기 입력영상의 각 픽셀별로, 상기 상하 방향의 회전 각도(
Figure 112017049035597-pat00003
)를 나타내는 상하회전각도 거리, 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00004
) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부 및 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 학습부를 포함하되, 상기 상하회전각도 거리는 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부, 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부 및 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00005
)와 상하 방향의 회전 각도()를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 장치는 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부 및 상기 입력영상의 각 픽셀별로, 상기 상하 방향의 회전 각도(
Figure 112017049035597-pat00006
)를 나타내는 상하회전각도 거리, 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00007
) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부를 포함하되, 상기 상하회전각도 거리는 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 학습 장치가 영상의 객체를 인식하기 위해 학습하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계, (b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계, (c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계 및 (d) 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 단계를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00008
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00009
)를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 학습 장치가 영상의 객체를 인식하기 위해 학습하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계, (b) 상기 입력영상의 각 픽셀별로, 상기 입력영상의 중심으로부터의 거리, 상기 좌우 방향의 회전 각도(?) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계 및 (c) 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 단계를 포함하되, 상기 입력영상의 중심으로부터 각 픽셀까지의 거리는 구 좌표의 반지름(r)인 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 객체의 특징 정보를 제공하는 장치가 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계, (b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계 및 (c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계를 포함하되, 상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00010
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00011
)를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 다른 실시예에 따른 영상 객체의 특징 정보를 제공하는 장치가 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 방법은 (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계 및 (b) 상기 입력영상의 각 픽셀별로, 상기 상하 방향의 회전 각도(
Figure 112017049035597-pat00012
)를 나타내는 상하회전각도 거리, 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00013
) 및 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계를 포함하되, 상기 상하회전각도 거리는 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 학습된 영상에 비해 인식 대상 영상의 객체가 일정 비율 이상으로 확대 또는 축소되더라도 객체에 대한 인식률을 높일 수 있는 장점이 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 장치의 구성을 도시한 블록도이다.
도3은 본 발명의 일 실시예에 따른 상대 위치 정보를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 학습 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 과정을 도시한 흐름도이다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 변환영상 및 변환영상에 모폴로지 기법을 적용한 영상을 도시한 도면이다.
도 8a 내지 도 8d는 본 발명의 다른 실시예에 따른 변환영상 및 변환영상에 모폴로지 기법을 적용한 영상을 도시한 도면이다.
도 9는 상하회전각도 거리를 변환 영상의 중심으로부터의 거리로 표시한 영상의 일례를 도시한 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 시스템의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 시스템은 객체 특징 정보 제공 장치(100) 및 학습 장치(200)를 포함할 수 있다.
본 발명에서는 영상의 객체에 대한 특징 정보를 추출하기 위해서, 인식 대상인 객체를 포함하는 입력영상을 미리 정해진 비율로 확대 또는 축소한 '사이즈 변경 영상'을 이용하며, 사이즈 변경 영상은 입력영상의 사이즈만 변경된 것이므로, 입력영상의 픽셀 수와 사이즈 변경 영상의 픽셀 수는 동일하다.
각 구성 요소를 간략히 설명하면, 객체 특징 정보 제공 장치(100)는 입력영상의 객체에 대한 특징 정보(이하 '객체 특징 정보'라 칭함)를 추출하여 학습 장치(200)로 제공할 수 있다.
여기서 '객체 특징 정보'는 입력영상의 각 픽셀별 픽셀 값(R, G, B) 및 사이즈 변경 영상의 대응 픽셀에 대한 입력영상의 각 픽셀별 상대 위치 - 좌우 방향의 회전 각도(
Figure 112017049035597-pat00014
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00015
) - 를 포함할 수 있다.
이를 위해 객체 특징 정보 제공 장치(100)는 입력영상이 입력되면, 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하고, 가상의 공간에서 입력영상과 사이즈 변경 영상을 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 입력영상의 각 픽셀별로 상기 객체 특징 정보를 추출할 수 있다.
또한, 객체 특징 정보 제공 장치(100)는 객체 특징 정보를 전술한 바와 같이 입력영상의 각 픽셀별 픽셀 값(R, G, B) 및 사이즈 변경 영상의 대응 픽셀에 대한 입력영상의 각 픽셀별 상대 위치로 제공할 수도 있고, 다른 실시예로서 좌우 방향의 회전 각도(
Figure 112017049035597-pat00016
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00017
)에 대한 픽셀 값의 분포를 나타내는 변환영상으로 제공할 수도 있다.
또 다른 실시예로서, 객체 특징 정보 제공 장치(100)는 상기 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 객체 특정 정보로서 제공할 수 있다.
참고로, 상기 객체 특징 정보는 전술한 바와 같이 객체 특징 정보 제공 장치(100)가 추출하여 학습 장치(200)로 제공할 수도 있고, 학습 장치(200) 내에 객체 특징 정보 제공 장치(100)가 포함되어 상기 객체 특징 정보를 추출할 수도 있다.
한편, 학습 장치(200)는 객체 특징 정보 제공 장치(100)로부터 입력영상의 객체 특정 정보와 객체에 대한 정보(예를 들어 객체의 명칭 등, 이하 '객체의 명칭'이라 칭함)를 제공받을 수 있으며, 객체의 특징 정보를 객체의 명칭과 매칭시켜 입력영상의 객체를 객체의 명칭으로 인식하기 위한 학습을 수행할 수 있다.
다른 실시예로서, 학습 장치(200)가 객체 특징 정보 제공 장치(100)로부터 객체 특징 정보를 제공받지 않고, 입력영상과 객체의 명칭을 입력받아 학습 장치(200) 내에서 객체 특징 정보를 추출하고, 상기 학습을 수행할 수도 있다.
학습 수행이 완료된 후 특정 객체를 다양한 비율로 확대 또는 축소한 영상이 입력되더라도, 학습 장치(200)는 상기 학습 수행 결과에 기초하여 입력 영상에서의 객체 인식률을 높일 수 있다.
참고로 학습 장치(200)는 DNN(Deep Neural Network) 및 CNN(Convolutional Neural Network)과 같은 다양한 종류의 신경망 네트워크를 포함할 수 있으며, 필터링에 의한 특징 추출과 서브 샘플링 과정 등을 통해, 영상의 객체를 인식하기 위한 학습을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 장치(100)의 구성을 도시한 블록도이고, 도 3a, 도3b 및 도 3c는 본 발명의 일 실시예에 따른 상대 위치 정보와 객체 특징 정보를 설명하는 도면이다.
본 발명의 일 실시예에 따른 객체 특징 정보 제공 장치(100)는 영상 입력부(110), 사이즈 변경 영상 생성부(120), 객체 특징 정보 추출부(130), 제어부(140) 및 저장부(150)를 포함할 수 있다.
각 구성 요소를 설명하면, 영상 입력부(110)는 인식할 객체를 포함하는 입력영상과 해당 객체에 대한 정보, 예를 들어 객체의 명칭을 입력받을 수 있다.
한편, 사이즈 변경 영상 생성부(120)는 입력된 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성할 수 있다.
여기서 확대 또는 축소 비율은 사전에 미리 결정될 수 있으며, 실시예에 따라서 다양한 비율로 설정될 수 있다.
한편, 객체 특징 정보 추출부(130)는 입력된 입력영상의 각 픽셀과 사이즈 변경 영상의 각 픽셀간 상대 위치 정보 및 입력된 입력영상의 각 픽셀별 픽셀 값을 추출할 수 있다.
여기서 '상대 위치 정보'는 사이즈 변경 영상의 대응 픽셀에 대한 입력영상의 각 픽셀별 상대 위치 - 좌우 방향의 회전 각도(?)와 상하 방향의 회전 각도(?) - 를 포함할 수 있다.
도 3a는 입력영상의 픽셀과 사이즈 변경 영상의 대응 픽셀을 도시한 것이다.
입력영상과 사이즈 변경 영상은 동일한 픽셀 수를 가지므로 각 픽셀들은 도 3a에 도시된 바와 같이 동일한 위치에서 서로 대응될 수 있다. 즉 a픽셀은 A픽셀과, e픽셀은 E픽셀과, m픽셀은 M픽셀과 각각 대응될 수 있다.
도 3b는 상대 위치 정보 중 좌우 방향의 회전 각도(?)와 상하 방향의 회전 각도(?)를 나타낸 것으로서, 입력영상의 a픽셀과 사이즈 변경 영상의 A픽셀에 대한 상대적 위치를 도시하였다.
객체 특징 정보 추출부(130)는 가상의 공간에서 입력영상과 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 도 3b에 도시된 바와 같이 입력영상의 픽셀을 기준으로 사이즈 변경 영상의 대응 픽셀에 대한 좌우 방향의 회전 각도(
Figure 112017049035597-pat00018
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00019
)를 계산할 수 있다.
그리고 객체 특징 정보 추출부(130)는 입력영상의 각 픽셀별 픽셀 값을 추출할 수 있다.
또한, 객체 특징 정보의 다른 실시예로서, 객체 특징 정보 추출부(130)는 입력영상의 각 픽셀별 좌우 방향의 회전 각도(
Figure 112017049035597-pat00020
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00021
)에 대한 픽셀 값의 분포를 나타내는 변환영상을 객체 특징 정보로서 추출할 수 있다. 예를 들어, 변환영상의 세로축은 좌우 방향의 회전 각도(
Figure 112017049035597-pat00022
)은 가로축은 상하 방향의 회전 각도(
Figure 112017049035597-pat00023
)를 나타내도록 변환영상을 생성할 수 있다. 도 8는 이와 같은 방법으로 생성된 영상을 보여준다.
또한, 객체 특징 정보의 또 다른 실시예로서, 객체 특징 정보 추출부(130)는 상기 변환영상에 모폴로지(morphology) 기법을 적용한 결과(이하 '모폴로지 정보'라 칭함)를 객체 특징 정보로서 추출할 수 있다.
또한, 객체 특징 정보의 또 다른 실시예로서, 객체 특징 정보 추출부(130)는 도 3c에 도시된 바와 같이 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와, 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00024
) 및 각 픽셀별 픽셀 값을 객체 특징 정보로서 추출할 수 있다. 상기 상하회전각도 거리를 r이라 할 때 다음과 식을 사용하여 비선형 변환을 적용할 수 있다.
Figure 112017049035597-pat00025
여기서 p의 값이 0과 1 사이이면 낮은 범위의 r값이 확대되며, p>1이면 낮은 범위의 r값이 압축된다. 도 10는 이러한 방법으로 생성된 변환 영상의 예를 보여 준다.
도 7a 내지 도 8d를 참조하여 후술하겠지만, 변환영상과 모폴로지 정보는 객체의 확대나 축소, 그리고 회전에 대하여 강인한 특성을 가지며, 학습 장치(200)는 입력영상의 객체를 해당 객체의 명칭으로 인식하기 위한 학습을 수행 시, 객체 특징 정보의 이러한 특성을 이용하여 학습함으로써 객체 인식률을 높일 수 있게 된다.
한편, 제어부(140)는 객체 특징 정보 제공 장치(100)의 구성 요소들, 예를 들어 픽셀 정보 획득부(110), 상대 위치 정보 계산부(120) 및 객체 특징 정보 추출부(130)가 전술한 동작을 수행하도록 제어할 수 있으며, 저장부(150) 또한 제어할 수 있다. 또한 제어부는 영상입력부를 통하여 입력 받은 입력영상을 사이즈 변경 영상 생성부, 객체 특징 정보 추출부 등으로 전달할 수 있고, 사이즈 변경 영상 생성부와 객체 특징 정보 추출부의 출력도 필요한 곳에 전달할 수 있다.
한편, 저장부(150)는 제어부(140)가 객체 특징 정보 제공 장치(100)의 구성 요소들을 제어하기 위한 알고리즘 및 해당 알고리즘에 의한 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.
도 4는 본 발명의 일 실시예에 따른 학습 장치(200)의 구성을 도시한 블록도이다.
본 발명의 일 실시예에 따른 학습 장치(200)는 영상 입력부(210), 사이즈 변경 영상 생성부(220), 객체 특징 정보 추출부(230), 학습부(240), 제어부(250) 및 저장부(260)를 포함할 수 있다.
참고로, 실시예에 따라서 객체 특징 정보 제공 장치(100)로부터 학습에 필요한 객체 특징 정보가 제공되는 경우, 영상 입력부(210), 사이즈 변경 영상 생성부(220) 및 객체 특징 정보 추출부(230)는 생략될 수 있다.
각 구성 요소를 설명하면, 영상 입력부(210)는 인식할 객체를 포함하는 입력영상과 해당 객체에 대한 정보, 예를 들어 객체의 명칭을 입력받을 수 있다.
한편, 사이즈 변경 영상 생성부(220)는 입력된 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성할 수 있다.
한편, 객체 특징 정보 추출부(230)는 입력된 입력영상의 각 픽셀과 사이즈 변경 영상의 각 픽셀간 상대 위치 정보 및 입력된 입력영상의 각 픽셀별 픽셀 값을 추출할 수 있으며, 입력영상의 각 픽셀별 상대 위치 정보와 픽셀 값을 객체 특징 정보로서 제공할 수 있다.
객체 특징 정보 추출부(230)는 전술한 바와 같이 입력영상과 사이즈 변경 영상을 이용하여 변환영상이나 모폴로지 정보를 객체 특징 정보로서 추출할 수도 있고, 입력영상만을 이용하여 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00026
) 그리고 각 픽셀별 픽셀 값을 객체 특징 정보로서 추출할 수도 있다.
상기 영상 입력부(210), 사이즈 변경 영상 생성부(220) 및 객체 특징 정보 추출부(230)의 동작은 객체 특징 정보 제공 장치(100)의 영상 입력부(110), 사이즈 변경 영상 생성부(120) 및 객체 특징 정보 추출부(130)와 동일하므로 상세한 설명은 생략하도록 한다.
한편, 학습부(240)는 전술한 입력영상의 객체 특징 정보를 객체의 명칭과 매칭시켜, 입력영상의 객체를 객체의 명칭으로 인식하기 위한 학습을 수행할 수 있다. 앞서 기술한 바와 같이 제어부(250)은 입출력을 공유하게 할 수 있다.
전술한 바와 같이, 객체 특징 정보는 객체의 확대나 축소, 그리고 회전에 대하여 강인한 특성을 가지며, 학습부(240)는 객체 특징 정보의 이러한 특성을 이용하여 학습함으로써 객체 인식률을 높일 수 있게 된다.
도 7a 내지 도 8d의 실제 실험 결과를 통해 이에 대한 내용을 설명하도록 한다.
한편, 제어부(250)는 학습 장치(200)의 구성 요소들, 예를 들어 영상 입력부(210), 사이즈 변경 영상 생성부(220), 객체 특징 정보 추출부(230) 및 학습부(240)가 전술한 동작을 수행하도록 제어할 수 있으며, 저장부(260) 또한 제어할 수 있다.
한편, 저장부(260)는 제어부(250)가 학습 장치(200)의 구성 요소들을 제어하기 위한 알고리즘 및 해당 알고리즘에 의한 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.
도 5는 본 발명의 일 실시예에 따른 객체 특징 정보 제공 과정을 도시한 흐름도이다.
도 5의 흐름도는 도 2에 도시된 객체 특징 정보 제공 장치(100)에 의해 수행될 수 있다.
먼저, 객체 특징 정보 제공 장치(100)는 인식할 객체를 포함하는 입력영상과 입력영상의 객체에 대한 정보로서 객체 명칭을 입력받는다(S501).
S501 후, 객체 특징 정보 제공 장치(100)는 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성한다(S502).
S502 후, 객체 특징 정보 제공 장치(100)는 입력영상의 각 픽셀별 상대 위치 정보와 픽셀 값을 포함하는 객체 특징 정보를 추출한다(S503).
여기서 객체 특징 정보는 실시예에 따라서 전술한 변환영상 또는 모폴로지 정보를 이용하거나, 상대 위치 정보를 대신하여 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00027
)를 이용할 수 있다.
S503 후, 객체 특징 정보 제공 장치(100)는 추출된 입력영상의 객체 특징 정보를 학습 장치(200)로 제공한다(S504).
도 6은 본 발명의 일 실시예에 따른 객체를 인식하기 위한 학습 과정을 도시한 흐름도이다.
도 6의 흐름도는 학습 장치(200)에 의해 수행될 수 있다.
먼저, 학습 장치(200)는 인식할 객체를 포함하는 입력영상과 입력영상의 객체에 대한 정보로서 객체 명칭을 입력받는다(S601).
S601 후, 학습 장치(200)는 입력영상을 미리 전해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성한다(S602).
S602 후, 학습 장치(200)는 입력영상의 각 픽셀별 상대 위치 정보와 픽셀 값을 포함하는 객체 특징 정보를 추출한다(S603)
여기서 객체 특징 정보는 실시예에 따라서 전술한 변환영상 또는 모폴로지 정보를 이용하거나, 상대 위치 정보를 대신하여 상기 상하 방향의 회전 각도(θ)를 나타내는 상하회전각도 거리와 상기 좌우 방향의 회전 각도(
Figure 112017049035597-pat00028
)를 이용할 수 있다.
S603 후, 학습 장치(200)는 입력영상의 객체 특징 정보와 객체의 명칭을 매칭시켜, 입력영상의 객체를 객체의 명칭으로 인식하는 학습을 수행한다(S604).
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 변환영상 및 모폴로지 정보를 도시한 도면이다.
도 7a 및 도 7b에서, 입력영상의 객체는 숫자 '0'이고, 입력영상 객체를 1.5배, 2배 및 2.5배로 각각 확대하였다.
구체적으로, (a)는 입력영상의 객체, 즉 숫자 0에 대한 입력영상의 각 픽셀별 좌우 방향의 회전 각도(
Figure 112017049035597-pat00029
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00030
)에 대한 픽셀 값의 분포를 나타내는 변환영상 및 모폴로지 정보이다.
(b)는 입력영상의 객체를 1.5배로 확대한 영상의 변환영상 및 모폴로지 정보이고, (c)는 입력영상의 객체를 2배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보이며, (d)는 입력영상의 객체를 2.5배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보이다.
도 7a 및 도 7b의 (a), (b), (c) 및 (d)에서, 변환영상 및 모폴로지 정보는 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 모두 유사한 형태를 가지는 사이즈 강인한 특성이 있음을 확인할 수 있다.
본 발명의 학습 장치(200)는 이러한 특성을 가지는 객체 특징 정보를 이용하여 영상의 객체를 객체에 대한 정보(예를 들어 객체의 명칭 등)로 인식하도록 하는 학습을 수행함으로써, 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 객체의 인식률을 높일 수 있다.
도 7c 및 도 7d는 입력영상의 객체를 90˚부터 270˚까지 회전한 변환영상 및 모폴로지 정보를 도시한 것으로서, 영상의 객체를 회전시키는 경우에도 변환영상 및 모폴로지 정보가 모두 유사한 형태를 유지하는 것을 확인할 수 있다.
도 8a 내지 도 8d는 본 발명의 다른 실시예에 따른 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보를 도시한 도면이다.
도 8a 및 도 8b에서, 입력영상의 객체는 숫자 '1'이고, 입력영상의 객체를 1.5배, 2배 및 2.5배로 각각 확대하였다.
구체적으로, (a)는 입력영상의 객체, 즉 숫자 1에 대한 입력영상의 각 픽셀별 좌우 방향의 회전 각도(
Figure 112017049035597-pat00031
)와 상하 방향의 회전 각도(
Figure 112017049035597-pat00032
)에 대한 픽셀 값의 분포를 나타내는 변환영상 및 모폴로지 정보이다.
(b)는 입력영상의 객체를 1.5배로 확대한 영상의 변환영상 및 모폴로지 정보이고, (c)는 입력영상의 객체를 2배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 정보이며, (d)는 입력영상의 객체를 2.5배로 확대한 영상의 변환영상 및 변환영상에 모폴로지 기법을 적용한 영상이다.
도 8a 및 도 8b의 (a), (b), (c) 및 (d)에서, 변환영상 및 모폴로지 정보는 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 모두 유사한 형태를 가지는 사이즈 강인한 특성이 있음을 확인할 수 있다.
따라서 본 발명의 일 실시예에 따른 학습 장치(200)는 객체 특징 정보의 사이즈 강인한 특성을 이용하여 영상의 객체를 객체에 대한 정보(예를 들어 객체의 명칭 등)로 인식하도록 하는 학습을 수행함으로써, 영상의 객체를 특정 비율로 확대 또는 축소시키더라도 객체의 인식률을 높일 수 있다
참고로 도 7a 및 도 7b의 입력영상의 객체인 숫자 0과 비교하면, 도 8a의 입력영상의 객체인 숫자 '1'은 숫자 0과 변환영상 및 모폴로지 정보가 모두 다른 형태로 존재함을 알 수 있다.
도 8c 및 도 8d는 입력영상의 객체를 90˚부터 270˚까지 회전한 상태의 변환영상 및 모폴로지 정보를 도시한 것으로서, 영상의 객체를 회전시키는 경우에도 변환영상 및 모폴로지 정보가 모두 유사한 형태를 가지는 것을 확인할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 객체 특징 정보 제공 장치
110 : 영상 입력부
120 : 사이즈 변경 영상 생성부
130 : 객체 특징 정보 추출부
140 : 제어부
150 : 저장부
200 : 학습 장치
210 : 영상 입력부
220 : 사이즈 변경 영상 생성부
230 : 객체 특징 정보 추출부
240 : 학습부
250 : 제어부
260 : 저장부

Claims (17)

  1. 영상의 객체를 인식하기 위한 학습 장치에 있어서,
    인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부;
    상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부;
    가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부; 및
    상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 학습부
    를 포함하되,
    상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00033
    )와 상하 방향의 회전 각도(
    Figure 112017049035597-pat00034
    )를 포함하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
  2. 제1 항에 있어서,
    상기 객체 특징 정보 추출부는
    상기 좌우 방향의 회전 각도(
    Figure 112019014213083-pat00035
    )와 상하 방향의 회전 각도(
    Figure 112019014213083-pat00036
    )에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
  3. 제1 항에 있어서,
    상기 객체 특징 정보 추출부는
    상기 좌우 방향의 회전 각도(
    Figure 112019014213083-pat00037
    )와 상기 상하 방향의 회전 각도(
    Figure 112019014213083-pat00038
    )를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
  4. 제2 항에 있어서,
    상기 객체 특징 정보 추출부는
    상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 장치.
  5. 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 장치에 있어서,
    인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 영상 입력부;
    상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 사이즈 변경 영상 생성부; 및
    가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 객체 특징 정보 추출부
    를 포함하되,
    상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00039
    )와 상하 방향의 회전 각도(
    Figure 112017049035597-pat00040
    )를 포함하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
  6. 제5 항에 있어서,
    상기 객체 특징 정보 추출부는
    상기 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00041
    )와 상하 방향의 회전 각도(
    Figure 112017049035597-pat00042
    )에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
  7. 제5 항에 있어서,
    상기 객체 특징 정보 추출부는
    상기 좌우 방향의 회전 각도(
    Figure 112019014213083-pat00043
    )와 상기 상하 방향의 회전 각도(
    Figure 112019014213083-pat00044
    )를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
  8. 제6 항에 있어서,
    상기 객체 특징 정보 추출부는
    상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 장치.
  9. 학습 장치가 영상의 객체를 인식하기 위해 학습하는 방법에 있어서,
    (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계;
    (b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계;
    (c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계; 및
    (d) 상기 추출된 객체의 특징 정보를 이용하여 객체를 인식하는 학습을 수행하는 단계
    를 포함하되,
    상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00045
    )와 상하 방향의 회전 각도(
    Figure 112017049035597-pat00046
    )를 포함하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
  10. 제9 항에 있어서,
    상기 (c) 단계는
    상기 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00047
    )와 상하 방향의 회전 각도(
    Figure 112017049035597-pat00048
    )에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
  11. 제9 항에 있어서,
    상기 (c) 단계는
    상기 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00049
    )와 상기 상하 방향의 회전 각도(
    Figure 112017049035597-pat00050
    )를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
  12. 제10 항에 있어서,
    상기 (c) 단계는
    상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상의 객체를 인식하기 위한 학습 방법.
  13. 영상 객체의 특징 정보를 제공하는 장치가 영상의 객체를 인식하기 위한 학습을 위해 상기 객체의 특징 정보를 제공하는 방법에 있어서,
    (a) 인식할 객체를 포함하는 입력영상과 상기 객체에 대한 정보를 입력받는 단계;
    (b) 상기 입력된 입력영상을 미리 정해진 비율로 확대 또는 축소한 사이즈 변경 영상을 생성하는 단계; 및
    (c) 가상의 공간에서 상기 입력영상과 상기 사이즈 변경 영상을 영상 평면의 수직 방향에서 미리 정해진 거리(d)로 배치하고, 상기 사이즈 변경 영상의 각 픽셀에 대한 상기 입력영상의 각 픽셀별 상대 위치 및 상기 입력영상의 각 픽셀별 픽셀 값을 상기 객체의 특징 정보로서 추출하는 단계
    를 포함하되,
    상기 입력영상의 각 픽셀별 상대 위치는 상기 사이즈 변경 영상에서 대응되는 픽셀에 대한 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00051
    )와 상하 방향의 회전 각도(
    Figure 112017049035597-pat00052
    )를 포함하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
  14. 제13 항에 있어서,
    상기 (c) 단계는
    상기 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00053
    )와 상하 방향의 회전 각도(
    Figure 112017049035597-pat00054
    )에 대한 상기 각 픽셀 값의 분포를 나타내는 변환영상을 생성하고, 상기 생성된 변환영상을 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
  15. 제13 항에 있어서,
    상기 (c) 단계는
    상기 좌우 방향의 회전 각도(
    Figure 112017049035597-pat00055
    )와 상기 상하 방향의 회전 각도(
    Figure 112017049035597-pat00056
    )를 나타내는 상하회전각도 거리를 분포를 나타내는 변환영상을 생성하되 상기 상하회전각도 거리는 상기 변환 영상의 중심으로부터의 거리로 표시되는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
  16. 제14 항에 있어서,
    상기 (c) 단계는
    상기 생성된 변환영상에 모폴로지(morphology) 기법을 적용한 정보를 상기 객체의 특징 정보로 추출하는 것을 특징으로 하는 영상 객체의 특징 정보를 제공하는 방법.
  17. 제9 항 내지 제16 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.



KR1020170063367A 2017-05-23 2017-05-23 영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치 KR101965058B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170063367A KR101965058B1 (ko) 2017-05-23 2017-05-23 영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170063367A KR101965058B1 (ko) 2017-05-23 2017-05-23 영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치

Publications (2)

Publication Number Publication Date
KR20180128182A KR20180128182A (ko) 2018-12-03
KR101965058B1 true KR101965058B1 (ko) 2019-04-02

Family

ID=64743204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063367A KR101965058B1 (ko) 2017-05-23 2017-05-23 영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치

Country Status (1)

Country Link
KR (1) KR101965058B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650597B2 (en) 2019-07-09 2023-05-16 Samsung Electronics Co., Ltd. Electronic apparatus for identifying object through warped image and control method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540193B1 (ko) * 2019-02-26 2023-06-07 주식회사 모바이 오브젝트 인식 시스템 및 그 방법
KR102343439B1 (ko) * 2021-06-24 2021-12-27 주식회사 포스로직 바코드 영역 검출 방법 및 이러한 방법을 수행하는 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101733288B1 (ko) * 2015-06-16 2017-05-08 중앙대학교 산학협력단 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rim, Junho, and Chulhee Lee. "Size and rotation invariant alphabet recognition." Unmanned Systems Technology XIX. Vol. 10195. International Society for Optics and Photonics, 2017.5.5.
Youn, Sungwook, et al. Remote logo detection using angle-distance histograms. Remotely Sensed Data Compression, Communications, and Processing XII. International Society for Optics and Photonics,2016.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650597B2 (en) 2019-07-09 2023-05-16 Samsung Electronics Co., Ltd. Electronic apparatus for identifying object through warped image and control method thereof

Also Published As

Publication number Publication date
KR20180128182A (ko) 2018-12-03

Similar Documents

Publication Publication Date Title
JP6970305B2 (ja) 顔姿勢解析方法、装置、デバイス、記憶媒体及びプログラム
CN110062934B (zh) 使用神经网络确定图像中的结构和运动
JP4799105B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
JP4799104B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
CN110622177B (zh) 实例分割
US10332312B2 (en) Shape prediction model compression for face alignment
US8861800B2 (en) Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
KR101965058B1 (ko) 영상의 객체 인식을 위한 객체 특징 정보 제공 방법, 장치 및 그를 이용하여 영상의 객체를 인식하기 위한 학습 방법, 장치
KR102410907B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20220088397A (ko) 영상 처리 장치 및 그 영상 처리 방법
KR20190117838A (ko) 객체 인식 시스템 및 그 방법
KR102493492B1 (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
EP3881278A1 (en) Method of modifying digital images
EP3340109B1 (en) Shape prediction for face alignment
US10019651B1 (en) Robust shape prediction for face alignment
Jung et al. Learning free-form deformation for 3D face reconstruction from in-the-wild images
JP2007141107A (ja) 画像処理装置およびその方法
JP2019191973A (ja) 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法
US20230209087A1 (en) Method and device for improving video quality
Wu et al. PMC-GANs: Generating multi-scale high-quality pedestrian with multimodal cascaded GANs
CN117255998A (zh) 使用空间和时间上的注意力对来自视频序列的对象表示的无监督学习
EP3992903A1 (en) Image processing method, apparatus, and device
JP2016040731A (ja) 画像検索装置、画像検索方法及びプログラム
US20230377093A1 (en) Techniques for resampling images
JP5719277B2 (ja) 物体座標系変換行列推定成否判定装置および物体座標系変換行列推定成否判定方法ならびにそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant