KR102279026B1

KR102279026B1 - 적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법

Info

Publication number: KR102279026B1
Application number: KR1020140154728A
Authority: KR
Inventors: 최명규; 강태훈; 송원석
Original assignee: 삼성전자주식회사
Priority date: 2014-11-07
Filing date: 2014-11-07
Publication date: 2021-07-19
Also published as: CN105590298B; CN105590298A; US20160132744A1; KR20160055005A; US9384405B2

Abstract

본 발명의 일 실시예에 따라, 적어도 하나의 객체를 포함하는 영상으로부터 객체의 영역을 검출하고, 객체의 영역의 경계와 교차하는 지점의 수에 기초하여 검출된 영역의 경계를 근사하는 복수의 제1 직선들을 정의하고, 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 제1 영상 데이터를 추출하고, 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 프로세서 및 제2 영상 데이터를 저장하는 저장부를 포함하는 영상 처리 장치가 제공된다. 또한 본 발명의 일 실시예에 따라 디스플레이부, 영상으로부터 복수의 객체에 대한 영역을 검출하고, 영역 각각의 경계와 교차하는 지점의 수에 기초하여 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하고, 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 디스플레이부에 표시하고, 제1 다각형에 포함되는 적어도 하나의 다각형인 제2 다각형을 선택하고, 선택에 기초하여 제1 영상 데이터를 추출하고, 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 프로세서 및 제2 영상 데이터를 저장하는 저장부를 포함하는 영상 처리 장치가 제공된다.

Description

적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법{Apparatus and Method for Providing Image of Detecting and Compensating Image Including at least One of Object}

본 발명의 실시예들은 객체가 포함된 영상에서 객체를 추출하고 보정하는 영상처리 방법을 수행하기 위한 방법 및 장치에 관한 것이다.

촬영 기술이 발달함에 따라 어떤 사물을 촬영하여 저장 매체에 파일로 저장하려는 기술이 개발되고 있다. 이러한 기술들은 평면에서 기울기를 보정하는 효과가 있거나, 원근감 있는 영상에서 객체를 추출하여 원근감이 없는 평면에 대한 영상으로 변환하여 저장할 수 있도록 함으로써 마치 추출된 객체를 정면에서 수직으로 내려다보는 것처럼 디스플레이 상에 표시되도록 한다. 특히 문서의 경우 스캐너를 이용하여 문서를 디지털 데이터로 변환하여 저장할 수 있으나, 스캐너의 경우 부피가 크고 이동성이 떨어진다는 점에서, 영상 촬영이 가능한 모바일 디바이스를 사용하여 문서 등을 촬영하고 영상 처리를 함으로써 스캔한 것과 유사한 디지털 데이터를 생성할 수 있게 되었다. 그러나, 객체만을 배경으로부터 분리하여 추출하는 과정에서, 추출하려는 객체 형태가 직사각형 형태와 유사하지만, 객체의 일부가 손상되거나 꼭지점의 형태가 직각이 아닌 경우 등에 있어서는 객체의 경계를 분명하게 추출하기 힘들다.

본 발명의 실시예들은, 추출하고자 하는 객체가 불완전한 사각형의 형태인 경우라도 객체를 정확히 추출하여 객체의 형태를 직사각형에 대응하는 영상으로 변환하여 저장할 수 있도록 하기 위한 것이다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 영상으로부터 객체의 영역을 검출하고, 객체의 영역의 경계와 교차하는 지점의 수에 기초하여 검출된 영역의 경계를 근사하는 복수의 제1 직선들을 정의하고, 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 제1 영상 데이터를 추출하고, 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 프로세서 및 제2 영상 데이터를 저장하는 저장부를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 복수의 제1 직선들은 검출된 영역에 대응하는 다각형의 모서리에 대응되고, 복수의 제1 직선들 각각이 객체의 경계와 교차하는 지점의 수가 최대가 되도록 정의하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 복수의 제1 교차점들 각각의 주변의 제1 영역을 설정하고, 제1 영역의 영상 데이터의 픽셀 값을 양자화 하고, 양자화 한 제1 영역의 영상 데이터 상에서 해당 제1 영역의 제1 교차점을, 객체의 중심을 기준으로 최외곽의 꼭지점으로 보정하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 보정된 복수의 제1 교차점들을 꼭지점으로 하는 다각형에 대응하는 영역의 제1 영상 데이터를 추출하고, 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 영상으로부터 복수의 객체가 검출된 경우, 복수의 객체 각각의 영역을 검출하고, 복수의 객체의 영역 각각의 경계와 교차하는 지점의 수에 기초하여 검출된 복수의 객체의 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하고, 검출된 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 복수의 제1 영상 데이터를 추출하고, 검출된 복수의 객체 각각의 영역에 대응하여 추출된 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 생성된 복수의 제2 영상 데이터를 별개의 파일로 생성하여 저장부에 저장하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 생성된 복수의 제2 영상 데이터에 대응하는 영상을 포함하는 하나의 파일로 생성하여 저장부에 저장하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 제1 영상 데이터 중 가장 큰 다각형 영역에 대응하는 영상 데이터를 추출하여 왜곡을 보정한 제2 영상 데이터를 저장하도록 저장부를 제어하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 검출된 복수의 객체의 종류를 판단하고, 판단된 종류가 동일한 경우, 종류가 동일한 복수의 객체에 대응하는 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하고, 복수의 제2 영상 데이터의 해상도를 동일하게 변환하여 저장부에 저장하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 입력 신호를 수신할 수 있는 수신부를 더 포함하고, 복수의 제2 영상 데이터 중, 수신부를 통해 수신된 입력 신호에 기초하여 선택한 적어도 하나의 제2 영상 데이터를 생성하여 저장부에 저장하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 복수의 객체를 포함하는 영상을 처리하는 영상 처리 장치는, 디스플레이부, 영상으로부터 복수의 객체에 대한 영역을 검출하고, 영역 각각의 경계와 교차하는 지점의 수에 기초하여 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하고, 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 디스플레이부에 표시하고, 제1 다각형에 포함되는 적어도 하나의 다각형인 제2 다각형을 선택하고, 선택에 기초하여 제1 영상 데이터를 추출하고, 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 프로세서 및 제2 영상 데이터를 저장하는 저장부를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는, 제1 다각형의 크기, 왜곡 정도, 화면 중앙으로부터의 거리 및 영상 처리 장치로부터의 거리 중 적어도 하나에 기초하여 제2 다각형을 선택하고, 제1 다각형 중 제2 다각형을 제외한 다각형과 다르게 제2 다각형을 표시하도록 디스플레이부를 제어하고, 제2 다각형에 대하여 제1 영상 데이터를 추출하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는, 외부 입력을 수신하는 수신부를 더 포함하고, 외부 입력에 기초하여 제2 다각형을 선택할 수 있는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는, 외부 입력에 기초하여 제2 다각형 이외의 다각형인 제3 다각형만을 표시하도록 디스플레이부를 제어하고 제3 다각형에 대한 제1 영상 데이터를 추출하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는, 제1 다각형 중 제2 다각형 이외의 다각형과 다르게 제2 다각형을 표시하도록 디스플레이부를 제어하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는, 제2 영상 데이터에 대응하는 썸네일 이미지를 표시하도록 디스플레이부를 제어하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법은, 영상으로부터 객체의 영역을 검출하는 단계, 객체의 영역의 경계와 교차하는 지점의 수에 기초하여 검출된 영역의 경계를 근사하는 복수의 제1 직선들을 정의하는 단계, 복수의 제1 직선들의 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 제1 영상 데이터를 추출하는 단계, 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 단계 및 제2 영상 데이터를 저장하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 복수의 제1 직선을 정의하는 단계는, 복수의 제1 직선들은 검출된 영역에 대응하는 다각형의 모서리에 대응되는 것을 특징으로 하고, 복수의 제1 직선들 각각이 객체의 경계와 교차하는 지점의 수가 최대가 되도록 정의하는 것을 특징으로 하는 복수의 제1 직선을 정의하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 제1 영상 데이터를 추출하는 단계는, 복수의 제1 교차점들 각각의 주변의 제1 영역을 설정하는 단계, 제1 영역의 영상 데이터의 픽셀 값을 양자화 하는 단계 및 양자화 한 제1 영역의 영상 데이터 상에서 해당 제1 영역의 제1 교차점을, 객체의 중심을 기준으로 최외곽의 꼭지점으로 보정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 제1 영상 데이터를 추출하는 단계는, 보정된 복수의 제1 교차점들을 꼭지점으로 하는 다각형에 대응하는 영역의 제1 영상 데이터를 추출할 수 있고, 제2 영상 데이터를 생성하는 단계는 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 객체의 영역을 검출하는 단계는, 객체가 복수개인 경우 복수의 객체 각각의 영역을 검출하는 단계를 포함할 수 있고, 복수의 제1 직선들을 정의하는 단계는, 복수의 객체의 영역 각각의 경계와 교차하는 지점의 수에 기초하여 검출된 복수의 객체의 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하는 단계를 포함할 수 있고, 제1 영상 데이터를 추출하는 단계는, 검출된 복수의 객체의 영역 각각에 대응하는 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 복수의 제1 영상 데이터를 추출하는 단계를 포함할 수 있고, 제2 영상 데이터를 생성하는 단계는, 검출된 복수의 객체의 영역 각각에 대응하여 추출된 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 복수의 제2 영상 데이터를 생성하는 단계는, 생성된 복수의 제2 영상 데이터를 별개의 파일로 저장하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 제2 영상 데이터를 생성하는 단계는, 생성된 복수의 제2 영상 데이터에 대응하는 영상을 포함하는 하나의 파일로 생성하여 저장하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 복수의 제2 영상 데이터를 생성하는 단계는 제1 영상 데이터 중 가장 큰 다각형 영역에 대응하는 영상 데이터를 추출하여 왜곡을 보정한 제2 영상 데이터를 저장하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 복수의 제2 영상 데이터를 생성하는 단계는, 검출된 복수의 객체의 종류를 판단하는 단계, 판단된 종류가 동일한 경우, 종류가 동일한 복수의 객체에 대응하는 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하는 단계, 복수의 제2 영상 데이터의 해상도를 동일하게 변환하는 단계 및 변환된 복수의 제2 영상 데이터를 저장하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 것으로서, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에서, 입력 신호를 수신하는 단계; 및

생성된 복수의 제2 영상 데이터 중, 수신된 입력 신호에 기초하여 선택한 적어도 하나의 제2 영상 데이터를 저장하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 복수의 객체를 포함하는 영상을 처리하는 영상 처리 방법은 영상으로부터 복수의 객체에 대한 영역을 검출하는 단계, 영역 각각의 경계와 교차하는 지점의 수에 기초하여 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하는 단계, 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 표시하는 단계, 외부 입력을 수신하는 단계, 외부 입력에 기초하여 제1 다각형에 포함되는 적어도 하나의 제2 다각형을 선택하고, 선택에 기초하여 제1 영상 데이터를 추출하는 단계, 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 단계, 제2 영상 데이터를 저장하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는 제1 다각형의 크기, 왜곡 정도, 화면 중앙으로부터의 거리 및 영상 처리 장치로부터의 거리 중 적어도 하나에 기초하여 제2 다각형을 선택하고, 제1 다각형 중 제2 다각형을 제외한 다각형과 다르게 제2 다각형을 표시하도록 디스플레이부를 제어하고, 제2 다각형에 대하여만 제1 영상 데이터를 추출하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는 외부 입력을 수신하는 수신부를 더 포함하고, 외부 입력에 기초하여 제2 다각형을 선택하는 것을 특징으로 하는 프로세서를 포함할 수 있다..

본 발명의 일 실시예에 따른 영상 처리 장치는 제1 다각형 중 제2 다각형을 제외한 적어도 하나의 다각형인 제3 다각형만을 표시하도록 디스플레이부를 제어하고, 제3 다각형에 대한 제1 영상 데이터를 추출하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는 적어도 하나의 제2 다각형을, 제1 다각형 중 적어도 하나의 제2 다각형 이외의 다각형과 다르게 표시하도록 디스플레이부를 제어하고, 제2 대각형에 대한 제1 영상 데이터를 추출하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 처리 장치는 제2 영상 데이터에 대응하는 썸네일 이미지를 표시하도록 디스플레이부를 제어하는 것을 특징으로 하는 프로세서를 포함할 수 있다.

본 발명의 일 실시예의 다른 측면에 따르면, 적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독 가능 기록 매체가 제공된다.

본 발명의 일 실시예를 이용함으로써, 생성할 직사각형 형태의 영상의 꼭지점에 대한 부분이 객체의 영역뿐만 아니라 객체 영역의 경계가 아닌 곳에서도 형성될 수 있음으로써, 추출하고자 하는 객체가 불완전한 사각형의 형태인 경우라도 객체를 정확히 추출하여 객체에 대한 영상 데이터의 많은 부분을 추출하고 추출된 영상 데이터를 직사각형에 대응하는 영상으로 변환하여 저장할 수 있다.

도 1은 본 발명의 일 실시예에 따른 것으로서, 영상을 처리할 수 있는 일반적인 영상 처리 장치의 구조를 설명하기 위한 블록도 이다.
도 2는 본 발명의 일 실시예에 따른 것으로서, 영상 처리 장치(200)의 구성요소 간의 관계를 나타낸 블록도 이다.
도 3은 본 발명의 일 실시예에 따른 것으로서, 객체를 포함하는 영상을 처리하기 위한 영상 처리 방법에 대한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 것으로서, 영상 데이터 생성을 위해 객체의 영역을 검출하는 과정을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 것으로서, 영상 데이터 생성을 위해 검출된 객체의 영역을 구성하는 직선을 정의하고 그 교차점을 검출하는 과정을 도시화 한 것이다.
도 6은 객체를 검출하는 과정에서 생길 수 있는 문제점을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 것으로서, 정의된 복수의 직선이 교차하는 꼭지점을 기초로 객체의 영역에 대한 영상 데이터를 생성하는 과정을 도시화 한 것이다.
도 8은 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 구성하는 점을 간략하게 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 근사하는 제1 직선들을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 근사하는 제1 직선들의 교차점을 보정하는 과정에 대한 흐름도 이다.
도 11은 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 근사하는 제1 직선들의 교차점을 보정하는 방법을 도시화 한 것이다.
도 12는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우에 복수의 객체에 대한 영상 데이터를 생성하는 과정에 대한 흐름도 이다.
도 13은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역의 경계를 근사하는 복수개의 제1 직선의 교차점을 검출하는 것을 도시화 한 것이다.
도 14는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역에 대한 영상 데이터를 별개의 파일로 생성하여 저장하는 것을 도시화 한 것이다.
도 15는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역에 대한 영상 데이터를 포함하는 하나의 영상 데이터를 생성하여 저장하는 것을 도시화 한 것이다.
도 16은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역에 대한 영상 데이터 중 가장 큰 영상 데이터만을 생성하여 저정하는 것을 도시화 한 것이다.
도 17은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하여, 종류가 동일한 객체에 대응하는 영역에 대한 영상 데이터는 동일한 해상도로 변환하여 저장하는 과정에 대한 흐름도 이다.
도 18는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하고, 종류가 동일한 객체의 영역에 대한 영상 데이터를 동일한 해상도로 변환하여 별개의 파일로 저장하는 것을 도시화 한 것이다.
도 19는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하여, 종류가 동일한 객체에 대응하는 영역에 대한 영상 데이터는 동일한 해상도로 변환하여 하나의 파일로 저장하는 것을 도시화 한 것이다.
도 20은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하여, 종류가 동일한 객체의 영역에 대한 복수의 제2 영상 데이터를 동일한 해상도로 변환하고, 변환된 제2 영상 데이터들을 객체의 종류에 기초하여 종류마다 별개의 파일로 저장하는 것을 도시화 한 것이다.
도 21은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우에 복수의 객체에 대한 영상 데이터 중 선택된 영상 데이터에 대하여만 저장하는 것을 도시화 한 것이다.
도 22는 본 발명의 일 실시예에 따른 것으로서, 영상에 포함된 복수의 객체의 영역을 검출하여 왜곡을 보정할 수 있는 영상 처리 장치에 대한 블록도 이다.
도 23은 본 발명의 일 실시예에 따른 것으로서, 영상에 포함된 복수의 객체 중 일부를 선택하고, 선택 결과에 기초하여 영상 데이터를 생성하는 방법에 대한 흐름도 이다.
도 24는 본 발명의 일 실시예에 따른 것으로서, 영상에 복수의 객체가 포함된 경우 복수의 객체에 대한 영역의 윤곽선에 대응하는 다각형을 검출하는 과정을 도시화 한 것이다.
도 25은 본 발명의 일 실시예에 따른 것으로서, 객체에 대한 영역의 윤곽선에 대응하는 다각형을 검출한 후, 검출한 다각형 중 일부를 선택하여 선택된 다각형을 표시하지 않는 과정을 도시화 한 것이다.
도 26은 본 발명의 일 실시예에 따른 것으로서, 객체에 대한 영역의 윤곽선에 대응하는 다각형을 검출한 후, 검출한 다각형 중 일부를 선택하여 선택된 다각형을 선택되지 않은 다각형과 다르게 표시하는 과정을 도시화 한 것이다.
도 27은 본 발명의 일 실시예에 따른 것으로서,
도 28는 본 발명의 일 실시예에 따른 것으로서, 객체에 대한 영역의 윤곽선에 대응하는 다각형을 검출한 후, 검출된 다각형 중 메인이 되는 다각형을 결정하여 표시하는 과정을 도시화 한 것이다.
도 29은 본 발명의 일 실시예에 따른 것으로서, 객체에 대한 영역의 윤곽선에 대응하는 다각형을 검출한 후, 검출한 다각형에 대응하는 영상 데이터의 왜곡을 보정한 썸네일 이미지를 표시한 도면이다.
도 30은 본 발명의 일 실시예에 따른 것으로서, 미리 결정된 기준에 기초하 영상 처리 장치의 프로세서가 제1 다각형 중 영상 데이터를 추출할 제2 다각형을 선택하는 과정을 도시화 한 것이다.
도 31은 본 발명의 일 실시예에 따른 것으로서, 영상 처리 장치의 프로세서가 추출한 제1 다각형에 대응하는 제2 영상 데이터의 썸네일 이미지를 디스플레이부에 표시한 도면이다.
도 32는 본 발명의 일 실시예로서, 영상 처리 장치의 프로세서가 수신한 외부 입력에 기초하여 제2 영상 데이터를 생성하고 생성된 제2 영상 데이터의 썸네일 이미지를 디스플레이부에 표시한 도면이다.
도 33은 본 발명의 일 실시예로서, 영상 처리 장치의 프로세서가 수신한 외부 입력에 기초하여 제2 영상 데이터를 생성하고 생성된 제2 영상 데이터의 썸네일 이미지를 디스플레이부에 표시한 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서의 단수의 표현은, 문맥상 특별히 다르게 뜻하지 않는 한 복수의 표현을 표현하는 것으로 해석될 수 있다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 것으로서 영상 처리 장치(100)를 설명하기 위한 도면이다. 영상 처리 장치(100)는 디스플레이부(110), 프로세서(170), 저장부(120), GPS 칩(125), 통신부(130), 비디오 프로세서(135), 오디오 프로세서(140), 사용자 입력부(145), 마이크부(150), 촬상부(155), 스피커부(160), 움직임 감지부(165) 중 적어도 하나를 포함 할 수 있다. 디스플레이부(110)는 표시패널(111) 및 표시 패널(111)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(111)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(111)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(110)는 사용자 입력부(145)의 터치 패널(147)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(111)과 터치 패널(147)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.

저장부(120)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.

내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(170)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 프로세서(170)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.

외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.

저장부(120)는 영상 처리 장치(100)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 저장부(120)에는 잠금 화면에 표시될 컨텐츠의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다.

프로세서(170)는 저장부(120)에 저장된 컨텐츠의 일부가 디스플레이부(110)에 표시되도록 디스플레이부(110)를 제어할 수 있다. 다시 말하자면, 프로세서(170)는 저장부(120)에 저장된 컨텐츠의 일부를 디스플레이부(110)에 표시할 수 있다.

프로세서(170)는 RAM(171), ROM(172), CPU(173), GPU(Graphic Processing Unit)(174) 및 버스(175) 중 적어도 하나를 포함 할 수 있다. RAM(171), ROM(172), CPU(173) 및 GPU(174) 등은 버스(175)를 통해 서로 연결될 수 있다.

CPU(173)는 저장부(120)에 액세스하여, 저장부(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

ROM(172)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 영상 처리 장치(100)는 턴온 명령이 입력되어 전원이 공급되면, CPU(173)가 ROM(172)에 저장된 명령어에 따라 저장부(120)에 저장된 OS를 RAM(171)에 복사하고, OS를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(173)는 저장부(120)에 저장된 각종 프로그램을 RAM(171)에 복사하고, RAM(171)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(174)는 영상 처리 장치(100)의 부팅이 완료되면, 디스플레이부(110)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(174)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(174)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(174)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(174)에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이부(110)의 각 영역에 각각 표시될 수 있다.

GPS 칩(125)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 영상 처리 장치(100)의 현재 위치를 산출할 수 있다. 프로세서(170)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(125)을 이용하여 사용자 위치를 산출할 수 있다.

통신부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(131), 블루투스 칩(132), 무선 통신 칩(133), NFC 칩(134) 중 적어도 하나를 포함할 수 있다. 프로세서(170)는 통신부(130)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.

와이파이 칩(131), 블루투스 칩(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(131)이나 블루투스 칩(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(133)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.

비디오 프로세서(135)는 통신부(130)를 통해 수신된 컨텐츠 또는, 저장부(120)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(135)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

오디오 프로세서(140)는 통신부(130)를 통해 수신된 컨텐츠 또는, 저장부(120)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(140)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.

프로세서(170)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(135) 및 오디오 프로세서(140)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(160)는 오디오 프로세서(140)에서 생성한 오디오 데이터를 출력할 수 있다.

사용자 입력부(145)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(145)는 키(146), 터치 패널(147) 및 펜 인식 패널(148) 중 적어도 하나를 포함할 수 있다.

키(146)는 영상 처리 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.

터치 패널(147)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(147)이 표시 패널(111)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.

펜 인식 패널(148)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(148)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(148)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(148)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(148)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(148)은 표시 패널(111)의 하부에 일정 면적, 예를 들어, 표시 패널(111)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.

마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 프로세서(170)는 마이크 부(150)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 저장부(120)에 저장할 수 있다.

촬상부(155)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(155)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.

촬상부(155) 및 마이크부(150)가 마련된 경우, 프로세서(170)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(155)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 영상 처리 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 프로세서(170)는 촬상부(155)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 프로세서(170)는 마이크부(150)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.

움직임 감지부(165)는 영상 처리 장치(100)의 본체 움직임을 감지할 수 있다. 영상 처리 장치(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(165)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.

도 2는 본 발명의 일 실시예에 따른 것으로서, 영상 처리 장치(200)의 구성요소 간의 관계를 나타낸 블록도 이다.

도 2에서의 영상 처리 장치(200)는 도 1에서의 영상 처리 장치(100)에 대응하는 것일 수 있다.

영상 처리 장치(200)에 포함되는 프로세서(210)는 취득한 영상에서 객체의 영역을 추출하고, 추출된 영역의 경계를 근사하는 것으로 정의된 복수의 직선의 교차점을 검출하여, 교차점을 기초로 객체의 영역에 대응하는 제1 영상 데이터를 추출할 수 있다. 취득한 영상은, 촬상부(150)를 통해 입력된 영상일 수 있고, 통신부(130)를 통해 외부로부터 수신한 영상일 수도 있으며, 저장부(120)에 저장되어 있던 영상일 수도 있으나, 이에 한정하지는 않는다. 프로세서(210)는 도 1에서의 프로세서(170)에 대응하는 것일 수 있다. 프로세서(210)는 생성된 제1 영상 데이터를 직사각형 형태로 왜곡을 보정한 제2 영상 데이터를 생성할 수 있고, 왜곡이 보정된 제2 영상 데이터는 저장부(220)에 저장될 수 있다. 구체적인 과정에 대하여는 이하에서 살펴본다.

도 3은 본 발명의 일 실시예에 따른 것으로서, 객체를 포함하는 영상을 처리하기 위한 영상 처리 방법에 대한 흐름도이다.

S310 단계에서, 영상 처리 장치(200)는 영상으로부터 객체의 영역을 검출한다. 예를 들면, 영상 처리 장치(200)를 이용하여 명함을 촬영한 경우, 촬영된 영상 내에서 명함에 해당하는 영역을 검출한다. 객체의 영역을 검출하는 방법으로는 세그멘테이션(segmentation)기술이 이용될 수 있으며, 구체적인 세그멘테이션 기술로는 색기반 세그멘테이션(color-based segmentation) 기술이 사용될 수 있으나, 이에 한정하지는 않는다. 도 4에서는 S310 단계에서 수행하는 객체의 영역을 검출하는 과정에 대하여 도시하고 있다. 본 발명의 일 실시예에 따른 것으로서, 도 4를 참조하면, 영상 처리 장치(200)는 검출하기 위한 객체(400)를 세그멘테이션(420) 할 수 있다. 세그멘테이션(420)하는 기술은 색기반 세그멘테이션일 수 있으나 이에 한정하지 않는다. 예를 들면, 객체(400)에 대한 색기반 세그멘테이션을 수행한 결과 객체의 영역(402)를 검출할 수 있다.

S320 단계에서, 영상 처리 장치(200)는 S310 단계에서 검출된 객체의 영역을 구성하는 경계를 근사하는 복수의 제1 직선을 정의한다. 예를 들면, 검출된 객체의 영역이 사각형의 형태에 대응하는 영역에 해당하는 경우, 복수의 제1 직선은 객체의 영역인 사각형을 구성하는 복수의 변에 각각 대응하는 복수의 직선으로 정의될 수 있다.

도 5에서는 S320 단계에서 검출된 영역의 경계를 근사하는 복수의 제1 직선을 정의하는 과정에 대하여 도시하고 있다. 본 발명의 일 실시예에 따른 것으로서 도 5를 참조하면, S310 단계에서 색기반 세그멘테이션 하여 검출한 객체의 영역(402)이 사각형의 형태에 유사한 형태인 경우라면, 객체의 영역(402)과 유사한 사각형 형태의 각각의 변을 근사하는 복수의 제1 직선(520, 522, 524, 526)을 각각 정의(530)할 수 있다.

S330 단계에서, 영상 처리 장치(200)는 각각의 복수의 제1 직선들이 교차하는 지점을 찾음으로써, 복수의 제1 교차점을 결정할 수 있다. 결정된 복수의 제1 교차점은 추출할 영상 데이터의 꼭지점에 대응하는 지점으로 볼 수 있다. 본 발명의 일 실시예로서, S320 단계에서 정의된 복수의 제1 직선들(520, 522, 524, 526)이 교차하는 지점인 복수의 제1 교차점들(510, 512, 514, 516)이 결정될 수 있다. 이렇게 결정된 복수의 제1 교차점들(510, 512, 514, 516)의 위치를 기준으로 하여 다각형을 생성할 수 있고, 생성된 다각형을 윤곽선으로 하는 제1 영상 데이터를 추출할 수 있다. 복수의 제1 교차점들(510, 512, 514, 516)의 개수가 4개 이므로, 이를 꼭지점으로 하는 사각형을 생성할 수 있다. 이렇게 생성된 사각형을 윤곽선으로 하는 제1 영상 데이터를 추출할 수 있다.

S330 단계와 관련하여 도 5를 참조하면, 객체의 영역의 경계에 근사하는 복수의 제1 직선들(510, 512, 514, 516)이 교차하는 복수의 제1 교차점들(510, 512, 514, 516)은 객체의 영역(402)의 경계에 해당하는 윤곽선 상에서만 결정되는 것이 아니라 객체의 영역(402) 외부에서도 결정될 수 있다. 예를 들면, 꼭지점이 분명한 A4 용지와 같은 경우뿐만 아니라, 꼭지점이 둥글거나 객체의 일부가 훼손되어 사각형 형태가 아닌 경우에 윤곽선 상에서 결정된 복수의 지점을 기준으로 다각형 영역에 대응하는 영상 데이터를 생성한다면 사용자가 원하는 영상을 생성하기 어렵다. 본 발명의 일 실시예는 복수의 제1 직선의 교차점을 이용하여 영상 데이터의 영역을 정의하기 때문에, 영상 데이터를 생성하기 위한 직사각형의 영상 데이터의 꼭지점에 대응되는 복수의 제1 교차점들(510, 512, 514, 516)을 객체의 영역 외부에서도 결정할 수 있다. 이러한 예와 관련하여 도 6(a)를 참조하면, 검출한 객체, 예를 들면 명함에 대한 영상 데이터를 생성하는 과정에서 대략적으로는 직사각형에 유사하나 꼭지점에 대응되는 부분이 직각이 아닌 둥글거나 깎인 형태인 명함(600) 또는 직사각형 형태의 명함이지만 일부가 훼손된 명함(610) 등과 같은 경우에는, 명함에 해당하는 영역의 윤곽선을 결정하고 윤곽선 상에서 결정된 복수의 특정 지점을 꼭지점으로 하는 다각형 영역의 영상 데이터를 생성하는 기술을 사용한다면, 반드시 윤곽선 상에서 다각형 영역의 꼭지점이 생기기 때문에, 명함에 관련된 영역에 대하여 추출하기 어렵다. 예를 들면, 명함(600)의 윤곽선 상에 있는 5개 이상의 복수의 꼭지점이 있는 경우 전체적으로 보면 직사각형이지만, 명함(600)을 에지 기반 세그멘테이션을 이용하여 검출하여 추출할 영상 데이터를 결정함에 있어서 꼭지점은 명함(600)의 윤곽선 상에서 결정되기 때문에 이렇게 결정된 4개의 꼭지점들(620, 622, 624, 626)을 꼭지점으로 하는 직사각형의 영상 데이터를 생성하는 경우 직사각형 영상 데이터의 변에 해당하는 복수의 직선들(630, 632, 634, 636)이 명함의 각각의 주요한 변, 예를 들면 길이가 긴 변들에 평행하거나 수직하지 않기 때문에 기울기가 기울어지고 명함(600)의 일부가 포함되지 않은 영상 데이터가 추출된다.

또 다른 예로서, 도 6(b)를 참조하면, 직사각형 형태이지만 일부가 손상된 명함(610)에서 에지 기반 세그멘테이션을 이용하여 검출하여 추출할 영상 데이터를 결정함에 있어서 꼭지점은 명함(610)의 윤곽선 상에서 결정되기 때문에 이렇게 결정된 4개의 꼭지점들(640, 642, 644, 646)을 꼭지점으로 하는 직사각형의 영상 데이터를 생성하는 경우 직사각형 영상 데이터의 변에 해당하는 복수의 직선들(650, 652, 654, 656)이 명함의 각각의 주요한 변, 예를 들면 길이가 긴 변들에 평행하거나 수직하지 않기 때문에 기울기가 기울어지고 명함(610)의 일부가 포함되지 않은 영상 데이터가 추출된다. 이러한 예에 따르면 영상 처리 장치를 사용하는 사용자가 원하는 영상을 생성하기 어렵다. 하지만 본 발명의 일 실시예에서는, 도 5에서처럼 S320 단계에서 정의된 복수의 제1 직선들(510, 512, 514, 516)이 교차하는 복수의 제1 교차점들(510, 512, 514, 516)이 객체의 영역(402)의 외부에서도 결정될 수 있음으로써 이러한 결과를 방지할 수 있다.

S340 단계에서, 영상 처리 장치(200)는 S330 단계에서 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있다. 즉, 제2 영상 데이터는 다각형, 예를 들면 직사각형이 아닌 사각형인 제1 영상 데이터를 직사각형으로 보정하는 과정을 거쳐서 생성될 수 있다. 이러한 보정은 예를 들면, 제1 영상 데이터에서 메트릭스(matrix)를 계산한 후 와핑(warping) 기술 등을 이용하여 수행될 수 있으나 이에 한정하지 않는다. S340 단계와 관련된 도 7을 참조하면, 본 발명의 일 실시예로서, S330 단계에서 추출된 제1 영상 데이터는 복수의 제1 교차점들(710, 712, 714, 716)을 꼭지점으로 하는 사각형 영역에 대응하는 영상 데이터일 수 있다. 이 경우, 객체(400)에 해당하는 영상 데이터를 포함하는 사각형 영역의 제1 영상 데이터(720)가 추출된 것이고, 이러한 제1 영상 데이터(720)를 와핑 기술을 이용하여 왜곡을 보정(730)하면, 직사각형에 해당하는 제2 영상 데이터(404)가 생성된다.

도 8은 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 구성하는 점을 간략하게 도시한 것이다. 구체적으로, 추출하고자 하는 객체(800)의 영역의 경계는 복수의 점을 포함할 수 있다. 객체(800)의 일부(810)를 확대한 부분(820)을 보면 개략적인 객체(800)의 영역의 경계는 복수의 점들(820a, 820b, 820c, 820d)을 포함하는 많은 점들을 포함하는 것으로 이해될 수 있다.

도 9는 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 근사하는 제1 직선들을 도시한 것이다. 구체적으로, 객체(800)의 일부(810)를 확대한 부분(820)을 보면, 개략적인 객체(800)의 영역의 경계는 복수의 점들(920a, 920b, 920c, 920d, 920e, 920f)을 포함하는 많은 점들을 포함하는 것으로 이해될 수 있다. 객체(800)의 경계를 구성하는 많은 점들 중 각각 복수개의 점들을 지나는 복수의 직선들(910a, 910b, 910c, 910d)을 정의할 수 있다. 검출된 객체(800)의 영역의 개략적인 형태가 사각형의 형태에 해당하는 것으로 결정될 수 있다면, 결정된 사각형(930)을 기준으로 복수의 제1 직선을 정의할 수 있다. 검출된 객체(800)의 영역의 개략적인 형태에 해당하는 사각형을 결정하는 방법은 검출된 영역과 가장 많은 부분이 겹치게 되는 사각형으로 결정하는 등의 방법이 될 수 있으나, 이에 한정하지는 않는다. 사각형(930)을 이루는 각각의 변들 중 하나에 대하여 근사하는 제1 직선은, 복수의 직선 중 사각형의 해당 변의 위치에 근접한 객체(800)의 경계와, 교차하는 점의 개수가 가장 많은 하나의 직선으로 정의될 수 있다. 예를 들면 객체(800)를 확대한 부분(820)에서 참조하였을 때, 사각형(930)의 좌측 변(931)에 대응하는 제1 직선은, 사각형(930)의 좌측 변(931)에 대응하는 부분의 직선 중 객체(800)의 경계와 가장 많은 점이 교차하는 직선(910a)인 것으로 정의될 수 있다. 또한, 같은 방식으로, 사각형 형태의 상측 변에 대응하는 제1 직선은, 사각형(930)의 상측 변(932)에 대응하는 부분의 직선 중 객체(800)의 경계와 가장 많은 점이 교차하는 직선(910b)인 것으로 정의될 수 있다. 사각형의 다른 변에 대하여도 동일한 과정을 수행함으로써 총 4개의 제1 직선을 정의할 수 있다.

도 10은 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 근사하는 제1 직선들의 교차점을 보정하는 과정에 대한 흐름도 이다.

S1010 단계에서, 영상 처리 장치(200)는 영상으로부터 객체의 영역을 검출한다. 예를 들면, 영상 처리 장치(200)를 이용하여 명함을 촬영한 경우, 촬영된 영상 내에서 명함에 해당하는 영역을 검출한다. 객체의 영역을 검출하는 방법으로는 세그멘테이션(segmentation)기술이 이용될 수 있으며, 구체적인 세그멘테이션 기술로는 색기반 세그멘테이션(color-based segmentation) 기술이 사용될 수 있으나, 이에 한정하지는 않는다. 이에 대한 도 11을 참조하면, 본 발명의 일 실시예로서, 영상으로부터 객체의 영역(1100)을 검출할 수 있다.

S1020 단계에서, 영상 처리 장치(200)는 S1010 단계에서 검출된 객체의 영역을 구성하는 경계를 근사하는 복수의 제1 직선을 정의한다. 예를 들면, 검출된 객체의 영역이 사각형의 형태에 대응하는 영역에 해당하는 경우, 복수의 제1 직선은 객체의 영역인 사각형을 구성하는 복수의 변을 각각 포함하는 복수의 직선으로 정의될 수 있다. 이에 대한 도 11을 참조하면, 본 발명의 일 실시예로서, S1010 단계에서 검출된 객체의 영역(1100)을 구성하는 경계를 근사하는 복수의 제1 직선(1110, 1112, 1114, 1116)을 정의한 것을 확인할 수 있다. 구체적인 내용에 대하여는 도 9에서 설명한 내용과 동일하므로 생략한다.

S1030 단계에서, 영상 처리 장치(200)는 각각의 복수의 제1 직선들이 교차하는 지점인 제1 교차점을 찾음으로써, 복수의 제1 교차점 각각에 대한 제1 영역을 설정할 수 있다. 복수의 제1 교차점은 추출할 영상 데이터의 꼭지점에 대응하는 지점으로 볼 수 있다. 제1 영역은 제1 교차점을 중심으로 하는 직사각형 형태가 되거나 원의 형태가 될 수도 있다. 도 11을 참조하면, 본 발명의 일 실시예로서, 4개의 제1 직선들이 각각 교차하는 4개의 복수의 제1 교차점 각각에 대한 4개의 제1 영역(1102, 1104, 1106, 1108)을 설정할 수 있다.

S1040 단계에서, 영상 처리 장치(200)는 S1030 단계에서 설정된 복수의 제1 영역에 대한 영상 데이터에서의 픽셀 값을 양자화 할 수 있다. 구체적으로, 제1 영역에 대한 영상 데이터는, 디지털 정보로서 각각의 픽셀은 임의의 정보를 포함하고 있다. 예를 들면, 각각의 픽셀은 휘도(Hue), 채도(Saturation), 명도(Brightness) 등의 정보를 포함할 수 있다. 이와 같은 정보를 포함하는 픽셀 간의 정보의 차이는 양자화(quantization)된 미리 결정된 차이가 될 수 있다. 예를 들면 각각의 픽셀에 대한 색 정보는 색 양자화(color quantization)됨으로써, 영상 데이터 내에서 구별되는 색의 종류의 개수가 줄어듦으로써 픽셀의 가지는 색 정보들이 단순화될 수 있다. 검출하고자 하는 객체의 경계가 영상의 배경에 대한 영상 데이터와 구별하기가 힘든 경우이거나, 또는 검출하고자 하는 객체의 경계에 근접한 부분의 영상 데이터가 그라데이션(gradation) 효과가 적용된 경우 등에는 객체의 영역을 검출하고 객체의 영역의 경계를 근사하는 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 정확히 찾기 힘들기 때문에, 색 양자화 등을 이용하여 픽셀 간의 차이를 단순화 시킴으로써 좀 더 정확한 지점을 찾을 수 있다.

S1050 단계에서, 영상 처리 장치(200)는 S1040 단계에서 양자화 한 제1 영역의 영상 데이터 상에서 제1 영역의 꼭지점 중 객체의 중심으로부터의 거리에 기초하여 제1 교차점을 보정할 수 있다.

이에 대하여 도 11을 참조하면, 도 11은 본 발명의 일 실시예에 따른 것으로서, 객체의 영역의 경계를 근사하는 제1 직선들의 교차점을 보정하는 방법을 도시화 한 것이다. 검출하고자 하는 객체의 영역(1100)의 경계 부분이 그라데이션 효과가 적용된 경우에는 객체의 영역의 경계를 정확히 찾기 힘들다. S1030 단계에서 설정된 복수의 제1 영역(1102, 1104, 1106, 1108) 중 하나의 제1 영역(1102)에 대한 제1 교차점(1121)은 객체의 꼭지점이 아닌 객체의 그라데이션 효과가 적용된 영상 데이터 중간에 정해져 있다. 이 경우 객체의 영역(1100)이 정확히 검출한 것으로 볼 수 없다. 다만 제1 영역(1102)의 영상 데이터를 색 양자화 한 경우, 그라데이션 효과가 적용된 영상 데이터의 부분의 픽셀 간의 차이가 단순화 됨에 따라 색의 구분이 용이하게 된다. 이렇게 색 양자화 한 제1 영역(1102)의 영상 데이터 내에서, 객체의 중심 방향에 대응하는 꼭지점으로부터의 거리에 기초하여 제1 교차점(1121)을 중심으로 미리 결정된 영역 내에 있는 복수의 꼭지점들 중 하나로 제1 교차점을 보정할 수 있다. 예를 들면, 제1 교차점(1121)을 중심으로 하는 미리 결정된 반지름(1125) 내의 영역(1126)에 포함된 복수의 꼭지점들 중, 객체의 중심 방향에 대응하는 제1 영역의 꼭지점(1120)으로부터 가장 거리가 먼 꼭지점(1123)으로 제1 교차점을 보정할 수 있다. 즉, 현재의 제1 교차점(1121)과 객체의 중심 방향에 대응하는 제1 영역의 꼭지점(1120) 간의 거리(1122)보다, 제1 영역의 꼭지점(1120)으로부터 가장 거리가 먼 꼭지점(1123)까지의 거리(1124)가 더 멀기 때문에, 제1 교차점은 제1 영역의 꼭지점(1120)으로부터 가장 거리가 먼 꼭지점(1123)으로 보정될 수 있다.

또 다른 본 발명의 일 실시예로서, 도 11에서 설정된 제1 영역 중 하나의 제1 영역(1108)을 참고하면, 객체가 놓여져 있는 표면에 생긴 객체의 그림자가 영상에 포함되어 있고, 객체의 경계 부분이 그림자와 구분하기 힘든 경우가 있을 수 있다. 설정된 복수의 제1 영역 중들 하나의 제1 영역(1108)을 색 양자화를 이용하여 픽셀 간 차이를 단순화 시킨 경우, 객체의 그라데이션 효과가 적용된 영상 데이터 중간에 잘못 정해져 있는 제1 교차점(1131)과, 제1 교차점(1131)을 중심으로 하는 미리 결정된 반지름(1137) 내의 영역(1136)에 포함된 복수의 꼭지점들 중, 객체의 중심 방향에 대응하는 제1 영역의 꼭지점(1130)으로부터 가장 거리가 먼, 객체의 꼭지점(1133)에 대한 그림자인 꼭지점(1135)으로 제1 교차점을 보정할 수 있다. 즉, 현재의 제1 교차점(1131)과 객체의 중심 방향에 대응하는 제1 영역의 꼭지점(1130) 간의 거리(1132)보다, 제1 영역의 꼭지점(1130)으로부터 가장 거리가 먼 꼭지점(1135)까지의 거리(1134)가 더 멀기 때문에, 제1 교차점은 제1 영역의 꼭지점(1130)으로부터 가장 거리가 먼 꼭지점(1135)으로 보정될 수 있다.

도 12는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우에 복수의 객체에 대한 영상 데이터를 생성하는 과정에 대한 흐름도 이다.

S1210 단계에서, 영상 처리 장치(200)는 객체가 복수개인 경우 복수의 객체의 영역을 검출한다. 이에 대하여 도 13을 참조하면, 도 13은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역의 경계를 근사하는 복수개의 제1 직선의 교차점을 검출하는 것을 도시화 한 것이다. 도 13에서처럼, 검출하고자 하는 객체(1310, 1320, 1330, 1340)의 개수가 복수개인 경우 각각의 객체의 영역을 검출할 수 있으며, 각각의 객체에 대한 영역을 검출하는 과정은 도 3의 S310 단계에서 설명한 바와 동일한 것일 수 있으므로 생략한다.

S1220 단계에서, 영상 처리 장치(200)는 S1210 단계에서 검출된 각각의 객체의 영역을 구성하는 경계를 근사하는 복수의 제1 직선을 정의한다. 도 13을 참조하면, S1210 단계에서 검출된 각각의 객체의 영역의 경계를 근사하는 복수의 제1 직선이 정의된 것을 확인할 수 있다. 구체적으로, 검출하고자 하는 객체 중 하나(1310)에 대하여, 4개의 제1 직선들(1311, 1313, 1315, 1317)을 정의할 수 있으며, 검출하고자 하는 객체 중 또 다른 하나(1340)에 대하여, 4개의 제1 직선들(1342, 1344, 1346, 1348)을 정의할 수 있다.

S1230 단계에서, 영상 처리 장치(200)는 S1220 단계에서 검출된 복수의 객체의 영역 각각에 대응하는 복수의 제1 직선들이 교차하는, 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 복수의 제1 영상 데이터를 추출할 수 있다. 본 발명에 대한 일 실시예에 따른 것으로서, 도 13을 참조하면 각각의 객체의 영역의 경계를 근사하는, 4개의 제1 직선들을 각각의 객체에 대하여 정의할 수 있고, 어느 하나의 객체(1310)에 대한 복수의 제1 직선들(1311, 1313, 1315, 1317)이 교차하는 복수의 제1 교차점들(1312, 1314, 1316, 1318)을 꼭지점으로 하는 사각형 영역에 대한 제1 영상 데이터 또는 또 다른 어느 하나의 객체(1340)에 대한 복수의 제1 직선들(1342, 1344, 1346, 1348)이 교차하는 복수의 제1 교차점들(1341, 1343, 1345, 1347)을 꼭지점으로 하는 사각형 영역에 대한 제1 영상 데이터를 추출할 수 있고, 같은 방법으로 나머지 객체들(1320, 1330)에 대하여도 사각형 영역에 대한 제1 영상 데이터를 추출할 수 있다.

S1240 단계에서, 영상 처리 장치(200)는 S1230 단계에서 검출된 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성할 수 있다. 도 14는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역에 대한 영상 데이터를 따로 생성한 것을 도시화 한 것이다. 도 14를 참조하면, 본 발명의 일 실시예로서 S1230 단계에서 추출한 사각형 형태를 가지는 4개의 제1 영상 데이터 각각이 직사각형의 형태를 가지도록 왜곡을 보정한 4개의 제2 영상 데이터들(1410, 1420, 1430, 1440)을 생성할 수 있다. 각각의 제1 영상 데이터의 왜곡을 보정하는 내용은 도 3의 S340 단계에서 설명한 내용과 동일하므로 생략한다.

S1250 단계에서, 영상 처리 장치(200)는 S1240 단계에서 생성한 복수의 제2 영상 데이터에 대하여 저장할 수 있다.

도 14는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역에 대한 영상 데이터를 따로 생성한 것을 도시화 한 것이다. 도 13에서 추출된 4개의 제1 영상 데이터 각각이 직사각형의 형태를 가지도록 왜곡을 보정한 4개의 제2 영상 데이터들(1410, 1420, 1430, 1440)을 각각 다른 파일들(1412, 1422, 1432, 1442)로 따로 저장할 수 있다.

도 15는 객체가 복수개인 경우 각각의 객체의 영역에 대한 영상 데이터를 포함하는 하나의 영상 데이터를 생성한 것을 도시화 한 것이다. 즉, 도 13에서 추출된 4개의 제1 영상 데이터 각각이 직사각형의 형태를 가지도록 왜곡을 보정한 4개의 제2 영상 데이터들(1510, 1520, 1530, 1540)를 포함하는 하나의 영상 데이터(1550)을 생성하고, 이를 하나의 파일(1560)로 저장할 수 있다.

도 16은, 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 영역에 대한 영상 데이터 중 가장 큰 영상 데이터만을 파일로 생성하는 것을 도시화 한 것이다. 예를 들면, 도 14를 참조하면, 도 13에서 추출한 사각형 형태를 가지는 4개의 제1 영상 데이터 각각이 직사각형의 형태를 가지도록 왜곡을 보정한 4개의 제2 영상 데이터들(1410, 1420, 1430, 1440)을 생성할 수 있다. 이 경우 생성된 4개의 제2 영상 데이터들(1410, 1420, 1430, 1440)의 크기를 비교하여 그 중 가장 크기가 큰 제2 영상 데이터(1650)만을 파일(1660)로 저장할 수 있다.

도 17은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하여, 종류가 동일한 객체에 대응하는 영역에 대한 영상 데이터는 동일한 해상도로 변환한 영상데이터를 생성하는 과정에 대한 흐름도 이다.

S1710 단계에서, 영상 처리 장치(200)는 객체가 복수개인 경우 복수의 객체의 영역을 검출한다. 이에 대한 구체적인 내용은 도 12의 S1210 단계와 동일하므로 생략한다.

S1720 단계에서, 영상 처리 장치(200)는 S1710 단계에서 검출된 각각의 객체의 영역을 구성하는 경계를 근사하는 복수의 제1 직선을 정의한다. 이에 대한 구체적인 내용은 도 12의 S1220 단계와 동일하므로 생략한다.

S1730 단계에서, 영상 처리 장치(200)는 S1720 단계에서 검출된 복수의 객체의 영역 각각에 대응하는 복수의 제1 직선들이 교차하는, 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 복수의 제1 영상 데이터를 추출할 수 있다. 이에 대한 구체적인 내용은 도 12의 S1230 단계와 동일하므로 생략한다.

S1740 단계에서, 영상 처리 장치(200)는 S1730 단계에서 검출된 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성할 수 있다. 이에 대한 구체적인 내용은 도 12의 S1240 단계와 동일하므로 생략한다.

S1750 단계에서, 영상 처리 장치(200)는 S1740 단계에서 생성한 복수의 제2 영상 데이터를 분석하여, 검출된 객체의 종류를 판단한다. 객체의 종류를 판단하는 방법은 OCR 방식을 이용하여 객체에 포함된 글자를 분석하거나, 영상 데이터의 유사 범위에 있는, 인터넷 상에서의 다른 영상 데이터에 대한 분석을 하여 판단하는 방법이 될 수 있으나 이에 한정하지 않는다. 본 발명의 일 실시예로서, 도 14를 참조하면, 4개의 제2 영상 데이터(1410, 1420, 1430, 1440) 중 일부(1410, 1420)는, 해당 제2 영상 데이터를 분석한 결과, “포커 카드”라는 객체의 종류를 판단할 수 있다. 이로써 제2 영상 데이터(1410, 1420, 1430, 1440) 중 일부(1410, 1420)는 동일한 종류의 객체에 대응하는 것임을 확인할 수 있다. 또한 제2 영상 데이터 중 나머지 일부(1430, 1440)는 해당 제2 영상 데이터의 글자 정보를 분석한 결과, 제2 영상 데이터(1430, 1440) 각각에 대하여 “ABC”, “123”과 “DEF”, “567”의 글자를 판독하여 검출할 수 있다. 이렇게 검출된 글자 정보를 인터넷 상에서 검색하는 등의 방법을 이용하여 ABC 또는 DEF라는 제목을 가지는 도서임을 판단할 수 있고, 이로써 생성된 제2 영상 데이터들 중 일부(1430, 1440)가 “도서”라는 동일한 종류의 객체라는 것을 판단할 수 있다.

S1760 단계에서, 영상 처리 장치(200)는 S1750 단계에서 판단한 각각의 제2 영상 데이터에 대응하는 객체의 종류가 동일한 것으로 확인된 경우, 종류가 동일한 복수의 객체에 대응하는 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터의 해상도를 동일하게 변환할 수 있다. 본 발명의 일 실시예로서, 도 14를 참조하면, S1750 단계에서 해당 제2 영상 데이터를 분석한 결과, 4개의 제2 영상 데이터(1410, 1420, 1430, 1440) 중 일부(1410, 1420)는, “포커 카드”라는 동일한 종류의 객체에 대한 것으로 확인하고, 제2 영상 데이터 중 나머지 일부(1430, 1440)는 “도서”라는 동일한 종류의 객체임을 확인한 경우, 각각의 “포커 카드” 및 “도서”의 종류에 해당하는 제2 영상 데이터들끼리는 동일한 크기로 변환된 영상 데이터를 생성할 수 있다. 즉, 도 18을 참조하면, 객체의 종류가 “포커 카드”인 제2 영상 데이터들(1810, 1820)은 같은 크기로 변환되고, 객체의 종류가 “도서”인 제2 영상 데이터들(1830, 1840)은 서로 같은 크기로 변환된다. 어떤 크기 또는 비율로 변환될지는, 객체에 대하여 확인된 종류가 가지는 일반적인 비율 및 동일한 종류인 것으로 판단된 제2 영상데이터에 대응되는 추출된 제1 영상 데이터들의 평균적인 해상도 등을 고려하여 결정될 수 있으나, 이에 한정되는 것은 아니다.

S1770 단계에서, 영상 처리 장치(200)는 S1760 단계에서 변환된 복수의 제2 영상 데이터들을 저장할 수 있다.

도 18는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하고, 종류가 동일한 객체의 영역에 대한 영상 데이터를 동일한 해상도로 변환하여 별개의 파일로 저장하는 것을 도시화 한 것이다. 추출된 4개의 제1 영상 데이터 각각이 직사각형의 형태를 가지도록 왜곡을 보정하고, 각각 동일한 종류에 대한 제2 영상 데이터끼리 동일한 해상도를 가지도록 변환된 4개의 제2 영상 데이터들(1810, 1820, 1830, 1840)을 각각 다른 파일들(1812, 1822, 1832, 1842)로 따로 저장할 수 있다.

도 19는 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하여, 종류가 동일한 객체에 대응하는 영역에 대한 영상 데이터는 동일한 해상도로 변환하여 하나의 파일로 저장하는 것을 도시화 한 것이다. 즉, 추출된 4개의 제1 영상 데이터 각각이 직사각형의 형태를 가지도록 왜곡을 보정하고, 각각 동일한 종류에 대한 제2 영상 데이터끼리 동일한 해상도를 가지도록 변환된 4개의 제2 영상 데이터들(1910, 1920, 1930, 1940)을 생성하고, 이를 포함하는 하나의 영상 데이터(1950)을 생성하여 하나의 파일(1960)로 저장할 수 있다.

도 20은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우 각각의 객체의 종류를 판단하여, 종류가 동일한 객체의 영역에 대한 복수의 제2 영상 데이터를 동일한 해상도로 변환하고, 변환된 제2 영상 데이터들을 객체의 종류에 기초하여 종류마다 별개의 파일로 저장하는 것을 도시화 한 것이다. 구체적으로, “포커 카드”에 해당하여 동일한 해상도로 변환된 복수의 제2 영상 데이터들(2010, 2020) 및 “도서”에 해당하여 동일한 해상도로 변환된 복수의 제2 영상 데이터들(2030, 2040)을 종류마다 다른 각각의 영상 데이터에 포함되도록 영상데이터를 생성할 수 있다. 즉, “포커 카드”에 해당하는 복수의 제2 영상 데이터들(2010, 2020)을 포함하는 영상 데이터(2050)를 생성하여 하나의 파일(2070)에 저장하고, “도서”에 해당하는 복수의 제2 영상 데이터들(2030, 2040)을 포함하는 영상 데이터(2060)를 각각 생성하여 “포커 카드”에 관련된 파일(2070)과 다른 하나의 파일(2080)에 저장할 수 있다.

도 21은 본 발명의 일 실시예에 따른 것으로서, 객체가 복수개인 경우에 복수의 객체에 대한 영상 데이터 중 선택된 영상 데이터에 대하여만 저장하는 것을 도시화 한 것이다. 도 12를 참조하면, 복수의 객체에 대한 복수의 제2 영상 데이터들을 생성할 수 있다. 본 발명의 일 실시예로서, 영상 처리 장치는 입력 신호를 수신할 수 있는 수신부를 더 포함할 수 있고, 수신부를 통해 수신된 입력 신호에 기초하여 선택한 적어도 하나의 제2 영상 데이터를 저장할 수 있다. 수신부는 도 1에서의 사용자 입력부(145)에 대응하는 것일 수 있다. 사용자는 사용자 입력부(145)를 통하여 영상 처리 장치에서 생성된 복수의 제2 영상 데이터들 중 적어도 하나를 저장부(120)에 저장할 수 있다. 예를 들면, 도 21를 참조하면, 복수의 객체에 대하여 복수의 제2 영상 데이터를 생성할 수 있으며, 제2 영상 데이터를 생성하는 과정은 도 12에서 설명한 내용과 동일하므로 생략한다. 생성된 복수의 제2 영상 데이터들(2110, 2120, 2130, 2140) 중 수신부를 통해 입력된 입력 신호(2150)에 기초하여 복수의 제2 영상 데이터들 중 일부(2120, 2140)을 선택하면, 선택된 제2 영상 데이터들(2120, 2140)을 저장부(120)에 저장할 수 있다.도 22는 본 발명의 일 실시예에 따라, 영상에 포함된 복수의 객체의 영역을 검출하여 왜곡을 보정할 수 있는 영상 처리 장치(2200)에 대한 블록도 이다. 영상 처리 장치(2200)의 구체적인 특징에 대하여는 도 23의 영상 처리 방법에 대한 흐름도를 참조하여 설명하도록 한다.

도 23은 본 발명의 일 실시예에 따른 것으로서, 영상에 포함된 복수의 객체 중 일부를 선택하고, 선택 결과에 기초하여 영상 데이터를 생성하는 방법에 대한 흐름도 이다. 구체적으로, 영상 처리 장치(2200)는 영상에 포함된 복수의 객체 중 왜곡을 보정하고자 하는 객체를 선택하여 해당 객체에 대응하는 영상 데이터의 왜곡 만을 보정할 수 있다.

S2310 단계에서 영상 처리 장치(2200)의 프로세서(2210)는 영상으로부터 복수의 객체에 대한 영역을 검출할 수 있다. 이에 대한 구체적인 내용은 도 12의 S1210 단계에 대응하는 것일 수 있으므로 생략한다.

S2320 단계에서 영상 처리 장치(2200)의 프로세서(2210)는 S2310 단계에서 검출된 영역 각각의 경계와 교차하는 지점의 수에 기초하여 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의할 수 있다. 이에 대한 구체적인 내용은 도 12의 S1220 단계에 대응하는 것일 수 있으므로 생략한다.

S2330 단계에서 영상 처리 장치(2200)의 프로세서(2210)는 S2320 단계에서 정의된 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 표시하도록 디스플레이부(2220)를 제어할 수 있다. 도 24는, 영상 처리 장치(2400)가 영상에 포함된 복수의 객체에 대한 제1 다각형을 표시하는 과정을 도시화한 것이다. 도 24의 영상 처리 장치(2400)는 도 22의 영상 처리 장치(2200)에 대응하는 것일 수 있다. 도 24를 참조하면, 영상 처리 장치(2400)의 프로세서(2210)는 영상(2410)에 포함된 복수의 객체(2412, 2414, 2416, 2418)에 대한 복수의 다각형인 제1 다각형(2422, 2424, 2426, 2428)을 표시하도록 디스플레이부(2220)를 제어할 수 있다. 본 발명의 일 실시예에 따라, 영상 처리 장치(2400)의 프로세서(2210)는 제1 다각형(2422, 2424, 2426, 2428)과 함께 제1 다각형(2422, 2424, 2426, 2428)의 꼭지점을 이루는 제1 교차점을 표시하도록 디스플레이부(2220)를 제어할 수 있다.

S2340 단계에서 영상 처리 장치(2200)의 프로세서(2210)는 제1 다각형에 포함되는 적어도 하나의 다각형인 제2 다각형을 선택할 수 있다. 본 발명의 일 실시예에 따르면, 영상 처리 장치(2200)의 프로세서(2210)는 제1 다각형 모두를 이미 제2 다각형으로 선택한 상태인 것으로 제어할 수 있다. 이에 따르면, 이후에 영상 처리 장치(2200)의 프로세서(2210)는 영상으로부터 검출된 객체에 대한 제1 다각형 전부에 대응하는 영상 데이터의 왜곡을 보정할 수 있다.

S2350 단계에서 영상 처리 장치(2200)의 프로세서(2210)는 S2340 단계의 선택에 기초하여 제1 영상 데이터를 추출할 수 있다. 본 발명의 일 실시예에 따르면 제2 다각형으로 선택된 다각형에 대하여만 제1 영상 데이터를 추출할 수 있고, 그 반대로, 제1 다각형 중 제2 다각형 외의 다각형에 대하여만 제1 영상 데이터를 추출할 수도 있다. 즉, 영상 처리 장치(2200)는 추출하길 원하는 다각형을 선택하거나, 추출하지 않기를 원하는 다각형을 선택할 수 있다.

S2360 단계에서 영상 처리 장치(2200)의 프로세서(2210)는 S2350 단계에서 추출한 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있다. 이에 대한 구체적인 내용은 도 12의 S1240 단계에 대응하는 것일 수 있으므로 생략한다.

도 25는 본 발명의 일 실시예에 따라 수신부(2530)를 통하여 수신한 외부 신호에 기초하여 제2 다각형을 선택함으로써 제2 영상 데이터를 생성하는 영상 처리 장치(2500)에 대한 블록도 이다. 이와 관련하여 도 26은, 도 25의 영상 처리 장치(2500)가 수신한 외부 신호에 기초한 제2 다각형을 선택하고, 선택에 기초하여 영상데이터의 왜곡을 보정하는 영상 처리 방법에 대한 흐름도이다.

S2610 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 영상으로부터 복수의 객체에 대한 영역을 검출할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2310 단계에 대응하는 것일 수 있으므로 생략한다.

S2620 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 S2610 단계에서 검출된 영역 각각의 경계와 교차하는 지점의 수에 기초하여 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2320 단계에 대응하는 것일 수 있으므로 생략한다.

S2630 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 S2620 단계에서 정의된 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 표시하도록 디스플레이부(2520)를 제어할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2330 단계에 대응하는 것일 수 있으므로 생략한다.

S2640 단계에서 영상 처리 장치(2500)는 수신부(2530)를 통하여 외부 입력을 수신할 수 있다. 도 25의 수신부(2530)는 이러한 외부 입력은 도 1의 사용자 입력부(145)에 대응하는 것 일 수 있다.

S2650 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 S2640 단계에서 수신한 외부 입력에 기초하여 제1 다각형에 포함되는 적어도 하나의 다각형인 제2 다각형을 선택할 수 있다. 본 발명의 일 실시예에 따라, 영상 처리 장치(2500)의 프로세서(2510)는 S2630 단계에서 표시한 제1 다각형을 외부 신호를 수신하기 전에 제2 다각형으로서 이미 선택한 상태로 제어할 수 있다. 이 경우, 외부 입력에 기초하여 프로세서(2510)는 이미 선택된 제2 다각형을 선택 해제 상태로 변경할 수 있다.

도 27은 본 발명의 일 실시예에 따라 영상 처리 장치(2700)가 외부 입력에 기초하여 제1 다각형 중 영상 데이터를 추출하지 않을 다각형인 제2 다각형을 선택하는 과정을 도시화 한 것이다. 도 27의 영상 처리 장치(2700)는 도 25의 영상 처리 장치(2500)에 대응하는 것일 수 있다. 도 27을 참조하면, 영상 처리 장치(2700)는 S2630 단계를 통해 디스플레이부(2520)에 제1 다각형(2712, 2714, 2716, 2718)을 표시할 수 있다. 프로세서(2510)는 외부 입력을 수신하기 전에 S2630 단계에서 표시된 제1 다각형(2712, 2714, 2716, 2718)을 이미 제2 다각형으로서 선택한 상태인 것으로 제어할 수 있다. 따라서 외부 입력(2731, 2737)을 수신한 경우, 외부 입력(2731, 2737)에 대응하는 제1 다각형(2712, 2718)은 제2 다각형으로서 선택된 상태에서 해제될 수 있다. 이렇게 선택이 해제된 제1 다각형(2712, 2718)은 디스플레이부(2520)에서 표시하지 않을 수 있다. 즉, 외부 입력(2731, 2737)에 의해 선택이 해제되지 않은 제1 다각형(2734, 2736)만 디스플레이부(2520)가 표시할 수 있다.

도 28은 본 발명의 일 실시예에 따라 영상 처리 장치(2800)가 외부 입력에 기초하여 제1 다각형 중 영상 데이터를 추출할 다각형인 제2 다각형을 선택하는 과정을 도시화 한 것이다. 도 28의 영상 처리 장치(2800)는 도 25의 영상 처리 장치(2500)에 대응하는 것일 수 있다. 도 28을 참조하면, 영상 처리 장치(2800)는 S2630 단계를 통해 디스플레이부(2520)에 제1 다각형(2812, 2814, 2816, 2818)을 표시할 수 있다. 프로세서(2510)는 외부 입력을 수신하기 전에 S2630 단계에서 표시된 제1 다각형(2712, 2714, 2716, 2718)은 아직 제2 다각형으로서 선택하지 않은 상태인 것으로 제어할 수 있다. 따라서 외부 입력(2831, 2837)을 수신한 경우, 외부 입력(2831, 2837)에 대응하는 제1 다각형(2812, 2818)은 제2 다각형으로서 선택된 상태로 될 수 있다. 본 발명의 일 실시예에 따라 영상 처리 장치(2800)의 프로세서(2510)는 외부 입력(2831, 2837)에 기초하여 제2 다각형으로 선택된 경우, 제1 다각형 중 선택된 제2 다각형을 제외한 나머지 다각형인 제3 다각형(2834, 2836)과 제2 다각형을 다르게 표시할 수 있다. 예를 들면, 도 28에서 영상 처리 장치(2800)의 프로세서(2510)는 제2 다각형(2832, 2837)을 음영 처리를 함으로써 음영 처리를 하지 않은 제3 다각형(2834, 2836)과 다르게 표시할 수 있다.

S2660 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 S2650 단계에서의 선택에 기초하여 제1 영상 데이터를 추출할 수 있다. 본 발명의 일 실시예에 따른 도 27과 같이, 영상 처리 장치(2500)의 프로세서(2510)는 외부 입력에 기초하여 제2 다각형으로서 선택한 제1 다각형(2712, 2718) 외의 다각형(2714, 2716)에 대한 제1 영상 데이터를 추출할 수 있다. 본 발명의 일 실시예에 따른 도 28과 같이, 영상 처리 장치(2500)의 프로세서(2510)는 외부 입력에 기초하여 선택된 제2 다각형(2832, 2837)에 대한 제1 영상 데이터를 추출할 수 있다. 제1 영상 데이터를 추출하는 과정은 도 23의 S2350 단계에 대응하는 것일 수 있으므로 생략한다.

S2670 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 S2660 단계에서 추출한 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2360 단계에 대응하는 것일 수 있으므로 생략한다.

본 발명의 일 실시예에 따라 영상 처리 장치(2500)의 프로세서(2510)는 제1 다각형의 특성에 기초하여 제2 다각형을 선택할 수 있다. 구체적으로, 영상 처리 장치(2500)의 프로세서(2510)는 디스플레이부(2520)에서 표시되는 제1 다각형의 크기, 왜곡의 정도, 디스플레이부(2520)의 화면 중앙으로부터의 거리, 영상 처리 장치(2500)로부터의 거리 중 적어도 하나에 기초하여 미리 결정된 기준을 만족하는지를 판단할 수 있다. 영상 처리 장치(2500)의 프로세서(2510)는 미리 결정된 기준을 만족하는 제1 다각형에 대하여 제2 다각형으로서 선택할 수 있다. 도 29는 미리 결정된 기준에 기초하여 제1 다각형 중 영상 데이터를 추출할 제2 다각형을 선택하는 과정을 포함하는 영상 처리 방법에 대한 흐름도 이다.

S2910 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 영상으로부터 복수의 객체에 대한 영역을 검출할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2310 단계에 대응하는 것일 수 있으므로 생략한다.

S2920 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 S2910 단계에서 검출된 영역 각각의 경계와 교차하는 지점의 수에 기초하여 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2320 단계에 대응하는 것일 수 있으므로 생략한다.

S2930 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 S2920 단계에서 정의된 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 표시하도록 디스플레이부(2220)를 제어할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2330 단계에 대응하는 것일 수 있으므로 생략한다.

S2940 단계에서 영상 처리 장치(2500)의 프로세서(2510)는 미리 결정된 기준에 기초하여 제2 다각형을 선택할 수 있다. 본 발명의 일 실시예에 따라 미리 결정된 기준은 제1 다각형의 크기, 왜곡의 정도, 디스플레이부(2520)의 화면 중앙으로부터의 거리, 영상 처리 장치(2500)로부터의 거리 등이 될 수 있으나, 이에 한정하여 해석하지는 않는다. 도 30는 미리 결정된 기준에 기초하 영상 처리 장치(3000)의 프로세서(2510)가 제1 다각형 중 영상 데이터를 추출할 제2 다각형을 선택하는 과정을 도시화 한 것이다. 도 30의 영상 처리 장치(3000)는 도 25의 영상 처리 장치(2500)에 대응하는 것일 수 있다. 도 30을 참조하면, 영상 처리 장치(3000)는 도 25의 영상 처리 장치(2500)에 대응하는 것일 수 있다. 도 30을 참조하면, 영상 처리 장치(3000)는 S2930 단계를 통해 디스플레이부(2520)에 제1 다각형(3012, 3014, 3016, 3018)을 표시할 수 있다. 프로세서(2510)는 외부 입력을 수신하기 전에 S2930 단계에서 표시된 제1 다각형(3012, 3014, 3016, 3018)은 아직 제2 다각형으로서 선택하지 않은 상태인 것으로 제어할 수 있다.

본 발명의 일 실시예에 따라, 영상 처리 장치(2200)의 프로세서(2210)는 미리 결정된 기준에 기초하여 제2 다각형을 선택할 수 있다. 예를 들면, 영상 처리 장치(3000)의 프로세서(2510)는 디스플레이부(2520)에 표시되는 제1 다각형 중 가장 크기가 큰 다각형을 제2 다각형으로서 선택할 수 있다. 도 30을 참조하면, 영상 처리 장치(3000)의 프로세서(2510)는 디스플레이부(2520)에 표시된 제1 다각형(3012, 3014, 3016, 3018) 중 가장 크기가 큰 다각형인 도면 부호 3018에 해당하는 제1 다각형을 제2 다각형으로서 선택할 수 있다. 제2 다각형(3038)은 영상 처리 장치(3000)의 디스플레이부(2520)에서 선택되지 않은 다른 제1 다각형(3032, 3034, 3036)과 다르게 표시될 수 있다. 예를 들면 실선 대신 점선으로 표시되거나, 다른 색상으로 표시됨으로써 제2 다각형(3038)과 선택되지 않은 다른 제1 다각형(3032, 3034, 3036)을 구분할 수 있다.

S2950 단계에서 영상 처리 장치(3000)의 프로세서(2510)는 S2940 단계에서의 선택에 기초하여 제1 영상 데이터를 추출할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2350 단계에 대응하는 것일 수 있으므로 생략한다.

S2960 단계에서 영상 처리 장치(3000)의 프로세서(2510)는 S2950 단계에서 추출한 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있다. 이에 대한 구체적인 내용은 도 23의 S2360 단계에 대응하는 것일 수 있으므로 생략한다.

도 31은 영상 처리 장치(3100)의 프로세서(2210)가 추출한 제1 다각형에 대응하는 제2 영상 데이터의 썸네일 이미지를 디스플레이부(2520)에 표시한 도면이다. 도 31의 영상 처리 장치(3100)는 도 22의 영상 처리 장치(2200)에 대응하는 것일 수 있다. 도 31을 참조하면, 본 발명의 일 실시예에 따라, 영상 처리 장치(3100)의 프로세서(2210)는 도 23에서의 영상 처리 방법을 이용하여 제1 다각형(3112, 3114, 3116, 3118)을 표시하도록 디스플레이부(2220)를 제어할 수 있다. 영상 처리 장치(3100)의 프로세서(2210)는 제1 다각형(3112, 3114, 3116, 3118)에 대응하는 영상 데이터인 제1 영상 데이터를 추출할 수 있다. 영상 처리 장치(3100)의 프로세서 (2210)는 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있다. 본 발명의 일 실시예에 따라, 영상 처리 장치(3100)의 프로세서(2210)는 생성한 제2 영상 데이터의 썸네일 이미지(3122, 3124, 3126, 3128)를 디스플레이부(2220)에 표시하도록 제어할 수 있다. 본 발명의 일 실시예에 따라, 영상 처리 장치(3100)의 프로세서(2510)는 외부 입력에 기초하여 제2 다각형을 선택할 수 있고, 선택에 기초하여 제1 영상 데이터를 추출할 수 있다. 영상 처리 장치(3100)의 프로세서(2510)는 상기 추출한 제1 영상 데이터의 왜곡을 보정하여 제2 영상 데이터를 생성할 수 있으며, 나아가 생성한 제2 영상 데이터의 썸네일 이미지를 디스플레이부(2520)에 표시하도록 제어할 수 있다.

도 32는 본 발명의 일 실시예로서, 영상 처리 장치(3200)의 프로세서(2510)가 수신한 외부 입력에 기초하여 제2 영상 데이터를 생성하고 생성된 제2 영상 데이터의 썸네일 이미지를 디스플레이부(2520)에 표시한 도면이다. 도 32의 영상 처리 장치(3200)는 도 25의 영상 처리 장치(2500)에 대응하는 것일 수 있다. 도 32를 참조하면, 본 발명의 일 실시예에 따라, 영상 처리 장치(3200)의 프로세서(2510)는 도 26, 도 27에서 설명한 내용에 따라 제1 다각형(3212, 3214, 3216, 3218)을 표시하도록 디스플레이부(2520)를 제어할 수 있다. 나아가 영상 처리 장치(3200)는 수신부(2530)로부터 수신되는 외부 입력(3211, 3217)에 기초하여 제1 다각형(3212, 3214, 3216, 3218)의 전부 또는 일부를 제2 다각형으로서 선택할 수 있다. 도 32를 참조하면, 외부 입력(3211, 3217)에 기초하여 도면 부호 3212, 3218에 해당하는 제1 다각형이 제2 다각형으로 선택되었다. 제2 다각형으로 선택된 도면 부호 3212, 3218에 해당하는 제1 다각형은, 선택되지 않은 도면 부호 3214, 3216에 해당하는 제1 다각형과 다르게 디스플레이부(2520)에 표시될 수 있다. 본 발명의 일 실시예에 따라, 영상 처리 장치(3300)의 프로세서(2510)는 제2 다각형으로 선택된 도면 부호 3312, 3318에 해당하는 제1 다각형을 디스플레이부(2520)에 표시되지 않도록 제어할 수 있다. 영상 처리 장치(3200)의 프로세서(2510)는 도면 부호 3214, 3216에 해당하는 제1 다각형에 대응하는 제1 영상 데이터를 추출할 수 있다. 즉, 외부 입력(3211, 3217)에 기초하여 선택되지 않은 도면 부호 3214, 3216에 해당하는 제1 다각형에 대하여만 제1 영상 데이터를 추출할 수 있다. 나아가 영상 처리 장치(3200)의 프로세서(2510)는 상기 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있고, 이러한 제2 영상 데이터의 썸네일 이미지(3222, 3224)를 디스플레이부(2520)에 표시하도록 제어할 수 있다. 도 32를 참조하면, 도 31과 비교하였을 때, 영상 처리 장치(3200)는 외부 입력(3211, 3217)에 기초하여 도면 부호 3122, 3128에 해당하는 썸네일 이미지를 디스플레이부(2520)에서 표시하지 않을 수 있다.

도 33은 본 발명의 일 실시예로서, 영상 처리 장치(3300)의 프로세서(2510)가 수신한 외부 입력에 기초하여 제2 영상 데이터를 생성하고 생성된 제2 영상 데이터의 썸네일 이미지를 디스플레이부(2520)에 표시한 도면이다. 도 33의 영상 처리 장치(3300)는 도 25의 영상 처리 장치(2500)에 대응하는 것일 수 있다. 도 33을 참조하면, 본 발명의 일 실시예에 따라, 영상 처리 장치(3300)의 프로세서(2510)는 도 26, 도 28에서 설명한 내용에 따라 제1 다각형(3312, 3314, 3316, 3318)을 표시하도록 디스플레이부(2520)를 제어할 수 있다. 나아가 영상 처리 장치(3300)는 수신부(2530)로부터 수신되는 외부 입력(3311, 3317)에 기초하여 제1 다각형(3312, 3314, 3316, 3318)의 전부 또는 일부를 제2 다각형으로서 선택할 수 있다. 도 33을 참조하면, 외부 입력(3311, 3317)에 기초하여 도면 부호 3312, 3318에 해당하는 제1 다각형이 제2 다각형으로 선택되었다. 제2 다각형으로 선택된 도면 부호 3312, 3318에 해당하는 제1 다각형은, 선택되지 않은 도면 부호 3314, 3316에 해당하는 제1 다각형과 다르게 디스플레이부(2520)에 표시될 수 있다. 본 발명의 일 실시예에 따라, 영상 처리 장치(3300)는 제2 다각형으로 선택된 도면 부호 3312, 3318에 해당하는 제1 다각형의 내부에 음영 처리를 함으로써 선택되지 않은 도면 부호 3314, 3316에 해당하는 제1 다각형과 구분되도록 표시할 수 있다. 나아가, 영상 처리 장치(3300)의 프로세서(2510)는 도면 부호 3312, 3318에 해당하는 제1 다각형에 대응하는 제1 영상 데이터를 추출할 수 있다. 나아가 프로세서(2510)는 상기 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성할 수 있고, 이러한 제2 영상 데이터의 썸네일 이미지(3322, 3324)를 디스플레이부(2520)에 표시하도록 제어할 수 있다. 도 33을 참조하면, 도 31과 비교하였을 때, 영상 처리 장치(3300)는 외부 입력(3311, 3317)에 기초하여 도면 부호 3124, 3126에 해당하는 썸네일 이미지는 디스플레이부(2520)에서 표시하지 않을 수 있다.

본 발명은 컴퓨터 판독 가능 저장 매체가 컴퓨터가 판독 가능한 프로그램을 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 영상 처리 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다. 컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims

적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 장치에 있어서,
상기 영상으로부터 상기 객체의 영역을 검출하고,
상기 검출된 객체의 영역과 가장 많은 부분이 겹치게 되는 다각형이 사각형인 경우, 상기 객체의 영역과 유사한 사각형 형태의 각 변을 근사하는 네 개의 제1 직선들을 정의하고,
상기 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 제1 영상 데이터를 추출하고,
상기 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 프로세서; 및
상기 제2 영상 데이터를 저장하는 저장부를 포함하고,
상기 제1 교차점들 중 일부는 상기 검출된 객체의 영역 외부에 존재하는, 영상 처리 장치.
제 1 항에 있어서,
상기 제1 직선들은 상기 검출된 영역에 대응하는 다각형의 모서리에 대응되는 것을 특징으로 하고,
상기 프로세서는,
상기 제1 직선들 각각이 상기 객체의 경계와 교차하는 지점의 수가 최대가 되도록 정의하는 것을 특징으로 하는, 영상 처리 장치.
제 1 항에 있어서, 상기 프로세서는
상기 복수의 제1 교차점들 각각의 주변의 제1 영역을 설정하고,
상기 제1 영역의 영상 데이터의 픽셀 값을 양자화 하고,
상기 양자화 한 제1 영역의 영상 데이터 상에서 해당 제1 영역의 제1 교차점을, 상기 객체의 중심을 기준으로 최외곽의 꼭지점으로 보정하는 것을 특징으로 하는, 영상 처리 장치.
제 3 항에 있어서, 상기 프로세서는
상기 보정된 복수의 제1 교차점들을 꼭지점으로 하는 다각형에 대응하는 영역의 제1 영상 데이터를 추출하고, 상기 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 것을 특징으로 하는, 영상 처리 장치.
제 1 항에 있어서, 상기 프로세서는,
상기 영상으로부터 복수의 객체가 검출된 경우, 상기 복수의 객체 각각의 영역을 검출하고,
상기 복수의 객체의 영역 각각의 경계와 교차하는 지점의 수에 기초하여 상기 검출된 복수의 객체의 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하고,
상기 검출된 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 복수의 제1 영상 데이터를 추출하고,
상기 검출된 복수의 객체 각각의 영역에 대응하여 추출된 상기 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하는 것을 특징으로 하는, 영상 처리 장치.
제 5 항에 있어서, 상기 프로세서는,
상기 생성된 복수의 제2 영상 데이터를 별개의 파일로 생성하여 상기 저장부에 저장하는 것을 특징으로 하는, 영상 처리 장치.
제 5 항에 있어서, 상기 프로세서는,
상기 생성된 복수의 제2 영상 데이터에 대응하는 영상을 포함하는 하나의 파일로 생성하여 상기 저장부에 저장하는 것을 특징으로 하는, 영상 처리 장치.
제 5 항에 있어서, 상기 프로세서는,
상기 제1 영상 데이터 중 가장 큰 다각형 영역에 대응하는 영상 데이터를 추출하여 왜곡을 보정한 제2 영상 데이터를 저장하도록 상기 저장부를 제어하는 것을 특징으로 하는, 영상 처리 장치.
제 5 항에 있어서, 상기 프로세서는,
상기 검출된 복수의 객체의 종류를 판단하고,
상기 판단된 종류가 동일한 경우, 상기 종류가 동일한 복수의 객체에 대응하는 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하고, 상기 복수의 제2 영상 데이터의 해상도를 동일하게 변환하여 상기 저장부에 저장하는 것을 특징으로 하는, 영상 처리 장치.
제 5 항에 있어서,
상기 영상 처리 장치는 입력 신호를 수신할 수 있는 수신부를 더 포함하고,
상기 프로세서는,
상기 복수의 제2 영상 데이터 중, 상기 수신부를 통해 수신된 상기 입력 신호에 기초하여 선택한 적어도 하나의 제2 영상 데이터를 생성하여 상기 저장부에 저장하는 것을 특징으로 하는, 영상 처리 장치.
복수의 객체를 포함하는 영상을 처리하는 영상 처리 장치에 있어서,
디스플레이부;
상기 영상으로부터 상기 복수의 객체에 대한 영역을 검출하고, 상기 검출된 객체의 영역과 가장 많은 부분이 겹치게 되는 다각형이 사각형인 경우, 각 변을 근사하는 네 개의 제1 직선들을 정의하고, 상기 검출된 객체의 영역과 가장 많은 부분이 겹치게 되는 다각형이 사각형이 아닌 경우, 상기 영역 각각의 경계와 교차하는 지점의 수에 기초하여 상기 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하고, 상기 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 상기 디스플레이부에 표시하고, 상기 제1 다각형에 포함되는 적어도 하나의 다각형인 제2 다각형을 선택하고, 상기 선택에 기초하여 제1 영상 데이터를 추출하고, 상기 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 프로세서; 및
상기 제2 영상 데이터를 저장하는 저장부를 포함하고,
상기 제1 교차점들 중 일부는 상기 검출된 객체의 영역 외부에 존재하는, 영상 처리 장치.
제 11 항에 있어서, 상기 프로세서는
상기 제1 다각형의 크기, 왜곡 정도, 화면 중앙으로부터의 거리 및 상기 영상 처리 장치로부터의 거리 중 적어도 하나에 기초하여 제2 다각형을 선택하고, 상기 제1 다각형 중 상기 제2 다각형을 제외한 다각형과 다르게 상기 제2 다각형을 표시하도록 디스플레이부를 제어하고, 상기 제2 다각형에 대하여 상기 제1 영상 데이터를 추출하는 것을 특징으로 하는, 영상 처리 장치.
제 11 항에 있어서, 상기 영상 처리 장치는
외부 입력을 수신하는 수신부를 더 포함하고
상기 프로세서는 상기 외부 입력에 기초하여 상기 제2 다각형을 선택하는 것을 특징으로 하는, 영상 처리 장치.
제 13 항에 있어서, 상기 프로세서는
상기 제1 다각형 중 상기 제2 다각형을 제외한 다각형인 제3 다각형만을 표시하도록 상기 디스플레이부를 제어하고, 상기 제3 다각형에 대한 제1 영상 데이터를 추출하는 것을 특징으로 하는, 영상 처리 장치.
제 13 항에 있어서, 상기 프로세서는
상기 제1 다각형 중 상기 제2 다각형 이외의 다각형과 다르게 상기 제2 다각형을 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는, 영상 처리 장치.
제 11 항에 있어서, 상기 프로세서는
상기 제2 영상 데이터에 대응하는 썸네일 이미지를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는, 영상 처리 장치.
적어도 하나의 객체를 포함하는 영상을 처리하는 영상 처리 방법에 있어서,
상기 영상으로부터 상기 객체의 영역을 검출하는 단계;
상기 검출된 객체의 영역과 가장 많은 부분이 겹치게 되는 다각형이 사각형인 경우, 상기 객체의 영역과 유사한 사각형 형태의 각 변을 근사하는 네 개의 제1 직선들을 정의하는 단계;
상기 제1 직선들의 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 제1 영상 데이터를 추출하는 단계;
상기 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 단계; 및
상기 제2 영상 데이터를 저장하는 단계를 포함하고,
상기 제1 교차점들 중 일부는 상기 검출된 객체의 영역 외부에 존재하는, 영상 처리 방법.
제 17 항에 있어서, 상기 제1 직선들을 정의하는 단계는,
상기 제1 직선들은 상기 검출된 영역에 대응하는 다각형의 모서리에 대응되는 것을 특징으로 하고,
상기 제1 직선들 각각이 상기 객체의 경계와 교차하는 지점의 수가 최대가 되도록 정의하는 것을 특징으로 하는, 영상 처리 방법.
제 17 항에 있어서, 상기 제1 영상 데이터를 추출하는 단계는,
상기 복수의 제1 교차점들 각각의 주변의 제1 영역을 설정하는 단계;
상기 제1 영역의 영상 데이터의 픽셀 값을 양자화 하는 단계; 및
상기 양자화 한 제1 영역의 영상 데이터 상에서 해당 제1 영역의 제1 교차점을, 상기 객체의 중심을 기준으로 최외곽의 꼭지점으로 보정하는 단계를 더 포함하는 것을 특징으로 하는, 영상 처리 방법.
제 19 항에 있어서,
상기 제1 영상 데이터를 추출하는 단계는,
상기 보정된 복수의 제1 교차점들을 꼭지점으로 하는 다각형에 대응하는 영역의 제1 영상 데이터를 추출하는 것을 특징으로 하고,
상기 제2 영상 데이터를 생성하는 단계는,
상기 추출된 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 것을 특징으로 하는, 영상 처리 방법.
제 17 항에 있어서,
상기 객체의 영역을 검출하는 단계는, 상기 객체가 복수개인 경우 상기 복수의 객체 각각의 영역을 검출하는 단계를 포함하고,
상기 제1 직선들을 정의하는 단계는, 상기 복수의 객체의 영역 각각의 경계와 교차하는 지점의 수에 기초하여 상기 검출된 복수의 객체의 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하는 단계를 포함하고,
상기 제1 영상 데이터를 추출하는 단계는, 상기 검출된 복수의 객체의 영역 각각에 대응하는 상기 복수의 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 다각형 영역에 대한 복수의 제1 영상 데이터를 추출하는 단계를 포함하고,
상기 제2 영상 데이터를 생성하는 단계는, 상기 검출된 복수의 객체의 영역 각각에 대응하여 추출된 상기 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하는 단계를 포함하는, 영상 처리 방법.
제 21 항에 있어서, 상기 복수의 제2 영상 데이터를 생성하는 단계는,
상기 생성된 복수의 제2 영상 데이터를 별개의 파일로 저장하는 단계를 더 포함하는, 영상 처리 방법.
제 21 항에 있어서, 상기 복수의 제2 영상 데이터를 생성하는 단계는,
상기 생성된 복수의 제2 영상 데이터에 대응하는 영상을 포함하는 하나의 파일로 생성하여 저장하는 단계를 더 포함하는, 영상 처리 방법.
제 21 항에 있어서, 상기 복수의 제2 영상 데이터를 생성하는 단계는,
상기 제1 영상 데이터 중 가장 큰 다각형 영역에 대응하는 영상 데이터를 추출하여 왜곡을 보정한 제2 영상 데이터를 저장하는 단계를 포함하는, 영상 처리 방법.
제 21 항에 있어서, 상기 복수의 제2 영상 데이터를 생성하는 단계는,
상기 검출된 복수의 객체의 종류를 판단하는 단계;
상기 판단된 종류가 동일한 경우, 상기 종류가 동일한 복수의 객체에 대응하는 복수의 제1 영상 데이터의 왜곡을 보정한 복수의 제2 영상 데이터를 생성하는 단계;
상기 복수의 제2 영상 데이터의 해상도를 동일하게 변환하는 단계; 및
상기 변환된 복수의 제2 영상 데이터를 저장하는 단계를 더 포함하는, 영상 처리 방법.
제 21 항에 있어서, 상기 복수의 제2 영상 데이터를 생성하는 단계는,
입력 신호를 수신하는 단계; 및
상기 생성된 복수의 제2 영상 데이터 중, 상기 수신된 입력 신호에 기초하여 선택한 적어도 하나의 제2 영상 데이터를 저장하는 단계를 더 포함하는, 영상 처리 방법.
복수의 객체를 포함하는 영상을 처리하는 영상 처리 방법에 있어서,
상기 영상으로부터 상기 복수의 객체에 대한 영역을 검출하는 단계;
상기 검출된 객체의 영역과 가장 많은 부분이 겹치게 되는 다각형이 사각형인 경우, 각 변을 근사하는 네 개의 제1 직선들을 정의하고, 상기 검출된 객체의 영역과 가장 많은 부분이 겹치게 되는 다각형이 사각형이 아닌 경우, 상기 영역 각각의 경계와 교차하는 지점의 수에 기초하여 상기 영역 각각의 경계를 근사하는 복수의 제1 직선들을 정의하는 단계;
상기 제1 직선들이 교차하는 복수의 제1 교차점들을 꼭지점으로 하는 복수의 다각형인 제1 다각형을 표시하는 단계;
상기 제1 다각형에 포함되는 적어도 하나의 제2 다각형을 선택하는 단계;
상기 선택에 기초하여 제1 영상 데이터를 추출하는 단계;
상기 제1 영상 데이터의 왜곡을 보정한 제2 영상 데이터를 생성하는 단계; 및
상기 제2 영상 데이터를 저장하는 단계를 포함하고
상기 제1 교차점들 중 일부는 상기 검출된 객체의 영역 외부에 존재하는, 영상 처리 방법.
제 27 항에 있어서,
상기 영상 처리 방법은 상기 제1 다각형의 크기, 왜곡 정도, 화면 중앙으로부터의 거리 및 상기 영상 처리 장치로부터의 거리 중 적어도 하나에 기초하여 제2 다각형을 선택하는 단계를 더 포함하고,
상기 제1 다각형을 표시하는 단계는,
상기 제1 다각형 중 상기 제2 다각형을 제외한 다각형과 다르게 상기 제2 다각형을 표시하는 단계를 포함하고,
상기 제1 영상 데이터를 추출하는 단계는 상기 제1 다각형 중 상기 제2 다각형을 제외한 다각형인 제3 다각형에 대하여 상기 제1 영상 데이터를 추출하는 단계를 포함하는, 영상 처리 방법.
제 27 항에 있어서, 상기 영상 처리 방법은,
외부 입력을 수신하는 단계를 더 포함하고,
상기 제2 다각형을 선택하는 단계는 상기 외부 입력에 기초하여 제2 다각형을 선택하는 단계를 포함하는, 영상 처리 방법.
제 29 항에 있어서,
상기 영상 처리 방법은, 상기 제1 다각형 중 상기 제2 다각형을 제외한 다각형인 제3 다각형만을 표시하는 단계를 더 포함하고,
상기 제1 영상 데이터를 추출하는 단계는, 상기 제3 다각형에 대한 제1 영상 데이터를 추출하는 단계를 포함하는, 영상 처리 방법.
제 29 항에 있어서,
상기 제2 다각형을 표시하는 단계는, 상기 제1 다각형 중 상기 제2 다각형 이외의 다각형과 다르게 상기 제2 다각형을 표시하는 단계를 포함하는, 영상 처리 방법.
제 27 항에 있어서, 상기 영상 처리 방법은,
상기 제2 영상 데이터에 대응하는 썸네일 이미지를 표시하는 단계를 더 포함하는 것을 특징으로 하는, 영상 처리 방법.
제 17 항 내지 제 32 항 중 어느 한 항의 상기 영상 처리 방법을 수행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체.