KR101207084B1 - 이미지 처리 방법 및 이를 위한 장치 - Google Patents

Abstract

이미지 영상으로부터 아티스트가 그린 것과 같은 결과 영상을 생성하는 방법 및 이를 실행하는 장치가 개시된다. 수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성부, 상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성부, 상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링부 및 상기 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성하는 영상 생성부를 포함하여 구성될 수 있다. 따라서, 한 장의 이미지 영상으로부터 빠른 시간에 자동으로 결과 영상을 생성할 수 있다. 이는 한정된 헤드컷 아티스트가 긴 시간을 투자하여야 한 장의 헤드컷을 완성할 수 있던 한계를 벗어나 누구나 사진 한 장으로 쉽게 헤드컷을 생성할 수 있도록 한다.

Description

이미지 처리 방법 및 이를 위한 장치{METHOD OF PROCESSING IMAGE AND APPARATUS FOR THE SAME}

본 발명은 이미지 처리 방법 및 이를 위한 장치에 관한 것으로, 더욱 상세하게는 스트럭쳐 그리드를 이용하여 이미지를 처리하는 방법 및 이를 위한 장치에 관한 것이다.

헤드컷은 표현하고자 하는 대상의 특징적인 흐름을 따라 일정 간격으로 크기가 다른 점 또는 선을 나열하여 대상을 표현하는 예술적 기법이다. 이러한 헤드컷은 목판 느낌의 그림을 만들기 위해서 개발되었으며, 특히 신문이나 잡지 등과 같은 인쇄매체에서 초상화를 표현하는데 많이 사용되었다. 또한, 헤드컷은 표현하고자 하는 대상을 점 또는 선으로 표현하기 때문에 스타일 자체의 매력이 있고, 이에 따라 인쇄매체를 넘어서 보다 다양한 분야에서 활용되고 있다. 하지만, 한정된 수의 아티스트는 수작업으로 헤드컷을 생성할 때 많은 시간이 소요되기 때문에 모든 사람들에게 널리 사용되기에는 무리가 있다.

이러한 헤드컷의 특성은 대상의 톤을 표현하기 위하여 크기가 다른 점이나 선들을 사용하고, 이러한 점이나 선들은 대상의 특징적인 방향을 따라 나열되며, 나열된 점이나 선들은 어느 정도 일정한 간격으로 배치되고, 또한 한 장의 헤드컷 영상에서도 이러한 점과 선들이 위화감 없이 섞여서 사용된다. 기존의 연구 중에서는 이러한 특징들을 모두 충족하는 헤드컷 생성 방법이 없었으며, 스티플링(stippling), 해칭(hatching)이 가장 관련 깊은 연구이다.

하지만, 이러한 방법들은 헤드컷의 특징인 대상의 톤을 표현하기 위해서 크기가 다른 점 또는 선들을 대상의 특징적인 방향에 따라 나열하고, 나열된 점 또는 선들을 어느 정도 일정한 간격으로 배치하여 생성된 헤드컷의 특징을 충분히 만족시킬 수 없다는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 제 1 목적은, 스트럭쳐 그리드를 이용하여 이미지를 처리하는 장치를 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 제 2 목적은, 스트럭쳐 그리드를 이용하여 이미지를 처리하는 방법을 제공하는데 있다.

상기한 본 발명의 제 1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스트럭쳐 그리드를 이용한 이미지 처리 장치는, 수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성부, 상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성부 및 상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링부를 포함하여 구성될 수 있다.

본 발명의 제 2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스트럭쳐 그리드를 이용한 이미지 처리 방법은, 수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 백터장을 생성하는 제 1 생성 단계, 상기 백터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성 단계 및 상기 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링하는 렌더링 단계를 포함하여 구성될 수 있다.

상기와 같은 본 발명에 따른 이미지 영상으로부터 아티스트가 그린 것과 같은 결과 영상을 생성하는 방법 및 이를 실행하는 장치를 이용할 경우에는 한 장의 이미지 영상으로부터 빠른 시간에 자동으로 결과 영상을 생성할 수 있다. 이는 한정된 헤드컷 아티스트가 긴 시간을 투자하여야 한 장의 헤드컷을 완성할 수 있던 한계를 벗어나 누구나 사진 한 장으로 쉽게 헤드컷을 생성할 수 있도록 한다.

또한, 본 발명을 위하여 정의된 특징 벡터장, 스트럭쳐 그리드, 프리미티브 렌더링 방법 등은 각각 독립적으로도 다양한 영상 처리 기법들에 활용될 수 있다. 특징 벡터장 생성은 영상의 일부에 정의된 방향 정보를 반영하면서도 영상 전체에 걸쳐 부드럽게 변화하는 벡터장을 생성하여, 방향을 기반으로 하는 다양한 영상 처리 방법들에 활용될 수 있다. 스트럭쳐 그리드는 영상에서 벡터장을 따라 일정 간격으로 반복되는 스트라이프 패턴, 또는 다수의 스트라이프 패턴을 겹쳐 생성하는 격자 등 다양한 패턴을 생성함으로써 흐름 시각화 등 여러 분야에 활용될 수 있다. 스트럭쳐 그리드를 이용한 렌더링 방법은 픽셀 기반으로 빠른 시간에 점이나 선 등 기초적인 프리미티브를 렌더링하는 기반이 될 수 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 내부 구조를 도시한 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 1 생성부가 벡터장을 생성하는 과정을 설명하기 위한 예시도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 2 생성부가 스트럭쳐 그리드를 생성하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 이미지 처리 장치의 렌더링부가 프리미티브 렌더링을 수행하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 과정을 설명하기 위한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 내부 구조를 도시한 블럭도이다.

도 1을 참조하면, 이미지 처리 장치는 수신부(101), 제 1 생성부(103), 제 2 생성부(105), 렌더링부(107) 및 영상 생성부(109)를 포함하여 구성될 수 있다.

수신부(101)는 복수개의 영상 촬영기기에 의해 촬영된 이미지 영상, 예를 들어 이차원 이미지 영상을 수신한다. 제 1 생성부(103)는 수신부(101)로부터 이미지 영상을 수신하고, 수신된 이미지 영상에서 특징 픽셀들에 해당하는 특징 라인맵(feature line map)을 생성하고, 생성된 특징 라인맵에 해당하는 점들의 방향 정보를 정의한 후 이를 보간(interpolation)하여 이미지 영상에 대한 백터장을 생성한다. 여기서, 제 1 생성부(103)는 특징 라인맵에 포함되지 않는 특징 픽셀들의 방향 정보를 정의하기 위해서, 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간하여 사용한다. 이는 단순히 이미지 영상에 포함된 모든 특징 픽셀의 ETF(Edge Tangent Field) 정보를 사용하는 것에 비해 부드럽고 안정적이며 특징 부분의 정보를 높게 반영한 벡터장을 얻을 수 있다는 장점이 있다.

본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 산포 자료 보간법(scattered data interpolation) 중 다중 레벨 B-스플라인 보간법(multi-level B-spline interpolation)을 사용하여 특징 라인맵에 해당하는 점들의 방향 정보를 보간하여 이미지 영상에 대한 벡터장을 생성할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 반대 방향을 가리키는 벡터들, 예를 들어 ((1, 0) 및 (-1, 0))을 같은 방향으로 처리 하기 위해서, 특징 픽셀들의 방향 정보를 2 × 2 구조 텐서(structure tensor)로 변환한 후 각 항을 보간하고, 보간된 구조 텐서의 고유 벡터(engenvector)를 산출하여 각 픽셀의 방향으로 정의하여 이미지 영상에 대한 벡터장을 생성할 수 있다.

제 2 생성부(105)는 제 1 생성부(103)에서 생성된 특징 백터장을 이용하여 점이나 선과 같은 프리미티브를 나열하기 위해서 사용되는 스트럭쳐 그리드를 생성한다. 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 백터장을 따라 부드럽게 변형하여 격자 형태의 구조를 가진 스트럭쳐 그리드를 생성할 수 있다. 이러한 구조위에서 격자 교점 부분에는 점을, 격자 선 부분에는 선을 그림으로써 스티플링과 해칭 또는 그 혼합을 모두 표현할 수 있고, 이렇게 그려진 프리미티브는 특징 방향 및 그 수직 방향 모두를 따라 일정 간격으로 나열될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과인 제 1 스트라이프 패턴과 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과인 제 2 스트라이프 패턴을 결합하여 스트럭쳐 그리드를 생성할 수 있다.

렌더링부(107)는 제 2생성부(105)에서 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링한다. 여기서, 프리미티브 렌더링은 제 2 생성부(105)에서 생성된 스트럭쳐 그리드 상에서 점이나 선과 같은 기본 프리미티브를 그림으로써 최종 결과 영상을 만드는 것을 나타낸다. 영상 생성부(109)는 제 2 생성부(105)에 의해 프리미티브 렌더링된 결과에 특징 선을 추가하여 결과 영상을 생성한다. 그러면 이하에서는, 도 2를 참조하여 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 1 생성부가 벡터장을 생성하는 과정을 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 1 생성부가 벡터장을 생성하는 과정을 설명하기 위한 예시도이다.

도 2를 참조하면, 제 1 생성부(103)는 수신부(101)로부터 이미지 영상을 수신(202a)하고, 수신된 이미지 영상에서 특징 픽셀들에 해당하는 특징 라인맵을 생성(202b)한다. 본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 흐름 기반 라인 드로잉 기법(202b 검은선)을 이용하여 특징 라인맵을 정의하며, 흐름 기반 라인 드로잉 기법은 스타일화된 특징 라인을 효과적으로 표현할 수 있고, 특징 라인맵을 생성하는 단계에서 얻어지는 모든 특징 픽셀의 ETF 정보를 특징 픽셀의 방향 정보로 이용할 수 있다는 장점이 있다.

제 1 생성부(103)는 생성된 특징 라인맵에 해당하는 점들의 방향 정보를 정의한 후 이를 보간하여 이미지 영상에 대한 벡터장(202c 또는 202d)을 생성한다. 여기서, 벡터장(202c)는 제 1 생성부(103)가 흐름 기반 라인 드로잉만으로 정의된 특징 라인맵을 사용하여 벡터장을 생성한 경우에 해당하며, 벡터장(202d)는 제 1 생성부(103)가 등광선 커브(isophote curve)를 추가로 사용하여 벡터장을 생성한 경우에 해당한다. 본 발명의 일 실시예에 따르면, 제 1 생성부(103)는 이미지 영상을 수신하고, 수신된 이미지 영상이 이차원 영상일 경우 물체의 모양을 어느 정도 가정할 수 있도록 등광선 커브(202b 파란선)를 추가적으로 사용하여 벡터장(202d)을 생성할 수 있으며, 제 1 생성부(103)는 수신된 이미지 영상의 밝기 정보를 사용자가 미리 정의한 수만큼의 단계로 양자화(quantization)한 후, 그 경계를 등광선 커브로 정의하고, 등광선 커브에 해당하는 특징 픽셀들을 추가적으로 특징 라인맵에 적용한 후, 특징 라인맵을 이용하여 벡터장(202d)을 생성할 수 있다. 그러면 이하에서는, 도 3 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 2 생성부가 스트럭쳐 그리드를 생성하는 과정을 설명하기로 한다.

도 3 내지 도 5는 본 발명의 일 실시예에 따른 이미지 처리 장치의 제 2 생성부가 스트럭쳐 그리드를 생성하는 과정을 설명하기 위한 예시도이다.

도 3을 참조하면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 특징 백터장을 이용하여 스트럭쳐 그리드를 생성한다. 여기서, 스트럭쳐 그리드는 점이나 선과 같은 프리미티브의 나열을 위해 정의된 구조이다. 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 백터장을 따라 부드럽게 변형하여 격자 형태의 구조를 가진 스트럭쳐 그리드(300a)를 생성할 수 있다. 이러한 구조위에서 격자 교점 부분에는 점을, 격자 선 부분에는 선을 그림으로써 스티플링(300b)과 해칭(300c) 또는 그 혼합(300d)를 모두 표현할 수 있고, 이렇게 그려진 프리미티브는 특징 방향 및 그 수직 방향 모두를 따라 일정 간격으로 나열될 수 있다.

도 4를 참조하면, 제 2 생성부(105)는 제 1 생성부(103)에서 생성된 특징 백터장을 이용하여 스트럭쳐 그리드를 생성한다. 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 격자 패턴을 입력 텍스쳐 샘플로 정의하고 벡터장을 텍스쳐 회전 방향으로 텍스쳐 합성(texture synthesis)을 하여 스트럭쳐 그리드(400f, 400h)를 생성할 수 있지만, 이 경우, 자유롭게 변형된 벡터장을 따르기 위해 격자 교점 또는 격자 선 부분이 손상될 수 있다. 이와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과인 제 1 스트라이프 패턴(401b, 401c, 401d)와 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과인 제 2 스트라이프 패턴(400b, 400c, 400d)를 결합하여 스트럭쳐 그리드(400e, 400g)를 생성할 수 있다.

제 1 스트라이프 패턴(401b, 401c, 401d)은 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과에 따른 변화를 나타낸다. 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 합성한 첫 번째 결과인 제 1 스트라이프 패턴(401b)에서는 특징 선으로부터 거리로 단순히 나타나지만, 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 합성한 두 번째 결과인 제 1 스트라이프 패턴(401c) 및 세 번째 결과인 제 2 스트라이프 패턴(401d)에서는 각 부분의 특징 픽셀의 방향 정보에 따라 스트라이프 패턴이 개선되었다.

제 2 스트라이프 패턴(400b, 400c, 400d)은 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과에 따른 변화를 나타낸다. 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴 합성한 첫 번째 결과인 제 2 스트라이프 패턴(400b)에서는 난수에서 시작되어 연관성이 없는것과 같이 나타나지만, 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴 합성한 두 번째 결과인 제 2 스트라이프 패턴(400c) 및 세 번째 결과인 제 2 스트라이프 패턴(400d)에서는 스트라이프 패턴을 확인할 수 있다. 이와 같이 제 2 생성부(105)는 두 번에 걸쳐 서로 수직 방향으로 생성된 스트라이프 패턴, 예를 들어 제 1 스트라이프 패턴(401d) 및 제 2 스트라이프 패턴(400d)을 결합하여 최종적으로 스트럭쳐 그리드(400e, 400g)를 생성할 수 있다.

한편, 본 발명에서 제시한 일차원 스트라이프 패턴 합성을 이용한 스트럭쳐 그리드 생성은 이차원 텍스쳐 합성에 비해 생성된 스트럭쳐 그리드의 결과면에서 매우 우수하다. 더구나, 이차원 텍스쳐 합성을 수행할 경우 각 픽셀을 한 번 업데이트 할 때마다 O(d²(2r + 1)²)의 연산이 필요하지만, 본 발명에서 제시한 일치원 스트라이프 패턴 합성을 이용하여 텍스쳐 합성을 수행할 경우 각 픽셀을 한 번 업데이트 할 때마다 2 × O(d(2r + 1))의 연산이 필요하므로, 속도면에서도 훨씬 뛰어난 성능을 보인다.

또한, 이렇게 생성된 제 1 스트라이프 패턴은 그 자체로도 벡터장을 효과적으로 보여주는데 효과적이므로, 일 실시예로 흐름 시각화(flow visualization) 등에 사용될 수 있다.

제 2 생성부(105)가 생성한 스트럭쳐 그리드 G는 벡터값을 갖는 이미지 영상 G:p → (t₀, t₁)으로 정의될 수 있다. 이때, t₀, t₁은 픽셀 p로부터 해당 특징 픽셀의 방향 정보 및 그 수직 방향으로 가장 가까운 격자 선까지의 거리를 각각 나타낸다. 이는 각 픽셀이 격자 여부가 아닌 격자까지의 거리 정보를 가짐으로써 패턴 전체가 보다 많은 정보를 포함할 수 있도록 하여 합성 결과를 향상시키고 또한 이후 단계에서 해당 거리 정보를 이용하기 위함이다. 제 2 생성부(105)가 생성한 스트럭쳐 그리드에서 이웃하는 격자 선들 간의 원하는 거리, 즉 결과 영상에서 원하는 점 또는 선의 간격이 d라고 할 때, t_i는 [0, d/2] 범위에서 값을 가질 수 있으며, 일정 간격으로 반복되는 격자를 반영하기 위해 주기적으로 반사되는 형태로 정의된다. 그리고, 이 경우 점들은 (0, 0)의 위치에 위치하게 되며 해칭선들은 (t₀, 0) 또는 (0, t₁)의 위치에 위치하게 된다.

본 발명의 일 실시예에 따르면, 제 2 생성부(105)는 특징 픽셀의 방향 정보에 따라 스트라이프 패턴을 반복적으로 합성한 결과인 도 4의 제 1 스트라이프 패턴(401d)와 특징 픽셀의 방향 정보에 대해 수직 방향으로의 스트라이프 패턴을 반복적으로 합성한 결과인 도 4 의 제 2 스트라이프 패턴(400d)를 결합하여 도 4의 스트럭쳐 그리드(400e, 400g)를 생성할 수 있다. 이를 위한 스트라이프 패턴 P는 각 픽셀에 대해 정의된 두 거리 값(t₀, t₁) 중 하나에 해당하는 상수 값을 갖는 영상 P:p → t로 정의될 수 있다.

제 2 생성부(105)가 생성한 스트럭쳐 그리드의 스트라이프 패턴 P는 벡터장 F 또는 그 수직 방향을 따르고 격자 간격 d를 갖는다. 이때, 스트라이프 패턴 P는 P가 갖는 거리 값을 국부 최적화(local optimization) 방법을 통해 반복적으로 업데이트하여 합성된다. 이를 위해서, 제 2 생성부(105)는 스트럭쳐 그리드의 스트라이프 패턴들에 대해서 초기값을 정의한다. 예를 들어, 벡터장 F의 수직 방향을 따르는 스트라이프 패턴의 경우 P의 초기값을 결정할 명확한 기준이 없기 때문에, 제 2 생성부(105)는 [0, d/2]사이의 난수를 스트라이프 패턴 P의 초기값으로 결정한다. 반면, 제 2 생성부(105)는 벡터장 F 방향으로의 스트라이프 패턴의 경우, 각 픽셀에 대해 가장 가까운 특징 선까지의 거리 정보를 이용하여 초기화한다. 예를 들어, 제 2 생성부(105)는 점프 범람(jump-flooding) 알고리즘을 이용하여 각 픽셀에 대해 가장 가까운 특징 선까지의 거리 정보를 산출할수 있고, <수학식 1>과 같이 주기적으로 반사되는 형태를 띤 함수를 이용해 각 픽셀에 대해 가장 가까운 격자 선까지의 거리로 변환하여 [0, d/2]사이의 실수값을 갖도록 거리 정보를 산출할 수 있다.

도 5를 참조하면, 제 2 생성부(105)는 수신된 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)에 대한 스트라이프 패턴 P의 최적 값 t를 산출하기 위해서, 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)를 중심으로 픽셀 p(501)에서의 벡터장 F 또는 그 수직 방향으로 방향 지어진 (2r + 1) × (2r + 1) 크기의 이웃 창(neighbor window) W(502)를 이용해 스트라이프 패턴 P의 값 t를 반복적으로 업데이트 한다. 이때, r의 값은 일반적으로 결과 영상에서 점들간의 소정의 간격 또는 선들간의 소정의 간격을 지시하는 값 d를 사용한다.

제 2 생성부(105)가 이웃 창 W(502)의 각 줄의 평균 픽셀 값을 산출하여 (2r + 1)크기의 일차원 배열(array) w(503)로 정의하면, 이는 픽셀 p (501)를 중심으로 현재 주변의 스트라이프 패턴 P의 값 t의 분포를 의미하며, w[i], i = -r, …, r 로 표현될 수 있다. 제 2 생성부(105)는 이렇게 산출된 일차원 배열 w(503)와 스트라이프 패턴의 목표가 되는 함수 S를 비교함으로써 픽셀 p에 대한 최적 값 t값을 정의할 수 있다. 이를 위해서, 제 2 생성부(105)는 스트라이프 패턴의 목표가 되는 함수 S로부터 샘플링을 통해 w[i]와 동일한 크기의 템플릿 어레이(template array)(504) s_x[i] = S(i + x), i = -r, …, r(0 ≤ x < d)를 정의하고, 샘플링 위치 x를 달리하며 일차원 배열 w(503)와 템플릿 어레이(504) 사이의 원소별(element-by-element) 차이인 E(w,sx) =

(s_x[i] - w[i])² 를 최소화하는 샘플링 위치 x값을 찾는다. 하지만, 이 경우 <수학식 1>로부터 정의되어 s_x[i]에 포함된 min 함수로 인해 바로 최적 값을 찾는 것이 불가능하기 때문에, x의 범위를 [m/2, m/2 + 0.5], m = 0, …, 2d - 1의 부분범위(subrange)로 나누고, 각 부분범위에서는 s_x[i]에서 min함수를 제거하여 E(w, s_x)가 단순한 이차식(quadratic function)으로 표현되도록 한다.

제 2 생성부(105)가 각 부분범위에서 산출된 최소 E(w, s_x)들을 비교하여 이들 중 최소 E(w, s_x)를 갖는 x값을 산출한 경우, 그 때의 s_x가 픽셀 p(501)와 그 주위 정보를 가장 잘 반영한 템플릿 어레이라고 볼 수 있다. 따라서, 제 2 생성부(105)는 픽셀 p(501)에 대한 현재의 최적 값 t를 s_x의 중심에 해당하는 s_x[0]값으로 업데이트 한다. 제 2 생성부(105)는 이러한 픽셀 단위 업데이트를 모든 픽셀에 대해 반복적으로 수행하며, 총 반복 수행 횟수는 3 에서 8회 사이이다.

한편, 제 2 생성부(105)가 본 발명에서 제시한 일치원 스트라이프 패턴 합성을 이용하여 텍스쳐 합성을 수행할 경우 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)을 업데이트하기 위하여 이웃 창 W(502)를 정의할 때, 방향뿐만 아니라 추가적으로 이웃 창 W(502)의 비율을 함께 조절할 수 있다. 이와 같이, 제 2 생성부(105)가 이웃 창 W(502)의 비율을 조절할 경우, 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p(501)에 대해 고려되는 주변 픽셀들의 영역이 변화하여 결과적으로 스트라이프 패턴의 간격이 달라진다. 이와 같은 이유로, 제 2 생성부(105)는 이미지 영상의 각 부분에서 점 또는 선의 간격을 조금씩 부드럽게 조절할 수 있어, 아티스트가 그린 영상처럼 자유도가 높은 스트럭쳐 그리드를 생성할 수 있다. 그러면 이하에서는, 도 6을 참조하여 본 발명의 일 실시예에 따른 이미지 처리 장치의 렌더링부가 프리미티브 렌더링을 수행하는 경우를 설명하기로 한다.

도 6은 본 발명의 일 실시예에 따른 이미지 처리 장치의 렌더링부가 프리미티브 렌더링을 수행하는 예시도이다.

렌더링부(107)는 제 2 생성부(105)에서 생성된 스트럭쳐 그리드를 수신하고, 수신된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링한다. 여기서, 프리미티브 렌더링은 제 2 생성부(105)에서 생성된 스트럭쳐 그리드 상에서 점이나 선과 같은 기본 프리미티브를 그림으로써 결과 영상을 만드는 것을 나타낸다. 렌더링부(107)는 스트럭쳐 그리드 상의 값과 수신된 이미지 영상으로부터 생성된 톤맵을 이용하여 렌더링 할 프리미티브의 위치 및 크기 등을 결정한다. 이때, 이미지 영상으로부터 생성된 톤맵은 이미지 영상을 회색조 영상으로 변환하고 가우시안 스무딩(Gaussian smoothing)하여 생성될 수 있으며, 변환된 가우시안 스무딩 결과에 추가적으로 밝기나 감마(gamma) 조절 등 여상 처리를 수행하여 생성될 수 있는 결과 영상으로 표현하고자 하는 톤의 맵을 나타낸다.

한편, 격자 형태의 구조를 가진 스트럭쳐 그리드 상에서 격자 교점 부분에 점을 배치한 스티플링(300b)을 표현하기 위한 방법은, 본 발명의 일 실시예에 따르면, 스트럭쳐 그리드 값이 (0, 0)에 해당하는 위치에 원을 그리는 방법이 있다. 하지만, 이 경우 결과 영상이 지나치게 인위적이고, 특징 픽셀의 방향 정보의 변형 등으로 인하여 위치가 완벽하지 않을 경우 쉽게 눈에 띄는 문제가 있다. 실제로 헤드컷 아티스트가 그리는 점은 불규칙한 모양을 나타내며, 이는 전체적으로 편안하고 특징 픽셀의 방향 정보의 변형에도 자연스러운 결과 영상을 생성할 수 있다. 이와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 픽셀 기반 스티플링 방법을 이용하는 렌더링부(107)는 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p가 속할 수 있는 점의 위치, 즉 픽셀 p의 위치에서 가장 가까운 점의 위치를 추정한다. 이때, 렌더링부(107)가 픽셀 p가 픽셀 p의 위치에서 가장 가까운 점에 속하는지 여부를 추정하기 위해서 필요한 정보는 픽셀 p에서부터 가장 가까운 점의 중심까지의 거리와 해당 점의 크기이다. 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 중심까지의 거리 d_s를 스트럭쳐 그리드 값으로부터

라 정의할 수 있고, 해당 점의 크기를 해당 부분의 톤 값에 반비례하여 정의할 수 있다. 이때, 해당 점을 중심으로 d(602) × d(602) 크기의 영역 Ω(603)에서의 평균 톤을 b라고 할 때, 톤맵이 스무딩되었다는 점을 고려하면 b는 간단하게 픽셀 p에서의 톤맵 값으로 근사화될 수 있다. 이를 기반으로 렌더링부(107)가 픽셀 p의 위치에서 가장 가까운 점을 중심으로 d(602) × d(602) 크기의 영역 Ω(603)에서 톤 b를 표현하기 위해 필요한 점의 크기 s(601)를 계산하면 <수학식 2>와 같다. 이때, 점의 크기 s가 d/2보다 클 경우, 점들 사이의 겹침이 발생하기 때문에 렌더링부(107)는 이러한 경우에 대해 추가적으로 고려한 점 크기 s를 산출해야 한다.

<수학식 2>를 참조하면, b는 픽셀 p의 위치에서 가장 가까운 점을 중심으로 d(602) × d(602) 크기의 영역 Ω(603)에서의 평균 톤을 나타내고, s(601)는 영역 Ω(603)에서의 평균 톤을 표현하기 위해 필요한 점의 크기를 나타내고, d는 결과 영상에서 점 또는 해칭 선들간의 소정의 간격을 지시하는 값, 즉, 스트럭쳐 그리드의 간격를 나타낸다.

렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 중심까지의 거리 d_s와 해당 점의 크기 s를 비교하여 픽셀 p의 밝기 값을 결정한다. 이때, 선이 울퉁 불퉁하게 나타나는 앨리어싱(aliasing)을 막기 위해서, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 둘레에

두께만큼의 경계에 해당하는 영역을 회색 부분이라고 정의하고, ds가 s -

보다 작을 경우 픽셀 p의 위치에서 가장 가까운 점에 해당하는 영역, 예를 들어 검정색 영역이라고 판단하여 픽셀 p의 밝기 값을 0으로 결정하고, d_s가 s보다 큰 경우 픽셀 p의 위치에서 가장 가까운 점에 해당하지 않는 영역, 예를 들어 흰색 영역이라고 판단하여 픽셀 p의 밝기 값을 1으로 결정한다. 또한, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 점의 둘레에

두께만큼의 경계에 해당하는, 즉, d_s가 s -

와 s 사이 값을 갖는 영역에서는 픽셀 p의 밝기 값을 보간된 회색조인 1 - (s - ds)/

로 결정하며,

는 기본 값으로 1을 사용한다.

한편, 격자 형태의 구조를 가진 스트럭쳐 그리드 상에서 격자 선 부분에 선을 배치한 해칭(300c)을 표현하기 위한 본 발명의 일 실시예에 따르면, 스트럭쳐 그리드에서 픽셀 p로부터 픽셀 특징의 방향 정보 및 그 수직 방향으로 가장 가까운 격자 선까지의 거리를 각각 나타내는 t₀ 또는 t₁이 0인 격자 선 부분을 연결하고 여기에 선을 배치하여 생성될 수 있다. 하지만, 이 경우 결과 영상이 지나치게 인위적이고, 특징 픽셀의 방향 정보의 변형 등으로 인하여 위치가 완벽하지 않을 경우 쉽게 눈에 띄는 문제가 있다. 이와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 픽셀 기반 해칭 방법을 따르는 렌더링부(107)는 이미지 영상의 픽셀들 중 적어도 하나의 픽셀 p가 속할 수 있는 해칭 선의 위치, 즉 픽셀 p의 위치에서 가장 가까운 해칭 선의 위치를 추정한다. 이때, 렌더링부(107)가 픽셀 p가 픽셀 p의 위치에서 가장 가까운 해칭 선에 속하는지 여부를 추정하기 위해서 필요한 정보는 픽셀 p에서부터 가장 가까운 해칭 선의 중심까지의 거리와 해당 선의 굵기이다.

렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선의 중심까지의 거리 d_h를 스트럭쳐 그리드 값으로부터 min{t₀, t₁}라 정의할 수 있고, 해당 해칭 선의 굵기를 도 6의 스티플링의 경우와 마찬가지로 해당 해칭 선의 톤 값에 반비례하도록 정의할 수 있다. 이때, 해당 해칭 선을 중심으로 d(605) × d(605) 크기의 영역 Ω(606)에서의 평균 톤을 b라고 할 때, 영역 Ω(606)에서 톤 b를 표현하기 위해 필요한 해칭 선의 굵기 h(604)를 계산하면 <수학식 3>과 같다.

<수학식 3>을 참조하면, b는 픽셀 p의 위치에서 가장 가까운 점을 중심으로 d(605) × d(605) 크기의 영역 Ω(606)에서의 평균 톤을 나타내고, h(604)는 영역 Ω(606)에서의 평균 톤을 표현하기 위해 필요한 해칭 선의 굵기를 나타낸다.

렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선까지의 거리 d_h와 해당 선의 굵기 h(604)를 비교하여 픽셀 p의 밝기 값을 결정한다. 이때, 선이 울퉁 불퉁하게 나타나는 앨리어싱을 막기 위해서, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선의 경계에

두께만큼의 선의 경계에 해당하는 영역을 회색 부분으로 정의하고, dh가 h -

보다 작을 경우 픽셀 p의 위치에서 가장 가까운 해칭 선에 해당하는 영역, 예를 들어 검정색 영역이라고 판단하여 픽셀 p의 밝기 값을 0으로 결정하고, d_h가 h보다 큰 경우 픽셀 p의 위치에서 가장 가까운 해칭 선에 해당하지 않는 영역, 예를 들어 흰색 영역이라고 판단하여 픽셀 p의 밝기 값을 1으로 결정한다. 또한, 렌더링부(107)는 픽셀 p의 위치에서 가장 가까운 해칭 선의 경계에

두께만큼의 경계에 해당하는, 즉, d_h가 h -

와 h 사이 값을 갖는 영역에서는 픽셀 p의 밝기 값을 보간된 회색조인 1 - (h - d_h) /

로 결정하며,

는 기본 값으로 1을 사용한다.

이와 같이 본 발명의 일 실시예에 따른 픽셀 기반의 프리미티브 렌더링 방법을 이용하여 렌더링부(107)가 렌더링을 수행할 경우, 각 픽셀들이 독립적인 연산으로 빠른 시간에 자연스러운 모양의 점이나 선을 렌더링 하면서도 효과적으로 톤맵의 톤을 만들어낼 수 있다. 또한 이렇게 정의된 스티플링 및 해칭은 동일한 구조인 스트럭쳐 그리드 상에서 모두 픽셀 기반으로 생성되었기 때문에 두 스타일이 혼합(300d)되어도 위화감이 없다. 따라서 실제 렌더링에서는 이 두 스타일을 섞어서 표현함으로써 기존에는 불가능하던, 아티스트에 의해 생성된 결과 영상에 보다 가까운 결과를 생성한다.

일반적으로 아티스트는 어두운 부분을 표현할 때 점이 겹쳐지는 스티플링 보다는 해칭을 선호하는 경향이 있다. 이와 같은 이유로 본 발명의 일 실시예에서는 최대 허용 점 크기를 s_max 라 정의하고, 연산된 점 크기 s가 s_max보다 작은 영역에서 스티플링을 수행하고, 연산된 점 크기 s가 s_max보다 큰 영역에서는 해칭을 수행함으로써 스티플링 및 해칭을 섞어서 사용할 수 있다. 이때, s_max의 기본 값은 점의 겹침이 시작되는 점 크기인 d/2로 정의되며, s_max의 값을 0으로 정의할 경우 해칭만으로 된 결과 영상을 생성할 수 있고, s_max의 값을 영역 Ω를 덮을 수 있을 만큼 큰 값으로 정의할 경우 스티플링만으로 된 결과 영상을 생성할 수 있다.

한편, 생성된 스티플링만으로 스트럭쳐 그리드에서 특이점(singularity) 등 벡터장이 극단적으로 변화하는 부분에서는 점의 모양이나 간격 역시 과하게 변형 될 수 있지만, 이러한 점의 모양을 개선하고 싶을 경우 추가적으로 스트럭쳐 그리드를 개선하는 후처리 과정을 수행할 수 있다. 먼저, 후처리부(미도시)는 해당 영002역에서 스트럭쳐 그리드의 격자 교점에 해당하는, 예를 들어

의 지역적 극소점들을 산출하고, 산출된 지역적 극소점들로부터 보로노이 다이아그램(Voronoi diagranm)을 산출한다. 후처리부는 산출된 보로노이 다이아그램 상에서 각 픽셀로부터 자신이 속한 보로노이 셀(cell)의 중심까지의 거리를 특징 방향 및 특징 방향의 수직 방향으로 연산하고 새로운 t₀, t₁ 값을 정의하여 수정된 스트럭쳐 그리드 G'을 생성할 수 있다. 이때, 후처리부는 보로노이 셀 경계 부분에서 나타나는 불연속을 해결하기 위해서, 수정된 스트럭쳐 그리드 G'의 t₀, t₁을 각각 스트라이프 패턴 합성을 통해서 다시 정의하여 스트럭쳐 그리드 G"을 생성할 수 있다. 최종적으로, 후처리부는 각 픽셀에 대해 보로노이 셀 중심까지의 거리에 반비례하는 가중치 w를 정의하고, 가중치 w를 이용해 가중합하면 업데이트된 스트럭쳐 그리드 wG'(p) + (1 - w) G"(p)를 생성할 수 있다. 이러한 과정을 통해서 수정된 스트럭쳐 그리드를 이용할 경우, 렌더링부(107)는 점의 중심 부분에서 보로노이 셀의 중심 부분을 반영하여 위치나 간격이 어느 정도 강제되면서도 자연스러운 모양을 갖고 효과적으로 톤을 표현하는 점을 렌더링할 수 있다. 또한, 렌더링부(107)가 보로노이 다이아그램과 관련된 연산들에 대해서 점프 범람 알고리즘을 이용하여 연산하기 때문에 픽셀 기반으로 빠른 수행이 가능하므로 추가적인 시간 소모가 거의 없다.

도 7은 본 발명의 일 실시예에 따른 이미지 처리 과정을 설명하기 위한 흐름도이다.

도 7을 참조하면, 이미지 처리 장치는 수신된 이미지 영상에서 특징 픽셀 및 특징 픽셀의 방향 정보를 이용하여 이미지 영상에 대한 백터장을 생성한다(S701). 여기서, 이미지 처리 장치는 특징 라인맵에 포함되지 않는 특징 픽셀들의 방향 정보를 정의하기 위해서, 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간하여 사용한다. 이는 단순히 이미지 영상에 포함된 모든 특징 픽셀의 ETF 정보를 사용하는 것에 비해 부드럽고 안정적이며 특징 부분의 정보를 높게 반영한 벡터장을 얻을 수 있다는 장점이 있다.

본 발명의 일 실시예에 따르면, 이미지 처리 장치는 산포 자료 보간법 중 다중 레벨 B-스플라인 보간법을 사용하여 특징 라인맵에 해당하는 점들의 방향 정보를 보간하여 이미지 영상에 대한 벡터장을 생성할 수 있다. 본 발명의 일 실시예에 따르면, 이미지 처리 장치는 반대 방향을 가리키는 벡터들, 예를 들어 ((1, 0) 및 (-1, 0))을 같은 방향으로 처리 하기 위해서, 특징 픽셀들의 방향 정보를 2 × 2 구조 텐서(structure tensor)로 변환한 후 각 항을 보간하고, 보간된 구조 텐서의 고유 벡터를 산출하여 각 픽셀의 방향으로 정의하여 이미지 영상에 대한 벡터장을 생성할 수 있다.

이미지 처리 장치는 백터장을 이용하여 스트럭쳐 그리드를 생성한다(S702). 본 발명의 일 실시예에 따르면, 이미지 처리 장치는 생성된 백터장을 따라 부드럽게 변형하여 격자 형태의 구조를 가진 스트럭쳐 그리드를 생성할 수 있다. 이러한 구조위에서 격자 교점 부분에는 점을, 격자 선 부분에는 선을 그림으로써 스티플링과 해칭 또는 그 혼합을 모두 표현할 수 있고, 이렇게 그려진 프리미티브는 특징 방향 및 그 수직 방향 모두를 따라 일정 간격으로 나열될 수 있다.

이미지 처리 장치는 생성된 스트럭쳐 그리드 상에서 소정의 톤을 표현하는 프리미티브를 렌더링한다(S703). 여기서, 프리미티브 렌더링은 생성된 스트럭쳐 그리드 상에서 점이나 선과 같은 기본 프리미티브를 그림으로써 최종 결과 영상을 만드는 것을 나타낸다. 이미지 처리 장치는 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성한다(S704).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

101: 수신부 103: 제 1 생성부
105: 제 2 생성부 107: 렌더링부
109: 영상 생성부

Claims (24)

1. 스트럭쳐 그리드를 이용한 이미지 처리 장치에 있어서,
   수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 벡터장을 생성하는 제 1 생성부;
   상기 벡터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성부; 및
   상기 생성된 스트럭쳐 그리드 상에서 밝기의 톤을 표현하는 프리미티브를 렌더링하는 렌더링부를 포함하는 것을 특징으로 하는 이미지 처리 장치.
2. 제 1 항에 있어서,
   상기 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성하는 영상 생성부를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
3. 제 1 항에 있어서, 상기 제 1 생성부는,
   상기 특징 픽셀에 해당하는 특징 라인맵을 생성하고, 상기 생성된 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간(interpolation)하여 상기 이미지 영상에 대한 벡터장을 생성하는 것을 특징으로 하는 이미지 처리 장치.
4. 제 1 항에 있어서, 상기 제 2 생성부는,
   적어도 하나 이상의 벡터장을 이용해 해당 방향을 따라 일정 간격으로 반복되는 적어도 하나 이상의 스트라이프 패턴을 생성하는 것을 특징으로 하는 이미지 처리 장치.
5. 제 1 항에 있어서, 상기 제 2 생성부는,
   이미지 영상에 포함된 복수개의 픽셀들 중 적어도 하나의 픽셀로부터 소정 거리만큼 떨어진 스트라이프 패턴을 정의하는 것을 특징으로 하는 이미지 처리 장치.
6. 제 1 항에 있어서,
   상기 스트럭쳐 그리드에서 격자 교점 및 격자 선에 해당하는 위치를 추정하는 후처리부를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
7. 제 6 항에 있어서, 상기 후처리부는,
   상기 추정된 위치에 해당하는 격자 교점 및 격자 선의 모양을 변형하여 스트럭쳐 그리드를 개선하는 것을 특징으로 하는 이미지 처리 장치.
8. 제 1 항에 있어서, 상기 렌더링부는,
   상기 스트럭쳐 그리드 상의 값과 수신된 이미지 영상으로부터 생성된 톤맵을 이용하여 렌더링 할 프리미티브의 위치 및 크기를 결정하는 것을 특징으로 하는 이미지 처리 장치.
9. 제 8 항에 있어서, 상기 렌더링부는,
   각 픽셀이 가진 거리 정보를 이용하여 특정 크기의 프리미티브를 렌더링하는 것을 특징으로 하는 이미지 처리 장치.
10. 제 8 항에 있어서, 상기 톤맵은,
    상기 결과 영상으로 표현하고자하는 톤의 맵임을 특징으로 하는 이미지 처리 장치.
11. 제 1 항에 있어서, 상기 벡터장은,
    렌더링되어야 할 프리미티브의 나열 방향 정보를 지시하는 벡터임을 특징으로 하는 이미지 처리 장치.
12. 제 1 항에 있어서, 상기 스트럭쳐 그리드는,
    렌더링되어야 할 프리미티브의 위치 정보를 지시하는 구조체임을 특징으로 하는 이미지 처리 장치.
13. 스트럭쳐 그리드를 이용한 이미지 처리 방법에 있어서,
    수신된 이미지 영상에서 특징 픽셀 및 상기 특징 픽셀의 방향 정보를 이용하여 상기 이미지 영상에 대한 벡터장을 생성하는 제 1 생성 단계;
    상기 벡터장을 이용하여 스트럭쳐 그리드를 생성하는 제 2 생성 단계; 및
    상기 생성된 스트럭쳐 그리드 상에서 밝기의 톤을 표현하는 프리미티브를 렌더링하는 렌더링 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
14. 제 13 항에 있어서,
    상기 프리미티브 렌더링 결과에 특징 선을 추가하여 결과 영상을 생성하는 영상 생성 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
15. 제 13 항에 있어서, 상기 제 1 생성 단계는,
    상기 특징 픽셀에 해당하는 특징 라인맵을 생성하고, 상기 생성된 특징 라인맵에 포함된 특징 픽셀들의 방향 정보를 보간(interpolation)하여 상기 이미지 영상에 대한 벡터장을 생성하는 것을 특징으로 하는 이미지 처리 방법.
16. 제 13 항에 있어서, 상기 제 2 생성 단계는,
    적어도 하나 이상의 벡터장을 이용해 해당 방향을 따라 일정 간격으로 반복되는 적어도 하나 이상의 스트라이프 패턴을 생성하는 것을 특징으로 하는 이미지 처리 방법.
17. 제 13 항에 있어서, 상기 제 2 생성 단계는,
    이미지 영상에 포함된 복수개의 픽셀들 중 적어도 하나의 픽셀로부터 소정 거리만큼 떨어진 스트라이프 패턴이 정의하는 것을 특징으로 하는 이미지 처리 방법.
18. 제 13 항에 있어서,
    상기 스트럭쳐 그리드에서 격자 교점 및 격자 선에 해당하는 위치를 추정하는 후처리 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
19. 제 18 항에 있어서, 상기 후처리 단계는,
    상기 추정된 위치에 해당하는 격자 교점 및 격자 선의 모양을 변형하여 스트럭쳐 그리드를 개선하는 것을 특징으로 하는 이미지 처리 방법.
20. 제 13 항에 있어서, 상기 렌더링 단계는,
    상기 스트럭쳐 그리드 상의 값과 수신된 이미지 영상으로부터 생성된 톤맵을 이용하여 렌더링 할 프리미티브의 위치 및 크기를 결정하는 것을 특징으로 하는 이미지 처리 방법.
21. 제 20 항에 있어서, 상기 렌더링 단계는,
    각 픽셀이 가진 거리 정보를 이용하여 특정 크기의 프리미티브를 렌더링하는 것을 특징으로 하는 이미지 처리 방법.
22. 제 20 항에 있어서, 상기 톤맵은,
    상기 결과 영상으로 표현하고자하는 톤의 맵임을 특징으로 하는 이미지 처리 방법.
23. 제 13 항에 있어서, 상기 벡터장은,
    렌더링되어야 할 프리미티브의 나열 방향 정보를 지시하는 벡터임을 특징으로 하는 이미지 처리 방법.
24. 제 13 항에 있어서, 상기 스트럭쳐 그리드는,
    렌더링되어야 할 프리미티브의 위치 정보를 지시하는 구조체임을 특징으로 하는 이미지 처리 방법.
    
    
    
    

Images