KR20050033550A - 이미지 처리 방법 및 시스템 - Google Patents

Abstract

본 발명은 그에 대한 프로젝션을 통해 3 차원 형상의 표면으로 이미지가 개념적으로 텍스처링된 이미지 처리 방법 및 시스템을 제공한다. 상기 형상 및/또는 이미지 위치는 서로 연관되어, 바람직하게는 상기 형상의 하나 이상의 축에 대해 회전을 하여 변하며, 상기 텍스처링된 표면에 취해진 제 2 프로젝션은 제 2 처리된 이미지를 얻기 위해 상기 이미지 위치로 복귀한다. 상기 처리된 이미지 내에 표시된 도는 상기 처리의 결과로써 횡단비의 변경을 수행하였음을 보인다. 본 발명은 특히 말할 때 인간의 작은 동작을 시뮬레이션 하는 데에 사용되고, 특히 시퀀스로 표시될 때 그러한 작은 동작을 시뮬레이션하는 비짐 이미지를 처리하는 데에 사용된다.

Description

이미지 처리 방법 및 시스템{IMAGE PROCESSING METHOD AND SYSTEM}

본 발명은 이미지 처리 방법 및 시스템, 컴퓨터가 상기 방법을 실행하도록 구성되는 컴퓨터 프로그램, 및 상기 컴퓨터 프로그램을 저장한 컴퓨터가 읽기가능한 저장 매체에 관한 것이다.

합성된 또는 녹음된 음성 메시지의 전달이 상기 송신인의 동화상의 사용, 또는 적어도 상기 송신인이 만들어낸 아바타의 머리 일부에 표시되고, 상기 입술이 상기 재생되는 음성과 동시에 움직이는 경우에만, 증대될 수 있다는 것이 알려져 있다. 상기 식별 가능한 다수의 형상중 하나에 그의 입술 에 제공하는 인간 얼굴(예를 들면, 메시지 송신인의)의 이미지인 송신인의 화상이 사용되는 경우, 상기 입술의 변화의 영향은 각각 하나 이상의 음소(phoneme)에 연관된 입술의 이미지인 "비짐(viseme)"으로 알려진 것을 표시함으로써 생성된다. 물론 음소는 본 기술분야에 잘 알려져 있고, 언어 내에서 사용되는 개별적인 개개의 음성이다. 영어에는 약 44 음소가 있고, 20 개 정도의 비짐만이 있는 것으로 추정된다. 그러므로, 여러 음소 중에 하나를 재생할 때 동일한 비짐이 표시될 수 있다.

동작시, 음성 합성기와 같은 음성 재생기는 음소의 시퀀스에 대응하는 음향 파형을 출력하고, 동시에 표시수단은 사용자에게 일정 시간에 재생된 특정 음소에 연관된 적정한 비짐을 나타낸다. 따라서, 사용자는 상기 재생된 음성과 동시에 그의 입술이 변하도록 나타나는 송신인의 이미지의 환영(illusion)을 얻는다. 여기서 비짐은 상기 송신인의 2 차원 이미지라는 것을 주의하라.

종래 기술에서 알려진 또다른 방법은 상기 송신인 처럼 보이고 텍스처링된 전체 바디의 아바타 또는 적어도 상기 송신인의 머리의 3 차원 가상 모델을 만드는 것이다. 상기 머리 모델의 입술은 상기 재생된 음성과 동시에 움직이도록 제어되어, 상기 모델의 입술은 임의의 특정 시간에 재생되는 특정 음소에 대해 적절한 형상을 가정한다. 그렇지만, 그러한 시스템들은 어려운 이미지 처리 또는 인베이시브 센싱(invasive sensing)에 의해 다시 형상이 만들어진 가상 와이어 프레임(virtual wire frame)을 사용한 복잡한 머리 모델링을 포함하고, 정지 화상이 주어진 모델과 정확하게 일치하는 프로세스를 필요로 한다. 따라서, 예를 들면, 대영제국 리미티드 캄퍼니 No. 03560745의 Avatar-Me Ltd에 의해 제공된 것과 같은 스페셜리스트 아바타 작품의 부스에 있는 것과 같이, 그의 모델이 생성될 사람의 인베이시브 센싱이나 스캐닝을 수행하지 않고 머리 모델을 재생하는 것은 어렵다. 더구나. 3D 모델을 한번 획득하면, 사용자에게 말을 하는 모델의 환영을 얻기 위해 필요한 연산은 높고, 이동 전화, 개인 휴대 정보 단말기 등과 같은 이동 장치에서 구현하는 데에는 현재 시점에서는 적절하지 않다.

상기 재생된 음성과 동시에 2 차원 비짐의 시퀀스를 나타내는 전술한 제 1 방법은 상기 전술한 제 2 방법과 같은 동일한 높은 연산의 강도의 문제로 어려움을 겪지 않지만, 상기 표시된 이미지가 보는 사람에게 거의 로봇처럼 보여, 딱딱하고, 자동화되며 생동감 없게 보일 수 있는 문제로 어려움을 겪는다. 이것은 사용자에게 뚜렷이 보이는 동작은 오직 재생되는 현재 음소에 대응되는 적절한 비짐의 형상을 생성하는 입술의 움직임뿐이기 때문이다. 그러나, 대부분의 인간이 말하면서 동시에 매우 작은 머리의 움직임을 하는 것으로 관찰되기 때문에('Autonomous secondary gaze behaviour, M Gillies, N Dodgeson & D Ballin, Proceeding of the AISB2002 symposium on Animating Expressive Character for Social Interaction, ISBN 1902956256'을 보라), 그러한 움직임은 말하면서 하는 인간의 자연스러운 동작과 맞지 않지만, 그러한 머리의 동작을 인공적으로 재생성하기에 어렵고, 반면에 전술한 제 2 방법(즉, 3D 아바타 모델의 변형)을 변형하여 상기 모델을 상기 관찰된 인간 행동에 따라 조금 움직이도록 하는 것은 가능하고, 그러한 동작은 이미 논의한 높은 연산 강도와 동일한 문제를 낳는다. 이러한 문제점을 개선하기 위해, 상기 전술한 제 1 방법(즉, 2차원 비짐 방법)이 상기 관찰된 행동을 재생하도록 변형될 수 있다면 편리할 것이다.

본 발명의 추가적인 특성과 이점은 그의 실시예의 하기의 기술로부터 명백해지고, 예시에 의해서만 제공되며, 그 유사한 참조번호는 동일한 부분을 참조한다.

도 1은 본 발명에 따른 장치의 블록 시스템 다이어그램,

도 2는 도 1의 이미지 프로세서의 블록 시스템 다이어그램,

도 3은 도 1의 시스템에 의해 실시되는 단계들을 도시한 흐름도,

도 4는 도 2의 이미지 프로세서에 의해 실시되는 단계들을 도시한 흐름도,

도 5는 본 발명의 실시예에 사용될 수 있는 다양한 기하학적 형상을 형성한 와이어 프레임 모델을 도시한 도,

도 6은 본 발명의 실시예의 뒤에서 동작하는 개념을 도시한 투시도,

도 7은 본 발명의 뒤에서 있는 기본 동작 개념을 도시한 투시도,

도 8은 본 발명의 동작의 수학적 분석을 제공하는 투시도,

도 9는 본 발명의 제 1 이미지의 정면도,

도 10은 평면도에서 도 8의 배열을 나타낸 도,

도 11은 평면도에서 도 8의 배열을 나타내지만, 상기 실린더의 동작은 도시하지 않은 도,

도 12는 상기 실린더의 동작도 도시한 도 8의 평면도,

도 13은 도 8의 배열의 평면도와 임의의 각도로 상기 실린더의 동작을 도시한 도, 및

도 14는 본 발명의 실시예중 하나에 따라 제공된 이동 전화의 투시도이다.

본 발명은 말하는 동안 관찰된 인간 머리의 작은 동작을 차례로 표시될 때 재생한 처리된 이미지를 생성하기 위해 2 차원 비짐 이미지를 처리할 수 있는 이미지 처리 방법과 시스템을 제공함으로써 상기 문제를 처리한다. 상기 이미지 처리는 3D 형상의 표면에 처리되도록 머리 이미지를 텍스처링하고, 그것은 바람직하게는 가상 공간 내에 제공된 3D 가상 형상이며, 그 다음, 상기 관찰된 인간의 머리 동작을 흉내내도록 상기 형상이 약간 움직임으로써 개념적으로 달성된다. 상기 형상이 움직이게 되면, 상기 형상의 표면으로부터 다시 원래 이미지 위치까지의 이미지의 투영(projection)이 취해지고, 그것은 횡단비가 약간 변형된 인간 머리의 이미지인 제 2의 처리된 이미지가 된다. 일련의 비짐 이미지가 상기 방법에 의해 차례로 처리되고, 상기 결과로서 생기는 처리된 이미지가 그 후에 차례로 사용자에게 표시될 때, 그 결과는 말하는 동안 관찰된 인간의 머리의 랜덤 동작이 시뮬레이션된다.

그러나 본 발명은, 배경 기술에 기술된 인간의 작은 머리 동작을 시뮬레이션하는 문제에 관한 것이며, 그것에 관해 설명되지만, 이 결과를 얻는 이미지 처리 방법 및 시스템은 이 단일 애플리케이션에 제한되지 않으며, 예를 들면 텔레비젼 특수효과 작업, 컴퓨터 모델링 및 매핑 애플리케이션, 또는 이차원 이미지가 처리될 필요가 있는 다른 영역 등과 같은 넓은 영역에서 애플리케이션을 발견할 수 있다.

따라서, 본 발명의 제 1측면에 따른 상기의 관점에서, 다음의 단계로 구성되는 이미지 처리 방법이 제공되는데,

a) 이미지 위치와 상기 이미지의 방위로부터 3 차원 형상의 적어도 한 표면상으로 제 1 이미지를 투영하여 상기 적어도 한 표면을 텍스처링(texturing)하는 단계,

b) 서로 연관있는 상기 형상 및/또는 이미지 위치 중 하나 또는 모두를 이동시키는 단계, 및

c) 상기 이미지 위치로 상기 형상의 텍스처링된 표면을 투영하여 상기 이미지 위치에서 상기 제 1 이미지와 동일한 방위의 제 2 이미지를 얻는 단계로 구성된 것을 특징으로 하는 이미지 처리 방법이 제공된다.

본 발명은 상기 이미지에 표시된 대상의 3차원 비율 변화를 재생하는 효과적인 이미지 처리 동작이 시뮬레이션될 수 있는 이점을 제공한다. 입출력 모두가 2 차원 이미지이므로, 따라서 상기 방법을 실행하는 알고리듬의 연산 강도가 감소되는 추가적인 이점이 있다.

바람직하게는, 상기 제 1 이미지는 제 1 이미지의 시퀀스의 일부를 형성하고, 상기 방법은 대응하는 제 2 이미지의 시퀀스를 얻기 위해 상기 시퀀스에서 각 제 1 이미지에 대해 단계 a), b), 및 c)를 반복하는 것을 추가로 구비한다. 따라서, 이미지 시퀀스에 적용되는 것과 동일한 처리가 "애니메이션" 시퀀스에 적용되도록 하기 위해 이미지의 시퀀스에 차례로 본 발명이 적용될 수 있다.

종래 기술의 문제를 특히 잘 해결하기 위해, 바람직하게는 각각의 제 1 및 제 2 이미지의 시퀀스는 각각 말하는 인간의 머리의 동영상 시퀀스를 형성한다.

바람직하게는, 상기 움직이는 단계는 상기 형상 및/또는 이미지의 위치를 무작위로 움직이는 단계를 추가로 구비한다. 이것은 상기 이미지가 인간의 머리일 때, 본 발명의 바람직한 실시예가 재생성시키려하는 관찰된 인간의 동작이 보다 정교하게 재생되는 이점을 제공한다.

바람직하게는, 상기 동작은 그의 하나 이상의 축에 대해 상기 3 차원 형상을 회전시키는 단계를 포함한다. 이것은 상기 이미지가 인간의 머리의 이미지일 때, 상기 형상에 의한 동작이 한 쌍의 어깨에 부착된 인간 머리의 가능한 동작을 시뮬레이션하는 이점을 제공한다.

제 2 측면으로부터, 본 발명은 다음의 단계를 포함하는 이미지 처리 시스템을 제공하는데,

처리할 제 1 이미지를 수신하는 이미지 수신 수단,

이미지 처리 수단, 및

처리된 제 2 이미지를 출력하기 위한 이미지 출력 수단을 포함하고,

3 차원 형상로 모델링 되도록 구성되는 형상 모델링 수단, 및

a) 3 차원 형상의 적어도 하나의 표면을 그의 이미지 위치와 방위로부터 상기 적어도 하나의 표면상으로의 제 1 이미지의 프로젝션을 갖도록 텍스처링하고,

b) 서로 연관있는 상기 형상 및/또는 이미지 위치중 하나 또는 모두를 이동시키고,

c) 상기 제 1 이미지와 동일한 위치와 방위의 제 2 이미지를 얻기 위한 이미지 위치로 상기 형상의 텍스처링된 표면을 투영하도록 추가로 배치된 것을 특징으로 하는 이미지 처리 수단을 구비한 이미지 처리 시스템을 제공한다.

상기 제 2 측면은 제 1 측면에 관해 선행하여 기술된 동일한 특징과 이점을 갖는다.

제 3 측면으로부터, 컴퓨터 프로그램이 제공되어, 컴퓨터 상에서 실행될 때, 상기 컴퓨터가 본 발명의 제 1 측면의 방법을 실행하도록 한다.

제 4 측면에 따라, 상기 제 3 측면에 따라 컴퓨터 프로그램을 저장한 컴퓨터 판독가능한 저장 매체가 추가로 제공된다. 바람직하게는 상기 컴퓨터 판독가능한 저장 매체는 마그네틱, 광, 광자기, 고체상태(solid-state), 또는 종래 기술에서 알려진 예를 들면, 하드디스크, 이동 디스크, CD Rom, DVD, RAM, ROM, 프로그래밍 가능한 ROM, 테이프 등의 다른 저장 중 하나이다. 상기 주어진 컴퓨터 판독가능한 저장 매체의 리스트는 전부가 아니며, 임의의 종래 컴퓨터 판독가능한 저장 매체이면 충분하다.

본 발명의 추가적인 특성과 이점이 첨부된 청구범위에서 살펴볼 수 있을 것이다.

본 발명의 제 1 실시예에 나타난 기본 동작 개념은 도 7을 참조하여 기술될 것이다. 보다 자세하고 실질적인 실시예는 하기에 기술될 것이다.

도 6 내지 7을 참조하여, 본 발명의 제 1 실시예는 제 2 처리된 이미지(72)를 제공하기 위해 제 1 이미지(62)의 처리를 제공하는 이미지 처리 방법 및 시스템을 제공한다. 개념적으로, 본 발명에 의해 실시되는 이미지 처리는 도 6 및 7에 도시되고, 하기와 같이 기술될 수 있다.

도 6에서 처리될 제 1 이미지인, 이미지(62)는 3차원 형상에 대해 임의의 위치 및 방위로 제공되고, 이 경우는 원기둥(60)이다. 상기 원기둥(60)은 가상 공간 내에 제공되는 3차원 가상 형상이고, 상기 이미지는 가상 공간 내에 위치한 임의의 위치와 방위에 제공된다. 본 실시예에서, 상기 이미지는 원기둥(60)에 대해 위치하도록 제공되어, 상기 이미지의 평면은 상기 원기둥의 축에 평행하도록 한다. 상기 이미지의 방위 역시 도시된 것처럼 상기 이미지 축의 "위아래"가 상기 원기둥(60)의 축에 평행하도록 보인다. 상기 원기둥(60)은 곡선의 외부 서비스(64)가 제공된다.

동작시, 상기 처리의 제 1 단계로서 이미지(62)를 상기 이미지 위치로부터 표면(64)으로 투영함으로써 이미지(62)가 상기 원기둥의 표면(64)상으로 텍스처링된다. 상기 프로젝션을 실시할 때, 이미지의 횡단비가 외부 표면(64)에 적용될 때 상기 원기둥의 표면의 곡선 특성(curving nature)에 따라 약간 변하는 것을 제외하고는 상기 이미지의 방위가 유지되는 것을 볼 수 있다. "텍스처링"함으로써, 우리는 상기 개별 픽셀 휘도와 크로미넌스(chrominance)값이 그 위로의 상기 이미지의 프로젝션에 따라 상기 원기둥(60)의 표면에 적용되어, 표면(64)이 이미지(62)의 프로젝션으로 채색된 것으로 나타낸다. 이미지(62)의 투영으로 표면(64)에 효과적인 텍스처링은 표면(64)으로의 각각의 픽셀 휘도와 크로미넌스 값을 연결하여 상기 이미지가 그로 부착된 것으로 보이게 한다. 따라서, 상기 프로젝션과 텍스처링한 후 표면(64)이 이미지(62)의 프로젝션으로 고정되게 텍스처링되어, 원기둥(60)이 어느 방향으로 움직이건 표면(64) 상으로 텍스처링한 이미지가 그와 함께 이동한다.

이미지(62)의 프로젝션으로 표면(64)을 텍스처링하여 상기 프로젝션이 그로 결합되었기 때문에, 이경우 도 7에 도시된 것처럼 제 2 위치(60')로 그의 축에 관해 회전함으로써 상기 이미지 처리 방법의 다음 단계는 원기둥(60)이 조금 움직인다. 표면(64)으로의 상기 이미지(62)의 프로젝션이 그 위로 텍스처링되어 그것이 그로 결합되었기 때문에, 표면(64) 상에 텍스처링된 이미지 또한 도 7에 도시된 것처럼 제 2 위치(64')로 상기 원기둥을 회전시킨다. 제 2 위치(60')로의 상기 원기둥의 움직임은 원하는 효과를 얻기 위해 필요한 움직임이다. 본 실시예에서 원하는 효과가 시도되고 그에 포함된 머리 이미지로 랜덤한 움직임의 정도를 알리는 이미지를 처리하는 경우, 상기 움직임은 바람직하게는 하나의 방향으로 10 도 이하로 원기둥의 축으로의 회전이고, 바람직하게는 1 도이다. 상기 회전은 상기 축에 대해 시계방향이거나 반 시계방향이다.

본 발명의 실시예 내에서, 즉 원기둥(60)의 경우, 상기 형상의 움직임은 바람직하게는 처리될 각 이미지에 대해 랜덤하게 선택된다. 즉, 랜덤한 움직임이 처리될 각 이미지에 대한 형상에 적용된다. 전술한 바와 같이, 상기 형상이 원기둥이고, 상기 이미지가 머리의 이미지인 경우, 상기 형상의 움직임은 각 방향으로 축에 대한 10도의 회전이고, 바람직하게는 1도이며, 이 제한 내에서 회전의 양과 방향이 랜덤하게 선택된다.

상기 형상이 움직이면, 본 발명의 실시예의 이미지 처리 방법의 마지막 단계는 상기 표면으로부터 제 1 이미지(62)의 연관된 공간에서의 위치로 텍스처링된 표면(64')에 결합된 픽셀의 휘도와 크로미넌스의 프로젝션을 취하는 것이다. 상기 형상이 움직이는 경우, 상기 이미지의 횡단비의 변화를 생성할 때의 동작의 효과가 달성되기 위해 상기 표면으로부터 제 1 이미지의 원래 위치로 의 프로젝션을 취하는 것이 필요하다. 상기 텍스처링된 표면이 그에 직각인 방향으로 투영된다면, 상기 결과로 나타나는 이미지는 제 1 이미지(62)와 동일하게 될 것이다. 그러나, 텍스처링된 표면(64')으로부터 원래 이미지 위치로 또 동일한 방위를 가진 프로젝션을 실행함으로써, 제 1 이미지 위치로 영사된 것과 같은 상기 픽셀 휘도 및 크로미넌스 값으로부터 형성된 제 2 의, 처리된, 이미지(72)가 제 1 이미지 위치와 동일한 위치와 방위로, 그러나 원기둥(60)의 동작에 따라 횡단비의 변화를 약간 나타내도록 처리된 그의 컨텐츠를 갖도록 획득된다.

이미지의 시퀀스의 처리를 위해, 전술한 바와 같은 동일한 처리가 각각의 이미지에 대해 개별적으로 수반된다. 상기 형상에 대해 적용되고, 원기둥(60)인 경우의 동작은 바람직하게는 랜덤하게 선택되고, 그 경우, 상기 형상는 바람직하게는 원기둥은 주축에 대한 1도의 회전이다. 각각의 이미지로 텍스처링될 때 상기 형상의 동작은 말할 때 인간 머리의 자연스러운 움직임을 시뮬레이션한다.

또한, 상기 형상의 동작이 랜덤이라기 보다는, 상기 동작은 상기 결과로서 나타나는 처리된 이미지(72)와 동시에 처리되는 말할 때의 에너지의 측정에 연결된다. 예를 들면, 말할 때의 에너지가 큰 경우(즉, 큰소리로 말하는 경우) 상기 형상의 동작은 상기 말할 때의 에너지가 상대적으로 낮은 경우보다 크다. 이것은 상기 재생된 음성이 보다 큰 음량일 때 상기 이미지에 나타난 머리의 움직임의 효과를 보다 많이 준다.

상기 동작을 제어하기 위한 다른 배치가 또한 제공된다. 에너지가 한 방향임에도 불구하고, 다른 접근은 파형의 분석을 통해 상기 형상의 동작을 제어하여 상기 동작이 상기 말하는 것에 포함된 주파수에 따라 결정되도록 한다. 예를 들면, 상기 말하는 것의 파형은 그의 주파수를 분석하기 위한 푸리에 분석의 대상이 되고, 상기 형상의 동작은 상기 주파수에 따라 제어된다. 따라서, 보다 높은 주파수 보다 보다 낮은 주파수의 말하는 것, 또는 그와 반대의 경우에 보다 많은 에너지가 있다면, 상기 형상을 보다 많이 움직이도록 하기 위해 상기 형상의 동작은 제어될 수 있다.

다른 실시예에서, 상기 동작의 제어는 단순히 동시에 재생될 소리에 따라 결정되는 것이 아니라, 그 대신에 상기 형상이 소리의 재생이 발생하기 전과 후에 움직인다. 이 예에서, 어느 사람이 매우 크고 빠르게 소리치고 말한다면(즉, 그들이 화난 경우), 상기 형상는 가장 큰 각도로(-8도에서 +8도까지) 측면에서 측면으로 움직이고, 상기 크고 빠른 발언이 측면에서 측면으로 완료되면, 상기 형상의 동작은 점차 작아지고 느려져서 그의 자연스런 상태로 돌아간다. 따라서, 상기 형상의 동작은 상기 발언이 멈춘 경우에조차 감쇠되는 식으로 일어나는 것이 계속된다.

상기 형상에 관하여, 전술된 실시예에서 원기둥(60)을 사용한 것과는 반대로, 원기둥이 사용되는 것이 필수적이지는 않고, 도 5는 본 발명에 사용될 수 있는 여러가지 형상을 도시한다. 보다 특정지어서는, 도 5a는 형상으로 사용될 구를 도시한다. 그러한 경우, 상기 구는 단지 그의 극점의 축 뿐만 아니라 임의의 방향으로 회전될 수 있다. 또한, 보다 복잡한 동작을 달성하기 위해 그의 액세스에 대해 복수의 회전이 순차적으로 적용되는 것이 가능하다.

도 5b는 전술한 바와 같이 원기둥 및 바람직하게는 그에 적용된 동작이 상기 장축에 대한 회전인 것을 도시한다. 그러나, 다른 회전들 또한 가능하다.

도 5c는 타원을 도시한다. 도 5c의 타원에 적용된 동작은 도 5a에 도시된 구에 적용된 것과 동일한데, 즉, 상기 극축에 관한 회전과 동일하지만, 다른 축에 대한 회전에 대해서는 아니다. 유사하게 도 5d는 난형의 형상을 도시한다. 도 5d의 형상는 인간 머리의 형상과 가장 밀접하게 나타내며, 그의 사용시 이로운 효과를 생성한다. 도 5d의 형상에 적용된 동작은 상기 구 또는 타원에 적용되는 것과 동일하고, 그것은 그의 임의의 축에 대한 회전이지만, 바람직하게는 회전은 아니다.

도 5e는 "이중 원기둥", 즉 제 1 원기둥에 직각 방향으로 제 2 원기둥의 단면으로 형성된 상부와 하부 표면을 가진 원기둥의 형상을 도시한다. 임의의 동작이 이 형상에 적용되며, 특히 그의 임의의 축에 임의의 회전이 적용된다.

또한, 상기 텍스처링된 형상이 움직이는 것이 전혀 필수적이지 않으며, 필수적인 것은 상기 텍스처링된 표면의 프로젝션이 이루어지는 이미지 위치, 즉 제 2의 처리된 이미지가 획득되는 이미지 위치에 관해 상기 형상의 연관된 동작이 있는 것이라는 것을 주의하라. 따라서, 다른 실시예에서 상기 형상는, 상기 텍스처링된 표면의 프로젝션이 상기 형상 주위를 이동하도록 이루어진 동일한 위치와 이미지 위치가 유지된다. 또 다른 실시예에서, 상기 이미지 위치와 형상는 움직이고, 상기 각각의 동작은 달라서 그들 사이에서 상대적인 동작을 준다. 전술한 어느 경우에서건, 횡단비를 변화시키는 효과를 낳는 상기 형상과 이미지 위치에 연관된 동작이 있고, 따라서 상기 연관된 동작은 중요하다.

이미지 위치가 이동되는 경우, 상기 이미지에 적용되는 동작은 상기 형상에 대해 전술한, 예를 들면 상기 형상의 하나 이상의 축에 대한 회전의 결과이다(상기 이미지가 아니라는 것을 주의하라).

그의 기본 동작 개념을 도시한 본 발명의 제 1 실시예를 기술하여, 보다 자세하고, 바람직한 실시예가, 상기 실물이 전달될 텍스트 메시지를 발음하는 송신자의 이미지와 유사한 것을 재생하도록하는 이동 전화 내에서의 발명을 실시하는 것을 기술한다.

도 14는 본 발명의 제 2 실시예에 따른 이동 전화를 도시한다. 보다 특정지어서, 이동전화(100)가 제공되며, 그것 자체는 사용자에 의한 데이터 입력을 허용하는 표시화면(102)과 키패드(104)가 제공된다. 오디오 변환기인 오디오 재생 수단(108)이 또한 제공된다. 텍스트 메시지의 송신자의 이미지가 상기 화면에 나타나는 이동전화(100)에 텍스트 메시지가 수신될 때, 상기 이미지는 상기 수신된 텍스트 메시지를 발음하기 위해 상기 오디오 재생 수단(108)에 의해 재생되는 음소와 대응하도록 선택되는 비짐의 시퀀스이다. 본 발명의 제 2 실시예에 따라, 이미지(106)는 상기 실물에게 말할 때 인간의 관찰된 동작과 유사한 동작을 주도록 처리된다. 이 효과를 달성하기 위해 이미지(106)의 처리가 다음에 기술된다.

도 1은 상기 이동전화(100)내에 위치한 이미지 처리를 실행하기 위해 요구되는 필수 요소의 시스템 블록도이다. 보다 특정지어서, 상기 이동전화(100)내에 예를 들면, 단문 메시지시스템(SMS) 프로토콜에 따라, 텍스트 메시지를 수신하고, 그것이 저장되는 텍스트 버퍼(12)로 상기 수신된 텍스트 메시지의 텍스트를 배달하도록 구성되는 텍스트 메시지 수신수단(10)이 제공된다. 상기 버퍼(12)에 저장된 메시지의 텍스트는 특정 음소와 상기 텍스트를 발음된 출력물로 변환하기 위해 필요한 그의 재생 순서를 결정하기 위해 상기 텍스트를 구문 분석하도록 동작하는 구문 분석기(parser)(14)에 의해 판독된다. 상기 구문 분석기(14)는 따라서, 입력되면서 상기 텍스트 버퍼(12)로부터 텍스트를 받아들이고, 음향학적으로 상기 텍스트를 구문분석하고, 제어 수단(16)으로 상기 텍스트에 대응하는 음소의 시퀀스를 출력한다. 상기 음소의 시퀀스를 생성하기 위해 상기 텍스트를 구문분석시에 상기 구문분석기에 의해 실시될 정확한 단계는 종래 기술에 알려져 있고, 특히 BT Laureate 시스템과 같은 텍스트-발음 시스템의 종래 기술에 관한 것이다. 상기 제어 수단(16)으로 통과된 음소의 표현은 SAMPA와 같은 표준 음소 표현이다.

또한, 이동전화(100)에 그 안에 .WAV 파일로서 저장되는 파형의 형상로 음소의 음향 표시가 저장된 음소 저장(210)을 위한 저장공간을 제공하는 저장 매체(20)가 제공된다. 상기 저장매체(20)는 또한 비짐 저장공간을 제공하고, 이것은 상기 표시수단을 표시하기에 적합한 비짐의 시퀀스를 저장한다. 전술한 바와 같이, 비짐은 하나 이상의 음소에 연관된 특정 입술의 형상을 가진 인간의 얼굴 이미지이다.

또한 상기 저장매체(20)내에는 형상 저장공간(206)이 제공되고, 이것은 도 5에 도시된 것과 같은 구, 원기둥, 타원, 난형, 또는 이중 원기둥과 같은 기하학적인 형상 중 하나에 대응하는 형상의 데이터를 저장한다. 특정 형상을 나타내는 데이터는 바람직하게는 상기 형상을 함께 구성하는 다수의 다각형의 꼭지점의 3 차원 가상공간에서의 좌표를 형성한다. 상기 형상의 표면은 또한 다각형을 형성하는 꼭지점을 어떻게 연결하는지를 상술하는 꼭지점 연결 정보를 추가로 구비한 형상 데이터에 의해 정의된다. 꼭지점 좌표정보의 세트 및 꼭지점 연결 정보는 상기 형상 저장공간(206)내에 각 가능한 형상에 대해 저장된다.

또한 특히 본 발명을 실시하기 위한 여러 다른 요소들을 제어하는 제어수단의 동작을 제어하는 애니메이션 프로그램(204) 뿐만 아니라, 여러 다른 시스템 요소들을 제어하고 그와 통신할 수 있는 제어 수단(16)에 대한 필요한 기능과 프로토콜을 제공하는 운영 시스템 프로그램(202)이 상기 저장 매체(20)내에 저장된다. 바람직하게는, 상기 이동 전화(100)에 제공된 저장 매체(20)는 플래시 멀티미디어 카드 등과 같은 고체 저장 매체이다.

또한, 이미지 프로세서(18)가 이동전화(100)내에 제공되고, 이것은 상기 애니메이션 프로그램(204)내에 포함된 명령에 따라 제어수단(16)에 의해 제어되고, 또한 그로부터 비짐 이미지를 얻기 위한 비짐 저장공간(208)과 그로부터 3D 기하학적인 형상을 나타내는 데이터를 얻기 위한 형상 저장공간(206) 모두에 액세스하도록 구성된다. 이미지 프로세서(18)는 그 위에 표시하기 위한 표시 수단(102)으로 처리된 이미지를 출력하도록 구성된다.

또한, 오디오 재생수단(108)이 이동전화(100)내에 제공되고, 그것은 음소 저장공간(210)으로부터 음소 파형을 수신하고, 그에 의해 표현되는 발언을 재생하기 위해 수신된 순서로 상기 음소 파형을 재생하도록 구성된다.

음소 저장공간(210), 비짐 저장공간(208), 및 이미지 프로세서(18)는 모두 그들 사이에 동기현상(synchronisation)을 유지하는 제어수단(16)의 제어하에 있다. 보다 특정지어서, 제어수단(16)은 발음한 대로 수신된 텍스트 메시지를 순차적으로 재생하는 오디오 재생수단(108)으로 음소를 출력하도록 음소 저장공간(210)을 제어한다. 유사하게, 제어수단(16)은 상기 비짐 저장공간(208)을 제어하여 비짐 저장공간(208)이 비짐 저장공간(210)으로부터 출력된 재생될 특정 음소에 대응하는 이미지 프로세서(18)로 상기 정확한 비짐 이미지를 출력하도록 한다. 이미지 프로세서(18)는 상기 비짐 저장공간으로부터 수신된 이미지를 처리하고 상기 처리된 이미지를 표시수단(102)으로 출력한다. 상기 음소 저장공간, 비짐 저장공간, 및 상기 제어 수단의 중심부의 이미지 프로세서(18)의 제어를 수행함으로써, 이미지 프로세서(18)로부터 출력되고 표시 수단(102)에 표시된 처리된 비짐과 오디오 재생 수단(108)에 의해 재생하는 음소 저장공간(210)으로부터 출력된 음소 파형 사이의 동기현상을 유지하여, 적합하게 처리된 비짐이 상기 대응하는 음소의 파형이 오디오 재생 수단(108)에 의해 재생되는 것과 동시에 표시 수단(102)상에 표시될 수 있게 한다.

도 2는 이미지 프로세서(18)에 의해 실행되는 시스템 기능을 도시한다. 보다 특정지어서, 이미지 프로세서(18)내에 제어수단(16)으로부터 제어 신호를 수신하는 제어기가 제공된다. 도 2에 점선으로 표시된 제어선이 제어기(8)로부터 텍스처링 수단(2), 형상 모델링 수단(4), 및 프로젝터 수단(6) 각각으로 제공된다. 텍스처링 수단(2)은 비짐 저장공간(208)으로부터 출력된 그의 입력 신호를 나타내는 이미지를 수신한다. 형상 모델링 수단(4)은 형상 저장공간(206)으로부터 3 차원 형상로 나타내는 그의 입력 데이터를 수신한다. 상기 형상 모델링 수단(4)은 상기 수신된 대표적인 데이터를 원기둥, 구, 타원, 난형 등과 같은 데이터에 의해 나타내는 가상 모델 형상로 번역할 수 있다.

이미지 프로세서(18)내에 상기 형상 모델링 수단으로부터 정보를 수신하고, 제 2의 처리된 이미지를 얻기 위한 이미지 위치로 상기 형상의 텍스처링된 표면의 가상 프로젝션을 실시하도록 동작하는 프로젝터 수단(6)이 추가로 제공된다. 프로젝터 수단(6)은 따라서 프로세서(16)로부터 처리된 이미지를 출력한다.

본 발명에 따라 이동전화(100)의 개념적인 내부 구조를 기술하였으므로, 여러가지 요소의 동작이 도 3 및 도 4에 관해 기술될 것이다. 보다 특정지어서, 도 3은 전체 시스템의 동작의 흐름도를 나타내고, 반면에 도 4는 본 발명에 따른 이미지 프로세서(18)에 의해 실행되는 특정 단계의 흐름도이다.

도 3 및 도 4를 참조하여, 단계(3.2)에서, 텍스트 메시지가 텍스트 메시지 수신수단(10)에 의해 수신된다. 이에 이어서, 단계(3.4)에서, 상기 텍스트 메시지가 텍스트 버퍼(12)에 저장되며, 그런 다음 단계(3.6)에서 구문 분석기(14)가 텍스트 버퍼(12)로부터 요청될 때 상기 텍스트 메시지를 읽어들이도록 동작한다. 구문 분석기(14)는 단계(3.8)에서 그의 음소 표시를 얻기 위해 상기 메시지의 텍스트를 구문 분석한다. 전술한 바와 같이, 음소 표시를 얻기 위해 텍스트를 구문 분석하는 것은 종래 기술에 알려져있다.

상기 구문 분석기에 의해 얻어진 음소 표현은 제어수단(16)으로 통과하고, 그것은 단계(3.10)에서 상기 음소 저장공간을 제어하여 그에게서 상기 구문 분석기로부터 수신된 시퀀스에서의 제 1 음소의 음성 파형을 읽어들인다. 동시에, 단계(3.12)에서 상기 제어 수단은 음소 저장공간(206)으로부터 출력된 현재의 음소에 대응하는 비짐을 상기 비짐 저장공간으로부터 출력하도록 상기 비짐 저장공간을 제어한다. 음소 저장공간(210)으로부터 출력된 음소는 오디오 재생 수단(108)으로 통과하고, 반면 비짐 저장공간(208)으로부터 출력된 비짐은 이미지 프로세서(18)로 통과된다.

단계(3.14)에서, 이미지 프로세서(18)는 본 발명의 이미지 처리 방법을 그에 적용함으로써 상기 이미지를 "동화상화"하기 위해 본 발명에 따라 상기 수신된 비짐을 처리한다. 이것은 상기 비짐에 나타낸 머리가 조금 움직인다고 하더라도 상기 비짐 상에 효과를 생성한다.

이미지 프로세서(18)에서 입력 비짐의 처리에 이어서, 단계(3.16)에서 상기 처리된 비짐은 사용자에게 나타내어지는 표시수단(102)으로 출력된다. 동시에, 단계(3.18)에서 상기 오디오 재생 수단(108)은 상기 음소 저장공간(210)으로부터 수신된 현재의 음소의 음향의 파형을 재생한다.

현재의 처리된 비짐이 표시되고, 현재의 음소가 재생되면, 평가가 단계(3.20)에서 수행되어 상기 구문 분석기(14)에 의해 정해진 시퀀스의 모든 음소가 재생되었는지 여부를 판정한다. 상기 판정이 모든 음소가 재생되었다고 판정하면, 상기 과정은 종료한다. 반대로, 재생될 음소와 표시될 연관된 비짐이 남았다고 판정된다면, 단계(3.22)에서 제어 수단(16)은 상기 시퀀스의 다음 음소로 이동하고, 처리는 단계(3.10)로 리턴한다. 단계(3.10, 3.12, 3.14, 3.16, 3.18, 3.20, 3.22)의 처리 단계는 상기 구문 분석기(14)로부터 상기 제어수단(16)으로 출력된 모든 음소가 재생되고 상기 연관된 비짐이 처리되고 사용자에게 표시될 때까지 루프로 반복된다.

상기 시스템의 전체 동작을 기술함으로써, 단계(3.14)를 실시할 때, 이미지 프로세서(18)에 의해 실시된 특정 단계가 도 4를 참조하여 기술될 것이다.

단계(4.2)에서, 이미지 프로세서(18)는 제어수단(16)의 제어하에서 비짐 저장공간(208)으로부터 출력된 비짐을 수신한다. 이에 이어서, 단계(4.4)에서 이미지 프로세서(18)는 형상 저장공간(206)을 액세스하고, 수신된 이미지가 적용될 3D 형상으로 나타내는 데이터를 검색한다. 이미지 프로세서(18)에 제공된 형상 모델링 수단(4)은 상기 형상 저장공간으로부터 데이터를 수신하고, 가상공간에서 3차원 기하학적인 형상로 형상을 모델링하기 위해 데이터를 이용한다. 다음으로, 상기 텍스처링 수단은 단계(4.6)에서 상기 수신된 이미지의 프로젝션으로 상기 형상의 표면을 텍스처링하도록 동작한다. 텍스처링을 함으로써, 상기 형상의 표면상으로 영사될 때의 이미지 픽셀의 휘도와 크로미넌스 값이 효과적으로 상기 표면에 결합되어, 상기 표면이, 전술한 바와 같이 상기 이미지 프로젝션으로 효과적으로 "채색"된다.

상기 형상 텍스처링에 이어서, 단계(4.8)에서, 형상 모델링 수단(4)은 상기 형상의 동작을 실시하고, 상기 이미지 위치에 연관된 이동된 위치에서 상기 텍스처링된 형상을 모델링 하도록 동작한다. 상기 제 1 실시예에 관해 전술한 바와같이, 상기 동작은 상기 형상의 임의의 축에 대한 회전이 될 수도 있고, 바람직한 실시예에서, 상기 형상는 원기둥이고, 상기 동작은 10도 만큼만, 바람직하게는 어느 방향에 대해 1도인 그의 메인 액세스에 대한 회전이다. 상기 텍스처링된 형상에 적용되는 정확한 동작은 바람직하게는 각 처리된 이미지가 그에 적용되는 다른 형상 동작을 갖는 결과에 따라 상기 프로세스의 각각의 반복에 대해 랜덤하게 선택된다.

다른 실시예에서, 전술한 바와 같이, 상기 형상의 동작은 상기 처리된 비짐으로 재생될 음소의 말하는 에너지에 따라 제어된다.

또한, 다른 실시예에서, 이미지 위치는 상기 형상 또는, 전술한 바와 같이 형상 및 이미지 위치와 연관된 동작의 조합에 관련되어 움직인다. 상기 실시예에서, 각각이 고유한 동작이 아니라, 형상과 중요한 처리된 이미지의 이미지 위치 사이에서 연관된 동작이 있다.

하기의 단계(4.8)는 상기 텍스처링된 형상이 상기 이동된 위치에서 모델링된 후의 것이고, 단계(4.10)에서 상기 프로젝터 수단(6)은 상기 형상 모델링 수단(4)으로부터 상기 이동된 텍스처링된 형상의 정보를 얻고, 상기 원래 수신된 이미지의 가상 공간에서의 위치로 상기 형상의 텍스처링된 표면의 프로젝션을 취하는 동작을 한다. 상기 원래 수신된 이미지의 위치에 자리한 프로젝션에 의해 획득된 이미지(영사된 픽셀 휘도와 크로미넌스 값을 구비)는 단계(4.12)에서 상기 이미지 프로세서(18)로부터 상기 표시 수단(102)으로 출력하는 영사 수단에 의해 출력된다. 상기 표시 수단(102)은 전술한 바와 같이 사용자에게 처리된 이미지를 나타낸다.

그러므로, 상기에 따라, 본 발명이 3 차원 형상, 상기 형상 및 이미지 위치 사이에서 효과가 있는 연관된 동작, 및 제 2 이미지를 얻기 위해 상기 이미지 위치로 가져오는 상기 적용된 이미지의 프로젝션에 적용되는 이미지에 의해 특정한 "횡단비의 변화"의 효과를 생성하도록 상기 이미지가 처리되는 것을 허용하는 이미지 처리 방법 및 시스템을 제공한다는 것을 이해할 것이다. 상기 이미지가 비짐인 경우, 상기 결과로 나타나는 이미지내의 횡단비의 변화의 효과를 얻기 위해, 상기 이미지 위치에 관한 형상의 연관된 동작은 말할 때 관찰되는 실제 인간의 작은 머리 동작을 시뮬레이션한다. 따라서, 이전의 비짐 이미지의 멍하고 생명력 없는 특성이 경감되고, 상기 전체 효과는 보다 생동감 있는 이미지가 된다.

본 발명의 바람직한 실시예가 인간의 머리의 이미지를 사용하지만, 본 발명은 인간의 머리의 이미지 처리에 한정되지 않으며, 동물의 머리, 상상 속의 머리 등도 사용됨을 주의하라. 특히, "상상속의 머리"는 의해 예를 들면 BBC 텔레비젼에서 방영된 텔레토비의 머리나, 또는 스타워즈 등의 환타지 영화의 상상속의 캐릭터의 머리와 같은 상상속의 생물의 머리의 이미지를 의미한다. 더구나, 본 발명은 특히 얼굴 이미지(인간, 동물, 상상속의 동물 등의)의 처리를 위해 개발되었지만, 그의 사용은 얼굴 이미지의 처리에 한정되지 않고, 본 발명에 의해 전술되고 제공된 횡단비의 변화를 필요로 하는 임의의 이미지가 그에 의해 처리될 수 있다.

전술된 본 발명 내에서, 상기 이미지가 형상로 영사되는 것으로 개념적인 기초로 본 발명을 기술하고, 상기 형상는 그런 다음 회전하고, 상기 프로젝션이 상기 원래 이미지 위치에 대해 상기 형상로부터 취해진다. 본 발명의 바람직한 실시예에서, 전술한 개념이 유지되고, 특별히 종래의 3 차원 가상 현실 프로그래밍 언어를 사용하지만, 동일한 이미지 처리 효과가 순수한 수학적 알고리듬을 통해 얻어질 수 있다는 것이 또한 이해될 것이다. 즉, 상기 형상로 텍스처링되는 이미지는 단순히 종래 좌표 시스템에서의 불연속적인 좌표에 위치하는 점들의 배열로 간주될 수 있고, 상기 바람직한 실시예에서 다각형으로 나타나는 대신에 상기 형상는 종래 좌표 시스템의 적당한 수학식으로 나타낼 수 있다. 상기 결과로서 처리된 이미지는 상기 기하학적인 형상에 대한 수학식을 사용하여 수학적으로 얻어질 수 있고, 적당한 변환을 상기 형상의 수학식을 사용하는 이미지 좌표에 적용할 수 있다. 그러한 구현은 상기 첨부된 청구범위에 의해 커버되도록 명백하게 의도되고, 거기에서 상기 바람직한 실시예에 관해 이미 기술된 것처럼 본 발명의 개념을 실제로 구현한다. 따라서, 완료를 위해, 본 발명에 따른 이미지 처리의 수학적 분석이 수반되고, 이것은 상기 기본, 프로젝션, 관련된 동작, 및 이미 기술된 제 2 프로젝션 단계를 수학적으로 나타낸다. 본 발명의 수학적 분석은 도 8 내지 13을 참조하여 기술된다.

도 8은 본 발명의 이미지와 형상의 객체가 존재하는 3 차원 가상공간의 투시도를 도시한다. 특히, 도 8은 처리될 이미지의 각각의 포지셔닝과 방위, 및 상기 가상공간 내의 가상 형상의 모델을 도시한다.

도 9는 직접적인 바로 앞면으로부터의 위치, 즉, 상기 이미지의 수평면에 직각방향으로, 처리될 이미지를 도시한다. 반대로, 도 10은 상기 원기둥의 축의 방향의 상부로부터 얻어진 도를 도시한다. 이 경우, 상기 도가 이미지 수평면을 따라서 있어서, 상기 이미지는 이 관점으로부터 더이상 명확하지 않도록 한다(2 차원에 따라). 도 11, 12, 및 13은 유사한 도를 도시한다.

상기 형상이 원기둥인 경우, 예를 들면 AB의 레벨로 상기 원기둥의 표면상의 임의의 위치에 원을 계산할 필요가 있다. 상기 결과로서 나오는 공식은 이 방향의 단면이 다르지 않기 때문에 상기 원기둥의 수직 단면의 위 또는 아래 전체 동면(動面)이 동일하게 될 것이다.

우선, 상기 원기둥으로 텍스처링된 머리의 휘도, 즉 Lc를 계산하라. 유일하게 필요한 것은 상기 원기둥이 정확하게 전면을 향할 때, 그것은 상기 화면상으로 상기 원래의 도면 Ls의 휘도와 동일하게 나타나야 한다는 것이다.

도 11을 참조하여, θ를 상기 이미지의 관심 지점에 의해 대응되는 각도로 두고, 상기 θ는 상기 원기둥에 대해 '고정'시킨다.

x=rsinθ이기 때문에,

⇒

다음으로, 도 12를 참조하여, 상기 원기둥이 각도 로 회전할 때 상기 화면()상에 나타내는 휘도를 계산하라.

여기서 은 (각도 ) 회전된 원기둥의 휘도로 두고,

(도 12를 보라)

(도 13을 보라)

여기서 이고, 회전각도 에 변위각 를 더한 것이기 때문에, 즉

이다.

변위의 각은 이고,

회전각은 이다,

수학식 1로부터,

,

따라서,

⇒

⇒

⇒

⇒

따라서, 상기로부터 본 발명은 바람직한 실시예에 관해 기술된 바와 같은 개념적 기초에서, 또는 상기 도시된 바와 같은 순수한 수학적 기초로 실시될 수 있고, 상기 두 가지는 서로 배타적이지 않다는 것이 이해될 것이다. "횡단비의 변화"를 수행한 처리된 이미지를 얻는 동일한 효과는 어느 경우에서건 얻을 수 있다.

또한, 본 발명의 실제 물리적인 구현을 통해 본 발명을 구현하고 동일한 효과를 획득할 수 있기 때문에, 본 발명은 전자전인 또는 다른 처리 수단을 통한 구현에 한정되지 않는 다는 것을 이해할 것이다. 따라서, 추가적인 실시예에서, 형상의 표면상으로의 프로젝션을 통해 이미지를 나타내도록 구성되는 이미지 프로젝터가 제공된다. 상기 이미지 프로젝터는 슬라이드 프로젝터이거나 또는 디지털 라이트 프로젝터 등이다. 예를 들면, 플라스틱 또는 폴리스티렌으로 만들어진, 바람직하게는 채색된 빛의 3 차원 형상이 추가로 제공되고, 그의 표면상으로 상기 이미지의 프로젝션을 수신하기 위해 연관된 이미지 프로젝터로 위치가 정해진다. 디지털, 비디오, 필름 기반 등의 카메라가 상기 형상의 표면상에 상기 이미지의 프로젝션에 초점을 맞추어 제공되고, 그의 이미지를 캡처하도록 구성된다. 상기 카메라는 바람직하게는 상기 프로젝터와 정확하게 함께 위치한 근방에 제공되어, 상기 카메라의 광학 축은 상기 프로젝터의 광학 축에 대해 작은 각도(바람직하게는 10도, 보다 바람직하게는 1도)가 되도록 한다. 상기 카메라의 그러한 위치는 상기 프로젝터, 형상, 또는 카메라중 어느 것도 움직이지 않고, 상기 형상에 연관된 이미지 위치의 이동을 시뮬레이션한다.

그러한 구성의 작용은 직접적이고, 상기 전술한 실시예와 유사하다. 즉, 상기 프로젝터는 상기 형상의 표면상으로 바람직하게는 비짐 등인 이미지를 프로젝션하도록 동작하고, 그에 의해, 효과적으로 상기 표면을 "텍스처링"한다. 상기 형상의 표면에 초점을 맞춘 카메라는 상기 프로젝션된 이미지의 이미지를 캡처하고, 상기 프로젝터의 광학 축에 대한 각도로 상기 카메라의 광학 축을 놓음으로써, 본 발명에 의해 제공된 "횡단비의 변화" 효과를 나타낸다. 상기 카메라에 의해 캡처된 이미지는 처리된 이미지로서 출력된다.

처리될 연속된 이미지에 대해, 각각의 연관된 카메라 및/또는 프로젝터의 위치가 변경되어, 명확하게 랜덤인 횡단비의 변화가 각각의 연속된 이미지에 대해 관찰된다.

본 문서가 명확하게 다른 것을 요구하지 않는다면, 상세한 설명과 청구범위를 통틀어서, "구비하다(comprise)", "구비하는(comprising)" 등의 단어는 배제하는 또는 포괄적이라는 의미에 대해 반대되는 포함하는 의미로 해석되고, 즉, "포함하지만 제한되지는 않는"의 의미이다.

Claims (22)

1. 이미지를 처리하는 방법에 있어서

   a) 이미지 위치와 상기 이미지의 방위로부터 3 차원 형상의 적어도 한 표면상으로 제 1 이미지를 투영하여 상기 적어도 한 면을 텍스처링(texturing)하는 단계,

   b) 서로 연관있는 상기 형상 및/또는 이미지 위치 중 하나 또는 모두를 이동시키는 단계, 및

   c) 상기 이미지 위치로 상기 형상의 텍스처링된 표면을 투영하여 상기 이미지 위치에서 상기 제 1 이미지와 동일한 방위의 제 2 이미지를 얻는 단계로 구성된 것을 특징으로 하는 이미지 처리 방법.
2. 제 1 항에 있어서,

   상기 제 1 이미지는 제 1 이미지들의 시퀀스의 일부를 형성하고,

   상기 방법은 대응하는 제 2 이미지의 시퀀스를 얻기 위해 상기 시퀀스에서 각 제 1 이미지에 대해 단계 a), b), 및 c)를 반복하는 단계들을 추가로 구비하는 것을 특징으로 하는 이미지 처리 방법.
3. 제 2 항에 있어서,

   상기 각각의 제 1 및 제 2 이미지의 시퀀스는 말하는 얼굴의 동영상 시퀀스를 각각 형성하는 단계를 포함하는 이미지 처리 방법.
4. 제 2 또는 제 3 항에 있어서,

   사용자에게 제 2 이미지들의 상기 제 2 시퀀스를 디스플레이하는 단계, 및 육성으로서, 상기 디스플레이와 동기화된, 녹음되거나 또는 합성 사운드를 재생(reproduction)하는 단계를 추가로 포함하는 이미지 처리 방법.
5. 제 4 항에 있어서,

   상기 이동 단계는 상기 형상 및/또는 상기 이미지의 위치를 상기 재생된 사운드의 에너지에 따라 이동시키는 단계를 추가로 구비하는 것을 특징으로 하는 이미지 처리 방법.
6. 제 1 내지 4 항 중 어느 한 항에 있어서,

   상기 이동 단계는 랜덤으로 상기 형상 및/또는 이미지 위치를 이동시키는 단계를 추가로 구비하는 것을 특징으로 하는 이미지 처리 방법.
7. 제 1 내지 6 항 중 어느 한 항에 있어서,

   상기 이동 단계는 하나 이상의 축에 대해 상기 3 차원 형상을 회전시키는 단계를 추가로 포함하는 것을 특징으로 하는 이미지 처리 방법.
8. 제 7 항에 있어서,

   상기 회전은 상기 하나 이상의 축의 임의의 방향으로 10 도 이내의 범위를 갖고, 바람직하게는 상기 축에 대한 임의의 방향으로 1 도이내의 범위를 갖는 것을 특징으로 하는 이미지 처리 방법.
9. 제 1 내지 8 항 중 어느 한 항에 있어서,

   상기 형상은 구형, 원기둥형, 타원체형, 난형(ovoid), 또는 이중 원기둥형로 구성된 그룹중 어느 하나인 것을 특징으로 하는 이미지 처리 방법.
10. 제 1 내지 제 9 항 중 어느 한 항에 있어서,

    상기 제 1 이미지는 가상 공간의 제 1 위치에 마련된 복수의 픽셀을 포함하는 이미지이고, 상기 형상은 상기 가상 공간에 위치한 형상의 3D 가상 모델을 나타내는 데이터로서, 프로세서에 의해 모델링되는 것을 특징으로 하는 이미지 처리 방법.
11. 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템이 제 1 내지 10 항 중 어느 한 방법을 실시하도록 하는 것을 특징으로 하는 컴퓨터 프로그램.
12. 제 11 항에 따른 컴퓨터 프로그램을 저장한 컴퓨터 판독가능한 저장 매체.
13. 이미지 처리 시스템에 있어서,

    처리할 제 1 이미지를 수신하는 이미지 수신 수단,

    이미지 처리 수단, 및

    제 2의 처리된 이미지를 출력하기 위한 이미지 출력 수단을 포함하고,

    상기 이미지 처리 수단은,

    3 차원 형상로 모델링되도록 구성되는 형상 모델링 수단을 추가로 구비하고,

    a) 이미지 위치와 상기 이미지의 방위로부터 3 차원 형상의 적어도 한 면상으로 제 1 이미지를 투영하여 상기 적어도 한 면을 텍스처링하고,

    b) 서로 연관있는 상기 형상 및/또는 이미지 위치 중 하나 또는 모두를 이동시키고,

    c)상기 이미지 위치로 상기 형상의 텍스처링된 표면을 투영하여 상기 이미지 위치에서 상기 제 1 이미지와 동일한 방위의 제 2 이미지를 얻도록 추가로 구성되는 것을 특징으로 하는 이미지 처리 시스템.
14. 제 13 항에 있어서,

    상기 제 1 이미지는 제 1 이미지 시퀀스의 일부를 형성하고,

    상기 시스템은, 상기 이미지 수신 수단에서 상기 시퀀스의 각 제 1 이미지를 수신하도록 추가로 구성되고,

    상기 이미지 처리 수단은 대응하는 제 2 이미지의 시퀀스를 얻기 위해 상기 시퀀스에서 각 제 1 이미지에 대해 단계 a), b), 및 c)를 반복하도록 구성된 것을 특징으로 하는 시스템.
15. 제 14 항에 있어서,

    상기 제 1 및 제 2 이미지 시퀀스 각각은 말하는 얼굴의 동영상 시퀀스를 각각 형성하는 것을 특징으로 하는 시스템.
16. 제 14 또는 15 항에 있어서,

    사용자에게 제 2 이미지들의 상기 제 2 시퀀스를 디스플레이 하기 위한 디스플레이 수단, 및 육성으로서, 상기 디스플레이와 동기화된, 녹음 사운드 또는 합성 사운드를 재생하기 위한 사운드 재생 수단을 추가로 구비하는 것을 특징으로 하는 시스템.
17. 제 16 항에 있어서,

    상기 이미지 처리 수단은 상기 재생된 사운드의 에너지에 따라 상기 형상 및/또는 이미지 위치를 이동시키도록 추가로 구성되는 것을 특징으로 하는 시스템.
18. 제 13 내지 16 항에 있어서,

    상기 이미지 처리 수단은 상기 형상 및/또는 이미지 위치를 랜덤하게 바꾸도록 추가로 구성되는 것을 특징으로 하는 시스템.
19. 제 13 내지 18 항에 있어서,

    상기 이미지 처리 수단은 하나 이상의 축에 대해 상기 3 차원 형상을 회전시킴으로써 상기 형상을 이동시키도록 추가로 구성되는 것을 특징으로 하는 시스템.
20. 제 19 항에 있어서,

    상기 회전은 상기 하나 이상의 축에 대해 임의의 방향으로 10 도 이내의 범위를 갖고, 바람직하게는 상기 축에 대해 임의의 방향으로 1 도 이내의 범위를 갖는 것을 특징으로 하는 시스템.
21. 제 13 내지 20 항에 있어서,

    상기 형상은 구형, 원기둥형, 타원체형, 난형, 또는 이중 원기둥형으로 구성된 그룹 중 어느 하나 인 것을 특징으로 하는 시스템.
22. 제 13 내지 21 항에 있어서,

    상기 제 1 이미지는 가상 공간에서 상기 제 1 위치에 마련된 복수의 픽셀을 포함하는 이미지이고, 상기 형상은 상기 가상 공간에 위치하는 3D 가상 모델을 나타내는 데이터로서, 상기 형상 모델링 수단으로 모델링되는 것을 특징으로 하는 시스템.