KR102251544B1 - 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법 - Google Patents

사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법 Download PDF

Info

Publication number
KR102251544B1
KR102251544B1 KR1020190144830A KR20190144830A KR102251544B1 KR 102251544 B1 KR102251544 B1 KR 102251544B1 KR 1020190144830 A KR1020190144830 A KR 1020190144830A KR 20190144830 A KR20190144830 A KR 20190144830A KR 102251544 B1 KR102251544 B1 KR 102251544B1
Authority
KR
South Korea
Prior art keywords
user
control
autostereoscopic
camera
display device
Prior art date
Application number
KR1020190144830A
Other languages
English (en)
Inventor
강민구
한형섭
서현선
김유찬
석현광
전호정
옥명렬
김성규
조대용
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190144830A priority Critical patent/KR102251544B1/ko
Application granted granted Critical
Publication of KR102251544B1 publication Critical patent/KR102251544B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 명세서는 손으로 제어 장치를 직접 사용하지 않더라도 3D 디스플레이에 표시된 3D 오브젝트를 제어할 수 있는 장치 및 방법을 개시한다. 본 명세서에 따른 D 오브젝트 제어 장치는, 무안경 3D 디스플레이 장치의 화면 모서리 중 적어도 3곳에 위치하는 복수의 화면 마커; 사용자의 시선 방향과 같은 촬영 방향을 가지도록 사용자의 머리에 장착된 카메라; 및 상기 카메라를 통해 촬영된 영상 내 화면 마커들의 위치 변화를 통해 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트를 제어하는 제어부;를 포함할 수 있다.

Description

사용자의 동작에 따른 3D 오브젝트 제어 장치 및 방법{APPARATUS FOR CONTROLING 3D OBJECT ACCODING TO USER'S MOTION AND METHOD THEREOF}
본 발명은 3D 오브젝트 제어 장치 및 방법에 관한 것이며, 보다 상세하게는 손으로 제어 장치를 직접 사용하지 않더라도 3D 디스플레이에 표시된 3D 오브젝트를 제어할 수 있는 장치 및 방법에 관한 것이다.
안경식 3차원 디스플레이의 문제점을 해결하고자 무안경식 3차원 디스플레이(auto-stereoscopic display)에 대한 연구가 활발하게 이루어지고 있다. 이러한 무안경식 3차원 디스플레이는 기존 HMD(Head Mounted Display)와 같이 착용형 디스플레이 디바이스 사용이 제한되는 의사, 특히 수술중인 의사에게 유용하다.
수술중인 의사의 경우, 3차원 디스플레이에 표시되는 3D 오브젝트는 미리 저장된 데이터가 단순 재생된 컨텐츠일 가능성보다 수술 대상 환자에 관련된 실시간 3D 오브젝트(예: 수술 대상 장기의 현재 상태)일 가능성이 더 높다. 따라서, 수술중인 의사는 실시간으로 3D 오브젝트 원하는 각도로 회전시키거나, 원하는 크기로 확대 또는 축소시키는 화면 제어가 필요할 수 있다.
그러나 수술중인 의사가 손으로 직접 제어기기를 조작하는 것은 수술실의 환경을 고려할 때 매우 제한된다. 따라서 사용자가 손으로 제어 장치를 직접 사용하지 않더라도 3D 디스플레이에 표시된 3D 오브젝트를 제어할 수 있는 장치 및 방법이 필요하다.
대한민국 공개특허공보 제10-2019-0018900호, 2019.02.26
본 명세서는 손으로 제어 장치를 직접 사용하지 않더라도 3D 디스플레이에 표시된 3D 오브젝트를 제어할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 3D 오브젝트 제어 장치는, 무안경 3D 디스플레이 장치의 화면 모서리 중 적어도 3곳에 위치하는 복수의 화면 마커; 사용자의 시선 방향과 같은 촬영 방향을 가지도록 사용자의 머리에 장착된 카메라; 및 상기 카메라를 통해 촬영된 영상 내 화면 마커들의 위치 변화를 통해 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트를 제어하는 제어부;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 수 있다.
이 경우, 상기 제어부는 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전에 대응하여 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 영상 시점을 제어할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는, 사용자와 상기 무안경 3D 디스플레이 장치 사이의 거리에 대응하여 상기 3D 오브젝트의 영상 크기를 제어할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 복수의 화면 마커들이 상기 카메라를 통해 촬영된 영상 내에 모두 포함될 때, 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트를 제어할 수 있다.
이 경우, 상기 제어부는 상기 복수의 화면 마커들 중 일부가 상기 카메라를 통해 촬영된 영상 내에 포함되지 않을 때, 상기 3D 오브젝트에 대한 마지막 제어 상태를 유지할 수 있다.
본 명세서에 따른 3D 오브젝트 제어 장치는, 상기 무안경 3D 디스플레이 장치와 상기 사용자 사이에 공간에 위치하는 복수의 참조 마커;를 더 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리 비율에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 크기를 제어할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 카메라를 통해 촬영된 영상 내 참조 마커를 기준으로 상기 화면 마커들의 위치 각도에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 영상 시점을 제어할 수 있다.
본 명세서에 따른 3D 오브젝트 제어 장치는, 3D 오브젝트 제어 장치; 및
상기 3D 오브젝트 제어 장치에서 출력된 제어 신호에 따라 3D 오브젝트를 출력하는 무안경 3D 디스플레이 장치;를 포함하는 3D 오브젝트 제어 시스템의 일 구성 요소가 될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서의 일 측면에 따르면, 사용자는 손으로 제어 장치를 직접 사용하지 않더라도 사용자(의사) 머리 자세에 따라 3D 디스플레이에 표시된 3D 오브젝트를 효율적으로 제어할 수 있다. 또한, 디스플레이에 부착된 카메라로부터 사용자 위치를 추정하는 대신 사용자에 부착된 카메라로부터 수술실 공간 및 초다시점 디스플레이, 사용자 자세를 추정할 수 있으므로, 사용자가 항상 디스플레이 앞에 있을 필요가 없고, 기존 동적 초대 시역 형성 기술에서처럼 카메라 화각에 의한 시역 확장 범위의 제약이 없다. 특히, 사용자가 수술 의사인 경우, 수술 상황에 따라 수술대, 디스플레이의 배치가 자유롭고, 사용자 자세 추정 정확도 또한 향상될 수 있다. 이를 통해 사용자 움직임을 수술 혹은 단순 이동을 위한 동작과 3D 객체 시청을 위한 동작, 그리고 3D 오브젝트 탐색을 위한 제어 동작으로 구분하여 인식할 수 있으며, 수술 및 단순 이동 동작시 유효한 3D 화면 제공을 위한 불필요한 구동 PC의 연산 및 디스플레이 자원의 소비를 막을 수 있다.
본 명세서의 다른 측면에 따르면, 초다시점 디스플레이 설계를 따르되 유효 시역(시청범위)를 사용자 어깨 너비로 제한할 경우, 사용되는 디스플레이 패널의 제한적 화소를 최소한의 유효시역을 형성하는데 사용하므로 초다시점 3D 디스플레이의 편안하고 우수한 광특성 유지한 채 고화질 3D 객체 재현 가능하다. 따라서 사용자 IPD 차이에 따라 재현되는 3D 객체의 입체감 왜곡이 적고, 높은 3D 해상도를 이용하여 혈관과 같은 세밀한 3D 객체 표현이 가능하다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 3D 오브젝트 제어 시스템의 구성을 개략적으로 도시한 구성도이다.
도 2는 사용자의 머리 자세에 따른 3D 오브젝트 제어의 개념도이다.
도 3은 머리의 피치 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 4는 머리의 롤 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 5는 머리의 요우 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 6은 사용자의 접근에 따른 3D 오브젝트 제어의 예시도이다.
도 7은 3D 오브젝트 제어 모드 활성화/비활성화의 예시도이다.
도 8은 화면 마커와 참조 마커의 예시도이다.
도 9는 사용자가 무안경 3D 디스플레이 장치를 비스듬히 응시하는 예시도이다.
도 10은 사용자 응시 방향에 따른 영상 시점 제어에 대한 참고도이다.
도 11은 머리 회전에 따른 IPD 제어의 참조도이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 명세서에 따른 3D 오브젝트 제어 시스템의 구성을 개략적으로 도시한 구성도이다.
도 1을 참조하면, 본 명세서에 따른 3D 오브젝트 제어 시스템은 이하에서 자세히 설명될 3D 오브젝트 제어 장치(100, 이하 '제어 장치') 및 무안경 3D 디스플레이 장치(200)를 포함할 수 있다. 상기 무안경 3D 디스플레이 장치(200)는 다시점을 통해 사용자에게 입체감을 부여하는 디스플레이로서, 이에 대한 기술적 설명은 대한민국 공개특허공보 제10-2019-0018900호에 기재된 모든 사항을 원용한다. 따라서, 본 명세서에서는 상기 무안경 3D 디스플레이 장치(200)에 대해서 상세한 설명을 생략한다.
본 명세서에 따른 제어 장치(100)는 복수의 화면 마커(110), 카메라(120) 및 제어부(130)를 포함할 수 있다.
상기 복수의 화면 마커(110)는 무안경 3D 디스플레이 장치의 화면 모서리 중 적어도 3곳에 위치할 수 있다. 상기 복수의 화면 마커(110)는 사용자가 바라보는 시선을 기준으로 상하좌우를 구별하기 위한 것으로 최소 3개 이상이 필요하다. 도 1에 도시된 예시에는 4개의 마커가 화면 각 꼭지점에 위치하는 것으로 도시되었으나, 본 명세서에 따른 제어 장치(100)가 상기 예시에 제한되는 것은 아니다.
상기 카메라(120)는 사용자의 시선 방향과 같은 촬영 방향을 가지도록 사용자의 머리에 장착될 수 있다. 따라서, 사용자가 목을 돌려서 시선 방향을 바꿀 때, 상기 카메라(120)의 촬영 방향도 함께 바뀐다.
일 실시예에 따르면, 상기 복수의 화면 마커(110)는 적외선 발광 다이오드(LED)이고, 상기 카메라(120)는 적외선 카메라일 수 있다. 이 경우, 사용자는 적외선 발광 다이오드에서 나오는 적외선을 인식할 수 없기 때문에, 3D 오브젝트를 인식하는데 방해를 받지 않을 수 있다.
다른 실시예에 따르면, 상기 복수의 화면 마커(110)는 특정 패턴이 인쇄된 부착물일 수 있다.
상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 촬영된 픽셀을 통해서 사용자가 상기 무안경 3D 디스플레이 장치를 바라보는 머리 자세를 추정할 수 있다. 이때, 상기 제어부(130)는 추정된 사용자의 머리 자세에 대응하여 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어할 수 있다.
보다 구체적으로, 상기 제어부(130)는 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 수 있다. 또한, 상기 제어부(130)는 사용자와 상기 무안경 3D 디스플레이 장치 사이의 거리에 대응하여 상기 3D 오브젝트의 영상 크기를 제어할 수 있다.
도 2는 사용자의 머리 자세에 따른 3D 오브젝트 제어의 개념도이다.
도 2를 참조하면, 머리가 피치(Pitch), 롤(Roll), 요우(Yaw) 방향으로 회전하는 것에 대응하여 3D 오브젝트 역시 피치(Pitch), 롤(Roll), 요우(Yaw) 방향으로 회전하는 것을 확인할 수 있다. 또한, 사용자가 앞으로 전진하거나 뒤로 물러남에 따라 3D 오브젝트의 크기를 줌 인/아웃(Zoom In/Out)되는 것을 확인활 수 있다. 즉, 상기 제어부(130)는 사용자가 손을 사용하지 않고 머리를 움직이거나 또는 거리를 조절하는 동작을 감지하여 이에 대응하도록 3D 오브젝트를 제어하는 것이다. 아래 도 3 내지 도 6을 참조하여 상기 제어부(130)의 3D 오브젝트 제어에 대해서 보다 자세히 설명하도록 하겠다.
도 3은 머리의 피치 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 3을 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 피치(Pitch) 방향으로 머리를 회전시키는 상황이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)를 정면으로 바라볼 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치를 기준 위치로 설정할 수 있다(도 3의 (b)). 상기 사용자가 3D 오브젝트의 상단을 탐색하기 위해 머리를 아래로 내릴 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 영상 상단 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 아래 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 아래 방향으로 회전되도록 제어할 수 있다(도 3의 (a)). 마찬가지로, 상기 사용자가 3D 오브젝트의 하단을 탐색하기 위해 머리를 위로 올릴 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 영상 하단 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 윗 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 윗 방향으로 회전되도록 제어할 수 있다(도 3의 (c)).
도 4는 머리의 롤 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 4를 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 롤(Roll) 방향으로 머리를 회전시키는 상황이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)를 정면으로 바라볼 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치를 기준 위치로 설정할 수 있다(도 4의 (b)). 상기 사용자가 3D 오브젝트의 오른쪽 대각을 탐색하기 위해 머리를 시계 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 반시계 방향으로 회전된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 시계 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 시계 방향으로 회전되도록 제어할 수 있다(도 4의 (a)). 마찬가지로, 상기 사용자가 3D 오브젝트의 왼쪽 대각을 탐색하기 위해 머리를 반시계 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 시계 방향으로 회전된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 반시계 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 반시계 방향으로 회전되도록 제어할 수 있다(도 4의 (c)).
도 5는 머리의 요우 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 5를 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 요우(Yaw) 방향으로 머리를 회전시키는 상황이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)를 정면으로 바라볼 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치를 기준 위치로 설정할 수 있다(도 5의 (b)). 상기 사용자가 3D 오브젝트의 좌측 탐색하기 위해 머리를 왼쪽에서 오른쪽 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 왼쪽 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 왼쪽에서 오른쪽으로 회전한 것으로 판단하여, 3D 오브젝트 역시 왼쪽에서 오른쪽으로 회전되도록 제어할 수 있다(도 5의 (a)). 마찬가지로, 상기 사용자가 3D 오브젝트의 우측 탐색하기 위해 머리를 오른쪽에서 왼쪽 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 오른쪽 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 오른쪽에서 왼쪽으로 회전한 것으로 판단하여, 3D 오브젝트 역시 오른쪽에서 왼쪽으로 회전되도록 제어할 수 있다(도 5의 (c)).
도 6은 사용자의 접근에 따른 3D 오브젝트 제어의 예시도이다.
도 6을 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 앞으로 접근하는 동작(도 6의 (a)), 뒤로 물러나는 동작(도 6의 (b))이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)에 접근할 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치가 영상의 바깥 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자가 무안경 3D 디스플레이 장치(200)에 접근한 것으로 판단하여, 3D 오브젝트의 크기를 확대하도록 제어할 수 있다(도 6의 (a)). 마찬가지로, 상기 사용자가 무안경 3D 디스플레이 장치(200)에서 멀어질 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치가 영상의 중심 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자가 무안경 3D 디스플레이 장치(200)에서 멀어진 것으로 판단하여, 3D 오브젝트의 크기를 축소하도록 제어할 수 있다(도 6의 (b)).
한편, 상기 제어부(130)는 상기 복수의 화면 마커들이 상기 카메라(120)를 통해 촬영된 영상 내에 모두 포함될 때, 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어할 수 있다.
도 7은 3D 오브젝트 제어 모드 활성화/비활성화의 예시도이다.
도 7의 (a)를 참조하면, 사용자의 시선이 3D 오브젝트가 아닌 다른 곳을 향하고 있는 것을 확인할 수 있다. 이때, 상기 카메라(120)를 통해 촬영된 영상 내에 상기 복수의 화면 마커들(110)이 전부 포함되지 않을 수 있다. 이 경우, 상기 제어부(130)는 사용자가 3D 오브젝트를 제어할 의사가 없는 것으로 판단하여, 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어하지 않을 수 있다(3D 오브젝트 제어 모드 비활성화).
도 7의 (b)를 참조하면, 사용자의 시선이 3D 오브젝트를 향하고 있는 것을 확인할 수 있다. 이때, 상기 카메라(120)를 통해 촬영된 영상 내에 상기 복수의 화면 마커들(110)이 전부 포함될 수 있다. 이 경우, 상기 제어부(130)는 사용자가 3D 오브젝트를 제어할 의사가 있는 것으로 판단하여, 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어할 수 있다(3D 오브젝트 제어 모드 활성화).
한편, 사용자는 '3D 오브젝트 제어 모드 활성화'된 상태에서 마지막 제어 상태를 유지하고 싶어할 수도 있다. 이 경우, 사용자는 시선을 3D 오브젝트가 아닌 다른 곳을 향하여 '3D 오브젝트 제어 모드 비활성화' 상태로 전화시킬 수 있다. 이 때, 상기 제어부(130)는 상기 복수의 화면 마커들 중 일부가 상기 카메라를 통해 촬영된 영상 내에 포함되지 않을 때, 상기 3D 오브젝트에 대한 마지막 제어 상태를 유지시킬 수 있다.
지금까지 설명은 3D 오브젝트가 상기 무안경 3D 디스플레이 장치에 표시된 상태에서 사용자의 머리 자세에 따라 제어되는 방법에 대해서 설명하였다. 그러나 이 것은 최초로 표시된 3D 오브젝트가 사용자에게 적절한 초기 크기와 적절한 초기 영상 시점을 가진 것을 전제로 설명된 것이다. 상기 카메라(120)와 상기 복수의 화면 마커(110)만 존재할 경우, 사용자와 무안경 3D 디스플레이 장치 사이의 거리를 판단하기 어렵다. 따라서, 본 명세서에 따른 3D 오브젝트 제어 장치(100)는 사용자와 무안경 3D 디스플레이 장치 사이의 상대적 거리를 판단하기 위해 상기 무안경 3D 디스플레이 장치와 상기 사용자 사이에 공간에 위치하는 복수의 참조 마커를 더 포함할 수 있다.
도 8은 화면 마커와 참조 마커의 예시도이다.
도 8을 참조하면, 사용자, 수술용 침대 및 무안경 3D 디스플레이 장치를 확인할 수 있다. 상기 사용자의 머리에는 카메라가 부착되어 있고, 상기 무안경 3D 디스플레이 장치에는 복수의 화면 마커(110)가 부착되어 있고, 상기 수술용 침대에 복수의 참조 마커(111)가 부착되어 있다. 상기 화면 마커(110) 및 참조 마커(111)가 적외선 발광 다이오드(LED)인 경우, 상기 화면 마커(110) 및 참조 마커(111)는 서로 다른 파장의 적외선을 방출하거나, 서로 다른 빛의 세기로 발광하거나, 어느 한 마커가 깜박이거나 하는 방식을 통해서 구별될 수 있다. 상기 화면 마커(110) 및 참조 마커(111)가 특정 패턴이 인쇄된 부착물인 경우, 서로 다른 패턴을 통해서 구별될 수 있다. 이를 통해서 상기 제어부(130)는 상기 카메라를 통해 촬영된 영상 내 화면 마커와 참조 마커를 구별할 수 있다.
그리고 상기 제어부(130)는 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리 비율에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 크기를 제어할 수 있다. 예를 들어, 사용자는 수술용 침대와 가깝게 위치할 것이 예상되는 상황이다. 만약 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리가 미리 설정된 기준보다 가까운 경우, 사용자와 무안경 3D 디스플레이 장치와의 거리 역시 가까울 것으로 예상된다. 이때, 상기 제어부(130)는 미리 설정된 3D 오브젝트의 크기보다 상기 참조 마커와 화면 마커들의 거리 비율에 따라 3D 오브젝트의 초기 크기를 줄일 수 있다. 만약 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리가 미리 설정된 기준보다 먼 경우, 사용자와 무안경 3D 디스플레이 장치와의 거리 역시 멀리 떨어져 있는 것으로 예상된다. 이때, 상기 제어부(130)는 미리 설정된 3D 오브젝트의 크기보다 상기 참조 마커와 화면 마커들의 거리 비율에 따라 3D 오브젝트의 초기 크기를 확대시킬 수 있다.
또한, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 참조 마커(111)를 기준으로 상기 화면 마커(110)들의 위치 각도에 따라 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트의 초기 영상 시점을 제어할 수도 있다.
도 9는 사용자가 무안경 3D 디스플레이 장치를 비스듬히 응시하는 예시도이다.
도 9를 참조하면, 도 8에 도시된 예시 상황과 달리, 사용자, 수술용 침대, 무안경 3D 디스플레이 장치가 일직선상에 놓여있지 않은 것을 확인할 수 있다. 사용 환경에 따라 무안경 3D 디스플레이 장치가 사용자의 주된 주시 방향에 벗어난 경우, 사용자는 무안경 3D 디스플레이 장치를 비스듬히 응시할 수 있다. 이 경우에도 3D 오브젝트의 초기 영상 시점을 제어하여 사용자에게 왜곡되지 않은 영상을 제공해야 한다.
도 10은 사용자 응시 방향에 따른 영상 시점 제어에 대한 참고도이다.
도 10의 (a)는 사용자가 정면을 바라본 상황이고, 도 10의 (b)는 사용자가 비스듬히 왼쪽을 바라본 상황이다. 참고로, 도 10에 도시된 예시는 무안경 3D 디스플레이 장치는 5개의 시점에서 촬영된 영상을 사용자의 시청 상태에 따라 제공되는 시점이 변화될 수 있다. 사용자가 정면을 바라본 경우, 사용자의 양안 사이의 거리(Inter Pupillary Distance, IPD)에 대응하여 2번과 4번 시점 영상을 제공하게 된다. 그러나 사용자가 고개를 돌리고 비스듬하게 디스플레이를 응시하게 될 경우에도 2번과 4번 영상을 제공하게 되면 영상이 겹쳐 보이거나 왜곡된 입체감을 줄 수 있다. 따라서, 이 경우 사용자에게 2번과 3번 시점 영상을 제공해야 한다. 상기 제어부(130)는 상기 참조 마커(111)를 기준으로 상기 화면 마커(110)들의 위치 각도를 산출하고, 산출된 각도에 따라 사용자에게 최적의 영상을 제공하도록 3D 오브젝트의 초기 영상 시점을 제어할 수도 있다.
한편, 영상 시점 제어는 최초 영상 제공시점뿐만 아니라, 영상을 제공하는 도중에도 필요할 수 있다.
도 11은 머리 회전에 따른 IPD 제어의 참조도이다.
도 11을 참조하면, 눈 높이(Eye Baseline)에서 실제 IPD(Reference IPD)와 머리 회전에 따라 무안경 3D 디스플레이 장치를 기준으로 투사되는 IPD(Projective IPD)를 확인할 수 있다. 앞서 설명하였듯이, 상기 제어부(130)는 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 수 있다. 이 경우, 사용자 머리의 피치(Pitch) 회전은 투사되는 IPD(Projective IPD)에 영향을 미치지 않는다. 하지만, 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전은 투사되는 IPD(Projective IPD)의 길이가 변화되도록 영향을 미친다. 따라서, 상기 제어부(130)는, 3D 오브젝트의 초기 영상 시점을 제어뿐만 아니라 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 때, 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전에 대응하여 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 영상 시점을 제어할 수도 있다.
상기 제어부(130)가 3D 오브젝트의 영상 시점을 제어하는 알고리즘에 대해서 보다 자세히 설명하도록 하겠다.
도 11을 참조하면, 상기 제어부(130)는 실제 IPD(Reference IPD)와 투사된 IPD(Projective IPD)의 비율을 고려하여 스케일 팩터(scale factor = Reference IPD / Projective IPD)를 산출할 수 있다. 상기 실제 IPD는 인체공학을 고려한 평균값(예: 60mm)으로 미리 설정될 수 있다. 상기 투사된 IPD는 사용자 머리의 회전 정도에 따라 함께 변화할 수 있다. 따라서, 상기 제어부(130)는 사용자의 머리 회전 정도를 산출하고, 산출된 회전 정도를 이용하여 상기 투사된 IPD를 산출할 수 있다.
그리고 상기 제어부(130)는 사용자에게 제공되는 3D 오브젝트의 영상 시점을 상기 스케일 팩터를 고려하여 제공할 수 있다. 보다 자세하게, 상기 제어부(130)는 기준 VPI(Reference View Point Interval(VPI))에 상기 스케일 팩터를 적용한 동적 VPI(Dynamic VPI = Reference VPI * Scale Factor)를 사용자에게 제공하도록 상기 무안경 3D 디스플레이 장치를 제어할 수 있다.
상기 설명에 대한 일 예를 도 10을 참조하여 설명하도록 하겠다. 사용자가 정명을 바라고 있는 도 10의 (a) 상태에서 기준 VPI는 20mm인 것으로 가정하겠다. 따라서 시점과 시점 사이의 간격 즉, 카메라 간격(camera interval) 역시 20mm이다. 그리고 이 때 실제 IPD는 60mm인 것으로 함께 가정하겠다. 이후, 사용자가 비스듬히 바라보고 있는 도 10의 (b) 상태에서 투사된 IPD는 30mm인 것으로 가정하겠다. 따라서, 스케일 팩터는 2(= 60 / 30)이다. 그 결과, 동적 VPI는 40(=20 * 2)이 된다. 시점과 시점 사이의 간격 즉, 카메라 간격(camera interval) 역시 40mm이다.
한편, 상기 제어부는 상술한 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 제어부는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다.
상기 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 3D 오브젝트 제어 장치
110 : 화면 마커
111 : 참조 마커
120 : 카메라
130 : 제어부
200 : 무안경 3D 디스플레이 장치

Claims (11)

  1. 무안경 3D 디스플레이 장치의 화면 모서리 중 적어도 3곳에 위치하는 복수의 화면 마커;
    사용자의 시선 방향과 같은 촬영 방향을 가지도록 사용자의 머리에 장착된 카메라; 및
    상기 복수의 화면 마커들이 상기 카메라를 통해 촬영된 영상 내에 모두 포함될 때, 상기 카메라를 통해 촬영된 영상 내 화면 마커들의 위치 변화를 통해 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트를 제어하는 제어부;를 포함하는 3D 오브젝트 제어 장치.
  2. 청구항 1에 있어서,
    상기 제어부는, 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.
  3. 청구항 2에 있어서,
    상기 제어부는, 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전에 대응하여 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 영상 시점을 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.
  4. 청구항 2에 있어서,
    상기 제어부는, 사용자의 머리 회전 정도에 따라 산출된 투사된 IPD와 실제 IPD 사이의 비율인 스케일 팩터를 산출하고, 상기 산출된 스케일 팩터에 따라 동적으로 3D 오브젝트의 영상 시점을 제어하는 3D 오브젝트 제어 장치.
  5. 청구항 1에 있어서,
    상기 제어부는, 사용자와 상기 무안경 3D 디스플레이 장치 사이의 거리에 대응하여 상기 3D 오브젝트의 영상 크기를 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 제어부는, 상기 복수의 화면 마커들 중 일부가 상기 카메라를 통해 촬영된 영상 내에 포함되지 않을 때, 상기 3D 오브젝트에 대한 마지막 제어 상태를 유지하는 것을 특징으로 하는 3D 오브젝트 제어 장치.
  8. 청구항 1에 있어서,
    상기 무안경 3D 디스플레이 장치와 상기 사용자 사이에 공간에 위치하는 복수의 참조 마커;를 더 포함하는 3D 오브젝트 제어 장치.
  9. 청구항 8에 있어서,
    상기 제어부는, 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리 비율에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 크기를 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.
  10. 청구항 8에 있어서,
    상기 제어부는, 상기 카메라를 통해 촬영된 영상 내 참조 마커를 기준으로 상기 화면 마커들의 위치 각도에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 영상 시점을 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.
  11. 청구항 1 내지 5, 청구항 7 내지 10 중 어느 한항에 따른 3D 오브젝트 제어 장치; 및
    상기 3D 오브젝트 제어 장치에서 출력된 제어 신호에 따라 3D 오브젝트를 출력하는 무안경 3D 디스플레이 장치;를 포함하는 3D 오브젝트 제어 시스템.
KR1020190144830A 2019-11-13 2019-11-13 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법 KR102251544B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190144830A KR102251544B1 (ko) 2019-11-13 2019-11-13 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144830A KR102251544B1 (ko) 2019-11-13 2019-11-13 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102251544B1 true KR102251544B1 (ko) 2021-05-13

Family

ID=75913197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144830A KR102251544B1 (ko) 2019-11-13 2019-11-13 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102251544B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044750A (ko) * 2000-12-06 2002-06-19 윤덕용 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
KR20120051877A (ko) * 2010-11-15 2012-05-23 한국과학기술연구원 시점거리 변화에도 시역을 유지하는 무안경식 3차원 영상표시장치 및 그 제어방법
JP5055516B2 (ja) * 2006-05-26 2012-10-24 エクセリス インコーポレイテッド 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法
KR20180076154A (ko) * 2016-12-27 2018-07-05 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20190018900A (ko) 2017-08-16 2019-02-26 한국과학기술연구원 무안경식 3차원 영상표시장치의 동적 최대 시역 형성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044750A (ko) * 2000-12-06 2002-06-19 윤덕용 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
JP5055516B2 (ja) * 2006-05-26 2012-10-24 エクセリス インコーポレイテッド 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法
KR20120051877A (ko) * 2010-11-15 2012-05-23 한국과학기술연구원 시점거리 변화에도 시역을 유지하는 무안경식 3차원 영상표시장치 및 그 제어방법
KR20180076154A (ko) * 2016-12-27 2018-07-05 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20190018900A (ko) 2017-08-16 2019-02-26 한국과학기술연구원 무안경식 3차원 영상표시장치의 동적 최대 시역 형성 방법

Similar Documents

Publication Publication Date Title
JP6751456B2 (ja) ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
US11763531B2 (en) Surgeon head-mounted display apparatuses
US11819273B2 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
US20240080433A1 (en) Systems and methods for mediated-reality surgical visualization
US11989930B2 (en) UI for head mounted display system
EP3443923B1 (en) Surgical navigation system for providing an augmented reality image during operation
EP3445048A1 (en) A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
JP2022513013A (ja) 複合現実のための仮想オブジェクトの体系的配置
US11094283B2 (en) Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system
WO2021062375A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
US20230186574A1 (en) Systems and methods for region-based presentation of augmented content
KR102251544B1 (ko) 사용자의 동작에 따른 3d 오브젝트 제어 장치 및 방법
JP2020202499A (ja) 画像観察システム
US20240176459A1 (en) Wearable terminal device, program, and display method
US20240169659A1 (en) Wearable terminal device, program, and display method
EP4034028A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant