KR102251544B1 - Apparatus for controling 3d object accoding to user's motion and method thereof - Google Patents

Apparatus for controling 3d object accoding to user's motion and method thereof Download PDF

Info

Publication number
KR102251544B1
KR102251544B1 KR1020190144830A KR20190144830A KR102251544B1 KR 102251544 B1 KR102251544 B1 KR 102251544B1 KR 1020190144830 A KR1020190144830 A KR 1020190144830A KR 20190144830 A KR20190144830 A KR 20190144830A KR 102251544 B1 KR102251544 B1 KR 102251544B1
Authority
KR
South Korea
Prior art keywords
user
control
autostereoscopic
camera
display device
Prior art date
Application number
KR1020190144830A
Other languages
Korean (ko)
Inventor
강민구
한형섭
서현선
김유찬
석현광
전호정
옥명렬
김성규
조대용
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190144830A priority Critical patent/KR102251544B1/en
Application granted granted Critical
Publication of KR102251544B1 publication Critical patent/KR102251544B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

The present specification discloses a device and method capable of controlling a 3D object displayed on a 3D display without directly using a control apparatus by a hand. According to the present specification, a 3D object control device includes: a plurality of screen markers positioned at least three of the screen corners of an autostereoscopic 3D display device; a camera mounted on a user's head to have the same capturing direction as a user's gaze direction; and a control unit for controlling a 3D object displayed on the autostereoscopic 3D display device through a change in the position of the screen markers in an image captured by the camera.

Description

사용자의 동작에 따른 3D 오브젝트 제어 장치 및 방법{APPARATUS FOR CONTROLING 3D OBJECT ACCODING TO USER'S MOTION AND METHOD THEREOF}3D object control device and method according to user's motion {APPARATUS FOR CONTROLING 3D OBJECT ACCODING TO USER'S MOTION AND METHOD THEREOF}

본 발명은 3D 오브젝트 제어 장치 및 방법에 관한 것이며, 보다 상세하게는 손으로 제어 장치를 직접 사용하지 않더라도 3D 디스플레이에 표시된 3D 오브젝트를 제어할 수 있는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for controlling a 3D object, and more particularly, to an apparatus and method capable of controlling a 3D object displayed on a 3D display without using the control apparatus by hand.

안경식 3차원 디스플레이의 문제점을 해결하고자 무안경식 3차원 디스플레이(auto-stereoscopic display)에 대한 연구가 활발하게 이루어지고 있다. 이러한 무안경식 3차원 디스플레이는 기존 HMD(Head Mounted Display)와 같이 착용형 디스플레이 디바이스 사용이 제한되는 의사, 특히 수술중인 의사에게 유용하다.In order to solve the problem of the glasses-type three-dimensional display, research on an auto-stereoscopic display has been actively conducted. Such an autostereoscopic three-dimensional display is useful for doctors who are limited in use of wearable display devices, especially those undergoing surgery, such as a conventional head mounted display (HMD).

수술중인 의사의 경우, 3차원 디스플레이에 표시되는 3D 오브젝트는 미리 저장된 데이터가 단순 재생된 컨텐츠일 가능성보다 수술 대상 환자에 관련된 실시간 3D 오브젝트(예: 수술 대상 장기의 현재 상태)일 가능성이 더 높다. 따라서, 수술중인 의사는 실시간으로 3D 오브젝트 원하는 각도로 회전시키거나, 원하는 크기로 확대 또는 축소시키는 화면 제어가 필요할 수 있다.In the case of a surgeon in operation, the 3D object displayed on the 3D display is more likely to be a real-time 3D object related to the patient to be operated (for example, the current state of the organ to be operated) than the possibility that the previously stored data is simply reproduced content. Accordingly, the surgeon in operation may need a screen control to rotate the 3D object at a desired angle in real time, or to enlarge or reduce it to a desired size.

그러나 수술중인 의사가 손으로 직접 제어기기를 조작하는 것은 수술실의 환경을 고려할 때 매우 제한된다. 따라서 사용자가 손으로 제어 장치를 직접 사용하지 않더라도 3D 디스플레이에 표시된 3D 오브젝트를 제어할 수 있는 장치 및 방법이 필요하다. However, it is very limited when the operating room environment is considered for the operating doctor to directly manipulate the control device by hand. Accordingly, there is a need for an apparatus and method capable of controlling a 3D object displayed on a 3D display even if the user does not directly use the control device by hand.

대한민국 공개특허공보 제10-2019-0018900호, 2019.02.26Korean Patent Application Publication No. 10-2019-0018900, 2019.02.26

본 명세서는 손으로 제어 장치를 직접 사용하지 않더라도 3D 디스플레이에 표시된 3D 오브젝트를 제어할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present specification is to provide an apparatus and method capable of controlling a 3D object displayed on a 3D display even if the control device is not directly used by hand.

본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The present specification is not limited to the above-mentioned tasks, and other tasks that are not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 명세서에 따른 3D 오브젝트 제어 장치는, 무안경 3D 디스플레이 장치의 화면 모서리 중 적어도 3곳에 위치하는 복수의 화면 마커; 사용자의 시선 방향과 같은 촬영 방향을 가지도록 사용자의 머리에 장착된 카메라; 및 상기 카메라를 통해 촬영된 영상 내 화면 마커들의 위치 변화를 통해 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트를 제어하는 제어부;를 포함할 수 있다.The apparatus for controlling a 3D object according to the present specification for solving the above-described problem includes: a plurality of screen markers positioned at at least three of the screen edges of the autostereoscopic 3D display apparatus; A camera mounted on the user's head so as to have the same photographing direction as the user's gaze direction; And a controller configured to control a 3D object displayed on the autostereoscopic 3D display device through position change of screen markers in the image captured by the camera.

본 명세서의 일 실시예에 따르면, 상기 제어부는 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 수 있다.According to an exemplary embodiment of the present specification, the controller may control to rotate the 3D object in response to the user's head rotation direction.

이 경우, 상기 제어부는 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전에 대응하여 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 영상 시점을 제어할 수 있다.In this case, the controller may control an image viewpoint of a 3D object displayed on the autostereoscopic 3D display device in response to a yaw rotation or a roll rotation of the user's head.

본 명세서의 일 실시예에 따르면, 상기 제어부는, 사용자와 상기 무안경 3D 디스플레이 장치 사이의 거리에 대응하여 상기 3D 오브젝트의 영상 크기를 제어할 수 있다.According to the exemplary embodiment of the present specification, the controller may control the image size of the 3D object in response to a distance between the user and the autostereoscopic 3D display device.

본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 복수의 화면 마커들이 상기 카메라를 통해 촬영된 영상 내에 모두 포함될 때, 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트를 제어할 수 있다.According to an exemplary embodiment of the present specification, when the plurality of screen markers are all included in an image captured by the camera, the controller may control a 3D object displayed on the autostereoscopic 3D display device.

이 경우, 상기 제어부는 상기 복수의 화면 마커들 중 일부가 상기 카메라를 통해 촬영된 영상 내에 포함되지 않을 때, 상기 3D 오브젝트에 대한 마지막 제어 상태를 유지할 수 있다.In this case, when some of the plurality of screen markers are not included in the image captured by the camera, the controller may maintain the last control state for the 3D object.

본 명세서에 따른 3D 오브젝트 제어 장치는, 상기 무안경 3D 디스플레이 장치와 상기 사용자 사이에 공간에 위치하는 복수의 참조 마커;를 더 포함할 수 있다.The apparatus for controlling a 3D object according to the present specification may further include a plurality of reference markers positioned in a space between the autostereoscopic 3D display apparatus and the user.

본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리 비율에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 크기를 제어할 수 있다.According to an embodiment of the present specification, the controller may control an initial size of a 3D object displayed on the autostereoscopic 3D display device according to a distance ratio between a reference marker and a screen marker in an image captured by the camera.

본 명세서의 일 실시예에 따르면, 상기 제어부는 상기 카메라를 통해 촬영된 영상 내 참조 마커를 기준으로 상기 화면 마커들의 위치 각도에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 영상 시점을 제어할 수 있다.According to an embodiment of the present specification, the controller controls an initial image point of a 3D object displayed on the autostereoscopic 3D display device based on a position angle of the screen markers based on a reference marker in an image captured by the camera. can do.

본 명세서에 따른 3D 오브젝트 제어 장치는, 3D 오브젝트 제어 장치; 및A 3D object control apparatus according to the present specification includes: a 3D object control apparatus; And

상기 3D 오브젝트 제어 장치에서 출력된 제어 신호에 따라 3D 오브젝트를 출력하는 무안경 3D 디스플레이 장치;를 포함하는 3D 오브젝트 제어 시스템의 일 구성 요소가 될 수 있다.It may be a component of a 3D object control system including; an autostereoscopic 3D display device that outputs a 3D object according to a control signal output from the 3D object control device.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present invention are included in the detailed description and drawings.

본 명세서의 일 측면에 따르면, 사용자는 손으로 제어 장치를 직접 사용하지 않더라도 사용자(의사) 머리 자세에 따라 3D 디스플레이에 표시된 3D 오브젝트를 효율적으로 제어할 수 있다. 또한, 디스플레이에 부착된 카메라로부터 사용자 위치를 추정하는 대신 사용자에 부착된 카메라로부터 수술실 공간 및 초다시점 디스플레이, 사용자 자세를 추정할 수 있으므로, 사용자가 항상 디스플레이 앞에 있을 필요가 없고, 기존 동적 초대 시역 형성 기술에서처럼 카메라 화각에 의한 시역 확장 범위의 제약이 없다. 특히, 사용자가 수술 의사인 경우, 수술 상황에 따라 수술대, 디스플레이의 배치가 자유롭고, 사용자 자세 추정 정확도 또한 향상될 수 있다. 이를 통해 사용자 움직임을 수술 혹은 단순 이동을 위한 동작과 3D 객체 시청을 위한 동작, 그리고 3D 오브젝트 탐색을 위한 제어 동작으로 구분하여 인식할 수 있으며, 수술 및 단순 이동 동작시 유효한 3D 화면 제공을 위한 불필요한 구동 PC의 연산 및 디스플레이 자원의 소비를 막을 수 있다.According to an aspect of the present specification, a user may efficiently control a 3D object displayed on a 3D display according to a user's (doctor's) head posture even if the user does not directly use the control device by hand. In addition, instead of estimating the user's position from the camera attached to the display, the operating room space, the super multi-view display, and the user's posture can be estimated from the camera attached to the user, so the user does not need to be always in front of the display, As in the formation technology, there is no restriction on the range of viewing area expansion by the camera angle of view. In particular, when the user is a surgeon, the operating table and display may be freely arranged according to the operation situation, and the accuracy of user posture estimation may also be improved. Through this, the user's movement can be recognized by dividing it into an operation for surgery or simple movement, an operation for viewing 3D objects, and a control operation for searching 3D objects, and unnecessary driving for providing effective 3D screens during surgery and simple movement operations. It can prevent the consumption of computing and display resources of the PC.

본 명세서의 다른 측면에 따르면, 초다시점 디스플레이 설계를 따르되 유효 시역(시청범위)를 사용자 어깨 너비로 제한할 경우, 사용되는 디스플레이 패널의 제한적 화소를 최소한의 유효시역을 형성하는데 사용하므로 초다시점 3D 디스플레이의 편안하고 우수한 광특성 유지한 채 고화질 3D 객체 재현 가능하다. 따라서 사용자 IPD 차이에 따라 재현되는 3D 객체의 입체감 왜곡이 적고, 높은 3D 해상도를 이용하여 혈관과 같은 세밀한 3D 객체 표현이 가능하다.According to another aspect of the present specification, when following the super multi-view display design but limiting the effective viewing area (viewing range) to the width of the user's shoulders, the limited pixels of the display panel used are used to form the minimum effective viewing area. High-definition 3D objects can be reproduced while maintaining the comfortable and excellent optical characteristics of the 3D display. Therefore, the 3D distortion of the 3D object reproduced according to the user's IPD difference is small, and detailed 3D objects such as blood vessels can be expressed using a high 3D resolution.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 명세서에 따른 3D 오브젝트 제어 시스템의 구성을 개략적으로 도시한 구성도이다.
도 2는 사용자의 머리 자세에 따른 3D 오브젝트 제어의 개념도이다.
도 3은 머리의 피치 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 4는 머리의 롤 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 5는 머리의 요우 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.
도 6은 사용자의 접근에 따른 3D 오브젝트 제어의 예시도이다.
도 7은 3D 오브젝트 제어 모드 활성화/비활성화의 예시도이다.
도 8은 화면 마커와 참조 마커의 예시도이다.
도 9는 사용자가 무안경 3D 디스플레이 장치를 비스듬히 응시하는 예시도이다.
도 10은 사용자 응시 방향에 따른 영상 시점 제어에 대한 참고도이다.
도 11은 머리 회전에 따른 IPD 제어의 참조도이다.1 is a block diagram schematically showing the configuration of a 3D object control system according to the present specification.
2 is a conceptual diagram of 3D object control according to a user's head posture.
3 is an exemplary diagram of 3D object control according to the rotation of the head in the pitch direction.
4 is an exemplary diagram of 3D object control according to rotation of a head in a roll direction.
5 is an exemplary diagram of 3D object control according to the yaw direction rotation of the head.
6 is an exemplary diagram of 3D object control according to a user's approach.
7 is an exemplary diagram of activation/deactivation of a 3D object control mode.
8 is an exemplary diagram of a screen marker and a reference marker.
9 is an exemplary view in which a user gazes at an angleless 3D display device.
10 is a reference diagram for controlling an image viewpoint according to a user's gaze direction.
11 is a reference diagram of IPD control according to head rotation.

본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Advantages and features of the invention disclosed in the present specification, and a method of achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present specification is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms. It is provided to completely inform the scope of the present specification to a technician (hereinafter referred to as'the person in charge'), and the scope of the rights of the present specification is only defined by the scope of the claims. Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used with meanings that can be commonly understood by those of ordinary skill in the art to which this specification belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 명세서에 따른 3D 오브젝트 제어 시스템의 구성을 개략적으로 도시한 구성도이다.1 is a block diagram schematically showing the configuration of a 3D object control system according to the present specification.

도 1을 참조하면, 본 명세서에 따른 3D 오브젝트 제어 시스템은 이하에서 자세히 설명될 3D 오브젝트 제어 장치(100, 이하 '제어 장치') 및 무안경 3D 디스플레이 장치(200)를 포함할 수 있다. 상기 무안경 3D 디스플레이 장치(200)는 다시점을 통해 사용자에게 입체감을 부여하는 디스플레이로서, 이에 대한 기술적 설명은 대한민국 공개특허공보 제10-2019-0018900호에 기재된 모든 사항을 원용한다. 따라서, 본 명세서에서는 상기 무안경 3D 디스플레이 장치(200)에 대해서 상세한 설명을 생략한다.Referring to FIG. 1, a 3D object control system according to the present specification may include a 3D object control device 100 (hereinafter referred to as “control device”) and an autostereoscopic 3D display device 200 to be described in detail below. The glasses-free 3D display apparatus 200 is a display that gives a three-dimensional effect to a user through a multi-view, and technical description thereof uses all the matters described in Korean Laid-Open Patent Publication No. 10-2019-0018900. Accordingly, detailed description of the autostereoscopic 3D display apparatus 200 is omitted in this specification.

본 명세서에 따른 제어 장치(100)는 복수의 화면 마커(110), 카메라(120) 및 제어부(130)를 포함할 수 있다.The control device 100 according to the present specification may include a plurality of screen markers 110, a camera 120, and a controller 130.

상기 복수의 화면 마커(110)는 무안경 3D 디스플레이 장치의 화면 모서리 중 적어도 3곳에 위치할 수 있다. 상기 복수의 화면 마커(110)는 사용자가 바라보는 시선을 기준으로 상하좌우를 구별하기 위한 것으로 최소 3개 이상이 필요하다. 도 1에 도시된 예시에는 4개의 마커가 화면 각 꼭지점에 위치하는 것으로 도시되었으나, 본 명세서에 따른 제어 장치(100)가 상기 예시에 제한되는 것은 아니다.The plurality of screen markers 110 may be located at at least three of the corners of the screen of the autostereoscopic 3D display device. The plurality of screen markers 110 are used to distinguish vertically, horizontally, and horizontally based on the line of sight viewed by the user, and at least three or more are required. In the example illustrated in FIG. 1, four markers are shown to be positioned at each vertex of the screen, but the control device 100 according to the present specification is not limited to the example.

상기 카메라(120)는 사용자의 시선 방향과 같은 촬영 방향을 가지도록 사용자의 머리에 장착될 수 있다. 따라서, 사용자가 목을 돌려서 시선 방향을 바꿀 때, 상기 카메라(120)의 촬영 방향도 함께 바뀐다.The camera 120 may be mounted on the user's head so as to have the same photographing direction as the user's gaze direction. Therefore, when the user changes the gaze direction by turning his neck, the photographing direction of the camera 120 also changes.

일 실시예에 따르면, 상기 복수의 화면 마커(110)는 적외선 발광 다이오드(LED)이고, 상기 카메라(120)는 적외선 카메라일 수 있다. 이 경우, 사용자는 적외선 발광 다이오드에서 나오는 적외선을 인식할 수 없기 때문에, 3D 오브젝트를 인식하는데 방해를 받지 않을 수 있다.According to an embodiment, the plurality of screen markers 110 may be infrared light emitting diodes (LEDs), and the camera 120 may be an infrared camera. In this case, since the user cannot recognize the infrared rays emitted from the infrared light emitting diode, the user may not be disturbed in recognizing the 3D object.

다른 실시예에 따르면, 상기 복수의 화면 마커(110)는 특정 패턴이 인쇄된 부착물일 수 있다. According to another embodiment, the plurality of screen markers 110 may be attachments on which a specific pattern is printed.

상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 촬영된 픽셀을 통해서 사용자가 상기 무안경 3D 디스플레이 장치를 바라보는 머리 자세를 추정할 수 있다. 이때, 상기 제어부(130)는 추정된 사용자의 머리 자세에 대응하여 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어할 수 있다.The controller 130 may estimate a head posture at which the user looks at the autostereoscopic 3D display device through pixels in which screen markers in the image captured by the camera 120 are captured. In this case, the controller 130 may control a 3D object displayed on the autostereoscopic 3D display apparatus 200 in response to the estimated user's head posture.

보다 구체적으로, 상기 제어부(130)는 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 수 있다. 또한, 상기 제어부(130)는 사용자와 상기 무안경 3D 디스플레이 장치 사이의 거리에 대응하여 상기 3D 오브젝트의 영상 크기를 제어할 수 있다.More specifically, the controller 130 may control to rotate the 3D object in response to the user's head rotation direction. In addition, the controller 130 may control the image size of the 3D object according to the distance between the user and the autostereoscopic 3D display device.

도 2는 사용자의 머리 자세에 따른 3D 오브젝트 제어의 개념도이다.2 is a conceptual diagram of 3D object control according to a user's head posture.

도 2를 참조하면, 머리가 피치(Pitch), 롤(Roll), 요우(Yaw) 방향으로 회전하는 것에 대응하여 3D 오브젝트 역시 피치(Pitch), 롤(Roll), 요우(Yaw) 방향으로 회전하는 것을 확인할 수 있다. 또한, 사용자가 앞으로 전진하거나 뒤로 물러남에 따라 3D 오브젝트의 크기를 줌 인/아웃(Zoom In/Out)되는 것을 확인활 수 있다. 즉, 상기 제어부(130)는 사용자가 손을 사용하지 않고 머리를 움직이거나 또는 거리를 조절하는 동작을 감지하여 이에 대응하도록 3D 오브젝트를 제어하는 것이다. 아래 도 3 내지 도 6을 참조하여 상기 제어부(130)의 3D 오브젝트 제어에 대해서 보다 자세히 설명하도록 하겠다.Referring to Figure 2, in response to the head rotating in the pitch, roll, and yaw directions, the 3D object is also rotated in the pitch, roll, and yaw directions. Can be confirmed. In addition, it can be confirmed that the size of the 3D object is zoomed in/out as the user moves forward or retreats. That is, the controller 130 senses a motion of a user moving a head or adjusting a distance without using a hand, and controls a 3D object to respond thereto. The 3D object control of the controller 130 will be described in more detail with reference to FIGS. 3 to 6 below.

도 3은 머리의 피치 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.3 is an exemplary diagram of 3D object control according to the rotation of the head in the pitch direction.

도 3을 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 피치(Pitch) 방향으로 머리를 회전시키는 상황이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)를 정면으로 바라볼 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치를 기준 위치로 설정할 수 있다(도 3의 (b)). 상기 사용자가 3D 오브젝트의 상단을 탐색하기 위해 머리를 아래로 내릴 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 영상 상단 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 아래 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 아래 방향으로 회전되도록 제어할 수 있다(도 3의 (a)). 마찬가지로, 상기 사용자가 3D 오브젝트의 하단을 탐색하기 위해 머리를 위로 올릴 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 영상 하단 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 윗 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 윗 방향으로 회전되도록 제어할 수 있다(도 3의 (c)).Referring to FIG. 3, it can be seen that a situation in which a user rotates his head in a pitch direction while looking at the glasses-free 3D display apparatus 200 is shown. When the user views the autostereoscopic 3D display device 200 in front, the controller 130 may set the positions of screen markers in the image captured by the camera 120 as a reference position (Fig. 3). (b)). The user can lower his head to navigate the top of the 3D object. In this case, the controller 130 may confirm that the screen markers in the image captured by the camera 120 have been moved to the upper region of the image. Accordingly, the controller 130 determines that the user's head is rotated downward, and may control the 3D object to rotate downward (FIG. 3(a)). Likewise, the user can raise his head to navigate the bottom of the 3D object. In this case, the controller 130 may confirm that the screen markers in the image captured by the camera 120 have been moved to the lower area of the image. Accordingly, the controller 130 determines that the user's head is rotated upward, and may control the 3D object to be rotated upward (FIG. 3(c)).

도 4는 머리의 롤 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.4 is an exemplary diagram of 3D object control according to rotation of a head in a roll direction.

도 4를 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 롤(Roll) 방향으로 머리를 회전시키는 상황이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)를 정면으로 바라볼 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치를 기준 위치로 설정할 수 있다(도 4의 (b)). 상기 사용자가 3D 오브젝트의 오른쪽 대각을 탐색하기 위해 머리를 시계 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 반시계 방향으로 회전된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 시계 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 시계 방향으로 회전되도록 제어할 수 있다(도 4의 (a)). 마찬가지로, 상기 사용자가 3D 오브젝트의 왼쪽 대각을 탐색하기 위해 머리를 반시계 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 시계 방향으로 회전된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 반시계 방향으로 회전한 것으로 판단하여, 3D 오브젝트 역시 반시계 방향으로 회전되도록 제어할 수 있다(도 4의 (c)).Referring to FIG. 4, it can be seen that a situation in which a user rotates his head in a roll direction while looking at the glasses-free 3D display apparatus 200 is shown. When the user looks at the autostereoscopic 3D display device 200 in front, the controller 130 may set the positions of screen markers in the image captured by the camera 120 as a reference position (Fig. 4). (b)). The user may rotate the head clockwise to navigate the diagonal right angle of the 3D object. In this case, the control unit 130 may check that the screen markers in the image captured by the camera 120 are rotated counterclockwise. Accordingly, the controller 130 may determine that the user's head is rotated in a clockwise direction, and control the 3D object to rotate in a clockwise direction (FIG. 4A). Likewise, the user can rotate the head counterclockwise to search for the left diagonal of the 3D object. In this case, the control unit 130 may check that the screen markers in the image captured by the camera 120 are rotated in a clockwise direction. Accordingly, the controller 130 may determine that the user's head is rotated counterclockwise, and control the 3D object to rotate counterclockwise (FIG. 4(c)).

도 5는 머리의 요우 방향 회전에 따른 3D 오브젝트 제어의 예시도이다.5 is an exemplary diagram of 3D object control according to the yaw direction rotation of the head.

도 5를 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 요우(Yaw) 방향으로 머리를 회전시키는 상황이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)를 정면으로 바라볼 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치를 기준 위치로 설정할 수 있다(도 5의 (b)). 상기 사용자가 3D 오브젝트의 좌측 탐색하기 위해 머리를 왼쪽에서 오른쪽 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 왼쪽 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 왼쪽에서 오른쪽으로 회전한 것으로 판단하여, 3D 오브젝트 역시 왼쪽에서 오른쪽으로 회전되도록 제어할 수 있다(도 5의 (a)). 마찬가지로, 상기 사용자가 3D 오브젝트의 우측 탐색하기 위해 머리를 오른쪽에서 왼쪽 방향으로 회전시킬 수 있다. 이때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들이 오른쪽 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자의 머리가 오른쪽에서 왼쪽으로 회전한 것으로 판단하여, 3D 오브젝트 역시 오른쪽에서 왼쪽으로 회전되도록 제어할 수 있다(도 5의 (c)).Referring to FIG. 5, it can be seen that a situation in which the user rotates his head in the yaw direction while looking at the glasses-free 3D display apparatus 200 is shown. When the user views the autostereoscopic 3D display device 200 in front, the controller 130 may set the positions of screen markers in the image captured by the camera 120 as a reference position (Fig. 5). (b)). The user may rotate the head from left to right to navigate the left side of the 3D object. In this case, the controller 130 may confirm that the screen markers in the image captured by the camera 120 have been moved to the left area. Accordingly, the controller 130 may determine that the user's head is rotated from left to right, and control the 3D object to be rotated from left to right as well (FIG. 5(a)). Likewise, the user can rotate the head from right to left in order to navigate to the right of the 3D object. In this case, the controller 130 may confirm that the screen markers in the image captured by the camera 120 have been moved to the right area. Accordingly, the controller 130 may determine that the user's head is rotated from right to left, and control the 3D object to rotate from right to left as well (Fig. 5(c)).

도 6은 사용자의 접근에 따른 3D 오브젝트 제어의 예시도이다.6 is an exemplary diagram of 3D object control according to a user's approach.

도 6을 참조하면, 사용자가 무안경 3D 디스플레이 장치(200)를 바라본 상태에서 앞으로 접근하는 동작(도 6의 (a)), 뒤로 물러나는 동작(도 6의 (b))이 도시된 것을 확인할 수 있다. 상기 사용자가 무안경 3D 디스플레이 장치(200)에 접근할 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치가 영상의 바깥 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자가 무안경 3D 디스플레이 장치(200)에 접근한 것으로 판단하여, 3D 오브젝트의 크기를 확대하도록 제어할 수 있다(도 6의 (a)). 마찬가지로, 상기 사용자가 무안경 3D 디스플레이 장치(200)에서 멀어질 때, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 화면 마커들의 위치가 영상의 중심 영역으로 이동된 것을 확인할 수 있다. 따라서 상기 제어부(130)는 사용자가 무안경 3D 디스플레이 장치(200)에서 멀어진 것으로 판단하여, 3D 오브젝트의 크기를 축소하도록 제어할 수 있다(도 6의 (b)).Referring to FIG. 6, it is confirmed that an operation of approaching forward (FIG. 6(a)) and a retreating operation (FIG. 6(b)) while the user is looking at the glasses-free 3D display device 200 are shown. I can. When the user approaches the autostereoscopic 3D display apparatus 200, the controller 130 may confirm that the positions of screen markers in the image captured by the camera 120 are moved to an area outside the image. Accordingly, the controller 130 may determine that the user has approached the glasses-free 3D display apparatus 200 and control the size of the 3D object to be enlarged (FIG. 6(a)). Similarly, when the user moves away from the autostereoscopic 3D display device 200, the controller 130 can confirm that the positions of the screen markers in the image captured by the camera 120 have moved to the center area of the image. have. Accordingly, the control unit 130 may control the size of the 3D object to be reduced by determining that the user has moved away from the autostereoscopic 3D display apparatus 200 (FIG. 6(b)).

한편, 상기 제어부(130)는 상기 복수의 화면 마커들이 상기 카메라(120)를 통해 촬영된 영상 내에 모두 포함될 때, 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어할 수 있다.Meanwhile, when the plurality of screen markers are all included in the image captured by the camera 120, the controller 130 may control a 3D object displayed on the autostereoscopic 3D display apparatus 200.

도 7은 3D 오브젝트 제어 모드 활성화/비활성화의 예시도이다.7 is an exemplary diagram of activation/deactivation of a 3D object control mode.

도 7의 (a)를 참조하면, 사용자의 시선이 3D 오브젝트가 아닌 다른 곳을 향하고 있는 것을 확인할 수 있다. 이때, 상기 카메라(120)를 통해 촬영된 영상 내에 상기 복수의 화면 마커들(110)이 전부 포함되지 않을 수 있다. 이 경우, 상기 제어부(130)는 사용자가 3D 오브젝트를 제어할 의사가 없는 것으로 판단하여, 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어하지 않을 수 있다(3D 오브젝트 제어 모드 비활성화).Referring to (a) of FIG. 7, it can be seen that the user's gaze is pointing at a place other than the 3D object. In this case, all of the plurality of screen markers 110 may not be included in the image captured by the camera 120. In this case, the controller 130 may not control the 3D object displayed on the autostereoscopic 3D display apparatus 200 because it is determined that the user has no intention to control the 3D object (3D object control mode deactivated). .

도 7의 (b)를 참조하면, 사용자의 시선이 3D 오브젝트를 향하고 있는 것을 확인할 수 있다. 이때, 상기 카메라(120)를 통해 촬영된 영상 내에 상기 복수의 화면 마커들(110)이 전부 포함될 수 있다. 이 경우, 상기 제어부(130)는 사용자가 3D 오브젝트를 제어할 의사가 있는 것으로 판단하여, 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트를 제어할 수 있다(3D 오브젝트 제어 모드 활성화).Referring to FIG. 7B, it can be seen that the user's gaze is pointing toward the 3D object. In this case, all of the plurality of screen markers 110 may be included in the image captured by the camera 120. In this case, the controller 130 may control the 3D object displayed on the autostereoscopic 3D display apparatus 200 by determining that the user is willing to control the 3D object (activating the 3D object control mode).

한편, 사용자는 '3D 오브젝트 제어 모드 활성화'된 상태에서 마지막 제어 상태를 유지하고 싶어할 수도 있다. 이 경우, 사용자는 시선을 3D 오브젝트가 아닌 다른 곳을 향하여 '3D 오브젝트 제어 모드 비활성화' 상태로 전화시킬 수 있다. 이 때, 상기 제어부(130)는 상기 복수의 화면 마커들 중 일부가 상기 카메라를 통해 촬영된 영상 내에 포함되지 않을 때, 상기 3D 오브젝트에 대한 마지막 제어 상태를 유지시킬 수 있다.Meanwhile, the user may want to maintain the last control state while the '3D object control mode is activated'. In this case, the user may turn his gaze toward a place other than the 3D object to a state of'deactivating the 3D object control mode'. In this case, when some of the plurality of screen markers are not included in the image captured by the camera, the control unit 130 may maintain the last control state for the 3D object.

지금까지 설명은 3D 오브젝트가 상기 무안경 3D 디스플레이 장치에 표시된 상태에서 사용자의 머리 자세에 따라 제어되는 방법에 대해서 설명하였다. 그러나 이 것은 최초로 표시된 3D 오브젝트가 사용자에게 적절한 초기 크기와 적절한 초기 영상 시점을 가진 것을 전제로 설명된 것이다. 상기 카메라(120)와 상기 복수의 화면 마커(110)만 존재할 경우, 사용자와 무안경 3D 디스플레이 장치 사이의 거리를 판단하기 어렵다. 따라서, 본 명세서에 따른 3D 오브젝트 제어 장치(100)는 사용자와 무안경 3D 디스플레이 장치 사이의 상대적 거리를 판단하기 위해 상기 무안경 3D 디스플레이 장치와 상기 사용자 사이에 공간에 위치하는 복수의 참조 마커를 더 포함할 수 있다.So far, the description has been made on a method of controlling a 3D object according to a user's head posture while being displayed on the autostereoscopic 3D display device. However, this is explained on the premise that the 3D object initially displayed has an appropriate initial size and an appropriate initial image viewpoint for the user. When only the camera 120 and the plurality of screen markers 110 exist, it is difficult to determine the distance between the user and the autostereoscopic 3D display device. Accordingly, the 3D object control apparatus 100 according to the present specification further includes a plurality of reference markers positioned in a space between the autostereoscopic 3D display device and the user in order to determine the relative distance between the user and the autostereoscopic 3D display device. Can include.

도 8은 화면 마커와 참조 마커의 예시도이다.8 is an exemplary diagram of a screen marker and a reference marker.

도 8을 참조하면, 사용자, 수술용 침대 및 무안경 3D 디스플레이 장치를 확인할 수 있다. 상기 사용자의 머리에는 카메라가 부착되어 있고, 상기 무안경 3D 디스플레이 장치에는 복수의 화면 마커(110)가 부착되어 있고, 상기 수술용 침대에 복수의 참조 마커(111)가 부착되어 있다. 상기 화면 마커(110) 및 참조 마커(111)가 적외선 발광 다이오드(LED)인 경우, 상기 화면 마커(110) 및 참조 마커(111)는 서로 다른 파장의 적외선을 방출하거나, 서로 다른 빛의 세기로 발광하거나, 어느 한 마커가 깜박이거나 하는 방식을 통해서 구별될 수 있다. 상기 화면 마커(110) 및 참조 마커(111)가 특정 패턴이 인쇄된 부착물인 경우, 서로 다른 패턴을 통해서 구별될 수 있다. 이를 통해서 상기 제어부(130)는 상기 카메라를 통해 촬영된 영상 내 화면 마커와 참조 마커를 구별할 수 있다.Referring to FIG. 8, a user, a surgical bed, and an autostereoscopic 3D display device can be identified. A camera is attached to the user's head, a plurality of screen markers 110 are attached to the autostereoscopic 3D display device, and a plurality of reference markers 111 are attached to the surgical bed. When the screen marker 110 and the reference marker 111 are infrared light-emitting diodes (LEDs), the screen marker 110 and the reference marker 111 emit infrared rays having different wavelengths or use different light intensities. It can be distinguished by emitting light or by blinking any one of the markers. When the screen marker 110 and the reference marker 111 are attachments on which a specific pattern is printed, they may be distinguished through different patterns. Through this, the controller 130 may distinguish between a screen marker and a reference marker in an image captured by the camera.

그리고 상기 제어부(130)는 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리 비율에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 크기를 제어할 수 있다. 예를 들어, 사용자는 수술용 침대와 가깝게 위치할 것이 예상되는 상황이다. 만약 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리가 미리 설정된 기준보다 가까운 경우, 사용자와 무안경 3D 디스플레이 장치와의 거리 역시 가까울 것으로 예상된다. 이때, 상기 제어부(130)는 미리 설정된 3D 오브젝트의 크기보다 상기 참조 마커와 화면 마커들의 거리 비율에 따라 3D 오브젝트의 초기 크기를 줄일 수 있다. 만약 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리가 미리 설정된 기준보다 먼 경우, 사용자와 무안경 3D 디스플레이 장치와의 거리 역시 멀리 떨어져 있는 것으로 예상된다. 이때, 상기 제어부(130)는 미리 설정된 3D 오브젝트의 크기보다 상기 참조 마커와 화면 마커들의 거리 비율에 따라 3D 오브젝트의 초기 크기를 확대시킬 수 있다.In addition, the controller 130 may control an initial size of a 3D object displayed on the autostereoscopic 3D display device according to a distance ratio between a reference marker and a screen marker in an image captured by the camera. For example, a user is expected to be located close to a surgical bed. If the distance between the reference marker and the screen marker in the image captured by the camera is closer than a preset reference, the distance between the user and the autostereoscopic 3D display device is also expected to be close. In this case, the controller 130 may reduce the initial size of the 3D object according to a distance ratio between the reference marker and the screen markers rather than a preset size of the 3D object. If the distance between the reference marker and the screen marker in the image captured by the camera is farther than a preset reference, it is expected that the distance between the user and the autostereoscopic 3D display device is also far apart. In this case, the controller 130 may enlarge the initial size of the 3D object according to a distance ratio between the reference marker and the screen marker rather than a preset size of the 3D object.

또한, 상기 제어부(130)는 상기 카메라(120)를 통해 촬영된 영상 내 참조 마커(111)를 기준으로 상기 화면 마커(110)들의 위치 각도에 따라 상기 무안경 3D 디스플레이 장치(200)에 표시되는 3D 오브젝트의 초기 영상 시점을 제어할 수도 있다.In addition, the controller 130 is displayed on the autostereoscopic 3D display apparatus 200 according to the positional angle of the screen markers 110 based on the reference marker 111 in the image captured by the camera 120. It is also possible to control the initial image viewpoint of the 3D object.

도 9는 사용자가 무안경 3D 디스플레이 장치를 비스듬히 응시하는 예시도이다.9 is an exemplary view in which a user gazes at an angleless 3D display device.

도 9를 참조하면, 도 8에 도시된 예시 상황과 달리, 사용자, 수술용 침대, 무안경 3D 디스플레이 장치가 일직선상에 놓여있지 않은 것을 확인할 수 있다. 사용 환경에 따라 무안경 3D 디스플레이 장치가 사용자의 주된 주시 방향에 벗어난 경우, 사용자는 무안경 3D 디스플레이 장치를 비스듬히 응시할 수 있다. 이 경우에도 3D 오브젝트의 초기 영상 시점을 제어하여 사용자에게 왜곡되지 않은 영상을 제공해야 한다.Referring to FIG. 9, unlike the exemplary situation illustrated in FIG. 8, it can be seen that a user, a surgical bed, and an autostereoscopic 3D display device are not placed in a straight line. When the autostereoscopic 3D display device deviates from the user's main gaze direction according to the use environment, the user may gaze at the autostereoscopic 3D display device at an angle. Even in this case, it is necessary to provide an undistorted image to the user by controlling the initial image viewpoint of the 3D object.

도 10은 사용자 응시 방향에 따른 영상 시점 제어에 대한 참고도이다.10 is a reference diagram for controlling an image viewpoint according to a user's gaze direction.

도 10의 (a)는 사용자가 정면을 바라본 상황이고, 도 10의 (b)는 사용자가 비스듬히 왼쪽을 바라본 상황이다. 참고로, 도 10에 도시된 예시는 무안경 3D 디스플레이 장치는 5개의 시점에서 촬영된 영상을 사용자의 시청 상태에 따라 제공되는 시점이 변화될 수 있다. 사용자가 정면을 바라본 경우, 사용자의 양안 사이의 거리(Inter Pupillary Distance, IPD)에 대응하여 2번과 4번 시점 영상을 제공하게 된다. 그러나 사용자가 고개를 돌리고 비스듬하게 디스플레이를 응시하게 될 경우에도 2번과 4번 영상을 제공하게 되면 영상이 겹쳐 보이거나 왜곡된 입체감을 줄 수 있다. 따라서, 이 경우 사용자에게 2번과 3번 시점 영상을 제공해야 한다. 상기 제어부(130)는 상기 참조 마커(111)를 기준으로 상기 화면 마커(110)들의 위치 각도를 산출하고, 산출된 각도에 따라 사용자에게 최적의 영상을 제공하도록 3D 오브젝트의 초기 영상 시점을 제어할 수도 있다.FIG. 10(a) shows a situation where the user looks straight ahead, and FIG. 10(b) shows a situation where the user looks at an angle to the left. For reference, in the example illustrated in FIG. 10, in the autostereoscopic 3D display device, the viewpoint at which the image captured at five viewpoints is provided may be changed according to the viewing state of the user. When the user looks straight ahead, images of views 2 and 4 are provided in response to the inter-pupillary distance (IPD) between the user's eyes. However, even if the user turns his or her head and stares at the display from an angle, providing the images 2 and 4 may cause the images to appear overlapping or to give a distorted three-dimensional effect. Therefore, in this case, the 2nd and 3rd view images must be provided to the user. The controller 130 calculates the position angle of the screen markers 110 based on the reference marker 111 and controls the initial image point of the 3D object to provide an optimal image to the user according to the calculated angle. May be.

한편, 영상 시점 제어는 최초 영상 제공시점뿐만 아니라, 영상을 제공하는 도중에도 필요할 수 있다.On the other hand, image viewpoint control may be necessary not only at the time of initial image provision, but also during image provision.

도 11은 머리 회전에 따른 IPD 제어의 참조도이다.11 is a reference diagram of IPD control according to head rotation.

도 11을 참조하면, 눈 높이(Eye Baseline)에서 실제 IPD(Reference IPD)와 머리 회전에 따라 무안경 3D 디스플레이 장치를 기준으로 투사되는 IPD(Projective IPD)를 확인할 수 있다. 앞서 설명하였듯이, 상기 제어부(130)는 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 수 있다. 이 경우, 사용자 머리의 피치(Pitch) 회전은 투사되는 IPD(Projective IPD)에 영향을 미치지 않는다. 하지만, 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전은 투사되는 IPD(Projective IPD)의 길이가 변화되도록 영향을 미친다. 따라서, 상기 제어부(130)는, 3D 오브젝트의 초기 영상 시점을 제어뿐만 아니라 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어할 때, 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전에 대응하여 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 영상 시점을 제어할 수도 있다.Referring to FIG. 11, an actual reference IPD (IPD) at an eye level and a projective IPD (IPD) projected on the basis of an autostereoscopic 3D display device according to a head rotation can be checked. As described above, the controller 130 may control to rotate the 3D object in response to the user's head rotation direction. In this case, the pitch rotation of the user's head does not affect the projected IPD (Projective IPD). However, the yaw rotation or roll rotation of the user's head affects the length of the projective IPD (IPD) to be changed. Therefore, when controlling the initial image point of the 3D object to rotate the 3D object in response to the user's head rotation direction, the controller 130 may rotate or roll a yaw of the user's head. ) In response to rotation, an image viewpoint of a 3D object displayed on the autostereoscopic 3D display device may be controlled.

상기 제어부(130)가 3D 오브젝트의 영상 시점을 제어하는 알고리즘에 대해서 보다 자세히 설명하도록 하겠다.An algorithm for the control unit 130 to control an image viewpoint of a 3D object will be described in more detail.

도 11을 참조하면, 상기 제어부(130)는 실제 IPD(Reference IPD)와 투사된 IPD(Projective IPD)의 비율을 고려하여 스케일 팩터(scale factor = Reference IPD / Projective IPD)를 산출할 수 있다. 상기 실제 IPD는 인체공학을 고려한 평균값(예: 60mm)으로 미리 설정될 수 있다. 상기 투사된 IPD는 사용자 머리의 회전 정도에 따라 함께 변화할 수 있다. 따라서, 상기 제어부(130)는 사용자의 머리 회전 정도를 산출하고, 산출된 회전 정도를 이용하여 상기 투사된 IPD를 산출할 수 있다.Referring to FIG. 11, the controller 130 may calculate a scale factor = Reference IPD / Projective IPD in consideration of a ratio of an actual IPD (Reference IPD) and a projected IPD (Projective IPD). The actual IPD may be preset to an average value (eg, 60 mm) in consideration of ergonomics. The projected IPD may change according to the degree of rotation of the user's head. Accordingly, the controller 130 may calculate the degree of rotation of the user's head, and calculate the projected IPD using the calculated degree of rotation.

그리고 상기 제어부(130)는 사용자에게 제공되는 3D 오브젝트의 영상 시점을 상기 스케일 팩터를 고려하여 제공할 수 있다. 보다 자세하게, 상기 제어부(130)는 기준 VPI(Reference View Point Interval(VPI))에 상기 스케일 팩터를 적용한 동적 VPI(Dynamic VPI = Reference VPI * Scale Factor)를 사용자에게 제공하도록 상기 무안경 3D 디스플레이 장치를 제어할 수 있다.In addition, the controller 130 may provide an image viewpoint of a 3D object provided to a user in consideration of the scale factor. In more detail, the controller 130 provides the autostereoscopic 3D display device to a user to provide a dynamic VPI (Dynamic VPI = Reference VPI * Scale Factor) to which the scale factor is applied to a reference view point interval (VPI) Can be controlled.

상기 설명에 대한 일 예를 도 10을 참조하여 설명하도록 하겠다. 사용자가 정명을 바라고 있는 도 10의 (a) 상태에서 기준 VPI는 20mm인 것으로 가정하겠다. 따라서 시점과 시점 사이의 간격 즉, 카메라 간격(camera interval) 역시 20mm이다. 그리고 이 때 실제 IPD는 60mm인 것으로 함께 가정하겠다. 이후, 사용자가 비스듬히 바라보고 있는 도 10의 (b) 상태에서 투사된 IPD는 30mm인 것으로 가정하겠다. 따라서, 스케일 팩터는 2(= 60 / 30)이다. 그 결과, 동적 VPI는 40(=20 * 2)이 된다. 시점과 시점 사이의 간격 즉, 카메라 간격(camera interval) 역시 40mm이다.An example of the above description will be described with reference to FIG. 10. It is assumed that the reference VPI is 20 mm in the state (a) of FIG. 10 in which the user is hoping for a true name. Therefore, the distance between the viewpoint and the viewpoint, that is, the camera interval, is also 20mm. And at this time, we will assume that the actual IPD is 60mm. Thereafter, it is assumed that the IPD projected in the state (b) of FIG. 10 when the user is looking at an angle is 30 mm. Therefore, the scale factor is 2 (= 60 / 30). As a result, the dynamic VPI becomes 40 (=20 * 2). The distance between the viewpoint and the viewpoint, that is, the camera interval, is also 40mm.

한편, 상기 제어부는 상술한 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 제어부는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다.Meanwhile, the control unit includes a processor known in the art, an application-specific integrated circuit (ASIC), another chipset, a logic circuit, a register, a communication modem, a data processing device, etc., in order to execute the above-described calculation and various control logic. It may include. In addition, when the above-described control logic is implemented in software, the control unit may be implemented as a set of program modules. In this case, the program module may be stored in a memory and executed by a processor.

상기 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The program includes C/C++, C#, JAVA, Python, which can be read by the computer's processor (CPU) through the computer's device interface, so that the computer reads the program and executes the methods implemented as a program. It may include a code (Code) coded in a computer language such as machine language. Such code may include a functional code related to a function defining necessary functions for executing the methods, and a control code related to an execution procedure necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, such code may further include code related to a memory reference to which location (address address) of the internal or external memory of the computer or the media or additional information necessary for the processor of the computer to execute the functions. have. In addition, when the processor of the computer needs to communicate with any other computer or server in the remote in order to execute the functions, the code uses the communication module of the computer to determine how It may further include a communication-related code for whether to communicate or what information or media to transmit and receive during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The stored medium is not a medium that stores data for a short moment, such as a register, cache, memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer. In addition, the medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored in a distributed manner.

이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As described above, embodiments of the present specification have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which this specification pertains can be implemented in other specific forms without changing the technical spirit or essential features. You will be able to understand. Therefore, the embodiments described above are illustrative in all respects, and should be understood as non-limiting.

100 : 3D 오브젝트 제어 장치
110 : 화면 마커
111 : 참조 마커
120 : 카메라
130 : 제어부
200 : 무안경 3D 디스플레이 장치100: 3D object control device
110: screen marker
111: reference marker
120: camera
130: control unit
200: glasses-free 3D display device

Claims (11)

무안경 3D 디스플레이 장치의 화면 모서리 중 적어도 3곳에 위치하는 복수의 화면 마커;
사용자의 시선 방향과 같은 촬영 방향을 가지도록 사용자의 머리에 장착된 카메라; 및
상기 복수의 화면 마커들이 상기 카메라를 통해 촬영된 영상 내에 모두 포함될 때, 상기 카메라를 통해 촬영된 영상 내 화면 마커들의 위치 변화를 통해 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트를 제어하는 제어부;를 포함하는 3D 오브젝트 제어 장치.A plurality of screen markers positioned at at least three of the screen edges of the glasses-free 3D display device;
A camera mounted on the user's head so as to have the same shooting direction as the user's gaze direction; And
When the plurality of screen markers are all included in the image captured by the camera, a control unit for controlling a 3D object displayed on the autostereoscopic 3D display device through a position change of the screen markers in the image captured by the camera; 3D object control device including. 청구항 1에 있어서,
상기 제어부는, 사용자의 머리 회전 방향에 대응하여 상기 3D 오브젝트를 회전시키도록 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.The method according to claim 1,
The control unit is a 3D object control device, characterized in that for controlling to rotate the 3D object in response to the user's head rotation direction. 청구항 2에 있어서,
상기 제어부는, 사용자 머리의 요우(yaw) 회전 또는 롤(roll) 회전에 대응하여 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 영상 시점을 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.The method according to claim 2,
The control unit, in response to a yaw (yaw) rotation or a roll (roll) rotation of the user's head to control the image viewpoint of the 3D object displayed on the glasses-free 3D display device. 청구항 2에 있어서,
상기 제어부는, 사용자의 머리 회전 정도에 따라 산출된 투사된 IPD와 실제 IPD 사이의 비율인 스케일 팩터를 산출하고, 상기 산출된 스케일 팩터에 따라 동적으로 3D 오브젝트의 영상 시점을 제어하는 3D 오브젝트 제어 장치.The method according to claim 2,
The control unit calculates a scale factor that is a ratio between the projected IPD and the actual IPD calculated according to the degree of rotation of the user's head, and dynamically controls the image viewpoint of the 3D object according to the calculated scale factor. . 청구항 1에 있어서,
상기 제어부는, 사용자와 상기 무안경 3D 디스플레이 장치 사이의 거리에 대응하여 상기 3D 오브젝트의 영상 크기를 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.The method according to claim 1,
The control unit controls the image size of the 3D object according to a distance between a user and the autostereoscopic 3D display device. 삭제delete 청구항 1에 있어서,
상기 제어부는, 상기 복수의 화면 마커들 중 일부가 상기 카메라를 통해 촬영된 영상 내에 포함되지 않을 때, 상기 3D 오브젝트에 대한 마지막 제어 상태를 유지하는 것을 특징으로 하는 3D 오브젝트 제어 장치.The method according to claim 1,
The control unit, when some of the plurality of screen markers are not included in the image captured by the camera, the 3D object control device, characterized in that to maintain a last control state for the 3D object. 청구항 1에 있어서,
상기 무안경 3D 디스플레이 장치와 상기 사용자 사이에 공간에 위치하는 복수의 참조 마커;를 더 포함하는 3D 오브젝트 제어 장치.The method according to claim 1,
A 3D object control apparatus further comprising a; a plurality of reference markers positioned in a space between the autostereoscopic 3D display apparatus and the user. 청구항 8에 있어서,
상기 제어부는, 상기 카메라를 통해 촬영된 영상 내 참조 마커와 화면 마커들의 거리 비율에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 크기를 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.The method of claim 8,
Wherein the controller controls an initial size of a 3D object displayed on the autostereoscopic 3D display device according to a distance ratio between a reference marker and a screen marker in an image captured by the camera. 청구항 8에 있어서,
상기 제어부는, 상기 카메라를 통해 촬영된 영상 내 참조 마커를 기준으로 상기 화면 마커들의 위치 각도에 따라 상기 무안경 3D 디스플레이 장치에 표시되는 3D 오브젝트의 초기 영상 시점을 제어하는 것을 특징으로 하는 3D 오브젝트 제어 장치.The method of claim 8,
The control unit controls an initial image point of a 3D object displayed on the autostereoscopic 3D display device based on a position angle of the screen markers based on a reference marker in an image captured by the camera. Device. 청구항 1 내지 5, 청구항 7 내지 10 중 어느 한항에 따른 3D 오브젝트 제어 장치; 및
상기 3D 오브젝트 제어 장치에서 출력된 제어 신호에 따라 3D 오브젝트를 출력하는 무안경 3D 디스플레이 장치;를 포함하는 3D 오브젝트 제어 시스템.A 3D object control device according to any one of claims 1 to 5 and 7 to 10; And
3D object control system comprising a; glasses-free 3D display device for outputting a 3D object according to the control signal output from the 3D object control device.
KR1020190144830A 2019-11-13 2019-11-13 Apparatus for controling 3d object accoding to user's motion and method thereof KR102251544B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190144830A KR102251544B1 (en) 2019-11-13 2019-11-13 Apparatus for controling 3d object accoding to user's motion and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144830A KR102251544B1 (en) 2019-11-13 2019-11-13 Apparatus for controling 3d object accoding to user's motion and method thereof

Publications (1)

Publication Number Publication Date
KR102251544B1 true KR102251544B1 (en) 2021-05-13

Family

ID=75913197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144830A KR102251544B1 (en) 2019-11-13 2019-11-13 Apparatus for controling 3d object accoding to user's motion and method thereof

Country Status (1)

Country Link
KR (1) KR102251544B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044750A (en) * 2000-12-06 2002-06-19 윤덕용 Head pose tracking method using image processing
KR20120051877A (en) * 2010-11-15 2012-05-23 한국과학기술연구원 3-dimension display apparatus providing constant viewing zone under varying distance of view point and control method thereof
JP5055516B2 (en) * 2006-05-26 2012-10-24 エクセリス インコーポレイテッド System and method for displaying device maintenance and operation instructions using augmented reality
KR20180076154A (en) * 2016-12-27 2018-07-05 삼성전자주식회사 Display apparatus and Method for controlling the display apparatus thereof
KR20190018900A (en) 2017-08-16 2019-02-26 한국과학기술연구원 Method for Generating Dynamic Maximal Viewing Zone of 3D Autostereoscopic Display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044750A (en) * 2000-12-06 2002-06-19 윤덕용 Head pose tracking method using image processing
JP5055516B2 (en) * 2006-05-26 2012-10-24 エクセリス インコーポレイテッド System and method for displaying device maintenance and operation instructions using augmented reality
KR20120051877A (en) * 2010-11-15 2012-05-23 한국과학기술연구원 3-dimension display apparatus providing constant viewing zone under varying distance of view point and control method thereof
KR20180076154A (en) * 2016-12-27 2018-07-05 삼성전자주식회사 Display apparatus and Method for controlling the display apparatus thereof
KR20190018900A (en) 2017-08-16 2019-02-26 한국과학기술연구원 Method for Generating Dynamic Maximal Viewing Zone of 3D Autostereoscopic Display

Similar Documents

Publication Publication Date Title
JP6751456B2 (en) Augmented reality navigation system for use in a robotic surgical system and method of use thereof
US11763531B2 (en) Surgeon head-mounted display apparatuses
US11819273B2 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
US20240080433A1 (en) Systems and methods for mediated-reality surgical visualization
US11989930B2 (en) UI for head mounted display system
EP3445048A1 (en) A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
JP2022513013A (en) Systematic placement of virtual objects for mixed reality
US20220202515A1 (en) Operating mode control systems and methods for a computer-assisted surgical system
US11094283B2 (en) Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system
WO2021062375A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
US20230186574A1 (en) Systems and methods for region-based presentation of augmented content
KR102251544B1 (en) Apparatus for controling 3d object accoding to user's motion and method thereof
US20150339029A1 (en) Physical object for intuitive navigation in a three-dimensional space
JP2020202499A (en) Image observation system
US20240176459A1 (en) Wearable terminal device, program, and display method
US20240169659A1 (en) Wearable terminal device, program, and display method
EP4034028A1 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant