KR100884895B1 - Managing system of Mobile Devices equipped with a camera and Head Mounted Device - Google Patents

Managing system of Mobile Devices equipped with a camera and Head Mounted Device Download PDF

Info

Publication number
KR100884895B1
KR100884895B1 KR1020070080746A KR20070080746A KR100884895B1 KR 100884895 B1 KR100884895 B1 KR 100884895B1 KR 1020070080746 A KR1020070080746 A KR 1020070080746A KR 20070080746 A KR20070080746 A KR 20070080746A KR 100884895 B1 KR100884895 B1 KR 100884895B1
Authority
KR
South Korea
Prior art keywords
hmd
mobile device
camera
refraction
user
Prior art date
Application number
KR1020070080746A
Other languages
Korean (ko)
Other versions
KR20090016246A (en
Inventor
이상훈
이형극
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020070080746A priority Critical patent/KR100884895B1/en
Publication of KR20090016246A publication Critical patent/KR20090016246A/en
Application granted granted Critical
Publication of KR100884895B1 publication Critical patent/KR100884895B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 신체 반응을 이용하여 이동장치 및 이에 장착된 카메라를 제어하는 시스템에 관한 것이다. 본 발명에 의하면, 이동장치에 장착된 카메라에 의해 획득한 영상신호를 수신하여 디스플레이하는 헤드 마운트형 장치(Head Mounted Device; HMD)에는, 눈동자의 움직임을 추적하는 아이 트래커(Eye Tracker), 수평면에 대한 HMD의 기울기를 측정하는 중력센서 및 각막의 굴절 정도를 측정하는 자동 굴절 검안기가 장착된다. 상기 HMD는 이를 착용한 사용자의 눈동자 및 머리의 움직임과 각막 굴절률을 측정하여, 상기 측정한 정보를 이동장치로 전송한다. 따라서, HMD를 착용한 사용자의 신체 반응에 따라 이동장치 및 이에 장착된 카메라의 동작을 제어할 수 있다.The present invention relates to a system for controlling a mobile device and a camera mounted thereto using body reactions. According to the present invention, a head mounted device (HMD) for receiving and displaying an image signal acquired by a camera mounted on a mobile device includes an eye tracker for tracking the movement of an eye, on a horizontal plane. It is equipped with a gravity sensor to measure the tilt of the HMD for the automatic refractometer to measure the degree of refraction of the cornea. The HMD measures eye movements and head movements and corneal refractive index of the user wearing the same, and transmits the measured information to the mobile device. Therefore, it is possible to control the operation of the mobile device and the camera mounted thereon according to the body reaction of the user wearing the HMD.

이동장치, 카메라, 제어, 신체반응, HMD, 아이 트래커, 자동 굴절 검안기, 중력 센서 Mobility Device, Camera, Control, Body Response, HMD, Eye Tracker, Auto Refractor, Gravity Sensor

Description

카메라가 장착된 이동장치의 제어 시스템 및 헤드 마운트형 장치{Managing system of Mobile Devices equipped with a camera and Head Mounted Device}Managing system of Mobile Devices equipped with a camera and Head Mounted Device

본 발명은 신체 반응을 이용하여 이동장치 및 이에 장착된 카메라를 제어하는 시스템에 관한 것이다. 본 발명에 의하면, 이동장치에 장착된 카메라에 의해 획득한 영상신호를 수신하여 디스플레이하는 헤드 마운트형 장치(Head Mounted Device; HMD)에는, 눈동자의 움직임을 추적하는 아이 트래커(Eye Tracker), 수평면에 대한 HMD의 기울기를 측정하는 중력센서 및 각막의 굴절 정도를 측정하는 자동 굴절 검안기가 장착된다. 상기 HMD는 이를 착용한 사용자의 눈동자 및 머리의 움직임과 각막 굴절률을 측정하여, 상기 측정한 정보를 이동장치로 전송한다. 따라서, HMD를 착용한 사용자의 신체 반응에 따라 이동장치 및 이에 장착된 카메라의 동작을 제어할 수 있다. The present invention relates to a system for controlling a mobile device and a camera mounted thereto using body reactions. According to the present invention, a head mounted device (HMD) for receiving and displaying an image signal acquired by a camera mounted on a mobile device includes an eye tracker for tracking the movement of an eye, on a horizontal plane. It is equipped with a gravity sensor to measure the tilt of the HMD for the automatic refractometer to measure the degree of refraction of the cornea. The HMD measures eye movements and head movements and corneal refractive index of the user wearing the same, and transmits the measured information to the mobile device. Therefore, it is possible to control the operation of the mobile device and the camera mounted thereon according to the body reaction of the user wearing the HMD.

로봇 기술의 발전에 따라, 산업용 로봇뿐만 아니라 가정용 로봇, 애완견 로 봇 등 다양한 종류의 로봇이 개발되고 있으며, 이러한 로봇들은 대체로 센서나 카메라를 장착하여 외부의 환경을 인식할 수 있도록 구성된다. 원격지에 있는 사용자는, HMD와 같은 디스플레이 장치를 통신망을 통해 시각적인 인식 능력이 있는 로봇과 연결함으로써, 로봇이 획득한 외부 환경의 영상을 실시간으로 볼 수 있다. 이때, 사용자가 로봇을 통해 바라보는 영상의 영역을 조정하기 위해서는, 별도의 원격 조정기를 이용하여 사용자가 수동으로 로봇 등의 이동장치 및 이에 장착된 카메라의 동작을 조정하여야 하는 불편함이 있다. With the development of robot technology, not only industrial robots but also various kinds of robots such as home robots and dog robots are being developed, and these robots are generally configured to recognize an external environment by mounting a sensor or a camera. A remote user can connect a display device such as an HMD with a robot having visual recognition capability through a communication network, so that an image of an external environment acquired by the robot can be viewed in real time. In this case, in order to adjust the area of the image that the user views through the robot, it is inconvenient for the user to manually adjust the operation of a mobile device such as a robot and a camera mounted thereto using a separate remote controller.

본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명에서는, 이동장치에 장착된 카메라에 의해 획득한 영상신호를 수신하여 디스플레이하는 헤드 마운트형 장치(Head Mounted Device; HMD)에는, 눈동자의 움직임을 추적하는 아이 트래커(Eye Tracker), 수평면에 대한 HMD의 기울기를 측정하는 중력센서 및 각막의 굴절 정도를 측정하는 자동 굴절 검안기가 장착된다. 또한, 상기 HMD는 이를 착용한 사용자의 눈동자 및 머리의 움직임과 각막 굴절률을 측정하여, 상기 측정한 정보를 이동장치로 전송하도록 구성된다. 이를 통해, HMD를 착용한 사용자의 신체 반응에 따라 이동장치 및 이에 장착된 카메라의 동작을 제어할 수 있도록 한다. The present invention has been made to solve the problems described above, in the present invention, in the head mounted device (HMD) for receiving and displaying the video signal obtained by the camera mounted on the mobile device, The Eye Tracker tracks eye movements, a gravity sensor that measures the tilt of the HMD relative to the horizontal plane, and an automatic refractometer that measures the degree of refraction of the cornea. In addition, the HMD is configured to measure the movement of the pupil and head of the user and the corneal refractive index of the user wearing it, and transmit the measured information to the mobile device. Through this, it is possible to control the operation of the mobile device and the camera mounted thereon according to the body reaction of the user wearing the HMD.

본 발명은 이동장치 및 이에 장착된 카메라의 제어 시스템에 관한 것이다. 상기 시스템은, 카메라가 장착된 이동장치로서, 상기 카메라에 의해 획득한 영상신호를 유무선 통신망을 통해 원격지에 있는 헤드 마운트형 장치(Head Mounted Device; HMD)로 전송하고, 상기 HMD로부터 상기 HMD를 착용한 사용자의 신체반응 정보를 수신하며, 상기 신체반응 정보를 기반으로 상기 카메라의 동작을 제어하는 상기 이동장치; 및 상기 이동장치와 유무선 통신망을 통해 연결된 상기 HMD로서, 상기 이동장치로부터 수신한 영상신호를 상기 HMD를 착용한 사용자에게 디스플레이 하고, 상기 사용자의 신체반응을 측정하며, 상기 측정한 신체반응 정보를 상기 이동장치로 전송하는 상기 HMD를 포함한다.The present invention relates to a control system of a mobile device and a camera mounted thereto. The system is a mobile device equipped with a camera, and transmits an image signal obtained by the camera to a head mounted device (HMD) remotely located through a wired or wireless communication network, and wears the HMD from the HMD. The mobile device receiving body reaction information of a user and controlling the operation of the camera based on the body reaction information; And the HMD connected to the mobile device through a wired / wireless communication network, displaying an image signal received from the mobile device to a user wearing the HMD, measuring a physical response of the user, and displaying the measured physical response information. The HMD transmits to a mobile device.

본 발명에 의하면, 아이 트래커, 중력센서 및 자동 굴절 검안기가 장착된 HMD를 이용하여 HMD를 착용한 사용자의 눈동자와 머리의 움직임 및 각막 굴절률 등의 신체 반응을 측정하고, 측정된 신체 반응에 따라 이동장치 및 이에 장착된 카메라의 동작을 제어할 수 있다. According to the present invention, by using an HMD equipped with an eye tracker, a gravity sensor, and an automatic refractometer, the body reaction of the user and the head and the corneal refractive index of the user wearing the HMD are measured and moved according to the measured body reaction. It is possible to control the operation of the device and the camera mounted thereon.

이하에서는, 도면을 참조하여 본 발명의 실시예를 구체적으로 설명한다. 그러나, 본 발명이 하기의 실시예에 의하여 제한되는 것은 아니다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the present invention is not limited by the following examples.

도 1은 본 발명의 일 실시예에 따른 이동장치 및 이에 장착된 카메라의 제어 시스템을 도시한 도면이다.1 is a diagram illustrating a control system of a mobile device and a camera mounted thereto according to an embodiment of the present invention.

상기 제어 시스템은, 카메라가 장착되어 외부 환경에 대한 영상신호를 획득할 수 있는 이동장치(20, 30)와 상기 영상 신호를 디스플레이하는 헤드 마운트형 장치(Head Mounted Device; HMD)(10)를 포함하며, 이동장치(20, 30)와 HMD(10)는 유무선 통신망을 통해 연결되어 서로 통신할 수 있다. The control system includes a mobile device (20, 30) that is equipped with a camera to obtain a video signal for the external environment and a head mounted device (HMD) (10) for displaying the video signal The mobile devices 20 and 30 and the HMD 10 may communicate with each other by being connected through a wired or wireless communication network.

이동장치(20, 30)는 카메라와 같은 영상 획득 수단을 포함하여 이를 통해 영 상신호를 획득할 수 있는 장치라면, 가정용 로봇, 정찰용 로봇, 무인 자동차 등 그 종류에 상관없이 가능하다. 또한, 본 발명에 따른 제어 시스템은 하나 이상의 이동장치들을 포함할 수도 있다. If the mobile device 20, 30 includes an image acquisition means such as a camera and can acquire an image signal through it, it is possible to use any type of home robot, reconnaissance robot, driverless car, and the like. The control system according to the invention may also comprise one or more mobile devices.

이동장치(20, 30)는 장착된 카메라에 의해 영상신호를 획득하고, 획득한 영상신호를 유무선 통신망을 통해 실시간으로 원격지의 HMD(10)에 전송한다. 또한, 이동장치(20, 30)는 HMD(10)로부터 HMD(10)를 착용한 사용자의 신체반응 정보를 수신한다.The mobile devices 20 and 30 acquire an image signal by the mounted camera and transmit the obtained image signal to the HMD 10 of the remote location in real time through a wired or wireless communication network. In addition, the mobile device 20, 30 receives the body response information of the user wearing the HMD (10) from the HMD (10).

이동장치(20, 30)는 상기 사용자의 신체반응 정보를 기반으로 하여 자동으로 상기 이동장치 및 카메라의 동작을 제어(이를 '자동조작모드'라고 한다)하도록 구성된다. 또한, 이동장치(20, 30) 및 카메라의 동작을 원격으로 조작할 수 있는 조작부(미도시)가 별도로 구비된 경우, 사용자가 조작부를 통해 수동으로 이동장치 (20, 30) 및 카메라의 동작을 조작(이를 '수동조작모드'라고 한다)할 수도 있다. The mobile devices 20 and 30 are configured to automatically control the operation of the mobile device and the camera based on the body response information of the user (this is called an 'automatic operation mode'). In addition, when an operation unit (not shown) for remotely operating operations of the mobile devices 20 and 30 and the camera is separately provided, the user may manually operate the mobile devices 20 and 30 and the camera through the operation unit. You can also operate (called the "manual operation mode").

이동장치(20, 30)가 자동조작모드로 동작하는 경우, 이동장치(20, 30)는 HMD(10)로부터 수신한 사용자의 신체반응 정보의 종류에 따라 이동장치 자체의 동작 및 장착된 카메라 동작을 제어할 수 있다. When the mobile devices 20 and 30 operate in the automatic operation mode, the mobile devices 20 and 30 operate according to the type of body response information of the user received from the HMD 10 and the mounted camera motion. Can be controlled.

도 3 내지 도 5는, 이동장치(20, 30)가 HMD(10)에 장착된 중력센서, 아이 트래커 및 자동 굴절 검안기를 이용하여 이동장치에 장착된 카메라를 제어하는 것을 도시한 도면이다. 3 to 5 show that the mobile devices 20 and 30 control the camera mounted to the mobile device by using a gravity sensor, an eye tracker, and an automatic refractometer mounted on the HMD 10.

본 발명의 일 실시예에 따라, HMD(10)가 중력센서를 장착한 경우, 이동장치(20, 30)는 중력센서를 통해 측정한 기울기에 따라 카메라의 기울기를 제어하고, 필요시 이동장치 자체의 동작을 제어할 수도 있다. 예를 들어, 도 3에 도시된 바와 같이, 사용자가 머리를 한쪽으로 기울이면, 중력센서가 그 기울기를 측정하고, 이동장치(20, 30)는 HMD(10)로부터 상기 기울기 정보를 수신하여 이에 따라 카메라를 기울이거나 또는 로봇의 움직임을 제어한다. According to an embodiment of the present invention, when the HMD 10 is equipped with a gravity sensor, the moving device 20, 30 controls the inclination of the camera according to the inclination measured by the gravity sensor, if necessary, the moving device itself It can also control the operation of. For example, as shown in FIG. 3, when the user tilts the head to one side, the gravity sensor measures the tilt, and the mobile devices 20 and 30 receive the tilt information from the HMD 10 and thereby. Then tilt the camera or control the robot's movement.

한편, HMD(10)가 아이 트래커를 장착한 경우, 이동장치(20, 30)는 아이 트래커을 통해 추적한 눈동자의 이동 방향에 따라 카메라를 회전하도록 제어한다. 예를 들어, 도 4에 도시된 바와 같이, 사용자가 왼쪽을 바라보면, 아이 트래커는 눈동자의 움직임을 추적하고, 이동장치(20, 30)는 HMD(10)로부터 이 정보를 수신하여 카메라가 왼쪽으로 회전하도록 제어한다. On the other hand, when the HMD 10 is equipped with an eye tracker, the moving device 20, 30 controls to rotate the camera according to the moving direction of the pupil tracked through the eye tracker. For example, as shown in FIG. 4, when the user looks to the left, the eye tracker tracks the eye movements, and the mobile devices 20 and 30 receive this information from the HMD 10 so that the camera is left. Control to rotate.

또한, HMD(10)가 자동 굴절 검안기를 장착한 경우에는, 자동 굴절 검안기를 통해 측정한 각막 굴절 정도에 따라 카메라의 줌을 제어하며, 필요시 이동장치 자체의 위치를 이동시킬 수도 있다. 예를 들어, 도 5에 도시된 바와 같이, 사용자가 HMD(10)에 의해 디스플레이되는 영상 중 비교적 멀리 있는 물체를 바라보면, 자동 굴절 검안기는 사용자 각막의 굴절 정도를 측정하며, 이동장치(20, 30)는 HMD(10)로부터 이 정보를 수신하여 카메라의 줌 인(Zoom In) 기능을 실행하거나 또는 이동장치 자체를 앞으로 이동시킨다. In addition, when the HMD 10 is equipped with an automatic refraction optometry, the zoom of the camera is controlled according to the corneal refraction degree measured by the automatic refraction optometry, and the position of the moving device itself may be moved if necessary. For example, as shown in FIG. 5, when the user looks at a relatively distant object in the image displayed by the HMD 10, the automatic refraction optometry measures the degree of refraction of the cornea of the user, and the mobile device 20, 30 receives this information from the HMD 10 to execute the Zoom In function of the camera or to move the moving device itself forward.

도 2는 도 1에 도시된 HMD의 상세 구성을 도시한 도면으로, (a)는 HMD의 내부 구성도이고, (b)는 HMD의 전면도이며, (c)는 HMD의 상부에서 본 도면이다. HMD(10)는 이동장치(20, 30)로부터 수신한 영상신호를 HMD(10)를 착용한 사용자에 게 디스플레이하여 사용자가 원격지의 영상을 실시간으로 볼 수 있도록 해준다. 2 is a view showing a detailed configuration of the HMD shown in Figure 1, (a) is an internal configuration diagram of the HMD, (b) is a front view of the HMD, (c) is a view seen from the top of the HMD. . The HMD 10 displays the image signals received from the mobile devices 20 and 30 to the user wearing the HMD 10 so that the user can view the remote image in real time.

HMD(10)는, HMD(10)를 착용한 사용자의 눈동자 움직임을 추적하는 아이 트래커(Eye Tracker), 수평면에 대한 HMD(10)의 기울기를 측정하는 중력센서 및 HMD(10)를 착용한 사용자의 각막의 굴절 정도를 측정하는 자동 굴절 검안기 중 하나 이상을 선택적으로 포함한다. 따라서, HMD(10)는 HMD(10)를 착용한 사용자가 디스플레이되는 영상을 보는 동안에 나타내는 신체반응을 측정하고, 측정한 정보를 이동장치(20, 30)로 전송할 수 있다.The HMD 10 includes an eye tracker that tracks eye movements of a user who wears the HMD 10, a gravity sensor that measures the inclination of the HMD 10 with respect to a horizontal plane, and a user who wears the HMD 10. And optionally one or more of an automatic refraction optometry to measure the degree of refraction of the cornea. Accordingly, the HMD 10 may measure the body response that is displayed while the user wearing the HMD 10 is viewing the displayed image, and transmit the measured information to the mobile devices 20 and 30.

또한, 본 발명에 따른 제어 시스템은 하나 이상의 이동장치들을 포함하는 경우, HMD(10)는 상기 하나 이상의 이동장치들 중 사용자에 의해 선택된 하나의 이동장치로 상기 측정한 신체반응 정보를 전송하도록 구성될 수 있다.In addition, when the control system according to the present invention includes one or more mobile devices, the HMD 10 may be configured to transmit the measured body response information to one mobile device selected by a user among the one or more mobile devices. Can be.

한편, HMD(10)는, 사용자가 이동장치 및 이에 장착된 카메라의 조작 방법을 상기한 수동조작모드 또는 자동조작모드 중에서 선택할 수 있도록 하는 선택 수단을 더 포함할 수도 있다. 이때, 상기 선택 수단은, 눈 깜빡임이나 고개 까딱임 등의 사용자의 소정 신체반응에 따라 이동장치 및 카메라의 조작 방법을 선택하도록 할 수 있다.On the other hand, the HMD 10 may further include selecting means for allowing the user to select the operation method of the mobile device and the camera mounted thereto from the manual operation mode or the automatic operation mode. In this case, the selection means may select the operation method of the mobile device and the camera according to a predetermined body reaction of the user such as eye blinking or head squeezing.

본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.The embodiment according to the present invention is not limited to the above-described embodiments, and various alternatives, modifications, and changes can be made without departing from the scope of the present invention.

본 발명에 의하면, 아이 트래커, 중력센서 및 자동 굴절 검안기가 장착된 HMD를 이용하여 HMD를 착용한 사용자의 눈동자와 머리의 움직임 및 각막 굴절률 등의 신체 반응을 측정하고, 측정된 신체 반응에 따라 이동장치 및 이에 장착된 카메라의 동작을 제어할 수 있다.According to the present invention, by using an HMD equipped with an eye tracker, a gravity sensor, and an automatic refractometer, the body reaction of the user and the head and the corneal refractive index of the user wearing the HMD are measured and moved according to the measured body reaction. It is possible to control the operation of the device and the camera mounted thereon.

따라서, 본 발명을 이용하면, 원격지에 있는 사용자가 가정용 로봇, 정찰용 로봇 및 무인 자동차 등의 이동장치를 손쉽게 제어할 수 있다. Therefore, by using the present invention, a remote user can easily control mobile devices such as home robots, reconnaissance robots, and driverless cars.

도 1은 본 발명의 일 실시예에 따른 이동장치 및 이에 장착된 카메라의 제어 시스템을 도시한 도면. 1 is a view showing a control system of a mobile device and a camera mounted thereto according to an embodiment of the present invention.

도 2는 도 1에 도시된 HMD의 상세 구성을 도시한 도면.2 is a diagram showing a detailed configuration of the HMD shown in FIG.

도 3은 HMD에 장착된 중력센서를 이용하여 이동장치에 장착된 카메라를 제어하는 것을 도시한 도면.3 is a view illustrating controlling a camera mounted to a mobile device by using a gravity sensor mounted to the HMD.

도 4는 HMD에 장착된 아이 트래커를 이용하여 이동장치에 장착된 카메라를 제어하는 것을 도시한 도면.4 is a diagram illustrating controlling a camera mounted on a mobile device using an eye tracker mounted on an HMD.

도 5는 HMD에 장착된 자동 굴절 검안기를 이용하여 이동장치에 장착된 카메라를 제어하는 것을 도시한 도면.5 is a diagram illustrating controlling a camera mounted to a mobile device using an automatic refraction optometry mounted to an HMD.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

10: HMD 11: 중력센서 위치부10: HMD 11: Gravity sensor position

12: 디스플레이부 12: display unit

13: 아이 트래커 및 자동 굴절 검안기 위치부13: Eye tracker and auto refractor

14: 귀걸이 14: earrings

Claims (12)

삭제delete 삭제delete 카메라가 장착된 이동장치로서, 상기 카메라에 의해 획득한 영상신호를 유무선 통신망을 통해 원격지에 있는 헤드 마운트형 장치(Head Mounted Device; HMD)로 전송하는 수단, 상기 HMD로부터 상기 HMD를 착용한 사용자의 신체반응 정보를 수신하는 수단, 및 상기 신체반응 정보를 기반으로 상기 카메라의 동작을 제어하는 수단을 포함하는 상기 이동장치; A mobile device equipped with a camera, comprising: means for transmitting an image signal obtained by the camera to a head mounted device (HMD) remotely located through a wired / wireless communication network; The mobile device comprising means for receiving body response information and means for controlling the operation of the camera based on the body response information; 상기 이동장치와 유무선 통신망을 통해 연결된 상기 HMD로서, 상기 이동장치로부터 수신한 영상신호를 상기 HMD를 착용한 사용자에게 디스플레이하는 수단, 상기 사용자의 신체반응을 측정하는 수단, 및 상기 측정한 신체반응 정보를 상기 이동장치로 전송하는 수단을 포함하는 상기 HMD; 및Means for displaying the image signal received from the mobile device to a user wearing the HMD, means for measuring the body response of the user, and the measured body response information, as the HMD connected to the mobile device through a wired or wireless communication network. The HMD comprising means for transmitting a message to the mobile device; And 사용자가 수동으로 상기 이동장치 및 이에 장착된 카메라의 동작을 조작할 수 있도록 하는 조작부를 포함하되,Including a control unit for allowing a user to manually operate the operation of the mobile device and the camera attached thereto, 상기 HMD는, 사용자가 상기 이동장치 및 이에 장착된 카메라의 조작 방법을 수동조작모드 또는 자동조작모드 중에서 선택할 수 있도록 하는 선택 수단을 더 포함하는 것을 특징으로 하는 카메라가 장착된 이동장치의 제어 시스템.The HMD further comprises selecting means for allowing a user to select the operation method of the mobile device and the camera attached thereto from a manual operation mode or an automatic operation mode. 제3항에 있어서,The method of claim 3, 상기 선택 수단은, 사용자의 소정 신체반응에 따라 상기 이동장치 및 이에 장착된 카메라의 조작 방법을 선택하는 것을 특징으로 하는 카메라가 장착된 이동장치의 제어 시스템.The selecting means is a control system of a camera equipped with a mobile device, characterized in that for selecting the operation method of the mobile device and the camera mounted thereon according to a user's predetermined body reaction. 삭제delete 삭제delete 삭제delete 카메라가 장착된 이동장치로서, 상기 카메라에 의해 획득한 영상신호를 유무선 통신망을 통해 원격지에 있는 헤드 마운트형 장치(Head Mounted Device; HMD)로 전송하는 수단을 포함하는 상기 이동장치; 및 A mobile device equipped with a camera, comprising: a means for transmitting a video signal obtained by the camera to a head mounted device (HMD) remotely located through a wired or wireless communication network; And 상기 이동장치와 유무선 통신망을 통해 연결된 상기 HMD로서, 상기 이동장치로부터 수신한 영상신호를 상기 HMD를 착용한 사용자에게 디스플레이하는 수단을 포함하는 상기 HMD를 포함하되,And the HMD connected to the mobile device through a wired / wireless communication network, the HMD including means for displaying an image signal received from the mobile device to a user wearing the HMD. 상기 HMD는, 상기 HMD를 착용한 사용자의 각막의 굴절 정도를 측정하는 자동 굴절 검안기 및 상기 자동 굴절 검안기를 통해 측정한 각막 굴절 정도를 상기 이동장치에 전송하는 수단을 더 포함하고,The HMD further includes an automatic refraction optometry for measuring the refraction of the cornea of the user wearing the HMD and means for transmitting the corneal refraction measured by the automatic refraction optometry to the mobile device, 상기 이동장치는, 상기 자동 굴절 검안기를 통해 측정한 각막 굴절 정도에 따라 상기 카메라의 줌을 제어하는 수단을 더 포함하는 것을 특징으로 하는 카메라가 장착된 이동장치의 제어 시스템.The moving device further comprises means for controlling the zoom of the camera according to the degree of corneal refraction measured by the automatic refraction optometry. 제8항에 있어서,The method of claim 8, 상기 이동장치는, 상기 자동 굴절 검안기를 통해 측정한 각막 굴절 정도에 따라 상기 이동장치의 위치 이동을 제어하는 수단을 더 포함하는 것을 특징으로 하는 카메라가 장착된 이동장치의 제어 시스템. The moving device further comprises means for controlling the positional movement of the moving device according to the degree of corneal refraction measured by the automatic refraction optometry. 삭제delete 삭제delete 유무선 통신망을 통해 원격지에 있는 이동장치와 연결된 헤드 마운트형 장치(Head Mounted Device; HMD)로서, Head Mounted Device (HMD) connected to a mobile device remotely via a wired or wireless network, 상기 헤드 마운트형 장치를 착용한 사용자의 각막의 굴절 정도를 측정하는 자동 굴절 검안기;An automatic refraction optometry for measuring the degree of refraction of the cornea of the user wearing the head mounted device; 상기 이동장치로부터 수신한 영상신호를 상기 헤드 마운트형 장치를 착용한 사용자에게 디스플레이하는 수단; 및 Means for displaying the video signal received from the mobile device to a user wearing the head mounted device; And 상기 자동 굴절 검안기를 통해 측정한 각막 굴절 정보를 상기 이동장치로 전송하는 수단을 포함하는 것을 특징으로 하는 헤드 마운트형 장치. And means for transmitting corneal refraction information measured by the automatic refraction optometry to the mobile device.
KR1020070080746A 2007-08-10 2007-08-10 Managing system of Mobile Devices equipped with a camera and Head Mounted Device KR100884895B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070080746A KR100884895B1 (en) 2007-08-10 2007-08-10 Managing system of Mobile Devices equipped with a camera and Head Mounted Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070080746A KR100884895B1 (en) 2007-08-10 2007-08-10 Managing system of Mobile Devices equipped with a camera and Head Mounted Device

Publications (2)

Publication Number Publication Date
KR20090016246A KR20090016246A (en) 2009-02-13
KR100884895B1 true KR100884895B1 (en) 2009-02-23

Family

ID=40685502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070080746A KR100884895B1 (en) 2007-08-10 2007-08-10 Managing system of Mobile Devices equipped with a camera and Head Mounted Device

Country Status (1)

Country Link
KR (1) KR100884895B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015037784A1 (en) * 2013-09-16 2015-03-19 Lg Electronics Inc. Portable device and control method thereof
KR102120764B1 (en) 2013-09-16 2020-06-09 엘지전자 주식회사 Portable device and method for controlling the same
CN103941400A (en) * 2014-05-10 2014-07-23 莫永平 Wireless video glasses
KR101614315B1 (en) 2014-08-19 2016-04-21 한국과학기술연구원 Wearable device and method for controlling the same
KR102286517B1 (en) * 2019-03-25 2021-08-06 트라이픽스 주식회사 Control method of rotating drive dependiong on controller input and head-mounted display using the same
KR102286518B1 (en) * 2019-03-25 2021-08-06 트라이픽스 주식회사 Control method of screen motion dependiong on controller input and head-mounted display using the same
KR102549631B1 (en) * 2022-07-21 2023-07-03 주식회사 포탈301 Method for real-time control of working device and camera by using pose of body part and tilt of device and apparatus thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089423A (en) * 1994-06-20 1996-01-12 Mitsubishi Heavy Ind Ltd Remote monitor device
JPH08227319A (en) * 1995-02-22 1996-09-03 Kajima Corp Remote control supporting picture system
JPH09163192A (en) * 1995-12-08 1997-06-20 Sony Corp Remote supervisory equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089423A (en) * 1994-06-20 1996-01-12 Mitsubishi Heavy Ind Ltd Remote monitor device
JPH08227319A (en) * 1995-02-22 1996-09-03 Kajima Corp Remote control supporting picture system
JPH09163192A (en) * 1995-12-08 1997-06-20 Sony Corp Remote supervisory equipment

Also Published As

Publication number Publication date
KR20090016246A (en) 2009-02-13

Similar Documents

Publication Publication Date Title
KR100884895B1 (en) Managing system of Mobile Devices equipped with a camera and Head Mounted Device
KR102379245B1 (en) Wearable device-based mobile robot control system and control method
RU2012142510A (en) ROBOTIC SURGICAL SYSTEMS WITH IMPROVED MANAGEMENT
US20180160035A1 (en) Robot System for Controlling a Robot in a Tele-Operation
CN110275603B (en) Distributed artificial reality system, bracelet device and head-mounted display
JP6919206B2 (en) Display device and control method of display device
US9215362B2 (en) Image capturing system and image capturing method
JP5530234B2 (en) Operation input device and manipulator system
US20140062854A1 (en) Head mounted display and method of controlling digital device using the same
KR101836409B1 (en) Method for estimating a reference posture
KR20110055062A (en) Robot system and method for controlling the same
US20200007751A1 (en) Control apparatus, movable apparatus, and remote-control system
US20230097676A1 (en) Tactical advanced robotic engagement system
US20160170482A1 (en) Display apparatus, and control method for display apparatus
WO2017142480A1 (en) Modular add-on augmented reality head-up display, interfaces and controls
US20110135290A1 (en) Camera adjusting system and method
WO2020194882A1 (en) Remote operation system and remote operation server
US20210132415A1 (en) Saccade detection and endpoint prediction for electronic contact lenses, with adjusted operation
JP2019062293A (en) Camera device, camera device control system, and program
JP2002135641A (en) Camera system of freely moving view point and visual line
JP2005297168A (en) Remote control robot
JP6699944B2 (en) Display system
KR20040097477A (en) Head mounted computer interfacing device and method using eye-gaze direction
KR20190091870A (en) Robot control system using motion sensor and VR
WO2021220614A1 (en) Control device, control method, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160202

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee