KR102543674B1 - A system for detecting the state of a user's body part when using a beauty device and associating it with a three-dimensional environment - Google Patents

Abstract

사용자의 신체 부위를 처치하도록 구성된 디바이스로서, 상기 신체 부위의 상태를 감지하도록 구성된 적어도 하나의 센서를 포함하는, 상기 디바이스; 및 공간 내에서 상기 디바이스의 위치를 추적하도록 구성된 위치 추적기를 포함하고, 상기 시스템은 처리 회로부를 포함하며, 상기 처리 회로부는, 세션 동안 상기 적어도 하나의 센서에 의해 검출되는 상기 신체 부위의 특정 감지된 상태의 정보를 수신하고, 상기 위치 추적기로부터, 상기 세션 동안 상기 디바이스의 추적된 상기 위치의 정보를 수신하며, 상기 디바이스에 의해 상기 특정 감지된 상태가 검출되는 특정 시간을 상기 특정 시간에서의 공간 내 상기 디바이스의 위치와 연관시키도록 구성된, 시스템이 제공된다.A device configured to treat a body part of a user, the device comprising at least one sensor configured to sense a state of the body part; and a location tracker configured to track the position of the device in space, the system including processing circuitry comprising processing circuitry configured to detect a particular sensed location of the body part detected by the at least one sensor during a session. Receive information of a state, receive information of the tracked location of the device during the session, from the location tracker, specify a specific time at which the specific sensed state is detected by the device within space at the specific time. A system configured to associate with the location of the device is provided.

Description

미용 디바이스를 사용할 때 사용자의 신체 부위 상태를 감지하고 3차원 환경과 연관시키기 위한 시스템A system for detecting the state of a user's body part when using a beauty device and associating it with a three-dimensional environment

관련 출원 상호 참조Related Application Cross Reference

본 출원은 미국 출원 제16/137,610호 및 제16/137,614호(둘 다 2018년 9월 21일에 출원됨)와 관련되고 이들의 이익을 주장하며, 이들 각각의 전체 내용이 이에 의해 본 명세서에 참조로 포함된다.This application relates to and claims the benefit of U.S. Application Serial Nos. 16/137,610 and 16/137,614, both filed on September 21, 2018, the entire contents of each of which are hereby incorporated herein by reference. included by reference.

기술분야technology field

본 출원은 스타일링 툴의 센서로부터의 정보 및 감지 동작 동안 공간 내에서 추적된 위치에 기초하여 사용자 상에서 감지된 상태의 위치를 추적하고, 사용자의 머리 상에서 감지된 상태를 가상 3차원 환경에서 재현하며, 3차원 재현을 이용하여 사용자의 디스플레이에 피드백을 제공하거나 감지된 상태에 따라 연결된 스타일링 툴을 제어하기 위한 시스템에 관한 것이다.The present application tracks the position of the sensed state on the user based on the information from the sensor of the styling tool and the tracked position in space during the sensing motion, reproduces the sensed state on the user's head in a virtual three-dimensional environment, A system for providing feedback to a user's display using three-dimensional representation or controlling a connected styling tool according to a sensed state.

일 실시 예에서, 디바이스가 사용자의 신체 부위를 처치(treat)하도록 구성되며, 상기 디바이스는 상기 신체 부위의 상태를 감지하도록 구성된 적어도 하나의 센서를 포함하고; 위치 추적기가 공간 내에서 상기 디바이스의 위치를 추적하도록 구성되며, 상기 시스템은 처리 회로부를 포함하며, 상기 처리 회로부는, 세션 동안 상기 적어도 하나의 센서에 의해 검출되는 상기 신체 부위의 특정 감지된 상태의 정보를 수신하고, 상기 위치 추적기로부터, 상기 세션 동안 상기 디바이스의 추적된 상기 위치의 정보를 수신하며, 상기 디바이스에 의해 상기 특정 감지된 상태가 검출되는 특정 시간을 상기 특정 시간에서의 공간 내 상기 디바이스의 위치와 연관시키도록 구성된, 시스템 및 방법이 제공된다.In one embodiment, a device is configured to treat a body part of a user, the device comprising at least one sensor configured to sense a state of the body part; A location tracker is configured to track the position of the device in space, the system comprising processing circuitry configured to determine a particular sensed state of the body part detected by the at least one sensor during a session. receive information, from the location tracker, information of the tracked location of the device during the session, specifying a specific time at which the specific sensed state is detected by the device, the device in space at the specific time A system and method are provided, configured to associate with the position of.

일 실시 예에서, 상기 디바이스는 헤어 스타일링 툴이고 상기 신체 부위는 사용자의 모발이다.In one embodiment, the device is a hair styling tool and the body part is the user's hair.

일 실시 예에서, 상기 감지된 상태는 상기 모발의 손상된 영역이다.In one embodiment, the detected condition is a damaged area of the hair.

일 실시 예에서, 상기 감지된 상태는 상기 신체 부위의 적어도 하나의 감지된 이미지에 기초한다.In one embodiment, the sensed state is based on at least one sensed image of the body part.

일 실시 예에서, 상기 감지된 상태는 상기 디바이스가 상기 신체 부위와 접촉할 때 감지된 사운드에 기초한다.In one embodiment, the sensed state is based on a sound sensed when the device comes into contact with the body part.

일 실시 예에서, 상기 감지된 상태는 상기 신체 부위의 감지된 건조 수준에 기초한다.In one embodiment, the sensed condition is based on a sensed dryness level of the body part.

일 실시 예에서, 상기 디바이스는 피부 관리 툴이고 상기 신체 부위는 상기 사용자의 피부이다.In one embodiment, the device is a skin care tool and the body part is the user's skin.

일 실시 예에서, 상기 감지된 상태는 주름, 눈가 잔주름, 여드름, 및 블랙 헤드 중 적어도 하나이다.In one embodiment, the detected condition is at least one of wrinkles, crow's feet, acne, and blackheads.

일 실시 예에서, 상기 센서는 상기 디바이스 상에 있고 상기 사용자의 상기 신체 부위를 향하도록 구성된다.In one embodiment, the sensor is on the device and is configured to face the body part of the user.

일 실시 예에서, 상기 적어도 하나의 센서는 외부에 있고 상기 신체 부위에 관한 상기 디바이스의 움직임을 캡처한다.In one embodiment, the at least one sensor is external and captures movement of the device relative to the body part.

일 실시 예에서, 처리 회로부가 세션 동안 디바이스의 상기 적어도 하나의 센서에 의해 검출되는 사용자의 신체 부위의 특정 감지된 상태의 정보를 수신하고, 상기 세션 동안 위치 추적기로부터 상기 디바이스의 추적된 위치의 정보를 수신하고, 상기 특정 감지된 상태가 검출되는 특정 시간을 상기 특정 시간에서의 공간 내 상기 디바이스의 위치와 연관시키며, 연관된 상기 특정 시간과 상기 디바이스의 위치에 기초하여 상기 특정 감지된 상태가 발생하는 3차원 가상 환경에서 상기 신체 부위 상의 위치를 결정하도록 구성된, 시스템 및 방법이 제공된다.In one embodiment, processing circuitry receives information of a particular sensed state of a body part of a user detected by the at least one sensor of a device during a session, and information of the tracked location of the device from a location tracker during the session. Receive, associating a specific time at which the specific sensed state is detected with a location of the device in space at the specific time, and based on the associated specific time and location of the device, the specific detected state occurs Systems and methods are provided that are configured to determine a location on the body part in a three-dimensional virtual environment.

일 실시 예에서, 상기 처리 회로부는 상기 특정 감지된 상태를 상기 3차원 가상 환경에 연관시키는 미리 결정된 파일 포맷을 갖는 디지털 파일을 생성하도록 구성된다.In one embodiment, the processing circuitry is configured to generate a digital file having a predetermined file format that associates the particular sensed state with the three-dimensional virtual environment.

일 실시 예에서, 상기 미리 결정된 파일 포맷은 시간 스탬프 필드, 가속도계 좌표 필드들, 자이로스코프 필드들, 자기 콤파스 필드들, 센서 측정 필드들, 3D 좌표 필드들, 3D 노멀 필드들, 및 특정 시간 스탬프에 대응하는 엔트리들이 디스플레이될 관심 영역을 나타내는지를 표시하기 위한 필드 중 적어도 하나를 포함한다.In one embodiment, the predetermined file format includes time stamp fields, accelerometer coordinate fields, gyroscope fields, magnetic compass fields, sensor measurement fields, 3D coordinate fields, 3D normal fields, and at a specific time stamp. and at least one of fields for indicating whether corresponding entries represent a region of interest to be displayed.

일 실시 예에서, 상기 처리 회로부는 상기 3차원 가상 환경의 디스플레이를 생성하기 위해 상기 디지털 파일을 디스플레이 디바이스로 출력하도록 구성된다.In one embodiment, the processing circuitry is configured to output the digital file to a display device to generate a display of the three-dimensional virtual environment.

일 실시 예에서, 상기 3차원 가상 환경의 상기 디스플레이는 상기 사용자의 3차원 표현 상에 상기 특정 감지된 상태를 묘사한다.In one embodiment, the display of the three-dimensional virtual environment depicts the particular sensed state on a three-dimensional representation of the user.

일 실시 예에서, 상기 처리 회로부는 상기 감지된 상태를 처치하도록 디바이스를 제어하기 위한 상기 디지털 파일에 기초하여 디지털 처방(recipe)을 생성하고, 상기 디지털 처방을 상기 스타일링 툴로 전송하도록 구성된다.In one embodiment, the processing circuitry is configured to generate a digital recipe based on the digital file for controlling the device to treat the sensed condition and transmit the digital recipe to the styling tool.

본 발명의 전술한 양태들 및 수반되는 많은 이점들이 첨부 도면들과 함께 취해질 때, 다음의 구체적인 내용을 참조하여 더 잘 이해되는 바와 동일하게 더 쉽게 이해될 것이며, 도면들에서:
도 1은 사용자의 특성을 감지하기 위한 피드백 시스템을 도시한다.
도 2는 일 실시 예에 따른 전체 시스템의 구성 요소들을 도시한다.
도 3은 일 실시 예에 따른 감지 구성 요소의 개요를 도시한다.
도 4a, 도 4b 및 도 4c는 "온-보드" 예에서 디바이스의 모션 및 공간적 위치가 어떻게 추적될 수 있는지의 일례를 도시한다.
도 5는 일 실시 예에서 "온-보드" 예에 따라 디바이스에서 수행되는 프로세스를 도시한다.
도 6a 및 도 6b는 일 실시 예에 따라 개별 센서가 이용되는 일례를 도시한다.
도 7은 일 실시 예에 따라 디바이스와 센서 사이에서 수행되는 프로세스를 도시한다.
도 8은 일 실시 예에 따른 디바이스의 하드웨어 구성 요소들의 전기적 블록도의 도해를 도시한다.
도 9는 일 실시 예에 따른 센서의 하드웨어 구성 요소들의 전기적 블록도의 도해를 도시한다.
도 10은 일 실시 예에 따른 3D 재현 구성 요소의 개요를 도시한다.
도 11은 일 실시 예에 따라 가상 3D 사용자 이미지에 감지된 상태의 좌표를 맵핑하도록 시스템에 의해 수행되는 프로세스를 도시한다.
도 12는 일 실시 예에 따른 3D 재현 알고리즘에 기초하여 생성되는 상이한 디지털 파일 포맷들의 예들을 도시한다.
도 13은 일 실시 예에 따른 피드백 구성 요소의 개요를 도시한다.
도 14는 일 실시 예에 따라 디바이스에 의해 수행될 수 있는 알고리즘을 도시한다.
도 15는 일 실시 예에 따라 디바이스가 헤어 스타일링 툴일 때 디지털 처방의 사용을 도시한다.
도 16은 일 실시 예에 따라 디바이스가 사용자의 피부에 작용하는 음파 진동 브러시 디바이스인 예들을 도시한다.
도 17은 일 실시 예에 따라 디바이스가 헤어 스타일링 툴일 때 3D 재현 및 디지털 처방의 사용을 도시한다.The foregoing aspects of the present invention and the attendant many advantages will be more readily understood, just as better understood by reference to the following specific details, when taken in conjunction with the accompanying drawings, in which:
1 shows a feedback system for sensing a user's characteristics.
Figure 2 shows the components of the overall system according to one embodiment.
3 shows an overview of a sensing component according to one embodiment.
4A, 4B and 4C show an example of how the motion and spatial position of a device can be tracked in an “on-board” example.
5 illustrates a process performed in a device according to an “on-board” example in one embodiment.
6A and 6B show an example in which individual sensors are used according to an embodiment.
7 illustrates a process performed between a device and a sensor according to an embodiment.
8 shows an illustration of an electrical block diagram of hardware components of a device according to one embodiment.
9 shows an illustration of an electrical block diagram of hardware components of a sensor according to one embodiment.
10 shows an overview of 3D reproduction components according to an embodiment.
11 illustrates a process performed by the system to map coordinates of sensed states to virtual 3D user images, according to one embodiment.
12 shows examples of different digital file formats created based on a 3D reproduction algorithm according to an embodiment.
13 shows an overview of a feedback component according to an embodiment.
14 illustrates an algorithm that may be performed by a device according to an embodiment.
15 illustrates the use of a digital prescription when the device is a hair styling tool, according to one embodiment.
16 illustrates examples in which the device is a sonic vibration brush device acting on a user's skin according to an embodiment.
17 illustrates the use of 3D representations and digital prescriptions when the device is a hair styling tool, according to one embodiment.

도 1은 여기에 참조로 포함되는 현재 공동 계류중인 미국 출원 제15/721,286호에 설명된 피드백 시스템(100)을 도시한다. 시스템(100)은 헤어 드라이어 디바이스(110) 및 브러시 디바이스(150)를 포함한다. 헤어 드라이어(110)는 배출구(112)로부터 뜨거운 공기를 생성 및 발산하는 것과 같은 종래의 헤어 드라이어의 기능을 수행한다. 브러시(150)는 브러시의 축 주위에 배치되는 빗살들(154)을 포함한다("둥근" 헤어 브러시 유형). 그러나, 추가로 알려져 있는 헤어 브러시 유형들도 사용할 수 있다.1 shows a feedback system 100 described in co-pending US application Ser. No. 15/721,286, incorporated herein by reference. System 100 includes a hair dryer device 110 and a brush device 150 . Hair dryer 110 performs the functions of a conventional hair dryer such as generating and dissipating hot air from outlet 112 . The brush 150 includes teeth 154 disposed about the axis of the brush (a “round” hair brush type). However, further known hair brush types can also be used.

또한, 헤어 드라이어 디바이스(110) 및 브러시 디바이스(150)는 추가 구성 요소들을 포함한다. 예를 들어, 헤어 드라이어 디바이스(110)는 또한 온도 제어기(114)와 액추에이터들(116)을 포함한다. 온도 제어기(114)는 헤어 드라이어에 의해 발산되는 공기의 온도를 제어하고 조정한다. 액추에이터들은 공기 흐름의 패턴의 형상 및 공기 흐름의 속도를 제어한다. 액추에이터들은 이의 형상을 수정하기 위해 공기 흐름에서 이동될 수 있는 이동식 기계 부품들일 수 있다. 헤어 드라이어는 또한 바람직하게는 헤어 드라이어의 배출구(112) 근처에 배치되는 근접 센서(118)를 포함할 수 있다. 근접 센서는 당 업계에서 이해되는 적외선 센서와 같은 광학 센서일 수 있다. 그러나, 용량성, 초음파 또는 도플러 센서들과 같은 다른 예들도 채용될 수 있다.Also, the hair dryer device 110 and the brush device 150 include additional components. For example, the hair dryer device 110 also includes a temperature controller 114 and actuators 116 . The temperature controller 114 controls and adjusts the temperature of the air emitted by the hair dryer. Actuators control the shape of the airflow pattern and the speed of the airflow. Actuators can be movable mechanical parts that can be moved in the air stream to modify its shape. The hair dryer may also include a proximity sensor 118, which is preferably disposed near the outlet 112 of the hair dryer. The proximity sensor may be an optical sensor such as an infrared sensor as understood in the art. However, other examples such as capacitive, ultrasonic or Doppler sensors may also be employed.

헤어 드라이어 디바이스(110)는 수신된 감지 특성에 기초하여 헤어 드라이어에서 적어도 하나의 설정을 변경하도록 구성된다. 일 실시 예에서, 헤어 드라이어 디바이스(110)는 수신된 감지 특성에 기초하여 헤어 드라이어에서 적어도 하나의 설정을 동적으로 조절하도록 구성된다.The hair dryer device 110 is configured to change at least one setting in the hair dryer based on the received sensing characteristic. In one embodiment, the hair dryer device 110 is configured to dynamically adjust at least one setting in the hair dryer based on the received sensing characteristic.

브러시 디바이스는 또한 외부 디바이스(이를테면 헤어 드라이어(150))와 무선 통신을 수행하기 위한 무선 RF 통신인터페이스와 같은 통신 및 제어 회로부를 포함하는 자체 PCB(180)를 포함할 수 있다. PCB는 또한 가속기계/자이로미터와 같은 모션 검출기를 보유할 수 있다.The brush device may also include its own PCB 180 containing communication and control circuitry, such as a wireless RF communication interface for performing wireless communication with an external device (such as the hair dryer 150). The PCB may also contain motion detectors such as accelerometers/gyrometers.

브러시 디바이스는 또한 모발 습도 센서 및 온도 센서를 포함할 수 있다. 모발 및 습도 센서들은 당 업계에 알려져 있고 이해된다.The brush device may also include a hair humidity sensor and a temperature sensor. Hair and humidity sensors are known and understood in the art.

도 1에 도시된 바와 같이, 브러시 디바이스(150)와 헤어 드라이어(110) 사이에는 무선 기계 대 기계 피드백 루프가있을 수 있으며, 이는 각 디바이스에 내장된 무선 RF 통신 인터페이스 사이의 통신에 의해 가능하게 된다. 이러한 피드백 루프에서, 브러시는 헤어 드라이어가 작동 중일 때 온도 및 사용자 모발의 습도 수준을 감지하고 이러한 피드백을 헤어 드라이어에 제공할 수 있다. 이러한 정보에 기초하여, 헤어 드라이어는 예를 들어, 헤어 드라이어에서의 발열체의 저항을 조정함으로써, 팬 속도를 조정함으로써, 그리고/또는 공기 흐름 형상을 제어하는 기계적 요소들의 형상을 조정함으로써, 공기 흐름의 온도 및/또는 형상 및/또는 속도를 조정할 수 있다.As shown in FIG. 1, there may be a wireless machine-to-machine feedback loop between brush device 150 and hair dryer 110, which is made possible by communication between wireless RF communication interfaces built into each device. . In this feedback loop, the brush can sense the temperature and humidity level of the user's hair when the hair dryer is operating and provide this feedback to the hair dryer. Based on this information, the hair dryer can adjust the air flow by, for example, adjusting the resistance of the heating element in the hair dryer, adjusting the fan speed, and/or adjusting the shape of the mechanical elements that control the air flow shape. The temperature and/or shape and/or speed can be adjusted.

따라서, 종래 기술에서, 헤어 드라이어에서 직접 조정하게 하기 위해 사용자의 모발에서 특성을 감지할 수 있는 헤어 브러시 및/또는 헤어 드라이어가 있을 수 있다. 그러나, 사용자 상에서 감지된 상태의 특정 위치를 결정하여 사용자에 대한 피드백을 위해 가상 3차원 환경에서 재현될 수 있도록 하고 사용자의 모발을 추후에 또는 실시간으로 처치할 때 스타일링 툴에 대한 보다 정확한 제어 및 조정을 제공할 수 있는 기능이 요구된다.Thus, in the prior art, there may be hair brushes and/or hair dryers that can sense properties on a user's hair in order to make adjustments directly on the hair dryer. However, determining the specific location of the sensed condition on the user allows it to be recreated in a virtual three-dimensional environment for feedback to the user and more precise control and adjustment of the styling tool when treating the user's hair later or in real time. A function that can provide is required.

따라서, 시스템의 하나의 목적은 스타일링 툴 센서들의 샘플들을 3D에서 사용자의 표현 상의 공간적 위치와 융합하는 것이다. 일 실시 예에 따른 시스템은,Thus, one purpose of the system is to fuse the samples of the styling tool sensors with the spatial location on the user's representation in 3D. The system according to an embodiment,

- 스타일링 툴 또는 피부 및/또는 모발에 대한 진단 툴,- styling tools or diagnostic tools for skin and/or hair;

- 동글 또는 내장 가속도계/자이로스포크/자기 콤파스 레코딩 가속도, 각 속도 및 자기장,- Dongle or built-in accelerometer/gyrospoke/magnetic compass recording acceleration, angular velocity and magnetic field;

- 3D 위치 시스템은 적외선 또는 초음파 방법에 기초하여 카메라 및/또는 근접 센서를 갖는 시각 시스템에 의해 완료될 수 있다,- the 3D positioning system can be completed by a vision system with a camera and/or proximity sensor based on infrared or ultrasonic methods;

- 툴에 따른 전용 사용자 경험, 및- Dedicated user experience depending on the tool, and

- 3D 재현 알고리즘들로 구성된다,- Consists of 3D reproduction algorithms,

시스템은 사용되는 툴의 유형에 따라 사용자의 머리 또는 사용자 신체의 또 다른 부위 상에서 툴의 위치 및 배향을 실시간으로 결정할 수 있다.The system can determine in real time the position and orientation of the tool on the user's head or another part of the user's body depending on the type of tool being used.

마이크로폰, 카메라, 전도도, 힘 등과 같은 센서들의 시간적 측정을 모션/공간 추적 툴들(이를테면 가속도계, 자이로스코프 및/또는 콤파스 등)에 의해 레코딩된 3D 위치와 동기화함으로써, 이는 시스템이 사용자 상에서 검출된 상태를 3D로 재현할 수 있게 한다.By synchronizing the temporal measurements of sensors such as microphones, cameras, conductivity, force, etc. with the 3D position recorded by motion/spatial tracking tools (such as accelerometers, gyroscopes and/or compasses), this allows the system to determine the detected state on the user. It can be reproduced in 3D.

시스템의 또 다른 목적은 디지털 포맷을 이용하여 상이한 종류의 측정을 동일한 척도로 정규화하고 조합하는 것이다.Another purpose of the system is to normalize and combine different kinds of measurements to the same scale using a digital format.

각 스마트 스타일링 툴 또는 진단 툴에는 다음의 특정 센서들이 내장되어 있다:Each smart styling tool or diagnostic tool has the following specific sensors built into it:

- 연결된 헤어 브러시는 모발 손상, 힘 센서들, 전도도를 청취하기 위한 마이크로폰을 포함할 수 있다- The connected hair brush may contain a microphone to listen for hair damage, force sensors, conductance

- 스타일링 아이론은 온도 및 습도, 모발 전도도, 접촉 지속 시간 및 모발 상에 가해지는 총 에너지를 감지할 수 있다.- The styling iron can sense temperature and humidity, hair conductivity, contact duration and total energy applied on the hair.

- 카메라 진단 툴: 피부/모발 특징들의 현미경 이미지들, 상이한 파장들의 조명 하에서 이미지 처리 기능을 이용한 수분 공급.- Camera diagnosis tool: microscopic images of skin/hair features, hydration using image processing function under different wavelengths of illumination.

3D 위치 설정 시스템을 추가하고 센서 측정을 이러한 툴들의 위치들과 동기화하면, 측정을 조합하고 사용자 신체 표면 상에서 이의 위치를 지정하기 위한 일반 파일 포맷이 생성될 수 있다.Adding a 3D positioning system and synchronizing the sensor measurements with the positions of these tools can create a generic file format for combining the measurements and positioning them on the user's body surface.

이러한 파일 포맷은 최소한 다음을 포함해야 한다:These file formats should contain at least:

- 사용자 경험에 의해 지정된 물리적 시작 지점 및 사용자 신체- physical starting point and user body specified by the user experience

- 동기화를 보장하도록 센서들의 샘플링 주파수와 조응되는 정확한 시간 스탬프- Accurate time stamps matched with the sampling frequency of the sensors to ensure synchronization

- 적절한 계산을 위해 지정된 데이터 포맷과 센서들의 단위들- Specified data format and units of sensors for proper calculation

- 센서들의 수 및 유형- number and type of sensors;

- 특정 사용자 행위들- Specific user actions

- 3D 디스플레이를 재현하기 위해 레코딩된 사용자의 신체 영역- Areas of the user's body recorded to reproduce the 3D display

- 상황 정보 그리고 비 배타적으로: 시간대, 지리적 위치, 날씨, 온도, 버전- Contextual information and non-exclusively: time zone, geographic location, weather, temperature, version

이러한 일반 디지털 파일 포맷 표준은 보다 정확한 분석을 위해 동일한 공간 기준 상에서 모든 종류들의 측정들을 통합할 수 있게 한다.This common digital file format standard makes it possible to integrate all kinds of measurements on the same spatial reference for more accurate analysis.

도 2는 일 실시 예에 따른 전체 시스템(200)의구성 요소들을 도시한다. 시스템은 대략적으로 감지 구성 요소(201), 3D 재현 구성 요소(202), 및 피드백 구성 요소(203)를 포함하는 것으로 도시되며, 이들 각각은 아래에서 상세히 설명될 것이다.2 shows components of an overall system 200 according to one embodiment. The system is shown broadly as including a sensing component 201, a 3D reproduction component 202, and a feedback component 203, each of which will be described in detail below.

도 3은 상기한 시스템(200)에 따른 감지 구성 요소(201)의 개요를 도시한다. 감지 구성 요소는 스타일링 툴(301)을 포함하며, 이는 센서를 갖는 헤어 브러시로서 도시되어 있다. 그러나, 이는 헤어 드라이어, 플랫 아이론 등과 같은 임의의 수의 스타일링 툴일 수 있다. 센서는 모발 습도 센서 및/또는 온도 센서를 포함하는, 도 1에 도시된 유형의 센서들과 같은, 사용자의 모발 상태를 검출하기 위한 센서일 수 있다. 센서는 또한 가까이서 모발 손상을 검출하기 위한 광학 센서일 수 있거나, 브러시가 적용될 때 모발 기반 사운드의 상태를 검출하기 위한 오디오 센서일 수도 있다. 센서는 적외선 셀 또는 초음파 센서와 같은 근접 센서일 수 있다. 근접 센서는 디바이스/센서 사이의 거리를 측정하고 적절한 조치를 실행하는 데 사용된다. 예를 들어, 헤어 드라이어는 사용자의 머리가 헤어 드라이어 배출구에 너무 가까이 있을 때 모발을 너무 데워 말리면 안 된다. 반대로, 디바이스는 센서들이 피부 및/또는 모발의 관련 측정을 수행할 수 있는 적절한 범위에 있을 때 검출해야 한다.3 shows an overview of a sensing component 201 according to the system 200 described above. The sensing component includes a styling tool 301, which is shown as a hair brush with a sensor. However, it can be any number of styling tools such as hair dryers, flat irons, and the like. The sensor may be a sensor for detecting the user's hair condition, such as sensors of the type shown in FIG. 1, including a hair humidity sensor and/or a temperature sensor. The sensor may also be an optical sensor to detect hair damage up close, or it may be an audio sensor to detect the state of a hair-based sound when a brush is applied. The sensor may be a proximity sensor such as an infrared cell or an ultrasonic sensor. Proximity sensors are used to measure the distance between devices/sensors and take appropriate action. For example, a hair dryer should not overheat and dry the user's hair when the hair is too close to the hair dryer outlet. Conversely, the device should detect when the sensors are in an appropriate range to make relevant measurements of skin and/or hair.

모션 또는 공간적 위치 또는 공간적 위치의 변화를 검출하기 위해, 헤어 브러시는 당 업계에 알려져 있는 바와 같이, 가속도계/자이로스코프 또는 자기 콤파스를 포함할 수 있다.To detect motion or spatial position or change in spatial position, the hair brush may include an accelerometer/gyroscope or magnetic compass, as is known in the art.

감지 구성 요소는 대안적으로 또한 별도의 센서(302)를 포함할 수 있다. 센서(302)는 스타일링 툴에 포함된 유사한 센서를 포함할 수 있으며, 선택 사항으로 환경의 이미지들을 캡처하고 이미지 인식을 수행할 수 있는 카메라를 포함할 수 있다. 이미지 인식은 사용자의 존재 및 스타일링 툴에 관한 위치를 검출하는 데 사용될 수 있다.The sensing component may alternatively also include a separate sensor 302 . Sensor 302 may include a similar sensor included in a styling tool, and may optionally include a camera capable of capturing images of the environment and performing image recognition. Image recognition can be used to detect the user's presence and location relative to styling tools.

센서(302)는 또한 스타일링 툴로부터 전송되는 특정 신호들을 검출할 수 있으며, 이것들은 센서(302)가 센서의 위치에 관한 스타일링 툴의 특정 위치를 검출하게 할 수 있다. 사용자가 또한 머리 영역에서의 미리 결정된 위치에 웨어러블 센서(이를테면 목걸이 또는 사용자의 얼굴에 부착되는 접착 센서 형태)를 착용한다면, 센서(302)는 또한 센서(302)에 관한 사용자의 공간적 위치를 검출할 수 있다.Sensor 302 may also detect certain signals transmitted from the styling tool, which may cause sensor 302 to detect a particular position of the styling tool relative to the position of the sensor. If the user also wears a wearable sensor (such as in the form of a necklace or adhesive sensor attached to the user's face) at a predetermined location in the head region, sensor 302 may also detect the user's spatial position relative to sensor 302. can

선택 사항의 센서(302)가 없다면, 모든 감지 하드웨어는 스타일링 툴(301)의 "온-보드"인 것으로 고려된다. 도 4는 스타일링 툴(301)의 모션 및 공간적 위치가 "온-보드" 예에서 어떻게 추적될 수 있는지의 일례를 도시한다. 이러한 예에서, 스타일링 툴(301)는 도 4a에 도시된 바와 같은, 시간 = 0에서의 초기 위치(401)로부터 위치 변화를 검출할 수 있는, 상술된 바와 같은 모션 검출기를 포함할 수 있다. 헤어 브러시가 도 4b에 도시된 바와 같은, 시간 = 1에서의 두 번째 위치로 이동될 때, 예를 들어, 가속도계/자이로스코프/자기 콤파스에 의해, 검출된 모션에 기초한 초기 위치와 두 번째 위치 사이의 공간 차이가 검출될 수 있다. 유사하게, 스타일링 툴(301)이 시간 = 2에서 세 번재 위치로 이동되면, 공간 차이는 다시 초기 위치로부터(또는 대안적으로 두 번째 위치로부터) 결정될 수 있다.Without the optional sensor 302, all sensing hardware is considered "on-board" the styling tool 301. 4 shows an example of how the motion and spatial position of styling tool 301 can be tracked in an “on-board” example. In this example, styling tool 301 may include a motion detector, as described above, capable of detecting a change in position from an initial position 401 at time = 0, as shown in FIG. 4A . When the hair brush is moved to the second position at time = 1, as shown in FIG. 4B, between the initial position and the second position based on motion detected, e.g., by accelerometer/gyroscope/magnetic compass. A spatial difference of can be detected. Similarly, if the styling tool 301 is moved to the third position at time = 2, the spatial difference can again be determined from the initial position (or alternatively from the second position).

상술된 예에서, 스타일링 툴(301)의 초기 위치(401)는 브러시가 스트레이트로 홀딩된 상태에서 머리 위의 미리 결정된 위치이다. 사용자는 시간 = 0에서 스타일링 툴 상의 버튼을 눌러 프로세스를 시작할 수 있고, 이 순간 스타일링 툴의 위치는 미리 결정된 위치의 사용을 위해 사용자의 머리에 관한 예측 가능한 원점에 있는 것으로 고려된다. 미리 결정된 위치(401)는 도 4에 도시된 것으로 제한되지 않고 임의의 미리 결정된 위치가 사용될 수 있지만, 사용자가 사용자의 머리에 관한 예측 가능한 위치에서 재현하기 쉬운 것이 바람직하다.In the example described above, the initial position 401 of the styling tool 301 is a predetermined position on the head with the brush held straight. The user can start the process by pressing a button on the styling tool at time = 0, at which point the position of the styling tool is considered to be at a predictable origin relative to the user's head for use of the predetermined location. The predetermined position 401 is not limited to that shown in FIG. 4 and any predetermined position may be used, but it is preferred that the user is easy to reproduce in a predictable position relative to the user's head.

도 5는 상술된 "온-보드" 예에 따른 스타일링 툴(301)에서 수행되는 프로세스를 도시한다. 위에서 언급된 바와 같이, 사용자는 시간 = 0에서 스타일링 툴이 초기 위치에 있을 때 "시작" 입력을 입력할 수 있다. 이때, 단계 501a에서, 하나 이상의 상태(이를테면 습도, 온도, 모발 손상)가 스타일링 툴 상의 센서에 의해 검출된다. 병렬적으로, 단계 501b에서, 스타일링 툴의 대략적인 공간적 위치/장소, 그리고 보다 구체적으로 센서의 공간적 위치를 검출하는 상술된 위치 검출기가 위치 검출을 시작한다. 단계 502a 및 502b에서, 센서 및 위치 검출기는 계속해서 병렬적으로 동작하여, 각각의 검출된 데이터를 동일한 동기화된 시간 데이터와 연관시켜 레코딩한다. 마지막으로, 단계 503a 및 503b에서, 센서 및 위치 데이터는 사용자에 의해 제공된 "중지" 입력에 응답하여 동일한 동기화된 타이밍에서 각자의 동작들을 중지한다.5 shows the process performed in the styling tool 301 according to the “on-board” example described above. As mentioned above, the user can enter the "start" input at time = 0 when the styling tool is in its initial position. Then, in step 501a, one or more conditions (such as humidity, temperature, hair damage) are detected by sensors on the styling tool. In parallel, in step 501b, the position detector described above, which detects the approximate spatial position/location of the styling tool, and more specifically the spatial position of the sensor, starts position detection. In steps 502a and 502b, the sensors and position detectors continue to operate in parallel, recording each detected data associating it with the same synchronized time data. Finally, at steps 503a and 503b, the sensor and location data cease their respective operations at the same synchronized timing in response to a “stop” input provided by the user.

도 4 및 도 5는 "온-보드" 예를 도시했지만, 도 6은 개별 센서(302)가 이용되는 일례를 도시한다. 도 4의 예와 유사하게, 시간 = 0에서, 스타일링 툴은 센서가 근처에 고정된 위치에 있는 동안 초기 위치에 배치될 수 있다. 시간 = 0에서, 센서(302)는 상술된 기술들 중 하나에 기초하여 센서(302)에 관한 스타일링 툴 및 사용자 머리 양자의 위치를 검출한다. 도 6b에 도시된 바와 같이, 이후 임의의 시간 N에서, 센서(302)는 사용자에 관한 스타일링 툴의 새로운 위치를 검출한다.4 and 5 show an “on-board” example, FIG. 6 shows an example in which a separate sensor 302 is used. Similar to the example of FIG. 4 , at time = 0, the styling tool may be placed in an initial position while the sensor is in a nearby fixed position. At time = 0, sensor 302 detects the position of both the styling tool and the user's head relative to sensor 302 based on one of the techniques described above. As shown in FIG. 6B , then at some time N, sensor 302 detects a new position of the styling tool relative to the user.

도 7은 상기한 도 5에 도시된 프로세스와 유사한 스타일링 툴(301)과 센서(302) 사이에서 수행되는 프로세스를 도시한다. 사용자는 시간 = 0에서 스타일링 툴이 초기 위치에 있을 때 "시작" 입력을 입력할 수 있다. 이때, 단계 701a에서, 스타일링 툴은 "시작" 신호를 센서(302)로 전송할 수 있다. 이에 따라, 스타일링은 툴은 상술된 바와 같이 센서를 사용하여 하나 이상의 상태(이를테면 습도, 온도, 모발 손상)을 감지하는 것을 진행한다. 병렬적으로, 단계 701b에서, 센서(302)는 스타일링 툴의 대략적인 공간적 위치/장소를 검출한다. 단계 702a 및 702b에서, 센서 및 위치 검출기는 계속해서 병렬적으로 동작하여, 각각의 검출된 데이터를 동일한 동기화된 시간 데이터와 연관시켜 레코딩한다. 마지막으로, 단계 703a 및 단계 703b에서, 센서 및 위치 데이터는 스타일링 툴(301)에서 사용자에 의해 제공되는 "중지" 입력 - 이는 "중지" 신호가 센서(302)에 전송되게 할 수 있다 - 에 응답하여 동일한 동기화된 타이밍에 각자의 동작들을 중지한다.FIG. 7 shows a process performed between styling tool 301 and sensor 302 similar to the process shown in FIG. 5 above. The user can enter the "start" input when the styling tool is in its initial position at time = 0. At this time, in step 701a, the styling tool may transmit a “start” signal to the sensor 302. Accordingly, the styling tool proceeds to sense one or more conditions (such as humidity, temperature, hair damage) using the sensors as described above. In parallel, at step 701b, sensor 302 detects the approximate spatial position/place of the styling tool. At steps 702a and 702b, the sensors and position detectors continue to operate in parallel, recording each detected data associating it with the same synchronized time data. Finally, in steps 703a and 703b, the sensor and position data respond to a "stop" input provided by the user on styling tool 301, which may cause a "stop" signal to be sent to sensor 302. Thus, each operation is stopped at the same synchronized timing.

도 8은 스타일링 툴(301)이 일 실시 예에 따른 헤어 브러시일 때, 스타일링 툴(301)의 하드웨어 구성 요소들의 전기적 블록도의 도해를 도시한다. 헤어 브러시는 마이크로 제어기/프로세서(803), 전원(804), 통신 인터페이스(805), 사용자 인터페이스(806), 메모리(807)를 포함한다.8 shows an illustration of an electrical block diagram of hardware components of the styling tool 301 when the styling tool 301 is a hair brush according to one embodiment. The hair brush includes a microcontroller/processor 803, a power supply 804, a communication interface 805, a user interface 806, and a memory 807.

헤어 브러시는 또한 사운드 감지 회로부(809)를 포함할 수 있으며, 이는 일상적인 에너지 및 스펙트럼 사운드 변화에 기초하여 사용자의 모발의 건조도를 검출하는 마이크로폰을 포함할 수 있다.The hair brush may also include sound sensing circuitry 809, which may include a microphone that detects the dryness of the user's hair based on daily energy and spectral sound changes.

헤어 브러시는 또한 수분 감지 회로부(811)를 포함할 수 있다. 이러한 회로부는 본 명세서에 참조로 포함된 미국 출원 번호 제13/112,533호(미국 공개 번호 제2012/0291797A1호)에 설명된 것과 유사할 수 있다. 대안적으로, 수분 감지 회로는 자기장의 변화 - 이러한 변화는 수분 수준에 민감하다 - 를 검출하는 홀 효과 센서에 의존할 수 있다.The hair brush may also include moisture sensing circuitry 811 . Such circuitry may be similar to that described in US Application Serial No. 13/112,533 (US Publication No. 2012/0291797A1), incorporated herein by reference. Alternatively, the moisture sensing circuit may rely on a Hall effect sensor that detects changes in the magnetic field, which changes are sensitive to moisture levels.

헤어 브러시는 또한 힘 센서(811)를 포함할 수 있으며, 이는 머리와 핸들 사이에 배치된 로드 셀 형태일 수 있다.The hair brush may also include a force sensor 811, which may be in the form of a load cell placed between the head and the handle.

헤어 브러시는 또한 헤어 브러시 근처의 국부적 온도 또는 습도를 검출하는, 위에서 논의된 주변 온도/습도 센서(812)를 포함할 수 있다.The hair brush may also include an ambient temperature/humidity sensor 812 discussed above that detects a local temperature or humidity near the hair brush.

또한, 헤어 브러시는 모발이 젖었는지 또는 건조한지를 검출하기 위해 또는 사용자의 모발과의 접촉을 검출하기 위해 헤어 브러시에 내장된 전도 핀 퀼들(conducted pin quills)(813)을 포함할 수 있다.The hair brush may also include conducted pin quills 813 embedded in the hair brush to detect whether the hair is wet or dry or to detect contact with the user's hair.

헤어 브러시는 또한 이미징 유닛(814)을 포함할 수 있으며, 이는 사용자가 헤어 브러시를 사용하는 동안 사용자의 머리 또는 모발을 향하는 브러시의 외측 표면 상에 배치되는 카메라일 수 있다. 이미징 유닛은 선택 사항으로 사용자 모발의 열적 특성들을 감지하기 위한 열 이미징 기능을 가질 수 있다. 이미징 유닛에는 또한 이미징 프로세스를 돕기 위해 조명 유닛(이를테면 LED 조명)이 장착될 수 있다.The hair brush may also include an imaging unit 814, which may be a camera disposed on the user's head or on the outer surface of the brush facing the hair while the user is using the hair brush. The imaging unit may optionally have a thermal imaging function to detect thermal properties of the user's hair. The imaging unit may also be equipped with a lighting unit (such as an LED light) to aid in the imaging process.

일 실시 예에서, 헤어 드라이어는 사용자가 홀딩하고 있는 헤어 드라이어의 배향을 또한 검출할 수 있는 위치/모션 센서(808)를 포함하고, 이는 또한 헤어 드라이어의 움직임 및 모션 경로들을 검출할 수 있다. 일 실시 예에서, 위치/모션 센서는 지자기 센서 및 가속도 센서 중 적어도 하나 또는 이들의 조합이다. 예를 들어, 3-축 지자기 센서는 3-축 지자기 센서를 하우징하는 스타일링 툴의 (하우징의) 현재 배향이 주어지면, 지자기의 방향, 또는 다시 말해 지자기 벡터(Vt)를 알아낸다. 3-축 가속도 센서는 정지 상태에서 3-축 가속도 센서를 하우징하는 스타일링 툴의 (하우징의) 현재 배향이 주어지면, 중력의 방향, 또는 다시 말해 중력 벡터(G)를 알아낸다. 중력 벡터(G)는 수직 하향 방향과 일치한다. 중력 벡터(G)는 마찬가지로 Xs, Ys, 및 Zs 축 성분들로 분해될 수 있다.In one embodiment, the hair dryer includes a position/motion sensor 808 that can also detect the orientation of the hair dryer the user is holding, which can also detect movement and motion paths of the hair dryer. In one embodiment, the position/motion sensor is at least one or a combination of a geomagnetic sensor and an acceleration sensor. For example, a 3-axis geomagnetic sensor determines the direction of the geomagnetism, or in other words the geomagnetic vector Vt, given the current orientation (of the housing) of a styling tool housing the 3-axis geomagnetic sensor. The 3-axis acceleration sensor determines the direction of gravity, or in other words the gravity vector (G), given the current orientation (of the housing) of a styling tool housing the 3-axis acceleration sensor in a stationary state. The gravity vector (G) coincides with the vertical downward direction. The gravity vector (G) can likewise be decomposed into Xs, Ys, and Zs axis components.

대안적으로 또는 추가적으로, 세 개의 축들(Xs, Zs, 및 Ys)(롤, 피치, 및 요우)에 대한 각속도를 검출하고 객체의 회전을 검출할 수 있는 센서인 자이로스코프가 사용될 수 있다. 또한, 지자기 센서는 앞서 논의된 바와 같은 지자기 벡터에 기초하여, 객체가 향하는 방향을 알아낼 수 있다.Alternatively or additionally, a gyroscope may be used, which is a sensor capable of detecting rotation of an object and detecting angular velocity about three axes (Xs, Zs, and Ys) (roll, pitch, and yaw). In addition, the geomagnetic sensor may find out the direction the object faces based on the geomagnetic vector as discussed above.

스타일링 툴(301)의 예는 헤어 브러시로서 설명되었지만, 스타일링 툴은 플랫 아이론, 헤어 드라이어, 빗, 얼굴 마사지기 등과 같이, 사용자의 상태 또는 특성을 감지하도록 구성된 임의의 다른 유형의 스타일링 툴 또는 개인 기기일 수 있다.Although an example of the styling tool 301 has been described as a hair brush, the styling tool may be any other type of styling tool or personal device configured to sense the user's condition or characteristic, such as a flat iron, hair dryer, comb, facial massager, and the like. can

도 9는 일 실시 예에 따른 센서(302)의 하드웨어 구성 요소들의 전기적 블록도의 도해를 도시한다. 전원(904)으로부터의 전력은 마이크로 컨트롤러/프로세서(903)에 의해 제어된다.9 shows an illustration of an electrical block diagram of the hardware components of sensor 302 according to one embodiment. Power from power source 904 is controlled by microcontroller/processor 903.

센서(302)는 통신 인터페이스(905)를 통해 또 다른 디바이스와 데이터를 통신할 수 있다.Sensor 302 can communicate data with another device via communication interface 905 .

센서(302)는 툴의 하우징 상의 입력 버튼들의 형태일 수 있는 사용자 인터페이스(906)를 포함할 수 있거나, 이는 용량성 또는 저항성 터치 스크린 디스플레이와 같은 접촉 감지 디스플레이의 형태일 수 있다.The sensor 302 may include a user interface 906, which may be in the form of input buttons on the housing of the tool, or it may be in the form of a touch sensitive display, such as a capacitive or resistive touch screen display.

일 실시 예에서, 센서(302)는 조명들(이를테면 LED 조명들), 터치 스크린 상의 표시기, 또는 스피커를 통한 가청 출력의 형태일 수 있는 출력 표시기(902)를 포함한다.In one embodiment, sensor 302 includes an output indicator 902, which can be in the form of lights (such as LED lights), an indicator on a touch screen, or audible output through a speaker.

일 실시 예에서, 센서(302)는 헤어 드라이어를 제어하기 위한, 또는 사용자 데이터 또는 다른 정보를 저장하기 위한 소프트웨어를 저장하는 메모리(907)를 포함한다.In one embodiment, the sensor 302 includes a memory 907 that stores software for controlling the hair dryer, or for storing user data or other information.

센서(302)는 또한 외부 객체들 또는 디바이스들의 존재를 검출할 수 있는 근접 센서(918)를 포함할 수 있고, 당 업계에서 이해되는 적외선 센서와 같은 광학 센서일 수 있다. 그러나, 용량성, 초음파 또는 도플러 센서들과 같은 다른 예들도 채용될 수 있다.Sensor 302 may also include a proximity sensor 918 capable of detecting the presence of external objects or devices, and may be an optical sensor, such as an infrared sensor as understood in the art. However, other examples such as capacitive, ultrasonic or Doppler sensors may also be employed.

센서(302)는 스타일링 툴에 포함되고 상술된 위치/모션 센서(808)와 유사한 모션/위치 센서(908)를 포함할 수 있다.The sensor 302 may include a motion/position sensor 908 included in the styling tool and similar to the position/motion sensor 808 described above.

센서(302)는 캡쳐된 이미지를 생성하는 전하 결합 소자(CCD, Charge Coupled Device) 및 상보형 금속 산화물 반도체(CMOS, Complementary Metal Oxide Semiconductor)와 같은 이미지 센서(909)를 포함한다.The sensor 302 includes an image sensor 909 such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS) that generates the captured image.

상술된 예에서, 스타일링 툴(301) 및 센서(302) 양자는 클라이언트 디바이스(120)와의 통신을 위한 회로부 및 하드웨어를 포함할 수 있는 통신 인터페이스(I/F)를 포함한다. 통신 인터페이스(205)는 네트워크와 인터페이싱하기 위한, Broadcom의 BCM43342 Wi- Fi, Frequency Modulation 및 Bluetooth 콤보 칩과 같은 네트워크 제어기를 포함할 수 있다. 하드웨어는 크기가 감소되도록 설계될 수 있다. 예를 들어, 프로세서(203)는 당 업계에서 이해되는 바와 같이 CPU일 수 있다. 예를 들어, 프로세서는 Apple Inc.의 APL0778일 수 있거나, 당업자에 의해 인식될 다른 프로세서 유형들일 수 있다. 대안적으로, CPU는 당업자가 인식할 바와 같이, FPGA, ASIC, PLD 상에서 또는 별도의 논리 회로부들을 사용하여 구현될 수 있다. 또한, CPU는 상술된 본 발명의 프로세스들의 명령어들을 수행하기 위해 병렬적으로 협력하여 작동하는 다수의 프로세서들로서 구현될 수 있다.In the example described above, both the styling tool 301 and the sensor 302 include a communication interface (I/F) that may include circuitry and hardware for communication with the client device 120 . The communication interface 205 may include a network controller, such as Broadcom's BCM43342 Wi-Fi, Frequency Modulation and Bluetooth combo chip, for interfacing with the network. Hardware can be designed to be reduced in size. For example, processor 203 may be a CPU as understood in the art. For example, the processor could be an APL0778 from Apple Inc., or other processor types as would be recognized by one skilled in the art. Alternatively, the CPU may be implemented on an FPGA, ASIC, PLD or using separate logic circuitry, as will be appreciated by those skilled in the art. Additionally, a CPU may be implemented as multiple processors working in parallel and cooperatively to carry out the instructions of the processes of the present invention described above.

도 10은 상기한 도 2에 도시된 3D 재현 구성 요소(202)의 개요를 도시한다. 3D 재현 구성 요소에서, 스타일링 툴(들)(301)은 각자의 감지된 상태 데이터를 클라우드 서버, 컴퓨터 또는 휴대용 디바이스(스마트 폰, 태블릿 등) 형태일 수 있는 정보 시스템(1001)에 제공한다. 추가로, 센서(302)는 또한 환경에서 객체들의 검출된 위치와 관련된 이의 레코딩된 데이터를 정보 시스템(1001)에 제공할 수 있다.Figure 10 shows an overview of the 3D reproduction component 202 shown in Figure 2 above. In the 3D reproduction component, the styling tool(s) 301 provide their sensed state data to the information system 1001, which may be in the form of a cloud server, computer or portable device (smart phone, tablet, etc.). In addition, the sensor 302 may also provide the information system 1001 with its recorded data relating to the detected location of objects in the environment.

이 다음, 정보 시스템(1001)은 감지된 데이터를 1002에 도시된 바와 같은 가상 3D 사용자 이미지에 맵핑할 수 있다. 가상 3D 사용자 이미지(1002)는 성별, 키, 몸무게, 모발 길이, 모발 유형 등과 같은 사용자의 특성들에 기초하여 미리 결정된 대표 인물 이미지의 가상 3D 이미지일 수 있다. 실제 사용자의 정확한 복제인 가상 3D 이미지를 가질 필요는 없다.Following this, the information system 1001 may map the sensed data to a virtual 3D user image as shown in 1002 . The virtual 3D user image 1002 may be a virtual 3D image of a representative person image predetermined based on user characteristics such as gender, height, weight, hair length, and hair type. It is not necessary to have virtual 3D images that are exact replicas of real users.

스타일링 툴 또는 센서(302) 중 어느 하나의 위치 추적기에 의해 제공되는 데이터는 1002에 도시된 가상 3D 이미지의 원점과 일치하는 원점에 대한 3차원 좌표 형태이다. 재현 과정에서, 시스템(1001)은 스타일링 툴로부터 수신된 감지된 상태(이를테면 모발 손상)의 좌표를 가상 3D 이미지 환경에 직접 맵핑할 수 있다. 그러나, 이는 가상 3D 이미지에 도시된 모발의 표면에 대한 완벽한 매핑을 초래하지 않을 수 있으므로, 시스템(1001)은 감지된 상태의 좌표를 가상 3D 사용자 이미지의 모발 표면 상의 가장 적절한 위치에 맵핑하기 위해 필요한 경우 오프셋을 적용하도록 구성된다. 이러한 오프셋은 가상 3D 사용자 이미지의 모발 표면 상의 가장 가까운 스팟에 감지된 상태의 좌표를 조정하는 것에 기초하여 적용될 수 있다. 시스템(1001)은 필요에 따라 훈련 샘플들을 사용할 때 피드백을 수신하는 것에 기초하여 오프셋의 적용을 최적화하기 위한 기계 학습 기술들을 사용하도록 구성될 수 있다.The data provided by the position tracker of either the styling tool or sensor 302 is in the form of three-dimensional coordinates with respect to an origin coincident with that of the virtual 3D image shown at 1002 . In the process of recreating, system 1001 may directly map the coordinates of a sensed condition (such as hair damage) received from a styling tool onto a virtual 3D image environment. However, this may not result in a perfect mapping to the surface of the hair shown in the virtual 3D image, so the system 1001 needs to map the coordinates of the sensed state to the most appropriate location on the surface of the hair in the virtual 3D user image. is configured to apply an offset if This offset may be applied based on adjusting the coordinates of the sensed state to the nearest spot on the hair surface of the virtual 3D user image. System 1001 can be configured to use machine learning techniques to optimize the application of offset based on receiving feedback when using training samples as needed.

도 11은 가상 3D 사용자 이미지에 감지된 상태의 좌표를 맵핑하도록 시스템(1001)에 의해 수행되는 프로세스를 도시한다. 단계 1101에서, 시스템은 스타일링 툴(301)로부터 수신된 감지된 상태 데이터를 수신하고 저장한다. 단계 1102에서, 시스템은 상술된 바와 같은 스타일링 툴(301) 또는 센서(302) 중 어느 하나에 의해 제공될 수 있는, 검출된 위치 데이터를 수신하고 저장한다.11 shows a process performed by system 1001 to map the coordinates of sensed states to virtual 3D user images. At step 1101, the system receives and stores sensed state data received from the styling tool 301. At step 1102, the system receives and stores detected location data, which may be provided by either styling tool 301 or sensor 302 as described above.

단계 1103에서, 시스템은 감지된 상태 데이터에 기초하여 관심 영역(이를테면 모발 손상) 및 연관된 시간 스탬프를 분석하고 추출한다. 이러한 단계는 수반되는 센서의 유형에 기초하여 상이할 것이다. 예를 들어, 손상된 모발을 검출 시, 모발 건조도의 임계 값 초과를 검출하는 수분 센서 판독치가 관심 영역의 추출을 트리거할 수 있다. 광학 또는 이미지 센서가 사용되면, 갈라진 끝들의 이미지 인식이 관심 영역의 추출을 트리거할 수 있다. 대안적으로, 사운드 센서가 사용되면, 관심 영역은 모발을 빗을 때의 사운드가 지나치게 건조하거나 손상된 모발의 특징인 특정 주파수 임계치를 트리거하는 위치일 수 있다.At step 1103, the system analyzes and extracts a region of interest (such as hair damage) and an associated time stamp based on the sensed condition data. These steps will be different based on the type of sensor involved. For example, upon detection of damaged hair, a moisture sensor reading that detects hair dryness above a threshold may trigger extraction of the region of interest. If an optical or image sensor is used, image recognition of the forked ends can trigger extraction of the region of interest. Alternatively, if a sound sensor is used, the region of interest may be a location where the sound of combing hair triggers a specific frequency threshold characteristic of overly dry or damaged hair.

단계 1104에서, 시스템(1001)은 관심 영역의 시간 스탬프와 일치하고 위치 데이터와 관심 영역이 서로 연관되어 있는 시간 스탬프를 갖는 저장된 위치 데이터를 추출하한다.In step 1104, the system 1001 extracts stored location data having a time stamp that matches the time stamp of the area of interest and which correlates the location data and the area of interest.

단계 1105에서, 시스템은 관심 영역과 위에서 논의된 바와 같이 3D 좌표 데이터의 형태인 위치 데이터의 연관성에 기초하여 3D 가상 사용자 이미지 상에 관심 영역을 "맵핑"한다. 실제로, 이러한 "맵핑(mapping)"은 관심 영역을 가상 3D 이미지(이를테면 사용자 모발의 일 부분) 상에 디스플레이된 특징과 연관시켜 저장하는 것을 수반한다. 시스템(1001)은 맵핑의 결과들을 보여주는 디스플레이를 포함할 수 있으며, 이는 1002에 도시된 바와 같이 3D 아바타 상의 맵핑된 위치에 플레이스 홀더 표시기 또는 이미지를 디스플레이하는 것을 포함할 수 있다.In step 1105, the system “maps” the region of interest on the 3D virtual user image based on the association of the region of interest with location data in the form of 3D coordinate data as discussed above. In practice, this “mapping” involves storing a region of interest in association with a feature displayed on a virtual 3D image (such as a portion of a user's hair). System 1001 may include a display showing the results of the mapping, which may include displaying a placeholder indicator or image at the mapped location on the 3D avatar, as shown at 1002 .

맵핑이 완료될 때, 시스템은 도 10의 1003에 도시된 바와 같이 표준화된 포맷인 디지털 파일을 생성하도록 구성된다.When mapping is complete, the system is configured to create a digital file in a standardized format as shown at 1003 in FIG. 10 .

도 12는 3D 재현 알고리즘에 기초하여 생성되는 상이한 디지털 파일 포맷들의 예들을 도시한다. 도 12에 제시된 파일 포맷은 이러한 예에서 헤어 드라이어와 같은 단일 디바이스로부터 수집된 데이터를 나타낸다. 파일 포맷은 시간 스탬프 필드(1211), 가속도계 좌표 필드들(1212), 자이로스코프 필드들(1213), 자기 콤파스 필드들(1214), 센서 측정 필드들(1214), 3D 좌표 필드들(1215), 3D 노멀 필드들(1216), 및 특정 시간 스탬프에 대응하는 엔트리들이 디스플레이될 관심 영역을 나타내는지를 표시하기 위한 필드(1217)와 같은 다수의 필드들을 포함한다. 디지털 파일에서의 데이터는 저장 공간을 감소시키기 위해 필요에 따라 필터링되거나 압축될 수 있다.12 shows examples of different digital file formats created based on a 3D representation algorithm. The file format presented in FIG. 12 represents data collected from a single device, such as a hair dryer in this example. The file format includes time stamp fields 1211, accelerometer coordinate fields 1212, gyroscope fields 1213, magnetic compass fields 1214, sensor measurement fields 1214, 3D coordinate fields 1215, 3D normal fields 1216, and a field 1217 for indicating whether entries corresponding to a particular time stamp represent a region of interest to be displayed. Data in digital files can be filtered or compressed as needed to reduce storage space.

도 13은 상기한 도 2에 도시된 피드백 구성 요소(203)의 개요를 도시한다. 도 13에 도시된 바와 같이, 디지털 파일(1003)은 시스템(1001)과 동일한 시스템일 수 있거나, 또는 상이한 시스템, 디바이스 또는 사용자의 개인 디바이스(이를테면 스마트 폰)일 수 있는 시스템(1301)에 제공된다.Figure 13 shows an overview of the feedback component 203 shown in Figure 2 above. As shown in FIG. 13 , digital files 1003 are provided to system 1301, which may be the same system as system 1001, or a different system, device, or user's personal device (such as a smart phone). .

시스템(1301)은 상이한 유형들의 측정에 대해 관심 영역에 대해 감지된 데이터를 조합하기 위해 기계 학습을 사용하도록 구성된다. 이는 시간이 지남에 따라 감지된 데이터를 비교하고 사용자의 미래 건강 및 외모를 예측하는 것을 수반할 수 있다.System 1301 is configured to use machine learning to combine sensed data for a region of interest for different types of measurement. This may involve comparing sensed data over time and predicting the user's future health and appearance.

예를 들어, 감지된 상태가 백모이면, 시스템(1301)은 감지된 데이터를 시간에 따라 비교하는 것에 기초하여 백모의 징후의 패턴이 발생하는지를 결정하도록 구성된다. 이러한 결정은 3D 가상 사용자 이미지 상에 예측된 결과들을 묘사할 수 있는 3D 이미지 데이터를 생성하는 데 사용될 수 있다. 이러한 결과들은 단계 1302에 도시된 바와 같이, 스마트 폰과 같은 사용자 디바이스 상에 디스플레이되도록 사용자에게 전송될 수 있다.For example, if the detected condition is gray hair, system 1301 is configured to determine if a pattern of signs of gray hair occurs based on comparing the sensed data over time. This determination can be used to generate 3D image data that can depict predicted outcomes on a 3D virtual user image. These results may be sent to the user to be displayed on a user device, such as a smart phone, as shown in step 1302 .

단계 1302a에 도시된 바와 같이, 사용자의 스마트 폰에서의 결과들의 디스플레이는 3D 가상 사용자 상의 관심 영역에 표시자를 보여주는 "손상 오버레이 뷰"를 포함할 수 있다. 1302b에 도시된 바와 같이, 디스플레이는 가상 3D 사용자 이미지 상의 관심 영역의 확대된 영역을 실제로 보여 주거나 묘사하는 "사진 로컬리제이션 뷰"를 포함할 수 있다. 예를 들어, 관심 영역이 손상된 모발이면, 사진 로컬리제이션은 관심 영역이 있는 사용자 상의 스팟에서 손상된 모발의 실제 대표 이미지를 보여 줄 것이다.As shown in step 1302a, the display of the results on the user's smart phone may include a "damage overlay view" showing an indicator in a region of interest on the 3D virtual user. As shown at 1302b, the display may include a “photo localization view” that actually shows or depicts an enlarged area of the region of interest on the virtual 3D user image. For example, if the area of interest is damaged hair, photo localization will show an actual representative image of the damaged hair in a spot on the user where the area of interest is.

검출된 관심 영역들 및 사용자의 예측되는 건강 및 외모에 기초하여, 개인화된 3D 처방 또는 처치가 정보 시스템에 의해 1303에서 생성될 수 있다.Based on the detected areas of interest and the user's predicted health and appearance, a personalized 3D prescription or treatment may be generated by the information system at 1303 .

예를 들어, 사용자의 모발에 대한 추가 손상을 방지하는 방식으로 사용자의 모발을 스타일링 툴(예를 들어, 헤어 드라이어)로 처치하는 디지털 처방이 시스템에 의해 생성될 수 있다. 디지털 처방은 헤어 드라이어 자체로 전송될 수 있고, 헤어 드라이어는 예를 들어, 헤어 드라이어에서의 발열체 저항을 조정함으로써, 팬 속도를 조정함으로써, 그리고/또는 공기 형상을 제어하는 기계적 요소들의 형상을 조정함으로써, 공기 흐름의 온도 및/또는 형상 및/또는 속도를 조정할 수 있다.For example, a digital prescription may be generated by the system to treat the user's hair with a styling tool (eg, a hair dryer) in a manner that prevents further damage to the user's hair. The digital prescription can be transmitted to the hair dryer itself, which can, for example, adjust the heating element resistance in the hair dryer, adjust the fan speed, and/or adjust the shape of the mechanical elements that control the air shape. , the temperature and/or shape and/or speed of the air flow can be adjusted.

위에서 언급된 바와 같이, 본 명세서에 참조로 포함되는 공동 계류 중인 미국 출원 제15/721,286호는 직접 헤어 브러시로부터의 상태들의 피드백에 기초하여 이의 설정들을 조정할 수 있는 헤어 드라이어를 설명한다. 이 경우, 상술된 디지털 처방은 일 실시 예에 따라 이러한 헤어 드라이어로 직접 전송될 수 있다.As noted above, co-pending US Application Serial No. 15/721,286, incorporated herein by reference, describes a hair dryer that can adjust its settings based on feedback of conditions directly from the hair brush. In this case, the digital prescription described above may be directly transmitted to such a hair dryer according to an embodiment.

도 14는 일 실시 예에 따라 헤어 디바이스에 의해 수행될 수 있는 알고리즘을 도시한다. 단계 1410에서, 헤어 드라이어는 디지털 처방을 수신한다. 단계 1420에서, 디지털 방안이 처리되거나 분석된다. 단계 1430에서, 헤어 드라이어는 처리/분석된 디지털 처방에 따라 헤어 드라이어의 설정들의 조정을 수행한다.14 illustrates an algorithm that may be performed by a hair device according to an embodiment. At step 1410, the hair dryer receives a digital prescription. At step 1420, the digital recipe is processed or analyzed. In step 1430, the hair dryer performs adjustment of its settings according to the processed/analyzed digital prescription.

도 14는 디지털 처방이 헤어 드라이어 디바이스(또는 다른 스타일링 툴)를 조정하게 하는 데 사용될 수 있음을 도시하지만, 디지털 처방은 도 15에 도시된 바와 같이 다양한 혜택들을 위해 이용될 수 있다. 예를 들어, 디지털 처방은 조정을 위한 입력 또는 위에서 논의된 바와 같은 헤어 드라이어/스타일링 툴(1501)을 사용할 때 요법, 특정한 하나 이상의 헤어 제품(1502)에 대한 추천으로서 동시에 또는 대안적으로 사용될 수 있다; 그리고 이는 또한 적절하게 사용자에게 정보를 청각적으로 제공할 수 있는 가상 어시스턴트 디바이스(1503)로 출력될 수도 있다.Although FIG. 14 shows that a digital prescription can be used to condition a hair dryer device (or other styling tool), a digital prescription can be used for a variety of benefits as shown in FIG. 15 . For example, a digital prescription can be used simultaneously or alternatively as an input for adjustments or as a recommendation for a particular one or more hair products 1502, a regimen when using the hair dryer/styling tool 1501 as discussed above. ; And it may also be output to the virtual assistant device 1503, which can provide the information audibly to the user as appropriate.

또한, 상기한 예들은 헤어 드라이어, 헤어 스타일링 툴, 또는 헤어 브러시의 일례에 관한 것이지만, 본 출원은 이러한 예로 제한되지 않고 다른 것들이 사용될 수 있다.Also, although the above examples relate to one example of a hair dryer, hair styling tool, or hair brush, the present application is not limited to this example and others may be used.

예를 들어, 도 16은 사용자의 피부에 작용하는 음파 진동 브러시 디바이스(1600)의 예들을 도시한다. 브러시 디바이스는 사용자 얼굴의 이미지, 사운드, 질감 또는 건조도를 캡처하기 위해 디바이스의 전면 상에 배치되는, 상술된 센서(301)와 유사한, 센서(1601)를 포함할 수 있다. 추가적으로 또는 대안적으로, 상술된 센서(302)와 유사한 외부 센서(1602)가 제공될 수 있다.For example, FIG. 16 shows examples of a sonic vibrating brush device 1600 acting on a user's skin. The brush device may include a sensor 1601, similar to sensor 301 described above, disposed on the front of the device to capture images, sounds, textures or dryness of the user's face. Additionally or alternatively, an external sensor 1602 similar to sensor 302 described above may be provided.

관심 영역은 주름, 눈가 잔주름, 여드름, 건성 피부, 블랙 헤드 등과 같은 임의의 수의 피부 상태를 검출하는 것을 포함할 수 있다.Areas of interest may include detecting any number of skin conditions, such as wrinkles, crow's feet, acne, dry skin, blackheads, and the like.

얼굴 영역에 대한 3D 재현 결과들은 상술된 바와 같은 모발 영역의 결과들과 유사하다. 예를 들어, 도 17에 도시된 바와 같이, 3D 재현은 스마트 폰(1701) 상의 디스플레이에 출력될 수 있으며, 이는 사용자의 아바타 상에서 감지된 상태 영역들을 강조한다. 대안적으로, 3D 재현은 디지털 처방을 생성하는 데 사용될 수 있으며, 이는 (ⅰ) 얼굴 피부 관리 디바이스(1702)를 조정 또는 제어하기 위한, (ⅱ) 피부 관리 제품(1703)을 추천하기 위한, (ⅲ) 맞춤형 얼굴 마스크(1704)를 생성하는 데 사용되기 위한, 또는 (ⅲ) 적절하게 사용자에게 정보를 청각적으로 제공할 수 있는 가상 어시스턴트 디바이스(1705)로 출력하기 위한 출력일 수 있다.The 3D reconstruction results for the face area are similar to those for the hair area as described above. For example, as shown in FIG. 17 , a 3D representation can be output to a display on the smart phone 1701, which highlights the sensed state areas on the user's avatar. Alternatively, 3D representations can be used to create digital prescriptions, which (i) adjust or control the facial skin care device 1702, (ii) recommend skin care products 1703, ( iii) for use in creating a custom face mask 1704, or (iii) for output to a virtual assistant device 1705 that can present the information aurally to the user as appropriate.

본 개시의 원리들, 대표적인 실시 예들, 및 동작 모드들은 전술한 설명에서 설명되었다. 그러나, 보호하고자 하는 본 개시의 양태들은 개시된 특정 실시 예들로 제한되는 것으로 해석되어서는 안 된다. 또한, 본 명세서에 설명된 실시 예들은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 본 개시의 사상에서 벗어나지 않고 다른 것들 및 채용되는 균등물에 의해 변경 및 변경이 이루어질 수 있음이 이해될 것이다. 따라서, 이러한 모든 변형, 변경 및 등가물은 청구되는 바와 같이, 본 개시의 사상 및 범위 내에 포함되는 것으로 명백히 의도된다.The principles, representative embodiments, and modes of operation of the present disclosure have been described in the foregoing description. However, the aspects of the disclosure intended to be protected should not be construed as limited to the specific embodiments disclosed. Also, the embodiments described herein should be regarded as illustrative rather than restrictive. It will be understood that changes and modifications may be made by others and equivalents employed without departing from the spirit of the present disclosure. Accordingly, all such variations, modifications and equivalents are expressly intended to be included within the spirit and scope of this disclosure, as claimed.

Claims (32)

시스템으로서,
사용자의 신체 부위를 처치(treat)하도록 구성된 디바이스로서, 상기 신체 부위의 상태를 감지하도록 구성된 적어도 하나의 센서를 포함하는, 상기 디바이스; 및
공간 내에서 상기 디바이스의 위치를 추적하도록 구성된 위치 추적기를 포함하고,
상기 시스템은 처리 회로부를 포함하며, 상기 처리 회로부는,
상기 사용자가 사용자의 신체 부위에 대한 공간의 원하는 원점(original point)에서 상기 디바이스를 홀딩하고 있는 동안, 상기 사용자로부터 입력을 상기 디바이스가 수신하는 것에 기초하여 세션이 시작되었다는 입력을 수신하고 - 상기 적어도 하나의 센서는 상기 신체 부위의 상태를 감지하기 시작하고 상기 위치 추적기는 상기 세션을 시작할 때 공간에서 상기 디바이스의 위치를 추적하기 시작하여 상기 세션이 시작된 시점부터 동기화된 시간 데이터를 기반으로 상기 적어도 하나의 센서 및 상기 위치 추적기가 병렬적으로 동작함 - ,
상기 세션 동안 상기 적어도 하나의 센서에 의해 검출되는 상기 신체 부위의 특정 감지된 상태의 정보를 수신하고,
상기 위치 추적기로부터, 상기 세션 동안 상기 디바이스의 추적된 상기 위치의 정보를 수신하며,
상기 디바이스에 의해 상기 특정 감지된 상태가 검출되는 특정 시간을 상기 특정 시간에서의 공간 내 상기 디바이스의 위치와 연관시키도록 구성된, 시스템.As a system,
A device configured to treat a body part of a user, the device comprising at least one sensor configured to sense a condition of the body part; and
a location tracker configured to track the location of the device in space;
The system includes processing circuitry, the processing circuitry comprising:
receive input that a session has started based on the device receiving input from the user while the user is holding the device at a desired original point in space for a body part of the user; One sensor starts to detect the state of the body part and the location tracker starts to track the location of the device in space when the session starts, and the at least one sensor starts to track the location of the device in space based on synchronized time data from the start of the session. -The sensor of and the position tracker operate in parallel;
receiving information of a particular sensed state of the body part detected by the at least one sensor during the session;
receive, from the location tracker, information of the tracked location of the device during the session;
and associate a specific time at which the specific sensed condition is detected by the device with a location of the device in space at the specific time. 제1항에 있어서, 상기 디바이스는 헤어 스타일링 툴이고 상기 신체 부위는 사용자의 모발인, 시스템.The system of claim 1 , wherein the device is a hair styling tool and the body part is a user's hair. 제2항에 있어서, 상기 감지된 상태는 상기 모발의 손상된 영역인, 시스템.3. The system of claim 2, wherein the detected condition is a damaged area of the hair. 제1항에 있어서, 상기 감지된 상태는 상기 신체 부위의 적어도 하나의 감지된 이미지에 기초하는 것인, 시스템.The system of claim 1 , wherein the sensed state is based on at least one sensed image of the body part. 제1항에 있어서, 상기 감지된 상태는 상기 디바이스가 상기 신체 부위와 접촉할 때 감지된 사운드에 기초하는 것인, 시스템.The system of claim 1 , wherein the sensed state is based on a sound sensed when the device contacts the body part. 제1항에 있어서, 상기 감지된 상태는 상기 신체 부위의 감지된 건조도 수준에 기초하는 것인, 시스템.The system of claim 1 , wherein the sensed condition is based on a sensed dryness level of the body part. 제1항에 있어서, 상기 디바이스는 피부 관리 툴이고 상기 신체 부위는 상기 사용자의 피부인, 시스템.The system of claim 1 , wherein the device is a skin care tool and the body part is the user's skin. 제7항에 있어서, 상기 감지된 상태는 주름, 눈가 잔주름, 여드름, 및 블랙 헤드 중 적어도 하나인, 시스템.8. The system of claim 7, wherein the detected condition is at least one of wrinkles, crow's feet, acne, and blackheads. 제1항에 있어서, 상기 센서는 상기 디바이스 상에 있고 상기 사용자의 상기 신체 부위를 향하도록 구성된 것인, 시스템.The system of claim 1 , wherein the sensor is on the device and is configured to face the body part of the user. 제1항에 있어서, 상기 적어도 하나의 센서는 외부에 있고 상기 신체 부위에 관한 상기 디바이스의 움직임을 캡처하는 것인, 시스템.The system of claim 1 , wherein the at least one sensor is external and captures movement of the device relative to the body part. 시스템에 의해 구현되는 방법으로서, 상기 시스템은, 사용자의 신체 부위를 처치하도록 구성된 디바이스로서, 상기 신체 부위의 상태를 감지하도록 구성된 적어도 하나의 센서를 포함하는, 상기 디바이스; 및 공간 내에서 상기 디바이스의 위치를 추적하도록 구성된 위치 추적기를 포함하며, 상기 방법은:
상기 사용자가 사용자의 신체 부위에 대한 공간의 원하는 원점에서 상기 디바이스를 홀딩하고 있는 동안, 상기 사용자로부터 입력을 상기 디바이스가 수신하는 것에 기초하여 세션이 시작되었다는 입력을 수신하는 단계 - 상기 적어도 하나의 센서는 상기 신체 부위의 상태를 감지하기 시작하고 상기 위치 추적기는 상기 세션을 시작할 때 공간에서 상기 디바이스의 위치를 추적하기 시작하여 상기 세션이 시작된 시점부터 동기화된 시간 데이터를 기반으로 상기 적어도 하나의 센서 및 상기 위치 추적기가 병렬적으로 동작함 - 와;
상기 세션 동안 상기 적어도 하나의 센서에 의해 검출되는 상기 신체 부위의 특정 감지된 상태의 정보를 수신하는 단계와;
상기 위치 추적기로부터, 상기 세션 동안 상기 디바이스의 추적된 상기 위치의 정보를 수신하는 단계와; 그리고
상기 디바이스에 의해 상기 특정 감지된 상태가 검출되는 특정 시간을 상기 특정 시간에서의 공간 내 상기 디바이스의 위치와 연관시키는 단계를 포함하는, 방법.A method implemented by a system comprising: a device configured to treat a body part of a user, the device comprising at least one sensor configured to sense a state of the body part; and a location tracker configured to track a location of the device in space, the method comprising:
receiving an input that a session has started based on the device receiving an input from the user while the user is holding the device at a desired origin of space for a body part of the user - the at least one sensor starts to detect the state of the body part and the location tracker starts to track the location of the device in space when the session starts, and the at least one sensor and The location tracker operates in parallel - wow;
receiving information of a particular sensed state of the body part detected by the at least one sensor during the session;
receiving, from the location tracker, information of the tracked location of the device during the session; and
associating a specific time at which the specific sensed condition is detected by the device with a location of the device in space at the specific time. 제11항에 있어서, 상기 디바이스는 헤어 스타일링 툴이고 상기 신체 부위는 사용자의 모발인, 방법.12. The method of claim 11, wherein the device is a hair styling tool and the body part is a user's hair. 제12항에 있어서, 상기 감지된 상태는 상기 모발의 손상된 영역인, 방법.13. The method of claim 12, wherein the detected condition is a damaged area of the hair. 제11항에 있어서, 상기 감지된 상태는 상기 신체 부위의 적어도 하나의 감지된 이미지에 기초하는 것인, 방법.12. The method of claim 11, wherein the sensed state is based on at least one sensed image of the body part. 제11항에 있어서, 상기 감지된 상태는 상기 디바이스가 상기 신체 부위와 접촉할 때 감지된 사운드에 기초하는 것인, 방법.12. The method of claim 11, wherein the sensed state is based on a sound sensed when the device contacts the body part. 제11항에 있어서, 상기 감지된 상태는 상기 신체 부위의 감지된 건조도 수준에 기초하는 것인, 방법.12. The method of claim 11, wherein the sensed condition is based on a sensed dryness level of the body part. 제11항에 있어서, 상기 디바이스는 피부 관리 툴이고 상기 신체 부위는 상기 사용자의 피부인, 방법.12. The method of claim 11, wherein the device is a skin care tool and the body part is the user's skin. 제17항에 있어서, 상기 감지된 상태는 주름, 눈가 잔주름, 여드름, 및 블랙 헤드 중 적어도 하나인, 방법.18. The method of claim 17, wherein the detected condition is at least one of wrinkles, crow's feet, acne, and blackheads. 제11항에 있어서, 상기 센서는 상기 디바이스 상에 있고 상기 사용자의 상기 신체 부위를 향하도록 구성된 것인, 방법.12. The method of claim 11, wherein the sensor is on the device and configured to face the body part of the user. 제11항에 있어서, 상기 적어도 하나의 센서는 외부에 있고 상기 신체 부위에 관한 상기 디바이스의 움직임을 캡처하는 것인, 방법.12. The method of claim 11, wherein the at least one sensor is external and captures movement of the device relative to the body part. 시스템으로서,
상기 시스템은, 사용자의 신체 부위를 처치하도록 구성된 디바이스로서, 상기 신체 부위의 상태를 감지하도록 구성된 적어도 하나의 센서를 포함하는, 상기 디바이스; 및 공간 내에서 상기 디바이스의 위치를 추적하도록 구성된 위치 추적기를 포함하며,
상기 시스템은 처리 회로부를 더 포함하며, 상기 처리 회로부는,
상기 사용자가 사용자의 신체 부위에 대한 공간의 원하는 원점에서 상기 디바이스를 홀딩하고 있는 동안, 상기 사용자로부터 입력을 상기 디바이스가 수신하는 것에 기초하여 세션이 시작되었다는 입력을 수신하고 - 상기 적어도 하나의 센서는 상기 신체 부위의 상태를 감지하기 시작하고 상기 위치 추적기는 상기 세션을 시작할 때 공간에서 상기 디바이스의 위치를 추적하기 시작하여 상기 세션이 시작된 시점부터 동기화된 시간 데이터를 기반으로 상기 적어도 하나의 센서 및 상기 위치 추적기가 병렬적으로 동작함 - ,
상기 세션 동안 디바이스의 상기 적어도 하나의 센서에 의해 검출되는 사용자의 신체 부위의 특정 감지된 상태의 정보를 수신하고,
상기 세션 동안 위치 추적기로부터 상기 디바이스의 추적된 위치의 정보를 수신하고,
상기 특정 감지된 상태가 검출되는 특정 시간을 상기 특정 시간에서의 공간 내 상기 디바이스의 위치와 연관시키며,
연관된 상기 특정 시간과 상기 디바이스의 위치에 기초하여 상기 특정 감지된 상태가 발생하는 3차원 가상 환경에서의 상기 신체 부위 상의 위치를 결정하도록 구성된 것인, 시스템.As a system,
The system includes a device configured to treat a body part of a user, the device comprising at least one sensor configured to sense a state of the body part; and a location tracker configured to track the location of the device in space;
The system further includes processing circuitry, the processing circuitry comprising:
receive input that a session has started based on the device receiving input from the user while the user is holding the device at a desired origin in space for a body part of the user, the at least one sensor comprising: It starts to detect the state of the body part and the location tracker starts to track the position of the device in space when the session starts, and the at least one sensor and the - Location tracker works in parallel,
receive information of a particular sensed state of a body part of a user detected by the at least one sensor of a device during the session;
receive information of the tracked location of the device from a location tracker during the session;
associating a specific time at which the specific sensed condition is detected with a location of the device in space at the specific time;
and determine a location on the body part in a three-dimensional virtual environment at which the particular sensed condition occurs based on the location of the device and the particular time associated therewith. 제21항에 있어서, 상기 처리 회로부는 상기 특정 감지된 상태를 상기 3차원 가상 환경에 연관시키는 미리 결정된 파일 포맷을 갖는 디지털 파일을 생성하도록 구성된 것인, 시스템.22. The system of claim 21, wherein the processing circuitry is configured to generate a digital file having a predetermined file format that associates the particular sensed state with the three-dimensional virtual environment. 제22항에 있어서, 상기 미리 결정된 파일 포맷은 시간 스탬프 필드, 가속도계 좌표 필드들, 자이로스코프 필드들, 자기 콤파스 필드들, 센서 측정 필드들, 3D 좌표 필드들, 3D 노멀 필드들, 및 특정 시간 스탬프에 대응하는 엔트리들이 디스플레이될 관심 영역을 나타내는지를 표시하기 위한 필드 중 적어도 하나를 포함하는 것인, 시스템.23. The method of claim 22, wherein the predetermined file format includes time stamp fields, accelerometer coordinate fields, gyroscope fields, magnetic compass fields, sensor measurement fields, 3D coordinate fields, 3D normal fields, and a specific time stamp. and at least one of fields for indicating whether the entries corresponding to represent the region of interest to be displayed. 제22항에 있어서, 상기 처리 회로부는 상기 3차원 가상 환경의 디스플레이를 생성하기 위해 상기 디지털 파일을 디스플레이 디바이스로 출력하도록 구성된 것인, 시스템.23. The system of claim 22, wherein the processing circuitry is configured to output the digital file to a display device to generate a display of the three-dimensional virtual environment. 제24항에 있어서, 상기 3차원 가상 환경의 상기 디스플레이는 상기 사용자의 3차원 표현 상에 상기 특정 감지된 상태를 묘사하는 것인, 시스템.25. The system of claim 24, wherein the display of the three-dimensional virtual environment depicts the particular sensed state on a three-dimensional representation of the user. 제22항에 있어서, 상기 처리 회로부는 상기 감지된 상태를 처치하도록 디바이스를 제어하기 위한 상기 디지털 파일에 기초하여 디지털 처방(recipe)을 생성하고, 상기 디지털 처방을 스타일링 툴로 전송하도록 구성되는 것인, 시스템.23. The method of claim 22, wherein the processing circuitry is configured to generate a digital recipe based on the digital file for controlling a device to treat the sensed condition and transmit the digital recipe to a styling tool. system. 시스템에 의해 구현되는 방법으로서,
상기 시스템은, 사용자의 신체 부위를 처치하도록 구성된 디바이스로서, 상기 신체 부위의 상태를 감지하도록 구성된 적어도 하나의 센서를 포함하는, 상기 디바이스; 및 공간 내에서 상기 디바이스의 위치를 추적하도록 구성된 위치 추적기를 포함하며, 상기 방법은:
상기 사용자가 사용자의 신체 부위에 대한 공간의 원하는 원점에서 상기 디바이스를 홀딩하고 있는 동안, 상기 사용자로부터 입력을 상기 디바이스가 수신하는 것에 기초하여 세션이 시작되었다는 입력을 수신하는 단계 - 상기 적어도 하나의 센서는 상기 신체 부위의 상태를 감지하기 시작하고 상기 위치 추적기는 상기 세션을 시작할 때 공간에서 상기 디바이스의 위치를 추적하기 시작하여 상기 세션이 시작된 시점부터 동기화된 시간 데이터를 기반으로 상기 적어도 하나의 센서 및 상기 위치 추적기가 병렬적으로 동작함 - 와;
상기 세션 동안 디바이스의 적어도 하나의 센서에 의해 검출되는 사용자의 신체 부위의 특정 감지된 상태의 정보를 수신하는 단계;
상기 세션 동안 위치 추적기로부터 상기 디바이스의 추적된 위치의 정보를 수신하는 단계;
상기 특정 감지된 상태가 검출되는 특정 시간을 상기 특정 시간에서의 공간 내 상기 디바이스의 위치와 연관시키는 단계; 및
연관된 상기 특정 시간과 상기 디바이스의 위치에 기초하여 상기 특정 감지된 상태가 발생하는 3차원 가상 환경에서의 상기 신체 부위 상의 위치를 결정하는 단계를 포함하는, 방법.As a method implemented by the system,
The system includes a device configured to treat a body part of a user, the device comprising at least one sensor configured to sense a state of the body part; and a location tracker configured to track a location of the device in space, the method comprising:
receiving an input that a session has started based on the device receiving an input from the user while the user is holding the device at a desired origin of space for a body part of the user - the at least one sensor starts to detect the state of the body part and the location tracker starts to track the location of the device in space when the session starts, and the at least one sensor and The location tracker operates in parallel - wow;
receiving information of a specific sensed state of a body part of a user detected by at least one sensor of a device during the session;
receiving information of the tracked location of the device from a location tracker during the session;
associating a specific time at which the specific sensed condition is detected with a location of the device in space at the specific time; and
determining a location on the body part in a three-dimensional virtual environment at which the particular sensed condition occurs based on the location of the device and the particular time associated therewith. 제27항에 있어서, 상기 특정 감지된 상태를 상기 3차원 가상 환경에 연관시키는 미리 결정된 파일 포맷을 갖는 디지털 파일을 생성하는 단계를 더 포함하는, 방법.28. The method of claim 27, further comprising creating a digital file having a predetermined file format that associates the particular sensed state with the three-dimensional virtual environment. 제28항에 있어서, 상기 미리 결정된 파일 포맷은 시간 스탬프 필드, 가속도계 좌표 필드들, 자이로스코프 필드들, 자기 콤파스 필드들, 센서 측정 필드들, 3D 좌표 필드들, 3D 노멀 필드들, 및 특정 시간 스탬프에 대응하는 엔트리들이 디스플레이될 관심 영역을 나타내는지를 표시하기 위한 필드 중 적어도 하나를 포함하는 것인, 방법.29. The method of claim 28, wherein the predetermined file format includes time stamp fields, accelerometer coordinate fields, gyroscope fields, magnetic compass fields, sensor measurement fields, 3D coordinate fields, 3D normal fields, and a specific time stamp. and at least one of fields for indicating whether the entries corresponding to represent the region of interest to be displayed. 제28항에 있어서, 상기 3차원 가상 환경의 디스플레이를 생성하기 위한 상기 디지털 파일을 디스플레이 디바이스로 출력하는 단계를 더 포함하는, 방법.29. The method of claim 28, further comprising outputting the digital file to a display device for generating a display of the three-dimensional virtual environment. 제30항에 있어서, 상기 3차원 가상 환경의 상기 디스플레이는 상기 사용자의 3차원 표현 상에 상기 특정 감지된 상태를 묘사하는 것인, 방법.31. The method of claim 30, wherein the display of the three-dimensional virtual environment depicts the particular sensed state on a three-dimensional representation of the user. 제28항에 있어서, 상기 감지된 상태를 처치하도록 디바이스를 제어하기 위한 상기 디지털 파일에 기초하여 디지털 처방을 생성하는 단계, 및 상기 디지털 처방을 스타일링 툴로 전송하는 단계를 더 포함하는, 방법.29. The method of claim 28, further comprising generating a digital prescription based on the digital file for controlling a device to treat the sensed condition, and sending the digital prescription to a styling tool.

Images