JP2022500180A - A system for detecting the condition of the user's body part when using a beauty device and associating it with a three-dimensional environment. - Google Patents

A system for detecting the condition of the user's body part when using a beauty device and associating it with a three-dimensional environment. Download PDF

Info

Publication number
JP2022500180A
JP2022500180A JP2021515031A JP2021515031A JP2022500180A JP 2022500180 A JP2022500180 A JP 2022500180A JP 2021515031 A JP2021515031 A JP 2021515031A JP 2021515031 A JP2021515031 A JP 2021515031A JP 2022500180 A JP2022500180 A JP 2022500180A
Authority
JP
Japan
Prior art keywords
detection state
sensor
user
location
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021515031A
Other languages
Japanese (ja)
Inventor
グレゴワール シャーロー，
エルガ マラプラード，
グイヴ バルーチ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOreal SA
Original Assignee
LOreal SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/137,614 external-priority patent/US10943394B2/en
Priority claimed from US16/137,610 external-priority patent/US20200093254A1/en
Application filed by LOreal SA filed Critical LOreal SA
Publication of JP2022500180A publication Critical patent/JP2022500180A/en
Priority to JP2023093581A priority Critical patent/JP2023134415A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D1/00—Curling-tongs, i.e. tongs for use when hot; Curling-irons, i.e. irons for use when hot; Accessories therefor
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D1/00—Curling-tongs, i.e. tongs for use when hot; Curling-irons, i.e. irons for use when hot; Accessories therefor
    • A45D1/16—Curling-tongs, i.e. tongs for use when hot; Curling-irons, i.e. irons for use when hot; Accessories therefor with a single heated member
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D20/00—Hair drying devices; Accessories therefor
    • A45D20/04—Hot-air producers
    • A45D20/08—Hot-air producers heated electrically
    • A45D20/10—Hand-held drying devices, e.g. air douches
    • A45D20/12—Details thereof or accessories therefor, e.g. nozzles, stands
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D2/00—Hair-curling or hair-waving appliances ; Appliances for hair dressing treatment not otherwise provided for
    • A45D2002/003—Appliances for hair dressing treatment not otherwise provided for
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D2200/00—Details not otherwise provided for in A45D
    • A45D2200/15—Temperature
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D2200/00—Details not otherwise provided for in A45D
    • A45D2200/20—Additional enhancing means
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/104—Hair brush
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1046—Brush used for applying cosmetics

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

ユーザーの身体部分を処理するように構成された装置を含むシステムを提供し、装置は、身体部分の状態を検知するように構成される少なくとも１つのセンサ、及び空間における装置の場所を追跡するように構成された場所トラッカーを含み、システムは、セッションの間、少なくとも１つのセンサによって検出された身体部分の特定の検知状態の情報を受信し、セッションの間、装置の追跡した場所の情報を場所トラッカーから受信し、特定の検知状態が装置によって検出される特定の時間を、特定の時間の空間における装置の場所と関連付けるように構成される処理回路を含む。【選択図】図１Provides a system that includes a device configured to process a user's body part, the device to track at least one sensor configured to detect the condition of the body part, and the location of the device in space. Including a location tracker configured in, the system receives information on the specific detection state of the body part detected by at least one sensor during the session and places information on the location tracked by the device during the session. Includes a processing circuit that is configured to associate a particular time received from a tracker and a particular detection state is detected by the device with the location of the device in a particular time space. [Selection diagram] Fig. 1

Description

関連出願の相互参照
本出願は、米国特許出願第１６／１３７，６１０号及び第１６／１３７，６１４号の利益に関し、その利益を主張し、両者とも２０１８年９月２１日に出願され、それぞれの全体内容は、参照により本明細書に組み込まれる。 Cross-reference to related applications This application claims the interests of US patent applications 16 / 137,610 and 16 / 137,614, both of which were filed on September 21, 2018, respectively. The entire contents of are incorporated herein by reference.

本出願は、スタイリングツールのセンサからの情報及び検知動作中の空間における追跡場所に基づいて、ユーザーの検知状態の場所を追跡するための、仮想３次元環境において、ユーザーの頭に検知状態を再構築するための、ユーザーの表示にフィードバックを提供するために３次元再構築を使用するための、又は検知状態に基づいて接続されたスタイリングツールを制御するためのシステムに関する。 The present application re-discovers the detection state in the user's head in a virtual three-dimensional environment for tracking the location of the user's detection state based on the information from the sensor of the styling tool and the tracking location in the space during the detection operation. It relates to a system for building, using 3D reconstruction to provide feedback to the user's display, or controlling connected styling tools based on detection state.

一実施形態において、システム及び方法を提供し、装置は、ユーザーの身体部分を処理するように構成され、装置は、身体部分の状態を検知するように構成される少なくとも１つのセンサを含み、場所トラッカーは、空間における装置の場所を追跡するように構成され、システムは、セッションの間、少なくとも１つのセンサによって検出された身体部分の特定の検知状態の情報を受信し、セッションの間、装置の追跡した場所の情報を場所トラッカーから受信し、特定の検知状態が装置によって検出された特定の時間を、特定の時間の空間における装置の場所と関連付けるように構成される処理回路を含む。 In one embodiment, the system and method are provided, the device is configured to process a user's body part, and the device comprises at least one sensor configured to detect the condition of the body part, the location. The tracker is configured to track the location of the device in space, and the system receives information on the specific detection state of the body part detected by at least one sensor during the session and during the session of the device. Includes a processing circuit configured to receive tracked location information from a location tracker and associate a particular time when a particular detection state is detected by the device with the device's location in a particular time space.

一実施形態において、装置は、ヘアスタイリングツールであり、身体部分はユーザーの毛髪である。 In one embodiment, the device is a hair styling tool and the body part is the user's hair.

一実施形態において、検知状態は、毛髪の損傷領域である。 In one embodiment, the detection state is a damaged area of hair.

一実施形態において、検知状態は、身体部分の少なくとも１つの検知画像に基づく。 In one embodiment, the detection state is based on at least one detection image of the body part.

一実施形態において、検知状態は、装置が身体部分に接触した場合に検知される音に基づく。 In one embodiment, the detection state is based on the sound detected when the device comes into contact with a body part.

一実施形態において、検知状態は、身体部分の検知した乾燥レベルに基づく。 In one embodiment, the detection state is based on the detected dryness level of the body part.

一実施形態において、装置は、スキンケアツールであり、身体部分（ｂｏｄｙ ｐａｒｔｙ）はユーザーの皮膚である。 In one embodiment, the device is a skin care tool and the body party is the user's skin.

一実施形態において、検知状態は、しわ、目尻の小じわ、ニキビ（ａｃｎｅ）及び黒ニキビ（ｂｌａｃｋｈｅａｄ）の少なくとも１つである。 In one embodiment, the detection state is at least one of wrinkles, fine wrinkles at the corners of the eyes, acne and blackheads.

一実施形態において、センサは装置にあり、ユーザーの身体部分に対面するように構成される。 In one embodiment, the sensor is in the device and is configured to face the user's body part.

一実施形態において、少なくとも１つのセンサは、外部であり、身体部分に関係して、装置の動きを捕える。 In one embodiment, the at least one sensor is external and relates to a body part to capture the movement of the device.

一実施形態において、システム及び方法を提供し、処理回路は、セッションの間、少なくとも１つのセンサによって検出されたユーザーの身体部分の特定の検知状態の情報を受信し、セッションの間、装置の追跡場所の情報を場所トラッカーから受信し、特定の検知状態が装置によって検出された特定の時間を、特定の時間の空間における装置の場所と関連付け、関連付けられた特定の時間及び装置の場所に基づいて、特定の検知状態が発生した場合、３次元仮想環境において、身体部分の場所を決定するように構成される。 In one embodiment, the system and method are provided, the processing circuit receives information on a particular detection state of a user's body part detected by at least one sensor during a session and tracks the device during the session. Location information is received from the location tracker, the specific time when a specific detection state is detected by the device is associated with the device location in a specific time space, and based on the associated specific time and device location. , When a specific detection state occurs, it is configured to determine the location of a body part in a three-dimensional virtual environment.

一実施形態において、処理回路は、特定の検知状態を３次元仮想環境に関連付ける所定のファイルフォーマットを有するデジタルファイルを生成するように構成される。 In one embodiment, the processing circuit is configured to generate a digital file with a predetermined file format that associates a particular detection state with a three-dimensional virtual environment.

一実施形態において、所定のファイルフォーマットは、タイムスタンプフィールド、加速度計座標フィールド、ジャイロスコープフィールド、磁気コンパスフィールド、センサ測定フィールド、３Ｄ座標フィールド、３Ｄ正規フィールド、及び特定のタイムスタンプに対応するエントリが表示される目的の領域を表すかどうかを示すフィールドの少なくとも１つを含む。 In one embodiment, the predetermined file format includes a time stamp field, an accelerometer coordinate field, a gyroscope field, a magnetic compass field, a sensor measurement field, a 3D coordinate field, a 3D regular field, and an entry corresponding to a particular time stamp. Includes at least one of the fields indicating whether to represent the desired area to be displayed.

一実施形態において、処理回路は、３次元仮想環境の表示を生成するために、デジタルファイルを表示装置に出力するように構成される。 In one embodiment, the processing circuit is configured to output a digital file to a display device in order to generate a display of the three-dimensional virtual environment.

一実施形態において、３次元仮想環境の表示は、ユーザーの３次元表現に、特定の検知状態を描写する。 In one embodiment, the display of the three-dimensional virtual environment describes a specific detection state in the user's three-dimensional representation.

一実施形態において、処理回路は、装置を制御して、検知状態を処理するために、デジタルファイルに基づいて、デジタルレシピを生成し、デジタルレシピをスタイリングツールに送信するように構成される。 In one embodiment, the processing circuit is configured to generate a digital recipe based on a digital file and send the digital recipe to a styling tool in order to control the device and process the detection state.

本発明の先の態様及び付帯の利点の多くは、以下の詳細な記述を参照することによってより良く理解されるのと同じように、添付の図面と併せると、より容易に認識されるであろう。 Many of the earlier aspects and ancillary advantages of the present invention will be more easily recognized in conjunction with the accompanying drawings, just as they are better understood by reference to the detailed description below. Let's do it.

図１は、ユーザーの特徴を検知するためのフィードバックシステムを示す。FIG. 1 shows a feedback system for detecting user characteristics. 図２は、一実施形態による全体のシステムの構成要素を示す。FIG. 2 shows the components of the entire system according to one embodiment. 図３は、一実施形態による検知構成要素の概要を示す。FIG. 3 shows an outline of the detection component according to one embodiment. 図４Ａ、４Ｂ、及び４Ｃは、装置の動き及び空間位置を「オンボード」例においてどのようにして追跡することができるのかを示す一例を示す。4A, 4B, and 4C show an example showing how the movement and spatial position of a device can be tracked in an "onboard" example. 図５は、一実施形態における「オンボード」例による装置において実行される過程を示す。FIG. 5 shows a process performed in a device according to an "onboard" example in one embodiment. 図６Ａ及び６Ｂは、一実施形態において別個のセンサを使用する一例を示す。6A and 6B show an example of using separate sensors in one embodiment. 図７は、一実施形態による装置とセンサとの間で実行される過程を示す。FIG. 7 shows a process performed between the device and the sensor according to one embodiment. 図８は、一実施形態による装置のハードウェア構成要素の電気ブロック図の図を示す。FIG. 8 shows a diagram of an electrical block diagram of the hardware components of the device according to one embodiment. 図９は、一実施形態によるセンサのハードウェア構成要素の電気ブロック図の図を示す。FIG. 9 shows a diagram of an electrical block diagram of the hardware components of the sensor according to one embodiment. 図１０は、一実施形態による３次元再構築構成要素の概要を示す。FIG. 10 shows an outline of a three-dimensional reconstruction component according to an embodiment. 図１１は、一実施形態による検知状態の座標を仮想３Ｄユーザー画像にマップするために、システムによって実行される過程を示す。FIG. 11 shows a process performed by the system to map the coordinates of the detection state according to one embodiment to a virtual 3D user image. 図１２は、一実施形態による３Ｄ再構築アルゴリズムに基づいて作製された異なるデジタルファイルフォーマットの例を示す。FIG. 12 shows examples of different digital file formats created based on the 3D reconstruction algorithm according to one embodiment. 図１３は、一実施形態によるフィードバック構成要素の概要を示す。FIG. 13 shows an overview of feedback components according to an embodiment. 図１４は、一実施形態による装置によって実行することができるアルゴリズムを示す。FIG. 14 shows an algorithm that can be executed by the device according to one embodiment. 図１５は、装置が一実施形態によるヘアスタイリングツールである場合のデジタルレシピの用途を示す。FIG. 15 shows the use of a digital recipe when the device is a hair styling tool according to one embodiment. 図１６は、一実施形態によるユーザーの皮膚に作用する音波振とうブラシ装置である装置の例を示す。FIG. 16 shows an example of a device that is a sonic shaking brush device that acts on the user's skin according to one embodiment. 図１７は、装置が一実施形態によるヘアスタイリングツールである場合の３Ｄ再構築及びデジタルレシピの用途を示す。FIG. 17 shows the use of 3D reconstruction and digital recipes when the device is a hair styling tool according to one embodiment.

図１は、同時係属中の米国特許出願第１５／７２１，２８６号に現在記載されているフィードバックシステム１００を示し、参照により本明細書に組み込まれる。システム１００は、ヘアドライヤー装置１１０及びブラシ装置１５０を含む。ヘアドライヤー１１０は、熱風を生成し、出口１１２から熱風を放出するように、通常のヘアドライヤーの機能を実行する。ブラシ１５０は、ブラシの軸の周りに配置される毛１５４を含む（「円形」のヘアブラシタイプ）。しかしながら、追加の周知のヘアブラシタイプも使用することができる。 FIG. 1 shows the feedback system 100 currently described in US Patent Application No. 15 / 721,286, which is pending at the same time, and is incorporated herein by reference. The system 100 includes a hair dryer device 110 and a brush device 150. The hair dryer 110 performs the function of a normal hair dryer so as to generate hot air and emit hot air from the outlet 112. The brush 150 includes bristles 154 placed around the axis of the brush (a "circular" hairbrush type). However, additional well-known hairbrush types can also be used.

さらに、ヘアドライヤー装置１１０及びブラシ装置１５０は、追加の構成要素を含む。例えば、ヘアドライヤー装置１１０は、温度コントローラ１１４及びアクチュエータ１１６をさらに含む。温度コントローラ１１４は、ヘアドライヤーによって放出された空気の温度を制御し、調節する。アクチュエータは、空気流のパターンの形状及び空気流の速度を制御する。アクチュエータは、空気流において移動して、その形状を修正することができる可動性の機械部品であってもよい。ヘアドライヤーは、ヘアドライヤーの出口１１２の近くに好ましくは配置される近接センサ１１８をさらに含んでもよい。近接センサは、技術分野で周知の赤外センサ等の光学センサであってもよい。しかしながら、静電容量センサ、超音波センサ又はドップラーセンサ等のその他の例を使用してもよい。 In addition, the hair dryer device 110 and the brush device 150 include additional components. For example, the hair dryer device 110 further includes a temperature controller 114 and an actuator 116. The temperature controller 114 controls and regulates the temperature of the air discharged by the hair dryer. The actuator controls the shape of the air flow pattern and the speed of the air flow. The actuator may be a mobile mechanical component that can move in an air stream to modify its shape. The hair dryer may further include a proximity sensor 118 preferably located near the outlet 112 of the hair dryer. The proximity sensor may be an optical sensor such as an infrared sensor well known in the technical field. However, other examples such as capacitive sensors, ultrasonic sensors or Doppler sensors may be used.

ヘアドライヤー装置１１０は、受信した検知特徴に基づいて、ヘアドライヤーの少なくとも１つの設定を変化させるように構成される。一実施形態において、ヘアドライヤー装置１１０は、受信した検知特徴に基づいて、ヘアドライヤーの少なくとも１つの設定を動的に調整するように構成される。 The hair dryer device 110 is configured to change at least one setting of the hair dryer based on the detected detection features received. In one embodiment, the hair dryer device 110 is configured to dynamically adjust at least one setting of the hair dryer based on the detected detection features received.

ブラシ装置は、外部装置（ヘアドライヤー１５０等）と無線通信を実行するために、無線ＲＦ通信インターフェース等の通信及び制御回路を含むそれ自体のＰＣＢ１８０をさらに含んでもよい。ＰＣＢは、アクセラレータ／ジャイロメータ等の動き検出装置をさらに保持してもよい。 The brush device may further include its own PCB 180 including a communication and control circuit such as a wireless RF communication interface to perform wireless communication with an external device (hair dryer 150 etc.). The PCB may further hold a motion detection device such as an accelerator / gyromometer.

ブラシ装置は、毛髪の湿度センサ及び温度センサも含んでもよい。毛髪及び湿度センサが、技術分野において周知であり、理解されている。 The brush device may also include a hair humidity sensor and a temperature sensor. Hair and humidity sensors are well known and understood in the art.

図１に描写されるように、ブラシ装置１５０とヘアドライヤー１１０との間の無線機械間フィードバックループであってもよく、各装置に組み込まれた無線ＲＦ通信インターフェース間の通信によって容易になる。このようなフィードバックループにおいて、ブラシは、ヘアドライヤーが動作しているときの温度、ユーザーの毛髪の湿度レベルを検知し、このようなフィードバックをヘアドライヤーに提供することができる。この情報に基づいて、ヘアドライヤーは、例えば、ヘアドライヤーの発熱素子の抵抗を調節し、ファンの速度を調節し、及び／又は空気流の形状を制御する機械要素の形状を調節することによって、空気流の温度及び／又は形状及び／又は速度を調節することができる。 As depicted in FIG. 1, there may be a wireless machine-to-machine feedback loop between the brush device 150 and the hair dryer 110, facilitated by communication between the wireless RF communication interfaces built into each device. In such a feedback loop, the brush can detect the temperature when the hair dryer is operating, the humidity level of the user's hair, and provide such feedback to the hair dryer. Based on this information, the hair dryer may, for example, adjust the resistance of the heating element of the hair dryer, adjust the speed of the fan, and / or adjust the shape of the mechanical element that controls the shape of the air flow. The temperature and / or shape and / or velocity of the air flow can be adjusted.

したがって、通常の技術において、ヘアドライヤーにおいて、直接的に調節を行うために、ユーザーの毛髪の特徴を検知することができるヘアブラシ及び／又はヘアドライヤーがあってもよい。しかしながら、必要とされることは、ユーザーにフィードバックするために仮想３次元環境において再構築することができるように、ユーザーの検知状態の特定の場所を決定し、将来において、又はさらにリアルタイムにユーザーの毛髪を処理する場合に、より精細な制御及び調節をスタイリングツールに提供する能力である。 Therefore, in conventional techniques, there may be a hairbrush and / or a hair dryer capable of detecting the characteristics of the user's hair for direct adjustment in the hair dryer. However, what is needed is to determine a specific location for the user's detection state so that it can be reconstructed in a virtual 3D environment for feedback to the user, in the future or even in real time. The ability to provide styling tools with finer control and adjustment when treating hair.

したがって、システムの１つの目的は、スタイリングツールセンササンプルをユーザーの３Ｄ表現における空間位置と融合することである。一実施形態によるシステムは、以下から構成することができる：
−皮膚及び／又は毛髪のためのスタイリングツール又は診断ツール、
−加速度、角速度及び磁場を記録するドングル又は一体型加速度計／ジャイロスコープ／磁気コンパス、
−赤外又は超音波方法に基づくカメラ及び／又は近接センサを有する視覚システムによって完成することができる３Ｄ位置システム、
−ツールによるユーザー専用の経験、及び
−３Ｄ再構築アルゴリズム。 Therefore, one purpose of the system is to fuse the styling tool sensor sample with the spatial position in the user's 3D representation. The system according to one embodiment can be configured from:
-Styling or diagnostic tools for skin and / or hair,
-Dongle or integrated accelerometer / gyroscope / magnetic compass that records acceleration, angular velocity and magnetic field,
-A 3D position system that can be completed by a visual system with a camera and / or proximity sensor based on infrared or ultrasonic methods.
-User-specific experience with tools, and -3D reconstruction algorithms.

システムは、使用するツールの種類に依存して、ユーザーの頭又はユーザーの身体の別の部分におけるツールの位置及び配向をリアルタイムに決定することができる。 The system can determine the position and orientation of the tool in real time on the user's head or another part of the user's body, depending on the type of tool used.

マイクロホン、カメラ、コンダクタンス、力等のセンサの一時的な測定値を動き／空間追跡ツール（加速度計、ジャイロスコープ及び／又はコンパス等）によって記録した３Ｄ位置と同調させることによって、システムにユーザーの検出状態を３Ｄに再構築させることができる。 User detection by the system by synchronizing temporary measurements of sensors such as microphones, cameras, conductances, forces, etc. with 3D positions recorded by motion / spatial tracking tools (accelerometers, gyroscopes and / or compasses, etc.) The state can be reconstructed in 3D.

システムの別の目的は、デジタルフォーマットを使用して、異なる種類の測定値を同じスケールに正規化し、結合することである。 Another purpose of the system is to use a digital format to normalize and combine different types of measurements to the same scale.

それぞれのスマートスタイリングツール又は診断ツールは、一体型の特定のセンサを有する：
−接続したヘアブラシは、毛髪の損傷を聴くためのマイクロホン、力センサ、導電性を含んでもよく、
−スタイリングアイロンは、温度及び湿度、毛髪のコンダクタンス、接触時間、毛髪にかかる合計エネルギーを検知することができ、
−カメラ診断ツール：皮膚／毛髪の特性の顕微鏡画像、異なる波長の照明下の画像処理能力による水和作用。 Each smart styling tool or diagnostic tool has a specific sensor integrated:
-The connected hairbrush may include a microphone, force sensor, conductivity for listening to hair damage,
-The styling iron can detect temperature and humidity, hair conductance, contact time, total energy applied to the hair,
-Camera diagnostic tools: microscopic images of skin / hair characteristics, hydration due to image processing capabilities under different wavelength illumination.

３Ｄ位置システムを追加し、センサの測定値をこれらのツールの位置と同調して、測定値を結合し、それをユーザーの身体表面に局在化する一般的なファイルフォーマットを作製することができる。 A 3D position system can be added to synchronize sensor measurements with the positions of these tools to create a common file format that combines the measurements and localizes them to the user's body surface. ..

ファイルフォーマットは、以下を少なくとも有する：
−ユーザーの経験によって特定される物理的開始点及びユーザーの身体
−同調を確実にするセンサの標本化周波数と適合する精細なタイムスタンプ
−適切な計算に特定されなければならないデータフォーマット及びセンサのユニット
−センサの数及び種類
−特定のユーザーアクション
−３Ｄ表示を再構築するために記録されたユーザーの身体領域
−コンテキスト情報及び排他的ではない：タイムゾーン、位置情報、天候、温度、バージョン。 The file format has at least the following:
-Physical starting point specified by the user's experience and the user's body-Fine time stamp matching the sampling frequency of the sensor to ensure synchronization-Data format and sensor unit that must be specified for proper calculation -Number and type of sensors-Specific user actions-User body area recorded to reconstruct the 3D display-Contextual and non-exclusive: timezone, location, weather, temperature, version.

この一般的なデジタルファイルフォーマット標準は、より精細な分析のために、全ての種類の測定値を同じ空間参照に統一することができる。 This common digital file format standard allows all types of measurements to be unified into the same spatial reference for finer analysis.

図２は、一実施形態による全体のシステム２００の構成要素を示す。システムは、検知構成要素２０１、３Ｄ再構築構成要素２０２、フィードバック構成要素２０３を含むように広く描写し、それぞれを以下に詳細に記述する。 FIG. 2 shows the components of the entire system 200 according to one embodiment. The system is broadly described to include the detection component 201, the 3D reconstruction component 202, and the feedback component 203, each described in detail below.

図３は、前述のシステム２００による検知構成要素２０１の概要を示す。検知構成要素は、スタイリングツール３０１を含み、センサを有するヘアブラシとして記述する。しかしながら、ヘアドライヤー、フラットアイロン等の任意の数のスタイリングツールであってもよい。センサは、図１に示されるセンサの種類のようなユーザーの毛髪の状態を検知するためのセンサであってもよく、毛髪の湿度センサ及び／又は温度センサを含む。センサは、接近して毛髪の損傷を検出するための光学センサ、又はさらには、ブラシをかけた時に生じる音に基づいて毛髪の状態を検出するためのオーディオセンサであってもよい。センサは、赤外セル又は超音波センサ等の近接センサであってもよい。近接センサを使用して、装置／センサ間の距離を測定し、適切なアクションを実行する。例えば、ユーザーの頭がヘアドライヤーの排気の近くにあり過ぎる場合、ヘアドライヤーは温かすぎる空気を毛髪に吹きかけるべきではない。対照的に、センサが皮膚及び／又は毛髪に関係する測定を行うことができる良い範囲にある場合を装置は検出する。 FIG. 3 shows an outline of the detection component 201 by the system 200 described above. The detection component includes the styling tool 301 and is described as a hairbrush with a sensor. However, it may be any number of styling tools such as hair dryers, flat irons and the like. The sensor may be a sensor for detecting the condition of the user's hair, such as the sensor type shown in FIG. 1, including a hair humidity sensor and / or a temperature sensor. The sensor may be an optical sensor for detecting hair damage in close proximity, or even an audio sensor for detecting the condition of hair based on the sound produced when brushing. The sensor may be a proximity sensor such as an infrared cell or an ultrasonic sensor. Proximity sensors are used to measure the device / sensor distance and take appropriate action. For example, if the user's head is too close to the hair dryer's exhaust, the hair dryer should not blow too warm air onto the hair. In contrast, the device detects when the sensor is in a good range where measurements related to skin and / or hair can be made.

動き又は空間位置又は空間位置の変化を検出するために、ヘアブラシは、技術分野で周知の加速度計／ジャイロスコープ又は磁気コンパスを含んでもよい。 To detect movement or spatial position or change in spatial position, the hairbrush may include an accelerometer / gyroscope or magnetic compass well known in the art.

あるいは、検知構成要素は、別個のセンサ３０２を含んでもよい。センサ３０２は、スタイリングツールに含まれる同様のセンサを含んでもよいが、環境の画像を捕え、画像認識を行うことができるカメラを含んでもよい。画像認識は、スタイリングツールに関係して、ユーザーの存在及び位置を検出するために使用することができる。 Alternatively, the detection component may include a separate sensor 302. The sensor 302 may include a similar sensor included in the styling tool, but may also include a camera capable of capturing an image of the environment and performing image recognition. Image recognition can be used to detect the presence and location of a user in connection with styling tools.

センサ３０２は、スタイリングツールから送信される特定の信号を検出することもでき、センサ３０２にセンサの位置に関係して、スタイリングツールの特定の位置を検出させることができる。ユーザーが頭の領域に所定の位置に装着可能なセンサ（ネックレス又はユーザーの顔に付着する接着性センサ）も装着する場合、センサ３０２は、センサ３０２に関係してユーザーの空間位置をさらに検出することができる。 The sensor 302 can also detect a specific signal transmitted from the styling tool and allow the sensor 302 to detect a specific position of the styling tool in relation to the position of the sensor. If the user also wears a sensor that can be worn in place in the area of the head (a necklace or an adhesive sensor that adheres to the user's face), the sensor 302 further detects the user's spatial position in relation to the sensor 302. be able to.

光学センサ３０２がない場合、検知ハードウェアは、「オンボード」のスタイリングツールであると考えられる。３０１。図４は、スタイリングツール３０１の動き及び空間位置を「オンボード」例においてどのようにして追跡することができるのかを示す一例を示す。この例では、スタイリングツール３０１は、前述のように動き検出装置を含んでもよく、図４（Ａ）に示すように、時間＝０における最初の位置４０１からの位置の変化を検出することができる。ヘアブラシが図４（Ｂ）に示すように、時間＝１において第２の位置に移動する場合、例えば、加速度計／ジャイロスコープ／磁気コンパスによって検出される動きに基づいて、最初の位置と第２の位置との間の空間的差異を検出することができる。同様に、スタイリングツール３０１が時間＝２において第３の位置に移動する場合、最初の位置から（又はあるいは第２の位置からの）空間的差異を再度決定することができる。 In the absence of the optical sensor 302, the detection hardware is considered to be an "onboard" styling tool. 301. FIG. 4 shows an example showing how the movement and spatial position of the styling tool 301 can be tracked in an “onboard” example. In this example, the styling tool 301 may include a motion detection device as described above and can detect a change in position from the first position 401 at time = 0, as shown in FIG. 4 (A). .. As shown in FIG. 4B, when the hairbrush moves to the second position at time = 1, for example, the first position and the second position based on the movement detected by the accelerometer / gyroscope / magnetic compass. Spatial differences from the position of can be detected. Similarly, if the styling tool 301 moves to a third position at time = 2, the spatial difference from the first position (or from the second position) can be redetermined.

前述の例において、スタイリングツール３０１の最初の位置４０１は、ブラシを真っ直ぐに保持している間、頭の上部の所定の位置である。ユーザーは、時間＝０においてスタイリングツールのボタンを押して、過程を開始することができ、そのときのスタイリングツールの位置は、所定の位置の使用に対して、ユーザーの頭に関係する予測可能な原点にあると考えられる。所定の位置４０１は、図４に示される位置に限定されず、任意の所定の位置を使用してもよいが、ユーザーにとって、ユーザーの頭に関係する予測可能な場所に再作製することが容易であるほうが好ましい。 In the above example, the first position 401 of the styling tool 301 is a predetermined position on the top of the head while holding the brush straight. The user can press the button of the styling tool at time = 0 to start the process, and the position of the styling tool at that time is a predictable origin related to the user's head for the use of the given position. It is thought to be in. The predetermined position 401 is not limited to the position shown in FIG. 4, and any predetermined position may be used, but it is easy for the user to recreate it in a predictable place related to the user's head. Is preferable.

図５は、前述の「オンボード」例によるスタイリングツール３０１において実行される過程を示す。前述のように、ユーザーは、スタイリングツールが時間＝０において最初の位置にある場合、「開始」入力を入力することができる。この時間において、ステップ５０１ａでは、１つ以上の状態（湿度、温度、毛髪の損傷等）がスタイリングツールのセンサによって検出される。並行して、ステップ５０１ｂでは、前述の場所検出装置は、スタイリングツールのおよその空間位置／場所、より詳細には、センサの空間位置を検出し、場所の検出を開始する。ステップ５０２ａ及び５０２ｂにおいて、センサ及び場所検出装置は、その同調時間データに関連するそれぞれの検出データを記録しながら、並行して動作し続ける。最終的に、ステップ５０３ａ及び５０３ｂにおいて、センサ及び場所データは、ユーザーによって提供される「停止」入力に応答して、その同調タイミングで動作を停止する。 FIG. 5 shows a process performed in the styling tool 301 according to the "onboard" example described above. As mentioned above, the user can enter a "start" input if the styling tool is in the first position at time = 0. At this time, in step 501a, one or more states (humidity, temperature, hair damage, etc.) are detected by the sensor of the styling tool. In parallel, in step 501b, the location detector described above detects the approximate spatial position / location of the styling tool, more specifically the spatial position of the sensor, and initiates location detection. In steps 502a and 502b, the sensor and location detector continue to operate in parallel, recording their respective detection data associated with their tuning time data. Finally, in steps 503a and 503b, the sensor and location data stop operating at its tuning timing in response to the "stop" input provided by the user.

図４及び５は、「オンボード」の例を示したが、図６では個別のセンサ３０２を使用する場合の例を示す。図４の例と同様に、時間＝０において、スタイリングツールは、最初の位置にあってもよく、センサは近くの定位置にある。時間＝０において、センサ３０２は、前述の技術の１つに基づいて、センサ３０２に関係するスタイリングツールとユーザーの頭の両方の位置を検出する。図６（Ｂ）に示すように、任意の時間Ｎにおいて、センサ３０２は、ユーザーに関係するスタイリングツールの新しい場所を検出する。 4 and 5 show an example of “onboard”, while FIG. 6 shows an example of using individual sensors 302. Similar to the example of FIG. 4, at time = 0, the styling tool may be in the initial position and the sensor is in a nearby home position. At time = 0, the sensor 302 detects the position of both the styling tool associated with the sensor 302 and the user's head based on one of the techniques described above. As shown in FIG. 6B, at any time N, the sensor 302 detects a new location for the styling tool associated with the user.

図７は、前述の図５に示される過程と同様に、スタイリングツール３０１とセンサ３０２との間で実行される過程を示す。ユーザーは、スタイリングツールが時間＝０において最初の位置にある場合、「開始」入力を入力することができる。この時間において、ステップ７０１ａで、スタイリングツールは、センサ３０２に「開始」信号を送信することができる。したがって、スタイリングツールは、進行して、前述のようにセンサを使用して、１つ以上の状態（湿度、温度、毛髪の損傷等）を検出する。並行して、ステップ７０１ｂでは、センサ３０２は、スタイリングツールのおよその空間位置／場所を検出する。ステップ７０２ａ及び７０２ｂにおいて、センサ及び位置検出装置は、その同調時間データに関連するそれぞれの検出データを記録しながら、並行して動作し続ける。最終的に、ステップ７０３ａ及び７０３ｂにおいて、センサ及び場所データは、スタイリングツール３０１におけるユーザーによって提供される「停止」入力に応答して、その同調タイミングで動作を停止し、センサ３０２に「停止」信号を送信することができる。 FIG. 7 shows a process performed between the styling tool 301 and the sensor 302, similar to the process shown in FIG. 5 above. The user can enter a "start" input if the styling tool is in the first position at time = 0. At this time, at step 701a, the styling tool can send a "start" signal to the sensor 302. Therefore, the styling tool will proceed to detect one or more conditions (humidity, temperature, hair damage, etc.) using sensors as described above. In parallel, in step 701b, the sensor 302 detects the approximate spatial position / location of the styling tool. In steps 702a and 702b, the sensor and the position detector continue to operate in parallel, recording their respective detection data associated with their tuning time data. Finally, in steps 703a and 703b, the sensor and location data stop operating at its tuning timing in response to the "stop" input provided by the user in the styling tool 301, and a "stop" signal to the sensor 302. Can be sent.

図８は、スタイリングツール３０１が一実施形態によるヘアブラシである場合、スタイリングツール３０１のハードウェア構成要素の電気ブロック図の図を示す。ヘアブラシは、マイクロコントローラ／プロセッサ８０３、電源８０４、通信インターフェース８０５、ユーザーインターフェース８０６、メモリ８０７を含む。 FIG. 8 shows an electrical block diagram of the hardware components of the styling tool 301 when the styling tool 301 is a hairbrush according to one embodiment. The hairbrush includes a microcontroller / processor 803, a power supply 804, a communication interface 805, a user interface 806, and a memory 807.

ヘアブラシは、音検知回路８０９も含んでもよく、日々のエネルギー及びスペクトルの音の変化に基づいて、ユーザーの毛髪の乾燥状態を検出するマイクロホンを含んでもよい。 The hairbrush may also include a sound detection circuit 809 and may include a microphone that detects the dryness of the user's hair based on daily energy and spectral changes in sound.

ヘアブラシは、湿潤検知回路８１１も含んでもよい。この回路は、米国特許出願第１３／１１２，５３３号（米国公報第２０１２／０２９１７９７Ａ１）に記載されるものと同様であってもよく、参照により本明細書に組み込まれる。あるいは、湿潤検知回路は、磁場の変化を検出するホール効果センサに依存してもよく、このような変化は湿潤レベルに感応性である。 The hairbrush may also include a wetness detection circuit 811. This circuit may be similar to that described in US Patent Application No. 13 / 112,533 (US Publication No. 2012/0291797A1) and is incorporated herein by reference. Alternatively, the wetness detection circuit may rely on a Hall effect sensor to detect changes in the magnetic field, such changes being sensitive to wetness levels.

ヘアブラシは、力センサ８１１も含んでもよく、ヘッドとハンドルとの間に位置するロードセルの形態であってもよい。 The hairbrush may also include a force sensor 811 and may be in the form of a load cell located between the head and the handle.

ヘアブラシは、前述のように、ヘアブラシの近くの局所温度又は湿度を検出する周囲温度／湿度センサ８１２も含んでもよい。 The hairbrush may also include an ambient temperature / humidity sensor 812 that detects local temperature or humidity near the hairbrush, as described above.

さらに、ヘアブラシは、毛髪が濡れている又は乾燥しているかどうかを検出するために、又はユーザーの毛髪との接触を検出するために、ヘアブラシに組み込まれた導電ピンクイル８１３を含んでもよい。 In addition, the hairbrush may include conductive pinkil 813 incorporated into the hairbrush to detect whether the hair is wet or dry, or to detect contact with the user's hair.

ヘアブラシは、撮像ユニット８１４も含んでもよく、ユーザーの頭又はユーザーがヘアブラシを使用している間の毛髪と対面するブラシの外面に配置されるカメラであってもよい。撮像ユニットは、ユーザーの毛髪の熱特徴を検知する熱撮像能力を有してもよい。撮像ユニットは、また、撮像過程を補助するために、照明ユニット（ＬＥＤライト等）を備えてもよい。 The hairbrush may also include an imaging unit 814 and may be a camera placed on the user's head or on the outer surface of the brush facing the hair while the user is using the hairbrush. The imaging unit may have a thermal imaging capability to detect thermal characteristics of the user's hair. The imaging unit may also include a lighting unit (such as an LED light) to assist in the imaging process.

一実施形態において、ヘアドライヤーは、ユーザーによって保持されるヘアドライヤーの配向を検出することができる位置／動きセンサ８０８を含み、同様に、ヘアドライヤーの動き及び動きの経路も検出することができる。一実施形態において、位置／動きセンサは、地磁気センサ及び加速度センサの少なくとも１つ又は組み合わせである。例えば、３軸地磁気センサは、３軸地磁気センサを収容しているスタイリングツール（の筐体）の現在の配向があるならば、地球磁気学の方向、又は言い換えれば地磁気ベクトルＶｔを確認する。３軸加速度センサは、静止状態の３軸加速度センサを収容しているスタイリングツール（の筐体）の現在の配向があるならば、重力の方向、又は言い換えれば重力ベクトルＧを確認する。重力ベクトルＧは、下向き垂直方向に適合する。重力ベクトルＧは、同様に、Ｘｓ、Ｙｓ及びＺｓ軸構成要素に分解されてもよい。 In one embodiment, the hair dryer comprises a position / motion sensor 808 capable of detecting the orientation of the hair dryer held by the user, as well as the motion of the hair dryer and the path of motion. In one embodiment, the position / motion sensor is at least one or a combination of a geomagnetic sensor and an acceleration sensor. For example, a 3-axis geomagnetic sensor confirms the direction of geomagnetism, or in other words, the geomagnetic vector Vt, given the current orientation of the styling tool containing the 3-axis geomagnetic sensor. The 3-axis accelerometer confirms the direction of gravity, or in other words the gravity vector G, if there is a current orientation of the styling tool (housing) that houses the 3-axis accelerometer in a stationary state. The gravity vector G fits in the downward vertical direction. The gravity vector G may be similarly decomposed into Xs, Ys and Zs axis components.

あるいは、又はさらに、３軸Ｘｓ、Ｚｓ及びＹｓ（ロール、ピッチ及びヨー）の周りの角速度を検出するセンサであるジャイロスコープを使用してもよく、対象物の回転を検出することができる。さらに、地磁気センサは、前述のように、地磁気ベクトルに基づいて、対象物が対面する方向を確認することができる。 Alternatively, or in addition, a gyroscope, which is a sensor that detects the angular velocity around the three axes Xs, Zs, and Ys (roll, pitch, and yaw), may be used to detect the rotation of the object. Further, as described above, the geomagnetic sensor can confirm the direction in which the object faces each other based on the geomagnetic vector.

前述のスタイリングツール３０１の例が、ヘアブラシとして記述されている一方で、スタイリングツールは、任意の他の種類のスタイリングツール又はフラットアイロン、ヘアドライヤー、櫛、美顔用マッサージ器等のユーザーの状態又は特徴を検知するように構成される個人用電気器具であってもよい。 While the example of the styling tool 301 described above is described as a hairbrush, the styling tool is any other type of styling tool or user condition or feature such as a flat iron, hair dryer, comb, facial massager, etc. It may be a personal electric appliance configured to detect.

図９は、一実施形態によるセンサ３０２のハードウェア構成要素の電気ブロック図の図を示す。電源９０４からの電源は、マイクロコントローラ／プロセッサ９０３によって制御される。 FIG. 9 shows a diagram of an electrical block diagram of the hardware components of the sensor 302 according to one embodiment. The power supply from the power supply 904 is controlled by the microcontroller / processor 903.

センサ３０２は、通信インターフェース９０５によって別の装置とデータ通信を行うことができる。 The sensor 302 can perform data communication with another device by the communication interface 905.

センサ３０２は、ユーザーインターフェース９０６を含んでもよく、ツールの筐体における入力ボタンの形態であってもよく、又は容量性若しくは抵抗性タッチスクリーンディスプレイ等の接触検知ディスプレイの形態であってもよい。 The sensor 302 may include a user interface 906, may be in the form of an input button in the housing of the tool, or may be in the form of a contact detection display such as a capacitive or resistant touch screen display.

一実施形態において、センサ３０２は、出力インジケータ９０２を含み、照明（ＬＥＤ照明）、タッチスクリーンのインジケータ、又はスピーカーによる可聴出力の形態であってもよい。 In one embodiment, the sensor 302 includes an output indicator 902 and may be in the form of lighting (LED lighting), a touch screen indicator, or an audible output from a speaker.

一実施形態において、センサ３０２は、ヘアドライヤーを制御するために、又はユーザーのデータ若しくはその他の情報を保存するために、ソフトウェアを保存するメモリ９０７を含む。 In one embodiment, the sensor 302 includes a memory 907 that stores software to control the hair dryer or to store user data or other information.

センサ３０２は、近接センサ９１８も含んでもよく、外部対象物又は装置の存在を検出することができ、技術分野で理解されている赤外センサ等の光学センサであってもよい。しかしながら、静電容量センサ、超音波センサ又はドップラーセンサ等のその他の例を使用してもよい。 The sensor 302 may also include a proximity sensor 918 and may be an optical sensor such as an infrared sensor that can detect the presence of an external object or device and is understood in the art. However, other examples such as capacitive sensors, ultrasonic sensors or Doppler sensors may be used.

センサ３０２は、動き／位置センサ９０８を含んでもよく、スタイリングツールに含まれ、前述の位置／動きセンサ８０８に類似している。 The sensor 302 may include a motion / position sensor 908, which is included in the styling tool and is similar to the position / motion sensor 808 described above.

センサ３０２は、電荷結合素子（ＣＣＤ）及び撮像画像を生成する相補型金属酸化膜半導体（ＣＭＯＳ）等の画像センサ９０９を含む。 The sensor 302 includes an image sensor 909 such as a charge-coupled device (CCD) and a complementary metal oxide semiconductor (CMOS) that produces an image.

前述の例において、スタイリングツール３０１とセンサ３０２の両方は、クライアント装置１２０と通信するための回路及びハードウェアを含むことができる通信インターフェース（Ｉ／Ｆ）を含む。通信インターフェース２０５は、ネットワークとインターフェースするためのＢＣＭ４３３４２Ｗｉ−Ｆｉ、周波数変調及びＢｒｏａｄｃｏｍ社のブルートゥースコンボチップ等のネットワークコントローラを含んでもよい。ハードウェアは、サイズを縮小するために設計することができる。例えば、プロセッサ２０３は、技術分野で理解されているＣＰＵであってもよい。例えば、プロセッサは、Ａｐｐｌｅ社のＡＰＬ０７７８であってもよく、又は当業者によって認識されると思われるその他のプロセッサタイプであってもよい。あるいは、ＣＰＵは、当業者によって認識されると思われる、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤに実装されてもよく、又は別々の論理回路を使用してもよい。さらに、ＣＰＵは、並行して協働する複数のプロセッサとして実装されて、前述の本発明の過程の命令を実行してもよい。 In the above example, both the styling tool 301 and the sensor 302 include a communication interface (I / F) that can include circuits and hardware for communicating with the client device 120. The communication interface 205 may include a network controller such as BCM43342 Wi-Fi for interfacing with the network, frequency modulation and Broadcom's Bluetooth combo chip. Hardware can be designed to reduce size. For example, the processor 203 may be a CPU that is understood in the art. For example, the processor may be Apple's APL0778, or any other processor type that will be recognized by those of skill in the art. Alternatively, the CPU may be implemented in an FPGA, ASIC, PLD, which will be recognized by those skilled in the art, or may use separate logic circuits. Further, the CPU may be implemented as a plurality of processors that cooperate in parallel to execute the instructions in the process of the present invention described above.

図１０は、図２に前に示された３Ｄ再構築構成要素２０２の概要を示す。３Ｄ再構築構成要素において、スタイリングツール（複数可）３０１は、情報システム１００１に検知状態のデータを提供し、クラウドサーバー、コンピュータ、又は小型装置（スマートフォン、タブレット等）の形態であってもよい。さらに、センサ３０２は、環境における対象物の検出位置に関係するその記録データを情報システム１００１に提供することもできる。 FIG. 10 shows an overview of the 3D reconstruction component 202 previously shown in FIG. In the 3D reconstruction component, the styling tool (s) 301 may provide the information system 1001 with detection state data and may be in the form of a cloud server, computer, or small device (smartphone, tablet, etc.). Further, the sensor 302 can also provide the information system 1001 with the recorded data related to the detection position of the object in the environment.

情報システム１００１は、その後、１００２に描写されるように、検知データを仮想３Ｄユーザー画像にマップすることができる。仮想３Ｄユーザー画像１００２は、性別、身長、体重、毛髪の長さ、毛髪のタイプ及びその他等のユーザーの特徴に基づいて、所定の代表的なヒトの画像の仮想３Ｄ画像であってもよい。実際のユーザーの厳密なレプリカである仮想３Ｄ画像を有する必要はない。 The information system 1001 can then map the detection data to a virtual 3D user image, as depicted in 1002. The virtual 3D user image 1002 may be a virtual 3D image of a predetermined representative human image based on user characteristics such as gender, height, weight, hair length, hair type and others. It is not necessary to have a virtual 3D image that is an exact replica of the actual user.

スタイリングツール又はセンサ３０２の何れかの場所トラッカーによって提供されるデータは、１００２に描写される仮想３Ｄ画像の起点と一致する起点に関して、３次元座標の形態である。再構築の過程において、システム１００１は、スタイリングツールから受信される検知状態（毛髪の損傷等）の座標を仮想３Ｄ画像環境に直接的にマップすることができる。しかしながら、これは、仮想３Ｄ画像に示される毛髪の表面に完璧にマッピングすることができないため、システム１００１は、必要な場合、オフセットを適用して、検知状態の座標を仮想３Ｄユーザー画像の毛髪の表面の最も適切な位置にマップするように構成される。このオフセットは、検知状態の座標を仮想３Ｄユーザー画像の毛髪の表面の最も近いスポットに調節することに基づいて、適用することができる。システム１００１は、マシンラーニング技術を使用して、必要に応じてトレーニングサンプルを使用して、フィードバックを受信することに基づいて、オフセットの適用を最適化するように構成することができる。 The data provided by the location tracker, either the styling tool or the sensor 302, is in the form of three-dimensional coordinates with respect to the origin that coincides with the origin of the virtual 3D image depicted in 1002. In the process of reconstruction, the system 1001 can directly map the coordinates of the detection state (hair damage, etc.) received from the styling tool to the virtual 3D image environment. However, this cannot be perfectly mapped to the surface of the hair shown in the virtual 3D image, so the system 1001 will apply an offset, if necessary, to set the coordinates of the detection state to the hair in the virtual 3D user image. It is configured to map to the most appropriate position on the surface. This offset can be applied based on adjusting the coordinates of the detection state to the closest spot on the surface of the hair in the virtual 3D user image. System 1001 can be configured to use machine learning techniques to optimize offset application based on receiving feedback, using training samples as needed.

図１１は、検知状態の座標を３Ｄユーザー画像にマップするシステム１００１によって実行される過程を示す。ステップ１１０１において、システムは、スタイリングツール３０１から受信した検知状態を受信し、保存する。ステップ１１０２において、システムは、前述のスタイリングツール３０１又はセンサ３０２の何れかによって提供され得る検出した場所データを受信し、保存する。 FIG. 11 shows a process performed by system 1001 that maps the coordinates of the detected state to a 3D user image. In step 1101, the system receives and stores the detection state received from the styling tool 301. At step 1102, the system receives and stores the detected location data that may be provided by either the styling tool 301 or the sensor 302 described above.

ステップ１１０３において、システムは、検知状態のデータに基づいて、目的の領域（毛髪の損傷等）及び関連するタイムススタンプを分析し、抽出する。このステップは、関与するセンサの種類に基づいて異なる。例えば、損傷した毛髪の検出において、毛髪の乾燥状態の閾値以上を検出する湿潤センサの読み取りが、目的の領域の抽出を引き起こすことができる。光学又は画像センサを使用する場合、枝毛の画像認識が、目的の領域の抽出を引き起こすことができる。あるいは、音響センサを使用する場合、目的の領域は、毛髪のブラッシングの音が、過剰に乾燥している又は損傷した毛髪の特徴である特定の周波数閾値を引き起こす場所であってもよい。 At step 1103, the system analyzes and extracts the region of interest (hair damage, etc.) and associated time stamps based on the detection status data. This step depends on the type of sensor involved. For example, in the detection of damaged hair, the reading of the wetness sensor that detects the threshold value of the dry state of the hair or more can cause the extraction of the target area. When using an optical or image sensor, image recognition of split ends can cause extraction of the region of interest. Alternatively, when using an acoustic sensor, the area of interest may be where the hair brushing sound causes a particular frequency threshold that is characteristic of overdried or damaged hair.

ステップ１１０４において、システム１００１は、目的の領域のタイムスタンプに適合するタイムスタンプを有する場所データを抽出し、保存し、場所データ及び目的の領域は、互いに関連する。 In step 1104, the system 1001 extracts and stores location data having a time stamp that matches the time stamp of the region of interest, and the location data and the region of interest are related to each other.

ステップ１１０５において、システムは、前述のように、３Ｄ座標データの形態である、場所データに関連させることに基づいて、３Ｄ仮想ユーザー画像に目的の領域を「マップ」する。実際には、この「マッピング」は、仮想３Ｄ画像（ユーザーの毛髪の一部等）の表示特徴と関連して、目的の領域を保存することを伴う。システム１００１は、マッピングの結果を示す表示を含んでもよく、１００２に示される３Ｄアバターにおけるマップした場所において、プレースホルダー指標又は画像を表示することを伴っていてもよい。 In step 1105, the system "maps" a region of interest to a 3D virtual user image based on being associated with location data, which is a form of 3D coordinate data, as described above. In practice, this "mapping" involves storing a region of interest in connection with the display features of a virtual 3D image (such as a portion of the user's hair). The system 1001 may include a display showing the result of the mapping and may be accompanied by displaying a placeholder indicator or image at the mapped location in the 3D avatar shown in 1002.

マッピングが完了すると、システムは、図１０の１００３に示されるように、標準化したフォーマットであるデジタルファイルを作製するように構成される。 When the mapping is complete, the system is configured to produce a digital file in a standardized format, as shown in 1003 of FIG.

図１２は、３Ｄ再構築アルゴリズムに基づいて作製された異なるデジタルファイルフォーマットの例を示す。図１２に示されるファイルフォーマットは、この例ではヘアドライヤー等の１つの装置から回収されたデータを表す。ファイルフォーマットは、タイムスタンプフィールド１２１１、加速度計座標フィールド１２１２、ジャイロスコープフィールド１２１３、磁気コンパスフィールド１２１４、センサ測定フィールド１２１４、３Ｄ座標フィールド１２１５、３Ｄ正規フィールド１２１６、及び特定のタイムスタンプに対応するエントリが表示される目的の領域を表すかどうかを示すフィールド１２１７等の複数のフィールドを含む。デジタルファイルのデータは必要に応じてフィルターがかけられ、又は圧縮されて、保存スペースを減少させることができる。 FIG. 12 shows examples of different digital file formats created based on a 3D reconstruction algorithm. The file format shown in FIG. 12 represents data recovered from one device, such as a hair dryer, in this example. The file format includes a time stamp field 1211, an accelerometer coordinate field 1212, a gyroscope field 1213, a magnetic compass field 1214, a sensor measurement field 1214, a 3D coordinate field 1215, a 3D regular field 1216, and an entry corresponding to a specific time stamp. Includes a plurality of fields, such as field 1217, indicating whether to represent the area of interest to be displayed. The data in the digital file can be filtered or compressed as needed to reduce storage space.

図１３は、前に図２で示したフィードバック構成要素２０３の概要を示す。図１３に示されるように、デジタルファイル１００３がシステム１３０１に提供され、システム１００１と同じシステムであってもよく、又は異なるシステム、装置、又はさらにユーザーのパーソナル装置（スマートフォン等）であってもよい。 FIG. 13 shows an overview of the feedback component 203 previously shown in FIG. As shown in FIG. 13, the digital file 1003 is provided to the system 1301 and may be the same system as the system 1001, or a different system, device, or even a user's personal device (smartphone, etc.). ..

システム１３０１は、マシンラーニングを使用して、異なる種類の測定値について、目的の領域の検知データを結合するように構成される。これは、経時的に検知データを比較し、ユーザーの将来の健康及び美しさを予測することを伴う。 System 1301 is configured to use machine learning to combine detection data of a region of interest for different types of measurements. This involves comparing the detected data over time to predict the future health and beauty of the user.

例えば、検知状態がグレーの毛髪である場合、システム１３０１は、グレーの毛髪の開始のパターンが、検知データを経時的に比較することに基づいて生じているかどうかを決定するように構成される。このような決定は、３Ｄ仮想ユーザー画像に予測される結果を描写することができる３Ｄ画像データを生成するために使用することができる。これらの結果は、ユーザーに送信されて、ステップ１３０２に示されるように、スマートフォン等のユーザーの装置に表示することができる。 For example, if the detection state is gray hair, the system 1301 is configured to determine if the pattern of gray hair initiation occurs based on a comparison of the detection data over time. Such a determination can be used to generate 3D image data that can depict the expected result in a 3D virtual user image. These results may be transmitted to the user and displayed on the user's device, such as a smartphone, as shown in step 1302.

ステップ１３０２ａに示されるように、ユーザーのスマートフォンに結果を表示することは、３Ｄ仮想ユーザーの目的の領域に指標を示す「損傷オーバーレイビュー」を含んでもよい。１３０２ｂに示されるように、表示は、仮想３Ｄユーザー画像に目的の領域をズームした領域を実際に示し、又は描写する「画像局在化ビュー」を含んでもよい。例えば、目的の領域が損傷した毛髪である場合、画像局在化は、目的の領域が存在するユーザーのスポットにおいて、損傷した毛髪の実際の代表的な画像を示す。 Displaying the results on the user's smartphone, as shown in step 1302a, may include a "damage overlay view" that indicates the indicator in the area of interest of the 3D virtual user. As shown in 1302b, the display may include an "image localization view" that actually shows or depicts a zoomed area of interest in a virtual 3D user image. For example, if the area of interest is damaged hair, image localization shows an actual representative image of the damaged hair in the user's spot where the area of interest is present.

ユーザーの目的の検出された領域並びに予測される健康及び美しさに基づいて、情報システムによって、１３０３において、個人用３Ｄレシピ又は処理を生成することができる。 Based on the detected area of interest of the user as well as the expected health and beauty, the information system can generate a personal 3D recipe or process at 1303.

例えば、デジタルレシピは、システムによって生成されて、ユーザーの毛髪にさらなる損傷が生じないように、スタイリングツール（ヘアドライヤー等）でユーザーの毛髪を処理することができる。デジタルレシピはヘアドライヤーそれ自体に送信することができ、ヘアドライヤーは、例えば、ヘアドライヤーの発熱素子の抵抗を調節し、ファンの速度を調節し、及び／又は空気流の形状を制御する機械要素の形状を調節することによって、空気流の温度及び／又は形状及び／又は速度を調節することができる。 For example, a digital recipe can be generated by the system to treat the user's hair with a styling tool (such as a hair dryer) so that further damage to the user's hair does not occur. Digital recipes can be sent to the hair dryer itself, where the hair dryer is, for example, a mechanical element that regulates the resistance of the heating element of the hair dryer, regulates the speed of the fan, and / or controls the shape of the air flow. By adjusting the shape of, the temperature and / or shape and / or velocity of the air flow can be adjusted.

前述のように、同時係属中の米国特許出願第１５／７２１，２８６号は、参照により本明細書に組み込まれ、ヘアブラシからの状態の直接的なフィードバックに基づいて、その設定を調節することができるヘアドライヤーを記載している。この場合、前述のデジタルレシピは、一実施形態によるヘアドライヤー等に直接的に送信することができる。 As mentioned above, co-pending U.S. Patent Application No. 15 / 721,286 is incorporated herein by reference and may adjust its settings based on direct feedback of the condition from the hairbrush. The hair dryers that can be used are listed. In this case, the above-mentioned digital recipe can be directly transmitted to the hair dryer or the like according to the embodiment.

図１４は、一実施形態によるヘアドライヤーによって実行することができるアルゴリズムを示す。ステップ１４１０において、ヘアドライヤーはデジタルレシピを受信する。ステップ１４２０において、デジタルレシピは処理され、分析される。ステップ１４３０において、ヘアドライヤーは、処理／分析されたデジタルレシピに基づいて、ヘアドライヤーの設定の調節を実行する。 FIG. 14 shows an algorithm that can be performed by a hair dryer according to one embodiment. At step 1410, the hair dryer receives the digital recipe. At step 1420, the digital recipe is processed and analyzed. At step 1430, the hair dryer performs adjustments to the hair dryer settings based on the processed / analyzed digital recipe.

図１４は、デジタルレシピを使用して、ヘアドライヤー装置（又はその他のヘアスタイリングツール）を調節することができることを示しているが、デジタルレシピは、図１５に示される様々な利益のために使用することができる。例えば、調節又は前述のヘアドライヤー／スタイリングツール１５０１を使用する場合に、調節又は特定の１つ以上のヘア製品１５０２の推奨といったレジームについての入力として、デジタルレシピを同時に又は交互に使用することができ、デジタルレシピは、適宜、ユーザーに情報を音で提供することができる仮想支援装置１５０３に出力することもできる。 FIG. 14 shows that a hair dryer device (or other hair styling tool) can be adjusted using a digital recipe, which is used for the various benefits shown in FIG. can do. For example, when using the adjustment or hair dryer / styling tool 1501 described above, digital recipes can be used simultaneously or alternately as input for a regime such as adjustment or recommendation of one or more specific hair products 1502. , The digital recipe can also be appropriately output to the virtual support device 1503 that can provide information to the user by sound.

さらに、前述の例は、ヘアドライヤー、ヘアスタイリングツール、又はヘアブラシの一例に関しているが、本出願は、この例に限定されず、その他の例を使用することができる。 Further, although the above-mentioned example relates to an example of a hair dryer, a hair styling tool, or a hairbrush, the present application is not limited to this example, and other examples can be used.

例えば、図１６は、ユーザーの皮膚に作用する音波振とうブラシ装置１６００の例を示す。ブラシ装置は、前述のセンサ３０１と同様のセンサ１６０１を含んでもよく、ユーザーの顔の画像、音、質感又は乾燥状態を捕えるために、装置の前面に配置する。さらに又はあるいは、前述のセンサ３０２と同様の外部センサ１６０２を提供してもよい。 For example, FIG. 16 shows an example of a sonic shaking brush device 1600 that acts on the user's skin. The brush device may include a sensor 1601 similar to the sensor 301 described above and is placed in front of the device to capture an image, sound, texture or dry state of the user's face. Further or / or else, an external sensor 1602 similar to the sensor 302 described above may be provided.

目的の領域は、しわ、目尻の小じわ、ニキビ（ａｃｎｅ）、乾燥肌、黒ニキビ（ｂｌａｃｋｈｅａｄ）又はその他等の任意の数の皮膚状態を検出することを含んでもよい。 The area of interest may include detecting any number of skin conditions such as wrinkles, fine lines on the outer corners of the eyes, acne, dry skin, blackheads or the like.

顔の領域についての３Ｄ再構築の結果は、前述の毛髪の領域の結果に類似している。例えば、図１７に示されるように、３Ｄ再構築は、スマートフォン１７０１の表示に出力することができ、ユーザーのアバターに検知状態領域を強調する。あるいは、３Ｄ再構築を使用して、デジタルレシピを作製することができ、（ｉ）顔のスキンケア装置の調節又は制御１７０２、（ｉｉ）スキンケア製品の推奨１７０３、（ｉｉｉ）カスタマイズされたフェイシャルマスクを作製する１７０４ために使用され、又は（ｉｉｉ）適宜、ユーザーに情報を音で提供することができる仮想支援装置１７０５に出力するために、出力することができる。 The results of the 3D reconstruction for the facial area are similar to the results for the hair area described above. For example, as shown in FIG. 17, the 3D reconstruction can be output to the display of the smartphone 1701 to emphasize the detection state area to the user's avatar. Alternatively, 3D reconstruction can be used to create digital recipes, (i) adjustment or control of facial skin care devices 1702, (ii) skin care product recommendations 1703, (iii) customized facial masks. It can be used for making 1704 or (iii) output for output to a virtual support device 1705 capable of providing information to the user by sound, as appropriate.

本開示の原理、代表的な実施形態、動作モードは、前述に記載した。しかしながら、保護することを意図する本開示の態様は、開示の特定の実施形態に限定されるものとして解釈されない。さらに、本明細書に記載の実施形態は、制限するというより説明するものとしてみなされる。本開示の趣旨から逸脱することなく、変形及び変化がその他及び使用される等価物によってなされ得ることが理解される。したがって、全ての変形、変化及び等価物が、請求される本開示の趣旨及び範囲にあることを明示的に意図する。 The principles, typical embodiments, and operating modes of the present disclosure have been described above. However, aspects of the present disclosure intended to be protected are not construed as being limited to specific embodiments of the disclosure. Moreover, the embodiments described herein are considered to be more descriptive than restrictive. It is understood that modifications and changes can be made by other and equivalents used without departing from the spirit of the present disclosure. Accordingly, it is expressly intended that all modifications, variations and equivalents are within the spirit and scope of the claimed disclosure.

Claims (32)

ユーザーの身体部分を処理するように構成された装置であって、前記装置は、前記身体部分の状態を検知するように構成された少なくとも１つのセンサを含む、装置と、
空間における前記装置の場所を追跡するように構成された場所トラッカーと、を含むシステムであって、
前記システムは、
セッションの間、少なくとも１つのセンサによって検出された前記身体部分の特定の検知状態の情報を受信し、
前記セッションの間、前記装置の前記追跡した場所の情報を、前記場所トラッカーから受信し、
前記特定の検知状態が前記装置によって検出された特定の時間を前記特定の時間の空間における前記装置の場所と関連付けるように構成される処理回路を含む、システム。 A device configured to process a user's body part, wherein the device comprises at least one sensor configured to detect the condition of the body part.
A system comprising a location tracker configured to track the location of said device in space.
The system is
During the session, it receives information on a particular detection state of said body part detected by at least one sensor.
During the session, information on the tracked location of the device is received from the location tracker.
A system comprising a processing circuit configured such that the particular detection state associates a particular time detected by the apparatus with the location of the apparatus in the space of said particular time. 前記装置は、ヘアスタイリングツールであり、前記身体部分はユーザーの毛髪である、請求項１に記載のシステム。 The system of claim 1, wherein the device is a hair styling tool and the body portion is the user's hair. 前記検知状態は前記毛髪の損傷領域である、請求項２に記載のシステム。 The system according to claim 2, wherein the detection state is a damaged region of the hair. 前記検知状態は前記身体部分の少なくとも１つの検知画像に基づく、請求項１に記載のシステム。 The system according to claim 1, wherein the detection state is based on at least one detection image of the body part. 前記検知状態は、前記装置が前記身体部分に接触した場合に検知される音に基づく、請求項１に記載のシステム。 The system according to claim 1, wherein the detection state is based on a sound detected when the device comes into contact with the body portion. 前記検知状態は前記身体部分の検知した乾燥レベルに基づく、請求項１に記載のシステム。 The system according to claim 1, wherein the detection state is based on the detected dryness level of the body part. 前記装置は、スキンケアツールであり、前記身体部分（ｂｏｄｙ ｐａｒｔｙ）は前記ユーザーの皮膚である、請求項１に記載のシステム。 The system of claim 1, wherein the device is a skin care tool and the body party is the user's skin. 前記検知状態は、しわ、目尻の小じわ、ニキビ（ａｃｎｅ）及び黒ニキビ（ｂｌａｃｋｈｅａｄ）の少なくとも１つである、請求項７に記載のシステム。 The system according to claim 7, wherein the detection state is at least one of wrinkles, fine wrinkles at the corners of the eyes, acne, and blackhead. 前記センサは前記装置にあり、前記ユーザーの前記身体部分に対面するように構成される、請求項１に記載のシステム。 The system of claim 1, wherein the sensor is in the device and is configured to face the user's body portion. 前記少なくとも１つのセンサは、外部であり、前記身体部分に関係して、前記装置の動きを捕える、請求項１に記載のシステム。 The system of claim 1, wherein the at least one sensor is external and in relation to the body part, captures the movement of the device. ユーザーの身体部分を処理するように構成された装置を含むシステムによって実行される方法であって、前記装置は、前記身体部分の状態を検知するように構成された少なくとも１つのセンサ、及び空間における前記装置の場所を追跡するように構成された場所トラッカーを含み、前記方法は、
セッションの間、前記少なくとも１つのセンサによって検出された前記身体部分の特定の検知状態の情報を受信し、
前記セッションの間、前記装置の前記追跡した場所の情報を、前記場所トラッカーから受信し、
前記特定の検知状態が前記装置によって検出された特定の時間を前記特定の時間の空間における前記装置の場所と関連付けることを含む、方法。 A method performed by a system comprising a device configured to process a user's body part, wherein the device is in at least one sensor configured to detect the state of the body part, and in space. The method comprises a location tracker configured to track the location of the device.
During the session, it receives information on a particular detection state of the body part detected by the at least one sensor.
During the session, information on the tracked location of the device is received from the location tracker.
A method comprising relating a particular time in which the particular detection state is detected by the device to the location of the device in the space of said particular time. 前記装置は、ヘアスタイリングツールであり、前記身体部分はユーザーの毛髪である、請求項１１に記載の方法。 11. The method of claim 11, wherein the device is a hair styling tool and the body portion is the user's hair. 前記検知状態は前記毛髪の損傷領域である、請求項１２に記載の方法。 The method according to claim 12, wherein the detected state is a damaged region of the hair. 前記検知状態は前記身体部分の少なくとも１つの検知画像に基づく、請求項１１に記載の方法。 11. The method of claim 11, wherein the detection state is based on at least one detection image of the body part. 前記検知状態は、前記装置が前記身体部分に接触した場合に検知される音に基づく、請求項１１に記載の方法。 The method according to claim 11, wherein the detection state is based on a sound detected when the device comes into contact with the body portion. 前記検知状態は前記身体部分の検知した乾燥レベルに基づく、請求項１１に記載の方法。 11. The method of claim 11, wherein the detection state is based on the detected dryness level of the body part. 前記装置は、スキンケアツールであり、前記身体部分（ｂｏｄｙ ｐａｒｔｙ）は前記ユーザーの皮膚である、請求項１１に記載の方法。 11. The method of claim 11, wherein the device is a skin care tool and the body party is the user's skin. 前記検知状態は、しわ、目尻の小じわ、ニキビ（ａｃｎｅ）及び黒ニキビ（ｂｌａｃｋｈｅａｄ）の少なくとも１つである、請求項１７に記載の方法。 17. The method of claim 17, wherein the detection state is at least one of wrinkles, fine wrinkles at the corners of the eyes, acne and blackhead. 前記センサは前記装置にあり、前記ユーザーの前記身体部分に対面するように構成される、請求項１１に記載の方法。 11. The method of claim 11, wherein the sensor is in the device and is configured to face the user's body portion. 前記少なくとも１つのセンサは、外部であり、前記身体部分に関係して、前記装置の動きを捕える、請求項１１に記載の方法。 11. The method of claim 11, wherein the at least one sensor is external and in relation to the body part, captures the movement of the device. セッションの間、装置の少なくとも１つのセンサによって検出されたユーザーの身体部分の特定の検知状態の情報を受信し、
前記セッションの間、前記装置の追跡した場所の情報を、場所トラッカーから受信し、
前記特定の検知状態が検出された特定の時間を前記特定の時間の空間における装置の場所と関連付け、
前記特定の検知状態が前記装置の前記関連付けした特定の時間及び場所に基づいて発生する３次元仮想環境における前記身体部分の場所を決定するように構成された処理回路を含む、システム。 During the session, it receives information on the specific detection state of the user's body part detected by at least one sensor of the device,
During the session, information on the tracked location of the device is received from the location tracker.
The specific time when the specific detection state is detected is associated with the location of the device in the space of the specific time.
A system comprising a processing circuit configured to determine the location of the body part in a three-dimensional virtual environment in which the particular detection state occurs based on the associated particular time and place of the device. 前記処理回路は、前記特定の検知状態を前記３次元仮想環境と関連付ける所定のファイルフォーマットを有するデジタルファイルを生成するように構成される、請求項２１に記載のシステム。 21. The system of claim 21, wherein the processing circuit is configured to generate a digital file having a predetermined file format that associates the particular detection state with the three-dimensional virtual environment. 前記所定のファイルフォーマットは、タイムスタンプフィールド、加速度計座標フィールド、ジャイロスコープフィールド、磁気コンパスフィールド、センサ測定フィールド、３Ｄ座標フィールド、３Ｄ正規フィールド、及び特定のタイムスタンプに対応するエントリが表示される目的の領域を表すかどうかを示すフィールドの少なくとも１つを含む、請求項２２に記載のシステム。 The predetermined file format is intended to display a time stamp field, an accelerometer coordinate field, a gyroscope field, a magnetic compass field, a sensor measurement field, a 3D coordinate field, a 3D normal field, and an entry corresponding to a specific time stamp. 22. The system of claim 22, comprising at least one of the fields indicating whether or not the area represents. 前記処理回路は、前記３次元仮想環境の表示を生成するために、前記デジタルファイルを表示装置に出力するように構成される、請求項２２に記載のシステム。 22. The system of claim 22, wherein the processing circuit is configured to output the digital file to a display device in order to generate a display of the three-dimensional virtual environment. 前記３次元仮想環境の前記表示は、前記ユーザーの３次元表現に、前記特定の検知状態を描写する、請求項２４に記載のシステム。 24. The system of claim 24, wherein the display of the three-dimensional virtual environment depicts the particular detection state in a three-dimensional representation of the user. 前記処理回路は、装置を制御して、前記検知状態を処理するために、前記デジタルファイルに基づいて、デジタルレシピを生成し、前記デジタルレシピを前記スタイリングツールに送信するように構成される、請求項２２に記載のシステム。 The processing circuit is configured to generate a digital recipe based on the digital file and send the digital recipe to the styling tool in order to control the device and process the detection state. Item 22. セッションの間、装置の前記少なくとも１つのセンサによって検出されたユーザーの身体部分の特定の検知状態の情報を受信し、
前記セッションの間、前記装置の追跡した場所の情報を、場所トラッカーから受信し、
前記特定の検知状態が検出された特定の時間を前記特定の時間の空間における前記装置の場所と関連付け、
前記特定の検知状態が前記装置の前記関連付けした特定の時間及び場所に基づいて発生する３次元仮想環境における前記身体部分の場所を決定することをさらに含む、システムによって実行される方法。 During the session, it receives information on a particular detection state of the user's body part detected by said at least one sensor of the device.
During the session, information on the tracked location of the device is received from the location tracker.
The specific time when the specific detection state is detected is associated with the location of the device in the space of the specific time.
A method performed by a system further comprising determining the location of the body part in a three-dimensional virtual environment in which the particular detection state occurs based on the associated particular time and place of the device. 前記特定の検知状態を前記３次元仮想環境と関連付ける所定のファイルフォーマットを有するデジタルファイルを生成することを含む、請求項２７に記載の方法。 27. The method of claim 27, comprising generating a digital file having a predetermined file format that associates the particular detection state with the three-dimensional virtual environment. 前記所定のファイルフォーマットは、タイムスタンプフィールド、加速度計座標フィールド、ジャイロスコープフィールド、磁気コンパスフィールド、センサ測定フィールド、３Ｄ座標フィールド、３Ｄ正規フィールド、及び特定のタイムスタンプに対応するエントリが表示される目的の領域を表すかどうかを示すフィールドの少なくとも１つを含む、請求項２８に記載の方法。 The predetermined file format is intended to display a time stamp field, an accelerometer coordinate field, a gyroscope field, a magnetic compass field, a sensor measurement field, a 3D coordinate field, a 3D normal field, and an entry corresponding to a specific time stamp. 28. The method of claim 28, comprising at least one of the fields indicating whether or not the area represents. 前記３次元仮想環境の表示を生成するために、前記デジタルファイルを表示装置に出力することをさらに含む、請求項２８に記載の方法。 28. The method of claim 28, further comprising outputting the digital file to a display device in order to generate a display of the three-dimensional virtual environment. 前記３次元仮想環境の前記表示は、前記ユーザーの３次元表現に、前記特定の検知状態を描写する、請求項３０に記載の方法。 30. The method of claim 30, wherein the display of the three-dimensional virtual environment depicts the particular detection state in a three-dimensional representation of the user. 装置を制御して、前記検知状態を処理するために、前記デジタルファイルに基づいて、デジタルレシピを生成し、前記デジタルレシピを前記スタイリングツールに送信することをさらに含む、請求項２８に記載の方法。 28. The method of claim 28, further comprising generating a digital recipe based on the digital file and sending the digital recipe to the styling tool in order to control the device and process the detection state. ..
JP2021515031A 2018-09-21 2019-09-20 A system for detecting the condition of the user's body part when using a beauty device and associating it with a three-dimensional environment. Pending JP2022500180A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023093581A JP2023134415A (en) 2018-09-21 2023-06-07 System for sensing and associating condition on body part of user with three-dimensional environment when using cosmetic device

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/137,614 US10943394B2 (en) 2018-09-21 2018-09-21 System that generates a three-dimensional beauty assessment that includes region specific sensor data and recommended courses of action
US16/137,610 2018-09-21
US16/137,614 2018-09-21
US16/137,610 US20200093254A1 (en) 2018-09-21 2018-09-21 System for sensing and associating a condition on a body part of the user with a three-dimensional environment when using a cosmetic device
PCT/US2019/052253 WO2020061514A1 (en) 2018-09-21 2019-09-20 A system for sensing and associating a condition on a body part of the user with a three-dimensional environment when using a cosmetic device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023093581A Division JP2023134415A (en) 2018-09-21 2023-06-07 System for sensing and associating condition on body part of user with three-dimensional environment when using cosmetic device

Publications (1)

Publication Number Publication Date
JP2022500180A true JP2022500180A (en) 2022-01-04

Family

ID=68382480

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021515031A Pending JP2022500180A (en) 2018-09-21 2019-09-20 A system for detecting the condition of the user's body part when using a beauty device and associating it with a three-dimensional environment.
JP2023093581A Pending JP2023134415A (en) 2018-09-21 2023-06-07 System for sensing and associating condition on body part of user with three-dimensional environment when using cosmetic device

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023093581A Pending JP2023134415A (en) 2018-09-21 2023-06-07 System for sensing and associating condition on body part of user with three-dimensional environment when using cosmetic device

Country Status (5)

Country Link
EP (1) EP3852572A1 (en)
JP (2) JP2022500180A (en)
KR (1) KR102543674B1 (en)
CN (1) CN112672662B (en)
WO (1) WO2020061514A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11779104B2 (en) * 2018-08-20 2023-10-10 Antawon Franklin Wave hairstyle generating brush
US20220087406A1 (en) * 2020-09-18 2022-03-24 L'oreal Portable hair styling device with massaging bristles and formulation dispenser
GB2626150A (en) * 2023-01-11 2024-07-17 Dyson Technology Ltd Hair care appliance

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159830A (en) * 2002-11-12 2004-06-10 Lion Corp Hair evaluation system
JP2009504272A (en) * 2005-08-12 2009-02-05 リック ビー． イェーガー， System and method for medical monitoring and treatment via beauty monitoring and treatment
US20150164213A1 (en) * 2013-12-13 2015-06-18 Elwha LLC, a limited liability company of the State of Delaware Grooming systems, devices, and methods including detection of hair-covered skin lesions during grooming and including topographical analysis
JP2015159975A (en) * 2014-02-27 2015-09-07 カシオ計算機株式会社 Skin treatment equipment, skin treatment method, and program
US20160038033A1 (en) * 2014-08-05 2016-02-11 Rakesh M. Lal Method, system and apparatus for quantifying oral health with a toothbrush
JP2016073526A (en) * 2014-10-08 2016-05-12 シャープ株式会社 Hair brush
US20180184796A1 (en) * 2016-12-30 2018-07-05 L'oreal Connected hairbrush

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065526A1 (en) * 2001-10-01 2003-04-03 Daniela Giacchetti Historical beauty record
US7324668B2 (en) * 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
US20050147955A1 (en) * 2003-12-29 2005-07-07 L'oreal Beauty-related information collection and diagnosis using environments
US9138038B2 (en) 2011-05-20 2015-09-22 Spectrum Brands, Inc. Hair styling apparatus having hair-protection function
JP6008323B2 (en) * 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 Makeup support device, makeup support method, and makeup support program
US20160000518A1 (en) * 2013-02-11 2016-01-07 Neomedz Sàrl Tracking apparatus for tracking an object with respect to a body
JP5902878B1 (en) * 2013-03-15 2016-04-13 メディガイド リミテッド Medical device guidance system
US10842254B2 (en) * 2014-03-21 2020-11-24 Koninklijke Philips N.V. System and a method for treating a part of a body of a person
CN108780100B (en) * 2016-03-09 2021-09-07 联合利华知识产权控股有限公司 Modeling system
FR3061499B1 (en) * 2016-12-30 2019-05-24 L'oreal SYSTEM FOR REALIZING TREATMENT OF THE HAIR TO CONNECT AT AT LEAST ONE ARRIVAL OF WATER
CN107048665B (en) * 2017-03-29 2020-12-22 台州智奥通信设备有限公司 Intelligent comb, hair nursing system based on intelligent comb and nursing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159830A (en) * 2002-11-12 2004-06-10 Lion Corp Hair evaluation system
JP2009504272A (en) * 2005-08-12 2009-02-05 リック ビー． イェーガー， System and method for medical monitoring and treatment via beauty monitoring and treatment
US20150164213A1 (en) * 2013-12-13 2015-06-18 Elwha LLC, a limited liability company of the State of Delaware Grooming systems, devices, and methods including detection of hair-covered skin lesions during grooming and including topographical analysis
JP2015159975A (en) * 2014-02-27 2015-09-07 カシオ計算機株式会社 Skin treatment equipment, skin treatment method, and program
US20160038033A1 (en) * 2014-08-05 2016-02-11 Rakesh M. Lal Method, system and apparatus for quantifying oral health with a toothbrush
JP2016073526A (en) * 2014-10-08 2016-05-12 シャープ株式会社 Hair brush
US20180184796A1 (en) * 2016-12-30 2018-07-05 L'oreal Connected hairbrush

Also Published As

Publication number Publication date
KR20210057150A (en) 2021-05-20
JP2023134415A (en) 2023-09-27
KR102543674B1 (en) 2023-06-15
CN112672662B (en) 2024-07-19
EP3852572A1 (en) 2021-07-28
WO2020061514A1 (en) 2020-03-26
CN112672662A (en) 2021-04-16

Similar Documents

Publication Publication Date Title
US10943394B2 (en) System that generates a three-dimensional beauty assessment that includes region specific sensor data and recommended courses of action
JP2023134415A (en) System for sensing and associating condition on body part of user with three-dimensional environment when using cosmetic device
US20200093254A1 (en) System for sensing and associating a condition on a body part of the user with a three-dimensional environment when using a cosmetic device
CN109767487A (en) Face three-dimensional rebuilding method, device, electronic equipment and storage medium
US20150378433A1 (en) Detecting a primary user of a device
KR20190101834A (en) Electronic device for displaying an avatar performed a motion according to a movement of a feature point of a face and method of operating the same
Chen et al. A fall detection system based on infrared array sensors with tracking capability for the elderly at home
JP6692821B2 (en) System for determining the orientation of a device relative to a user
WO2015186436A1 (en) Image processing device, image processing method, and image processing program
KR20150099510A (en) Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
CN110427110A (en) A kind of live broadcasting method, device and direct broadcast server
CN110827195B (en) Virtual article adding method and device, electronic equipment and storage medium
JP6563580B1 (en) Communication system and program
CN111263926B (en) Information processing apparatus, information processing method, and computer-readable storage medium
TW201741938A (en) Action sensing method and device
JPWO2009004916A1 (en) Spoofing detection system, spoofing detection method, and spoofing detection program
CN111971643A (en) Positioning of personal care devices
CN114466139A (en) Tracking and positioning method, system, device, equipment, storage medium and product
CN109257490A (en) Audio-frequency processing method, device, wearable device and storage medium
WO2019000464A1 (en) Image display method and device, storage medium, and terminal
WO2018006481A1 (en) Motion-sensing operation method and device for mobile terminal
KR20120090565A (en) Apparatus for processing sensory effect of image data and method for the same
WO2019207875A1 (en) Information processing device, information processing method, and program
CN107783652B (en) Method, system and device for realizing virtual reality
JP2013098588A (en) Image processor and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230615

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230707