JP2017164851A - Work support device and program - Google Patents
Work support device and program Download PDFInfo
- Publication number
- JP2017164851A JP2017164851A JP2016052919A JP2016052919A JP2017164851A JP 2017164851 A JP2017164851 A JP 2017164851A JP 2016052919 A JP2016052919 A JP 2016052919A JP 2016052919 A JP2016052919 A JP 2016052919A JP 2017164851 A JP2017164851 A JP 2017164851A
- Authority
- JP
- Japan
- Prior art keywords
- user
- work
- emotion
- robot
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、ユーザが行う作業を支援する作業支援装置およびプログラムに関する。 The present invention relates to a work support apparatus and a program for supporting work performed by a user.
従来から、ユーザが行う作業手順を進行に合わせて提示する技術が知られている。特許文献１では、ユーザの返答から判定される経過情報に応じて適切な調理や仕事の手順を提示する技術が開示されている。 2. Description of the Related Art Conventionally, a technique for presenting work procedures performed by a user according to progress is known. Patent Document 1 discloses a technique for presenting appropriate cooking and work procedures according to progress information determined from a user's response.
また、特許文献２では、移動型ロボットを合理的に制御し、作業完了品を効率的に配達するロボットシステムに関する技術が開示されている。 Patent Document 2 discloses a technique related to a robot system that rationally controls a mobile robot and efficiently delivers work completion products.
また、特許文献３では、ユーザの調理機器構成にあわせた調理方法を提示し、効率的な調理支援を行う調理支援システムに関する技術が開示されている。 Patent Document 3 discloses a technique related to a cooking support system that presents a cooking method according to a user's cooking equipment configuration and performs efficient cooking support.
また、特許文献４では、複数の作業工程を並列に処理する場合において、注意を喚起する工程を提示する提示情報決定システムに関する技術が開示されている。 Moreover, in patent document 4, when processing a some work process in parallel, the technique regarding the presentation information determination system which shows the process to call attention is disclosed.
また、特許文献５では、複数のステップで構成される生活タスクをユーザが実行する際、センサ情報から得たユーザの動作・状態からコンテキストを取得し、ステップに応じた情報やガイダンスを提示して支援するシステムに関する技術が開示されている。 Moreover, in patent document 5, when a user performs the life task which consists of several steps, a context is acquired from a user's operation | movement and state obtained from sensor information, and the information and guidance according to a step are shown. A technique related to a supporting system is disclosed.
しかしながら、特許文献１では、ユーザが入力した音声に基づいて経過情報が判定されるが、言葉を発することができない、調理や作業の音が大きい等、音声が取得困難な環境に適応できない。 However, in Patent Document 1, the progress information is determined based on the voice input by the user, but it cannot be adapted to an environment where it is difficult to acquire voice, such as being unable to speak words, or having a loud cooking or working sound.
また、特許文献２では、物品を配達するという給仕には長けているものの、調理や仕事等の作業を協力的に実行する点に欠けている。 Moreover, although patent document 2 is good at the wait-and-delivery which delivers an article | item, it is lacking in the point which cooperates and performs work, such as cooking and work.
また、特許文献３および特許文献４では、ユーザが使用する機器の構成や状況に応じて効率的な作業手順が提示されるが、映像表示機器が情報を提示するので、身振り手振りを交えた人間的な支援はできない。 Further, in Patent Document 3 and Patent Document 4, an efficient work procedure is presented according to the configuration and situation of the device used by the user, but since the video display device presents information, a person who makes gesture gestures Support is not possible.
また、特許文献５では、取得されたユーザのコンテキストに応じて、予め定められたステップにおける情報やガイダンスを提示するが、時々刻々と変わるユーザの感情やストレスに応じた支援はできない。 Further, in Patent Document 5, information and guidance in predetermined steps are presented according to the acquired user context, but support according to the user's emotion and stress that changes from moment to moment cannot be provided.
本発明は、このような事情に鑑みてなされたものであり、ユーザの感情やストレス、利用環境に応じて、ユーザが行う作業を支援する作業支援装置およびプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a work support device and a program that support work performed by the user according to the user's emotions, stress, and usage environment.
（１）上記目的を達成するために、本発明の作業支援装置は、以下のような手段を講じた。すなわち、ユーザが行う作業を支援する作業支援装置であって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする。 (1) In order to achieve the above object, the work support apparatus of the present invention takes the following means. That is, a work support device for supporting a work performed by a user, using at least one of a user's video or a biological signal, an emotion level indicating a change amount of a user's emotion or a stress index indicating a degree of stress of the user An emotion determination unit that determines a robot motion, a motion generation unit that generates a robot motion using at least one of the determined emotion degree or stress index, and a work procedure that is held in advance according to the generated robot motion And an information presentation unit for presenting information.
このように、作業支援装置は、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定し、判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成し、生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示するので、時々刻々と変わるユーザの感情やストレスに応じた作業支援をすることが可能となる。 As described above, the work support device uses at least one of the user's video or biological signal to determine the emotion level indicating the amount of change in the user's emotion or the stress index indicating the degree of stress of the user, and the determined emotion A robot motion is generated using at least one of a degree or a stress index, and information on a work procedure stored in advance is presented according to the generated robot motion. It is possible to support the work.
（２）また、本発明の作業支援装置は、少なくとも前記映像または前記生体信号を取得する情報取得部を備えることを特徴とする。 (2) In addition, the work support device of the present invention includes an information acquisition unit that acquires at least the video or the biological signal.
このように、作業支援装置は、少なくとも映像または生体信号を取得するので、映像やセンサを用いることによって、音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。 As described above, since the work support apparatus acquires at least a video or a biological signal, it is possible to grasp the state of the user even in an environment where it is difficult to acquire audio or the like by using the video or the sensor. .
（３）また、本発明の作業支援装置は、前記映像または前記生体信号の少なくとも一つ、および、前記判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定する状況判定部を備え、前記情報提示部は、前記判定した作業進行状況および前記生成したロボット動作に基づいて、前記作業進行状況に応じた作業手順に関する情報を提示することを特徴とする。 (3) Further, the work support apparatus of the present invention is configured to determine a work progress status using at least one of the video or the biological signal and at least one of the determined emotion degree or stress index. And the information presenting unit presents information on a work procedure according to the work progress based on the determined work progress and the generated robot motion.
このように、作業支援装置は、映像または生体信号の少なくとも一つ、および、判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定し、情報提示部は、判定した作業進行状況および生成したロボット動作に基づいて、作業進行状況に応じた作業手順に関する情報を提示するので、ユーザの作業進行状況に応じた作業支援を行うことが可能となる。 As described above, the work support device determines the work progress using at least one of the video or the biological signal and at least one of the determined emotion degree or the stress index, and the information presenting unit determines the determined work. Since the information regarding the work procedure according to the work progress status is presented based on the progress status and the generated robot motion, it is possible to perform work support according to the work progress status of the user.
（４）また、本発明の作業支援装置は、ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得する周囲状況取得部を備えることを特徴とする。 (4) Moreover, the work support apparatus of the present invention is characterized by including an ambient condition acquisition unit that acquires environmental information around the user via an electronic device that acquires user input or environmental information.
このように、作業支援装置は、ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得するので、ユーザを取り囲んでいる環境を把握することが可能となる。 As described above, the work support device acquires the environment information around the user via the user's input or the electronic device that acquires the environment information, so that the environment surrounding the user can be grasped. .
（５）また、本発明の作業支援装置は、前記取得した環境情報に基づいて、前記作業手順に関する情報を変更する手順変更部を備えることを特徴とする。 (5) Moreover, the work support apparatus of the present invention includes a procedure change unit that changes information related to the work procedure based on the acquired environment information.
このように、作業支援装置は、取得した環境情報に基づいて、作業手順に関する情報を変更するので、ユーザを取り囲んでいる環境も考慮した作業支援を行うことが可能となる。 As described above, the work support apparatus changes the information related to the work procedure based on the acquired environment information, and thus it is possible to perform work support considering the environment surrounding the user.
（６）また、本発明の作業支援装置は、前記映像、前記生体信号、または前記環境情報の少なくとも一つに応じて、物理的な作業支援を行う物理的協力部を備えることを特徴とする。 (6) Further, the work support device of the present invention includes a physical cooperation unit that performs physical work support according to at least one of the video, the biological signal, or the environment information. .
このように、作業支援装置は、映像、生体信号、または環境情報の少なくとも一つに応じて、物理的な作業支援を行うので、ユーザの状態や利用環境に応じた作業支援を行うことが可能となる。その結果、ユーザの状態や利用環境に応じて、例えば、動作のスピード、声掛け等の音声の音量やスピードを調整することが可能となる。 As described above, the work support device performs physical work support according to at least one of the video, the biological signal, and the environment information, and thus can perform work support according to the user's state and the use environment. It becomes. As a result, it becomes possible to adjust the volume and speed of the voice such as the speed of the operation and the voice call according to the user's state and usage environment.
（７）また、本発明の作業支援装置は、いずれかの部位が可動であるロボット本体と、前記部位を動かす駆動部と、を備え、前記ロボット動作に基づいて、前記駆動部を駆動させることによって、前記ロボットの部位を動かすことを特徴とする。 (7) In addition, the work support apparatus of the present invention includes a robot body in which any part is movable, and a drive unit that moves the part, and drives the drive unit based on the robot operation. To move the robot part.
このように、本発明の作業支援装置は、いずれかの部位が可動であり、部位を動かし、ロボット動作に基づいて、駆動部を駆動させることによって、ロボットの部位を動かすので、ユーザの状態や利用環境に応じた作業支援を行うことが可能となる。その結果、ユーザの状態や利用環境に応じて、例えば、動作のスピード、声掛け等の音声の音量やスピードを調整することが可能となる。 Thus, in the work support device of the present invention, any part is movable, and the part of the robot is moved by moving the part and driving the drive unit based on the robot operation. It is possible to provide work support according to the usage environment. As a result, it becomes possible to adjust the volume and speed of the voice such as the speed of the operation and the voice call according to the user's state and usage environment.
（８）また、本発明のプログラムは、ユーザが行う作業を支援する作業支援装置のプログラムであって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する処理と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する処理と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とする。 (8) Further, the program of the present invention is a program of a work support device that supports work performed by the user, and uses at least one of the user's video or biological signal to indicate an emotional change amount of the user. A process for determining a stress index indicating the degree of stress or a user's stress, a process for generating a robot action using at least one of the determined emotion degree or the stress index, And a process of presenting information relating to the stored work procedure, and causing a computer to execute a series of processes.
このように、プログラムは、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定し、判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成し、生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示するので、時々刻々と変わるユーザの感情やストレスに応じた作業支援をすることが可能となる。 In this way, the program uses at least one of the user's video or biological signal to determine an emotion level indicating the amount of change in the user's emotion or a stress index indicating the degree of stress of the user, and the determined emotion level or Since the robot motion is generated using at least one of the stress indicators, and information on the work procedure that is held in advance is presented according to the generated robot motion, the task according to the user's emotion and stress that changes from moment to moment It is possible to provide support.
本発明によれば、ユーザの映像や生体信号を用いることにより、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることが可能となる。また、映像やセンサを用いることによって、音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible by using a user's image | video and a biomedical signal to perform work support according to a user's emotion and stress which change every moment, and a user's utilization environment. In addition, by using a video or a sensor, it is possible to grasp the user's state even in an environment where it is difficult to acquire audio or the like.
本発明者は、時々刻々と変わるユーザの感情やストレスに応じた作業支援ができない点に着目し、ユーザの映像、生体信号を取得することによって、ユーザの感情やストレスに応じた作業支援を行うことができることを見出し、本発明をするに至った。 The present inventor pays attention to the point that work support according to the user's emotion and stress that changes from moment to moment is not possible, and obtains the user's video and biological signals to provide work support according to the user's emotion and stress. The present inventors have found that it is possible to achieve the present invention.
すなわち、本発明の作業支援装置は、ユーザが行う作業を支援する作業支援装置であって、ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする。 That is, the work support device of the present invention is a work support device that supports a user's work, and uses an at least one of a user's video or a biological signal to indicate an emotion level or a user's emotional change amount indicating An emotion determination unit that determines a stress index indicating the degree of stress, an action generation unit that generates a robot action using at least one of the determined emotion degree or the stress index, and the generated robot action, And an information presentation unit for presenting information relating to work procedures held in advance.
これにより、本発明者は、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることを可能とした。また、映像やセンサを用いることによって音声等の取得が困難な環境であってもユーザの状態を把握することを可能とした。 As a result, the present inventor has made it possible to provide work support according to the user's emotions and stress, which change from moment to moment, and the user's usage environment. In addition, it is possible to grasp the user's state even in an environment where it is difficult to acquire sound or the like by using a video or a sensor.
以下、本発明の実施形態について、図面を参照しながら具体的に説明する。なお、本実施形態では、調理における作業を支援する作業支援装置を例として説明するが、これに限らない。 Embodiments of the present invention will be specifically described below with reference to the drawings. In addition, although this embodiment demonstrates as an example the work assistance apparatus which assists the operation | work in cooking, it is not restricted to this.
［第１の実施形態］
図１は、第１の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置１は、ロボット１０、カメラ２０および脈拍センサ３０を備える。カメラ２０は、ユーザの映像を取得する。脈拍センサ３０は、ユーザの脈拍信号を取得する。なお、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。また、図１では、カメラ２０または脈拍センサ３０は、ロボット１０の外部に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、ロボット１０の内部に内蔵されていても良い。なお、ロボット１０は、いずれかの部位が可動であるロボット本体と、可動部を動かす駆動部を備えていても良い。ここで各部位とは、ロボット本体の目、口、手、指、脚等に該当し、各アクチュエータを動作させることによって可動となる。
[First Embodiment]
FIG. 1 is a diagram illustrating a schematic configuration of a work support apparatus according to the first embodiment. The work support apparatus 1 includes a robot 10, a camera 20, and a pulse sensor 30. The camera 20 acquires a user's video. The pulse sensor 30 acquires a user's pulse signal. The acquisition sensor of the present invention is not limited to a camera or a pulse sensor, and any physical sensor can be used as long as it can acquire at least one of a biological signal such as a user's video or a user's pulse signal. The technical idea of the invention remains unchanged. In FIG. 1, the camera 20 or the pulse sensor 30 is connected to the outside of the robot 10, but the technical idea of the present invention is not limited to this, and is built in the robot 10. May be. The robot 10 may include a robot body in which any part is movable and a drive unit that moves the movable part. Here, each part corresponds to an eye, a mouth, a hand, a finger, a leg, or the like of the robot body, and is movable by operating each actuator.
ロボット１０は、カメラ２０または脈拍センサ３０から取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する。ここで、情動度とは、ユーザの感情の変化量を示す。また、ストレス指標とは、ユーザのストレスの度合いを示す。 The robot 10 determines at least one of the user's emotion 40 or the user's stress index 50 using at least one of the user's video or the user's pulse signal acquired from the camera 20 or the pulse sensor 30. Here, the emotion level indicates the amount of change in the emotion of the user. The stress index indicates the degree of stress of the user.
ロボット１０は、判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する。さらに、ロボット１０は、生成されたロボット動作６０に応じて、調理手順等の作業手順に関わる情報（以下、調理手順に関わる情報７０ともいう）を提示する。作業手順に関わる情報は、予め保持していても良いし、外部から取得しても良い。 The robot 10 generates a robot motion 60 using at least one of the determined user emotion 40 or the user stress index 50. Furthermore, the robot 10 presents information related to a work procedure such as a cooking procedure (hereinafter also referred to as information 70 related to the cooking procedure) in accordance with the generated robot action 60. Information related to the work procedure may be stored in advance or acquired from the outside.
図２は、第１の実施形態に係る作業支援装置の機能を示すブロック図である。ロボット１０は、情報取得部１０−１、感情判定部１０−２、動作生成部１０−３および情報提示部１０−４を備える。情報取得部１０−１は、カメラまたは脈拍センサ等の物理センサを用いて、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する。感情判定部１０−２は、情報取得部１０−１が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する。動作生成部１０−３は、感情判定部１０−２で判定したユーザの情動度４０またはユーザのストレス指標５０を用いて、ロボット動作６０を生成する。情報提示部１０−４は、動作生成部１０−３で生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する。また、図示しないが、ロボット１０は、ディスプレイ等の情報提示装置を備えていても良い。情報提示装置を用いて、レクチャー等の映像情報を調理手順に関わる情報７０として提示することもできる。 FIG. 2 is a block diagram illustrating functions of the work support apparatus according to the first embodiment. The robot 10 includes an information acquisition unit 10-1, an emotion determination unit 10-2, an operation generation unit 10-3, and an information presentation unit 10-4. The information acquisition unit 10-1 acquires at least one of the user's video or the user's pulse signal using a physical sensor such as a camera or a pulse sensor. The emotion determination unit 10-2 determines at least one of the user's emotion 40 or the user's stress index 50 using at least one of the user's video or the user's pulse signal acquired by the information acquisition unit 10-1. To do. The motion generation unit 10-3 generates the robot motion 60 using the user emotion degree 40 or the user stress index 50 determined by the emotion determination unit 10-2. The information presentation unit 10-4 presents information 70 related to the cooking procedure in accordance with the robot operation 60 generated by the operation generation unit 10-3. Although not shown, the robot 10 may include an information presentation device such as a display. Using the information presenting apparatus, video information such as a lecture can be presented as information 70 related to the cooking procedure.
図３は、第１の実施形態に係る作業支援装置の動作例を示すフローチャートである。そして、図４は、第１の実施形態に係る作業支援装置が動作する際の関係図である。 FIG. 3 is a flowchart illustrating an operation example of the work support apparatus according to the first embodiment. FIG. 4 is a relationship diagram when the work support apparatus according to the first embodiment operates.
初めに、ロボット１０に接続されたカメラ２０または脈拍センサ３０が、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する（ステップＳ１）。次に、ロボット１０において、ステップＳ１で取得したユーザの映像またはユーザの脈拍信号を用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する（ステップＳ２）。 First, the camera 20 or the pulse sensor 30 connected to the robot 10 acquires at least one of the user's video or the user's pulse signal (step S1). Next, in the robot 10, at least one of the user's emotion 40 or the user's stress index 50 is determined using the user's video or the user's pulse signal acquired in step S1 (step S2).
ここで、［１］ユーザの映像を用いてユーザの情動度４０を判定する方法、および［２］ユーザの脈拍信号を用いてユーザのストレス指標５０を判定する方法、について説明する。 Here, [1] a method for determining the user's emotion 40 using the user's video and [2] a method for determining the user's stress index 50 using the user's pulse signal will be described.
［１］まず、ユーザの情動度を判定する方法について一例を述べる。なお、本実施形態では、ユーザの顔映像を用いる場合について述べるが、本発明の技術的思想は、これに限定されるわけではなく、ユーザの全身映像等、他の映像を用いても良い。 [1] First, an example of a method for determining the emotion level of a user will be described. In the present embodiment, a case where a user's face image is used will be described. However, the technical idea of the present invention is not limited to this, and other images such as a user's whole body image may be used.
取得したユーザの顔映像の各フレームにおいて特徴点検出を行い、特徴点座標付近において、Ｈａａｒ−ｌｉｋｅ特徴量に基づき、特徴抽出を行う。ここでは、予めユーザの平常時の顔画像における特徴抽出を行っておき、ステップＳ１で取得したユーザのｔフレーム目の映像における事後確率を算出し、平常度Ｈ（ｔ）の時間変化における不規則性を反映し、式（１）を用いて、ユーザの情動度Ｕ（ｔ）として判定する。 Feature points are detected in each frame of the acquired user face image, and feature extraction is performed in the vicinity of the feature point coordinates based on the Haar-like feature amount. Here, feature extraction is performed in advance on the user's normal face image, the posterior probability in the video of the user's t frame acquired in step S1 is calculated, and irregularities in the temporal change of normality H (t) It is determined as the user's emotion U (t) using the formula (1).
［２］次に、ユーザのストレス指標を判定する方法について一例を述べる。なお、本実施形態では、ユーザの脈拍信号からストレス指標を判定する方法を用いる場合を述べるが、本発明の技術的思想は、これに限定されるわけではなく、他の生体信号を用いても良い。 [2] Next, an example of a method for determining a user's stress index will be described. In this embodiment, a case where a method of determining a stress index from a user's pulse signal is used will be described. However, the technical idea of the present invention is not limited to this, and other biological signals may be used. good.
取得したユーザの脈拍信号から脈拍間隔に基づき脈拍変動時系列データを算出する。算出された脈拍変動時系列データを周波数解析し、時刻ｔにおける呼吸変動に対応する高周波成分Ｆh（ｔ）と、血圧変動に対応する低周波成分Ｆl（ｔ）を抽出する。式（２）に示す高周波成分Ｆh（ｔ）と低周波成分Ｆl（ｔ）との比Ｓ（ｔ）をユーザのストレス指標として判定する。 Pulse fluctuation time series data is calculated based on the pulse interval from the acquired user pulse signal. The calculated pulse fluctuation time-series data is subjected to frequency analysis, and a high frequency component F h (t) corresponding to the respiratory fluctuation at time t and a low frequency component F l (t) corresponding to the blood pressure fluctuation are extracted. A ratio S (t) between the high frequency component F h (t) and the low frequency component F l (t) shown in Expression (2) is determined as a user's stress index.
［３］ユーザの情動度Ｕ（ｔ）およびユーザのストレス指標Ｓ（ｔ）が同時に判定された場合は、式（３）を用いて、ユーザの情動度およびユーザのストレス指標の合計値Ｐ（ｔ）として判定する。 [3] When the user's emotional degree U (t) and the user's stress index S (t) are determined at the same time, using the equation (3), the total value P ( t).
次に、ステップＳ２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する（ステップＳ３）。以下に、一例として、主成分分析を用いてロボット動作を生成する方法について説明するが、本発明の技術的思想は、主成分分析を用いる方法に限定されるわけでなく、非線形状態空間写像や機械学習等、別の方法を用いてロボット動作を生成しても良い。 Next, a robot motion 60 is generated using at least one of the user emotion 40 or the user stress index 50 determined in step S2 (step S3). Hereinafter, as an example, a method for generating a robot motion using principal component analysis will be described. However, the technical idea of the present invention is not limited to a method using principal component analysis, and a nonlinear state space mapping or The robot motion may be generated using another method such as machine learning.
本実施形態では、まず、ロボット動作データベースを用意する。なお、ここで言うロボット動作データベースには、ロボットの全ての部位が任意の時刻において、いずれの空間位置座標に存在するかに関するデータが、予め記憶されている。 In this embodiment, first, a robot motion database is prepared. In the robot operation database referred to here, data regarding which spatial position coordinates all the parts of the robot exist at an arbitrary time is stored in advance.
ここで、ロボット動作データベースに登録された平常時および任意の時刻におけるユーザの情動度またはユーザのストレス指標に対応するロボット動作を学習し、線形回帰手法により、平常時のロボット動作から、ユーザの情動度またはユーザのストレス指標に対応するロボット動作に変換するためのパラメータ（以下、変換パラメータともいう）を算出する。すなわち、予め用意されたロボット動作をｍ（ｍ＝１，２，・・・）とすると、平常時のロボット動作データの第ｊ主成分座標の微分値ｋj（ｍ）を用いて、式（４）により線形回帰演算を行い、変換パラメータａj i、ｂj iを算出しておく。 Here, the robot motion corresponding to the user's emotion degree or the user's stress index at normal time and at any time registered in the robot motion database is learned, and the user's emotion is detected from the normal robot motion by the linear regression method. A parameter (hereinafter, also referred to as a conversion parameter) for conversion into a robot motion corresponding to the degree or the user's stress index is calculated. That is, assuming that the robot motion prepared in advance is m (m = 1, 2,...), The differential value k j (m) of the j-th principal component coordinate of the normal robot motion data is The linear regression calculation is performed according to 4), and the conversion parameters a j i and b j i are calculated in advance.
そして、ロボット動作の第ｊ主成分座標は、その初期座標をＣjとすると、式（６）で表わすことができる。 Then, the j-th principal component coordinate of the robot motion can be expressed by Equation (6), where C j is the initial coordinate.
次に、ステップＳ３で生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する（ステップＳ４）。各ロボット動作６０としてロボット動作データベースに記憶されている、任意の時刻においてロボット１０の各部位がいずれの空間位置座標に存在するかの情報に基づいて、ロボット１０に搭載されている目、口、手、指、脚等の各アクチュエータを制御して、ロボット動作６０を再生する。 Next, information 70 related to the cooking procedure is presented according to the robot motion 60 generated in step S3 (step S4). Based on information on which spatial position coordinates each part of the robot 10 is stored in the robot action database as each robot action 60 at any time, eyes, mouths, The robot operation 60 is reproduced by controlling each actuator such as a hand, a finger, and a leg.
図５は、ロボット動作再生時の動作例を示す図である。例えば、ユーザの情動度４０またはユーザのストレス指標５０が大きくなる場合、式（６）の変位が小さくなるため、図５で示すように、徐々にスピードが遅くなるロボット動作６０を再生して、調理手順に関わる情報７０を丁寧に指示することが可能となる。また、情報提示装置を用いて、映像情報として調理手順に関わる情報７０を提示しても良い。その場合、ステップＳ２で判定したユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）おける静的特徴量Ｅ（ｔ）を、式（７）を用いて算出し、ディスプレイ等の表示画面の背景色や音量を変更して、調理手順に関わる情報７０を提示する。 FIG. 5 is a diagram illustrating an operation example at the time of robot operation reproduction. For example, when the user's emotional degree 40 or the user's stress index 50 increases, the displacement of the equation (6) decreases, so as shown in FIG. Information 70 relating to the cooking procedure can be carefully instructed. Moreover, you may show the information 70 regarding a cooking procedure as video information using an information presentation apparatus. In that case, the static feature quantity E (t) in the value P (t) of the user's emotion 40 or the user's stress index 50 determined in step S2 is calculated using the equation (7), and displayed on a display or the like. Information 70 related to the cooking procedure is presented by changing the background color and volume of the screen.
このように、静的特徴量Ｅ（ｔ）を用いることで、ある程度長い期間継続している特徴量を算出することができる。例えば、ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）が大きくなる場合、式（７）において算出されるＥ（ｔ）の値も大きくなるため、図５で示すように、調理手順に関わる情報７０を強調して指示する等の作業支援が可能となる。 As described above, by using the static feature amount E (t), it is possible to calculate a feature amount that has continued for a certain period of time. For example, when the value P (t) of the user's emotion 40 or the user's stress index 50 increases, the value of E (t) calculated in the equation (7) also increases. Work support such as emphasizing and instructing information 70 related to the cooking procedure is possible.
このように、本実施形態によれば、ロボット１０に接続されたカメラ２０または脈拍センサ３０がユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得し、取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定し、判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成し、生成したロボット動作６０に応じて、調理手順に関わる情報７０を提示するので、時々刻々と変わるユーザの感情やストレス指標に応じた支援が可能となる。また、物理的な実体のあるロボットが身振り手振りを交えて支援することで、人間的な支援を実現することも可能となる。 As described above, according to the present embodiment, the camera 20 or the pulse sensor 30 connected to the robot 10 acquires at least one of a biological signal such as a user's video or a user's pulse signal, and the acquired user's video or At least one of the user's emotion 40 or the user's stress index 50 is determined using at least one of the user's pulse signals, and at least one of the determined user's emotion 40 or the user's stress index 50 is used. Thus, the robot motion 60 is generated, and the information 70 related to the cooking procedure is presented in accordance with the generated robot motion 60, so that support according to the user's emotions and stress indices that change from moment to moment is possible. It is also possible to realize human support by supporting a robot with a physical entity with gestures.
［第２の実施形態］
図６は、第２の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置２は、ロボット１０、カメラ２０または脈拍センサ３０、および宅内機器（電子機器）９０を備える。カメラ２０は、ユーザの映像を取得する。脈拍センサ３０は、ユーザの脈拍信号を取得する。なお、本実施形態においても、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号を取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。
[Second Embodiment]
FIG. 6 is a diagram illustrating a schematic configuration of a work support apparatus according to the second embodiment. The work support device 2 includes a robot 10, a camera 20 or a pulse sensor 30, and a home device (electronic device) 90. The camera 20 acquires a user's video. The pulse sensor 30 acquires a user's pulse signal. Also in this embodiment, the acquisition sensor of the present invention is not limited to a camera or a pulse sensor, and any physical sensor can be used as long as it can acquire a biological signal such as a user's video or a user's pulse signal. The technical idea of the present invention does not change.
ロボット１０は取得したユーザの映像またはユーザのストレス指標５０の少なくとも一つを用いて、ユーザの作業進行状況（以下、調理状況１００ともいう）を判定する。さらに、ロボット１０は、判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する。そして、ロボット１０は、判定したユーザの調理状況１００および生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する。 The robot 10 determines the user's work progress status (hereinafter also referred to as cooking status 100) using at least one of the acquired user image or the user's stress index 50. Further, the robot 10 generates a robot motion 60 using at least one of the determined user emotion 40 or the user stress index 50. Then, the robot 10 presents information 70 related to the cooking procedure according to the determined cooking status 100 of the user and the generated robot operation 60.
宅内機器９０は、天気等のユーザの周囲の状況１１０を取得する。ロボット１０は、取得した周囲の状況１１０に応じて、調理手順に関わる情報７０を変更する。さらに、ロボット１０は、ユーザの調理作業を物理的に支援することができる。図６では、カメラ２０または脈拍センサ３０、および宅内機器９０は、ロボット１０の外部に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、ロボット１０の内部に内蔵されていても良い。 The in-home device 90 acquires a situation 110 around the user such as weather. The robot 10 changes the information 70 related to the cooking procedure according to the acquired surrounding situation 110. Furthermore, the robot 10 can physically support the user's cooking work. In FIG. 6, the camera 20 or the pulse sensor 30 and the in-home device 90 are connected to the outside of the robot 10, but the technical idea of the present invention is not limited to this, and is not limited to the inside of the robot 10. It may be built in.
図７は、第２の実施形態に係る作業支援装置の機能を示すブロック図である。ロボット１０は、情報取得部１０−１、感情判定部１０−２、動作生成部１０−３、情報提示部１０−４、状況判定部１０−５、手順変更部１０−６、物理的協力部１０−７、および宅内機器９０を備える。情報取得部１０−１は、カメラ２０または脈拍センサ３０等の物理センサを用いて、ユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得する。感情判定部１０−２は、情報取得部１０−１が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する。 FIG. 7 is a block diagram illustrating functions of the work support apparatus according to the second embodiment. The robot 10 includes an information acquisition unit 10-1, an emotion determination unit 10-2, an operation generation unit 10-3, an information presentation unit 10-4, a situation determination unit 10-5, a procedure change unit 10-6, and a physical cooperation unit. 10-7 and home appliance 90. The information acquisition unit 10-1 acquires at least one of a biological signal such as a user image or a user pulse signal using a physical sensor such as the camera 20 or the pulse sensor 30. The emotion determination unit 10-2 determines at least one of the user's emotion 40 or the user's stress index 50 using at least one of the user's video or the user's pulse signal acquired by the information acquisition unit 10-1. To do.
状況判定部１０−５は、情報取得部１０−１が取得したユーザの映像またはユーザの脈拍信号の少なくとも一つ、および、感情判定部１０−２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ユーザの調理状況１００を判定する。動作生成部１０−３は、感情判定部１０−２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ロボット動作６０を生成する。情報提示部１０−４は、状況判定部１０−５で判定した調理状況１００および動作生成部１０−３で生成されたロボット動作６０に応じて、調理手順に関わる情報７０を提示する。 The situation determination unit 10-5 includes at least one of the user's video or the user's pulse signal acquired by the information acquisition unit 10-1, the user's emotion 40 determined by the emotion determination unit 10-2, or the user's stress. The user's cooking status 100 is determined using at least one of the indices 50. The action generation unit 10-3 generates the robot action 60 by using at least one of the user emotion degree 40 or the user stress index 50 determined by the emotion determination unit 10-2. The information presentation unit 10-4 presents information 70 related to the cooking procedure in accordance with the cooking situation 100 determined by the situation determination unit 10-5 and the robot operation 60 generated by the operation generation unit 10-3.
宅内機器９０は、周囲状況取得部９０−１を備える。周囲状況取得部９０−１は、周囲の状況１１０を取得する。手順変更部１０−６は、周囲状況取得部９０−１で取得した周囲の状況１１０に応じて、調理手順に関わる情報７０を変更する。物理的協力部１０−７は、ユーザの調理作業を物理的に支援する。 The in-home device 90 includes a surrounding situation acquisition unit 90-1. The surrounding situation acquisition unit 90-1 acquires the surrounding situation 110. The procedure changing unit 10-6 changes the information 70 related to the cooking procedure according to the surrounding situation 110 acquired by the surrounding situation acquiring unit 90-1. The physical cooperation unit 10-7 physically supports the user's cooking work.
図８は、第２の実施形態に係る作業支援装置の動作例を示すフローチャートである。そして、図９は、第２の実施形態に係る作業支援装置が動作する際の関係図である。 FIG. 8 is a flowchart illustrating an operation example of the work support apparatus according to the second embodiment. FIG. 9 is a relationship diagram when the work support apparatus according to the second embodiment operates.
初めに、ロボット１０に接続されたカメラ２０または脈拍センサ３０が、ユーザの映像またはユーザの脈拍信号の少なくとも一つを取得する（ステップＴ１）。次に、ロボット１０において、ステップＴ１で取得したユーザの映像またはユーザの脈拍信号の少なくとも一つを用いて、ユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを判定する（ステップＴ２）。 First, the camera 20 or the pulse sensor 30 connected to the robot 10 acquires at least one of the user's video or the user's pulse signal (step T1). Next, in the robot 10, at least one of the user's emotional degree 40 or the user's stress index 50 is determined using at least one of the user's video or the user's pulse signal acquired in Step T1 (Step T2). .
次に、ステップＴ１で取得したユーザの映像またはユーザの脈拍信号の少なくとも一つ、および、ステップＴ２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、ユーザの調理状況１００を判定する（ステップＴ３）。 Next, using at least one of the user's video or user's pulse signal acquired at step T1 and the user's emotion 40 or user's stress index 50 determined at step T2, the user's cooking The situation 100 is determined (step T3).
調理状況の判定について具体例［１］〜［３］を示す。ここでは、カメラ２０で取得した映像信号を、ＳＶＭ等の画像パターン認識法を用いて、「腕が真上に上がる」「手が左右に振られる」「視線が天井に向く」「視線がロボットに向く」等の行動情報に変換する。 Specific examples [1] to [3] of the determination of the cooking status are shown. Here, the image signal acquired by the camera 20 is used by using an image pattern recognition method such as SVM, “arms are raised directly”, “hands are swung left and right”, “line of sight is directed toward the ceiling”, “line of sight is robot It is converted into action information such as “suitable for”.
［１］
・ユーザの腕が真上に上がる映像を受信
→ 調理状況１００：完了
・ユーザの手が左右に振られる映像を受信
→ 調理状況１００：未完了
・ユーザの腕が真上に上がる映像も、ユーザの手が左右に振られる映像も受信しない
→ 調理状況１００：繁忙
[1]
・ Receive image of user's arm rising → Cooking situation 100: Completed ・ Receive image of user's hand shaking left and right → Cooking situation 100: Not completed Also does not receive video of your hand shaking left and right → Cooking situation 100: Busy
［２］
・ユーザの視線が天井に向く映像を受信
→ 調理状況１００：完了
・ユーザの視線がロボットに向く映像を受信
→ 調理状況１００：未完了
・ユーザの視線が天井に向く映像も、ユーザの視線がロボットに向く映像も受信しない
→ 調理状況１００：繁忙
[2]
・ Receiving video with user's line of sight toward the ceiling → Cooking situation 100: Completed ・ Receiving video with user's line of sight toward the robot → Cooking situation 100: Not complete ・ Video with user's line of sight toward the ceiling Also does not receive robot-friendly video → Cooking situation 100: Busy
［３］
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθA未満
→ 調理状況１００：完了
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθA以上かつθB未満
→ 調理状況１００：未完了
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθB以上
→ 調理状況１００：繁忙
[3]
The value P (t) of the user's emotion 40 or the user's stress index 50 is less than θ A → cooking state 100: completed. The value P (t) of the user's emotion 40 or the user's stress index 50 is greater than or equal to θ A. And less than θ B → Cooking status 100: Incomplete ・ User emotion 40 or user stress index 50 value P (t) is greater than θ B → Cooking status 100: Busy
次に、ロボット１０において、ステップＴ３で判定したユーザの情動度４０またはユーザのストレス指標５０、および調理状況１００を用いて、ロボット動作６０を生成する（ステップＴ４）。 Next, the robot 10 generates a robot motion 60 using the user's emotion 40 or the user's stress index 50 determined in step T3 and the cooking situation 100 (step T4).
次に、ロボット１０において、ステップＴ３で判定した調理状況１００、およびステップＴ４で生成されたロボット動作６０を用いて、調理手順に関わる情報７０を提示する（ステップＴ５）。以下に、ステップＴ５の動作例を説明する。本実施形態では、例えば、料理品名、その各調理手順における画像、目安の調理時間から構成される調理データベースを使用する。なお、調理データベースは、出版社やＩＳＰ等から提供されており、容易に取得可能である。もし手順化されていな場合には、文字認識技術やテキスト解析技術等を用いて、各調理手順、目安の調理時間を構成し、料理データベースを作成しても良い。 Next, the robot 10 presents information 70 related to the cooking procedure using the cooking status 100 determined in step T3 and the robot operation 60 generated in step T4 (step T5). Hereinafter, an operation example of step T5 will be described. In the present embodiment, for example, a cooking database including cooking product names, images in the respective cooking procedures, and approximate cooking times is used. The cooking database is provided by a publisher or ISP, and can be easily obtained. If it is not procedural, a cooking database may be created by configuring each cooking procedure and approximate cooking time using character recognition technology, text analysis technology, or the like.
現在の調理手順が先頭からＮ番目であるとする。以下に、ステップＴ３において調理状況を「完了」、「未完了」、「繁忙」と判定した場合の動作例を示す
・調理状況１００として、完了と判定
→ 料理データベースからＮ＋１番目の調理手順における画像を抽出し、調理手順に関わる情報７０として提示
・調理状況１００として、未完了と判定
→ 料理データベースからＮ番目の作業手順における画像を抽出し、調理手順に関わる情報７０として提示。
・調理状況１００として、繁忙と判定
→ 一定時間経過後、ステップＴ１へ戻る
Assume that the current cooking procedure is Nth from the top. The following shows an example of the operation when the cooking status is determined to be “completed”, “incomplete”, “busy” in step T3. ・ Cooking status 100 is determined to be complete. → Image in N + 1th cooking procedure from cooking database Is extracted and presented as information 70 related to the cooking procedure and determined as incomplete as cooking status 100 → An image in the Nth work procedure is extracted from the cooking database and presented as information 70 related to the cooking procedure.
・ Cooking status 100 is determined to be busy → After a certain period of time, return to step T1
次に、ユーザの映像またはユーザの生体信号等とは別に、宅内機器９０において、周囲の状況１１０を取得し、取得した情報をデータに変換する（ステップＴ６）。なお、本実施形態では、宅内機器９０として、電話機、スマートフォン、ＰＣ、ＴＶ、インターフォン、降雪雨センサ・風速センサ・温度センサを使用し、周囲の状況１１０として、電話、電子メール、ＳＮＳ、ＴＶ放送、訪問者、天候等の情報を取得するが、本発明の技術的思想は、これらに限定されるわけではなく、他の宅内機器または周囲の状況を用いても良い。以下に、各種宅内機器を用いた場合の動作例を示す。 Next, apart from the user's video or the user's biological signal, etc., the in-home device 90 acquires the surrounding situation 110, and converts the acquired information into data (step T6). In the present embodiment, a telephone, a smartphone, a PC, a TV, an interphone, a snow / rain sensor, a wind speed sensor, and a temperature sensor are used as the home device 90, and a telephone, e-mail, SNS, TV broadcast is used as the surrounding situation 110. However, the technical idea of the present invention is not limited to these, and other in-house devices or surrounding conditions may be used. An example of operation when various home appliances are used is shown below.
・宅内機器９０として、電話機を使用
→ 電話機で検出された入電、電子メールの受信を当該通信手段の受信有無情報に変換
・宅内機器９０として、スマートフォンを使用
→ スマートフォンで検出された入電、電子メールの受信、ＳＮＳメッセージ等の受信を当該通信手段の受信有無情報に変換
・宅内機器９０として、ＴＶを使用
→ ＴＶの視聴予約開始時刻を数値データに変換
・宅内機器９０として、インターフォンを使用
→ インターフォンの押下をインターフォン押下有無情報に変換
・宅内機器９０として、降雪雨センサ・風速センサ・温度センサを使用
→ 降雪雨センサ・風速センサ・温度センサで検出された降雪雨、風速、温度を数値データに変換
・ Uses a telephone as the home device 90 → Converts incoming calls and e-mails detected by the phone into reception information of the communication means ・ Uses a smartphone as the home device 90 → Calls and e-mails detected by the smartphone Reception, SNS message reception, etc., converted into reception information of the communication means, using TV as home device 90 → Converting TV viewing reservation start time into numerical data, using interphone as home device 90 → Interphone・ Pressing the interphone is converted into information on whether or not the intercom is pressed. ・ Uses a snowfall sensor, wind speed sensor, and temperature sensor as home appliance 90 → Snowfall, wind speed, and temperature detected by the snowfall sensor, wind speed sensor, and temperature sensor are converted into numerical data. conversion
次に、周囲状況取得部でデータに変換された周囲の状況１１０は、ロボット１０へ送信される。以下に、周囲の状況１１０の送信の動作例を示す。
・宅内機器９０として、電話機を使用
→ 周囲の状況１１０として、電話機への入電をロボット１０に送信
→ 周囲の状況１１０として、電話機への電子メールの受信をロボット１０に送信
・宅内機器９０として、スマートフォンを使用
→ 周囲の状況１１０として、スマートフォンへの入電をロボット１０に送信
→ 周囲の状況１１０として、スマートフォンへの電子メールの受信をロボット１０に送信
→ 周囲の状況１１０として、スマートフォンへのＳＮＳメッセージの受信をロボット１０に送信
・宅内機器９０として、ＰＣを使用
→ 周囲の状況１１０として、ＰＣへの入電をロボット１０に送信
→ 周囲の状況１１０として、ＰＣへの電子メールの受信をロボット１０に送信
→ 周囲の状況１１０として、ＰＣへのＳＮＳメッセージの受信をロボット１０に送信
・宅内機器９０として、ＴＶを使用
→ 周囲の状況１１０として、視聴予約したＴＶ放送の開始をロボット１０に送信
・宅内機器９０として、インターフォンを使用
→ 周囲の状況１１０として、訪問者からの呼出をロボット１０に送信
・宅内機器９０として、降雪雨センサ・風速センサ・温度センサを使用
→ 周囲の状況１１０として、降雪雨の発生をロボット１０へ送信
→ 周囲の状況１１０として、強風の発生をロボット１０へ送信
→ 周囲の状況１１０として、気温の変化をロボット１０へ送信
Next, the surrounding situation 110 converted into data by the surrounding situation acquisition unit is transmitted to the robot 10. Hereinafter, an example of the transmission operation in the surrounding situation 110 will be described.
-Use of a telephone as the home appliance 90-> Send the incoming call to the telephone to the robot 10 as the surrounding situation 110-> Send the reception of the e-mail to the telephone to the robot 10 as the surrounding situation 110-As the home appliance 90, Use of a smartphone → Sending an incoming call to the smartphone as the surrounding situation 110 to the robot 10 → Sending an e-mail to the smartphone to the robot 10 as the surrounding situation 110 → An SNS message to the smartphone as the surrounding situation 110 Is sent to the robot 10 and the PC is used as the in-home device 90 → the surrounding situation 110, the incoming call to the PC is sent to the robot 10 → the surrounding situation 110 is received and the e-mail to the PC is received by the robot 10 Send → Accept SNS message to PC as surrounding situation 110 TV is transmitted to the robot 10 as a home device 90 and the TV is used as a surrounding situation 110, and the start of TV broadcasting reserved for viewing is transmitted to the robot 10 and the interphone is used as a home device 90. Sends a call from a visitor to the robot 10. Uses a snowfall sensor, a wind speed sensor, and a temperature sensor as the in-home equipment 90 → sends the occurrence of snowfall to the robot 10 as the surrounding situation 110 → as the surrounding situation 110. Send generation of strong wind to robot 10 → Send temperature change to robot 10 as surrounding situation 110
次に、ロボット１０において、ステップＴ６で取得した周囲の状況１１０に応じて、調理手順に関わる情報７０を変更する（ステップＴ７）。また、ここでは、予めユーザ取得した各周囲の状況１１０への応答時間θi（ｉ＝入電、電子メール受信、ＳＮＳメッセージ受信、視聴予約したＴＶ放送の開始、訪問者からの呼出、降雪雨の発生、強風の発生、気温の変化等）を指定しておくが、本発明の技術的思想は、これに限定されるわけではない。 Next, in the robot 10, the information 70 related to the cooking procedure is changed according to the surrounding situation 110 acquired in step T6 (step T7). In addition, here, response time θ i (i = input, e-mail reception, SNS message reception, start of TV broadcasting reserved for viewing, call from visitor, snow and rain) Generation, generation of strong wind, change in temperature, etc.) are specified, but the technical idea of the present invention is not limited to this.
（１）θi≧Ｎ番目の調理手順における目安の調理時間−Ｎ番目の手順における作業経過時間
→ 調理手順に関わる情報７０：変更なし
（２）θi<Ｎ番目の調理手順における目安の調理時間−Ｎ番目の手順における作業経過時間
・料理データベースにおけるＮ＋１番目以降の目安の調理時間に、θi以下の調理手順（Ｍ番目）が存在し、且つＮ番目の調理手順と入れ替え可能
→ 調理手順に関わる情報７０：料理データベースからＭ番目の調理手順における画像を抽出し、調理手順に関わる情報７０として提示
・料理データベースにおけるＮ＋１番目以降の目安の調理時間に、θi以下の調理手順が存在しない、またはＮ番目の調理手順と入れ替え不可能
→ 調理手順に関わる情報７０：中断
(1) θ i ≧ N-th of the cooking operation elapsed time in the cooking time -N-th step of the guideline in the procedure → involved in the cooking procedure information 70: No change (2) θ i <cooking of a guideline in the N-th of the cooking procedure Time-Elapsed work time in the N-th procedure / N + 1-th or later standard cooking time in the cooking database has a cooking procedure (M-th) below θ i and can be replaced with the N-th cooking procedure → Cooking procedure Information 70: The image in the M-th cooking procedure is extracted from the cooking database and presented as information 70 related to the cooking procedure. There is no cooking procedure equal to or smaller than θ i in the N + 1 and later estimated cooking times in the cooking database. , Or cannot be replaced with the Nth cooking procedure → Information relating to cooking procedure 70: Interruption
さらに、ロボット１０において、ユーザの作業を物理的に支援する（ステップＴ８）。なお、本実施形態では、ロボット１０に、物体の運搬や機器の操作を可能とする部位が装着されているが、本発明の技術的思想は、これに限定されるわけではなく、物体の運搬や機器の操作を指示するだけでも良い。 Further, the robot 10 physically supports the user's work (step T8). In the present embodiment, the robot 10 is equipped with a part that enables object transportation and device operation. However, the technical idea of the present invention is not limited to this, and object transportation is not limited thereto. Or just instructing the operation of the device.
ここで、ロボット１０は、例えば、Ｎ番目の調理手順に必要な調理器具を保管場所から取り出し、ユーザに渡す。また、ロボット１０は、Ｎ番目の調理手順に必要な調理機器の操作を行う。なお、ここでは、調理機器や調理器具の位置は、予め登録しても良いし、ロボット１０が認識して、各調理機器や調理器具の位置を把握しても良い。
・料理データベースにあるＮ番目の調理手順における調理器具と異なる調理器具を使用する映像を受信
→ 正しい調理器具を渡す
・料理データベースにあるＮ番目の調理手順における調理方法と異なる映像を受信
→ 正しい調理方法を提示する
・ユーザの視線がＮ番目の調理手順に使用する調理機器とは異なる方向に向く映像を受信
→ 警告を促す
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ以上
→ 各調理機器の安全装置を作動させる
Here, for example, the robot 10 takes out the cooking utensil necessary for the N-th cooking procedure from the storage location and delivers it to the user. In addition, the robot 10 operates cooking equipment necessary for the Nth cooking procedure. Here, the positions of the cooking appliances and cooking utensils may be registered in advance, or the robot 10 may recognize and grasp the positions of the cooking appliances and cooking utensils.
・ Receive video using cooking utensils different from cooking utensils in Nth cooking procedure in cooking database → Pass correct cooking utensils ・ Receive video different from cooking method in Nth cooking procedures in cooking database → Correct cooking Presents the method-Receives an image in which the user's line of sight is in a different direction from the cooking appliance used for the Nth cooking procedure-> urges warning-Value P (t) of user emotion 40 or user stress index 50 Is more than θ → Activate the safety device of each cooking appliance
さらに、ステップＴ３で判定した調理状況１００またはステップＴ２で判定したユーザの情動度４０またはユーザのストレス指標５０に応じて、ロボット１０がユーザに声掛けを行う。
・作業進行状況：完了
→ ロボット１０：「良くできました」等、賞賛の声掛け
・作業進行状況：未完了
→ ロボット１０：「頑張って」等、激励の声掛け
・作業進行状況：繁忙
→ ロボット１０：「どうしたの？」等、心配の声掛け
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ以上
→ ロボット１０：「落ち着いて」等、慎重な声掛け
Furthermore, the robot 10 speaks to the user according to the cooking situation 100 determined in step T3 or the user's emotional degree 40 or the user's stress index 50 determined in step T2.
-Work progress: Completed → Robot 10: Called for praise, such as "I'm done well"-Work progress: Not completed → Robot 10: Called for encouragement, such as "Do your best"-Work progress: Busy → Robot 10: Voice of worries, such as “What's wrong?” ・ Value of user emotion 40 or user stress index 50 P (t) is greater than θ → Robot 10: Careful voice, such as “Keep calm”
加えて、ステップＴ１で取得したユーザの映像またはステップＴ２で判定したユーザの情動度４０またはユーザのストレス指標５０の少なくとも一つを用いて、作業の手順や出来栄えを評価する。
・料理データベースにあるＮ番目の調理手順における作業結果との類似度を受信
→ 類似度を５段階で評価し、ロボット評価として出力する
・ユーザの情動度４０またはユーザのストレス指標５０の値Ｐ（ｔ）がθ以上
→ コーヒーメーカを起動し、ご褒美としてユーザにコーヒーを提供する
In addition, the work procedure and performance are evaluated using at least one of the user's video acquired in step T1 or the user's emotion 40 determined in step T2 or the user's stress index 50.
・ Receiving the similarity with the work result in the Nth cooking procedure in the cooking database → Evaluating the similarity in five stages and outputting it as a robot evaluation ・ The value P (40) of the user's emotion or the stress index 50 of the user t) is greater than or equal to θ → Start the coffee maker and offer coffee to the user as a reward
以上説明したように、本実施形態によれば、ユーザの映像や生体信号を用いることにより、時々刻々と変わるユーザの感情やストレス、ユーザの利用環境に応じた作業支援をすることが可能となる。また、映像やセンサを用いることによって音声等の取得が困難な環境であってもユーザの状態を把握することが可能となる。 As described above, according to the present embodiment, it is possible to provide work support according to the user's emotions and stresses that change from moment to moment and the user's usage environment by using the user's video and biological signals. . In addition, by using a video and a sensor, it is possible to grasp the user's state even in an environment where it is difficult to acquire audio and the like.
１、２ 作業支援装置
１０ ロボット
１０−１ 情報取得部
１０−２ 感情判定部
１０−３ 動作生成部
１０−４ 情報提示部
１０−５ 状況判定部
１０−６ 手順変更部
１０−７ 物理的協力部
２０ カメラ
３０ 脈拍センサ
４０ ユーザの情動度
５０ ユーザのストレス指標
６０ ロボット動作
７０ 調理手順に関わる情報
９０ 宅内機器（電子機器）
９０−１ 周囲状況取得部
１００ 調理状況
１１０ 周囲の状況
DESCRIPTION OF SYMBOLS 1, 2 Work support apparatus 10 Robot 10-1 Information acquisition part 10-2 Emotion determination part 10-3 Motion generation part 10-4 Information presentation part 10-5 Situation determination part 10-6 Procedure change part 10-7 Physical cooperation Unit 20 Camera 30 Pulse sensor 40 User's emotion 50 User's stress index 60 Robot motion 70 Information related to cooking procedure 90 Home appliance (electronic device)
90-1 Ambient condition acquisition unit 100 Cooking condition 110 Ambient condition
Claims (8)
ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、
前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、
前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする作業支援装置。 A work support device for supporting work performed by a user,
Using at least one of the user's video or biometric signal, an emotion determination unit that determines an emotion level indicating a change amount of the user's emotion or a stress index indicating a degree of stress of the user;
A motion generation unit that generates a robot motion using at least one of the determined emotion degree or stress index;
A work support apparatus comprising: an information presentation unit that presents information on a work procedure held in advance according to the generated robot motion.
前記情報提示部は、前記判定した作業進行状況および前記生成したロボット動作に基づいて、前記作業進行状況に応じた作業手順に関する情報を提示することを特徴とする請求項１または請求項２記載の作業支援装置。 Using at least one of the video or the biological signal and at least one of the determined emotion or stress index, a situation determination unit for determining a work progress situation;
The information presentation unit presents information related to a work procedure according to the work progress based on the determined work progress and the generated robot motion. Work support device.
前記部位を動かす駆動部と、を備え、
前記ロボット動作に基づいて、前記駆動部を駆動させることによって、前記ロボットの部位を動かすことを特徴とする請求項１から請求項６のいずれかに記載の作業支援装置。 A robot body in which any part is movable;
A drive unit for moving the part,
The work support apparatus according to claim 1, wherein a part of the robot is moved by driving the drive unit based on the robot operation.
ユーザの映像または生体信号の少なくとも一つを用いて、ユーザの感情の変化量を示す情動度またはユーザのストレスの度合いを示すストレス指標を判定する処理と、
前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する処理と、
前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とするプログラム。
A program of a work support device that supports work performed by a user,
A process of determining an emotion level indicating the amount of change in the user's emotion or a stress index indicating the degree of stress of the user using at least one of the user's video or biological signal;
A process of generating a robot motion using at least one of the determined emotion degree or stress index;
A program for causing a computer to execute a series of processes including a process of presenting information on a work procedure held in advance according to the generated robot operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016052919A JP6594235B2 (en) | 2016-03-16 | 2016-03-16 | Work support apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016052919A JP6594235B2 (en) | 2016-03-16 | 2016-03-16 | Work support apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017164851A true JP2017164851A (en) | 2017-09-21 |
| JP6594235B2 JP6594235B2 (en) | 2019-10-23 |
Family
ID=59909703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016052919A Active JP6594235B2 (en) | 2016-03-16 | 2016-03-16 | Work support apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6594235B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658928A (en) * | 2018-12-06 | 2019-04-19 | 山东大学 | A kind of home-services robot cloud multi-modal dialog method, apparatus and system |
| JP2019106036A (en) * | 2017-12-13 | 2019-06-27 | Kddi株式会社 | Support determination device, method and program |
| WO2023166979A1 (en) * | 2022-03-01 | 2023-09-07 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072894A (en) * | 2004-09-06 | 2006-03-16 | Advanced Institute Of Information Technology Inc | Cooking support apparatus and program |
| JP2008015585A (en) * | 2006-07-03 | 2008-01-24 | National Institute Of Information & Communication Technology | Living task support system |
| JP2015066621A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot, output control program and output control method |
-
2016
- 2016-03-16 JP JP2016052919A patent/JP6594235B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006072894A (en) * | 2004-09-06 | 2006-03-16 | Advanced Institute Of Information Technology Inc | Cooking support apparatus and program |
| JP2008015585A (en) * | 2006-07-03 | 2008-01-24 | National Institute Of Information & Communication Technology | Living task support system |
| JP2015066621A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot, output control program and output control method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019106036A (en) * | 2017-12-13 | 2019-06-27 | Kddi株式会社 | Support determination device, method and program |
| CN109658928A (en) * | 2018-12-06 | 2019-04-19 | 山东大学 | A kind of home-services robot cloud multi-modal dialog method, apparatus and system |
| WO2023166979A1 (en) * | 2022-03-01 | 2023-09-07 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6594235B2 (en) | 2019-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102239604B1 (en) | Device control using gaze information | |
| EP3062198B1 (en) | Generating actions based on a user's mood | |
| CN108351750B (en) | For handling equipment, method and the graphic user interface of strength information associated with touch input | |
| CN108874152A (en) | Mobile device with instinct warning | |
| US10181220B2 (en) | System and method for contact center augmented reality | |
| JP6594235B2 (en) | Work support apparatus and program | |
| CN108475507A (en) | Information processing equipment, information processing method and program | |
| CN108683850B (en) | Shooting prompting method and mobile terminal | |
| CN107358953A (en) | Sound control method, mobile terminal and storage medium | |
| CN105451090B (en) | Image processing method and image processing apparatus | |
| JP7323098B2 (en) | Dialogue support device, dialogue support system, and dialogue support program | |
| Mayer et al. | Examples of multimodal user interfaces for socially assistive robots in Ambient Assisted Living environments | |
| JP2019079204A (en) | Information input-output control system and method | |
| US20180299963A1 (en) | Information processing apparatus, information processing method, and program | |
| CN108133708B (en) | Voice assistant control method and device and mobile terminal | |
| CN110225196B (en) | Terminal control method and terminal equipment | |
| JP7146373B2 (en) | Customer service system | |
| JP6482037B2 (en) | Control device, control method, and control program | |
| JP6798258B2 (en) | Generation program, generation device, control program, control method, robot device and call system | |
| WO2017175447A1 (en) | Information processing apparatus, information processing method, and program | |
| JP6969576B2 (en) | Information processing device and information processing method | |
| JP6950708B2 (en) | Information processing equipment, information processing methods, and information processing systems | |
| JP2014030865A (en) | Sight line control device, sight line control method, sight line control program, and terminal equipment | |
| KR20160122869A (en) | Apparatus for being possible language converting using robot arm | |
| WO2014084374A1 (en) | Communication system, communication method, communication device, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190924 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6594235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |