JP6482037B2 - Control device, control method, and control program - Google Patents

Description

本発明は、制御装置、制御方法及び制御プログラムに関する。   The present invention relates to a control device, a control method, and a control program.

従来から、ユーザは、人形又は縫いぐるみ等と遊ぶことによって、楽しんだり癒されたりしていた。このような人形等には、モータ等の駆動装置が備えられ、駆動装置の駆動に応じて自動的に動作するものがあり、ユーザは、自動的に動作する人形等を見て楽しむことができる。近年では、ユーザの音声情報を取得するマイクロフォンを備え、取得したユーザの音声情報に応じた音声を出力する対話ロボットが知られている。   Traditionally, users have enjoyed or been healed by playing with dolls or stuffed animals. Some of these dolls are equipped with a driving device such as a motor, and some automatically operate according to the driving of the driving device, so that the user can enjoy watching the dolls that operate automatically. . In recent years, there has been known an interactive robot that includes a microphone that acquires voice information of a user and outputs a voice corresponding to the acquired voice information of the user.

例えば、特許文献１には、入力音声に対応付けられた応答情報を予め記憶し、ユーザからの入力音声を認識し、認識した入力音声に対応する応答情報を出力する対話ロボットが記載されている。この対話ロボットは、ユーザの生活情報（起床時刻等）を記憶し、ユーザからの入力音声に対応する応答情報とともに、生活情報に応じた応答情報（天気又はニュースの情報等）を出力する。この対話ロボットによって、複数の情報をスムーズに音声出力でき、ユーザは、ストレスを与えられることなく快適な生活環境が提供される。   For example, Patent Document 1 describes an interactive robot that stores response information associated with input speech in advance, recognizes input speech from a user, and outputs response information corresponding to the recognized input speech. . This interactive robot stores user's life information (such as wake-up time) and outputs response information (such as weather or news information) corresponding to the life information together with response information corresponding to the input voice from the user. With this interactive robot, a plurality of information can be smoothly output as a voice, and the user is provided with a comfortable living environment without being stressed.

特開２０１６−７１２４８号公報Japanese Patent Laid-Open No. 2006-71248

しかしながら、ユーザがストレスを有しているような場合では、従来のロボットによる応答がユーザにとって不快になることがあった。また、同じレベルのストレスを有するユーザでも、ストレスの継続状況に応じて不快になる応答が変わる場合があった。   However, when the user is stressed, the response by the conventional robot may be uncomfortable for the user. Further, even for users having the same level of stress, the unpleasant response may change depending on the continuation of the stress.

本発明は、このような従来の課題を解決すべくなされたものであり、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる制御装置、制御方法及び制御プログラムを提供することを目的とする。   The present invention has been made to solve such a conventional problem, and provides a control device, a control method, and a control program capable of outputting appropriate information according to a user's stress situation. For the purpose.

本発明に係る制御装置は、撮影装置、音声入力装置及び出力装置と接続し、ユーザのストレスの度合いを示すストレス度を判定する制御装置であって、現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶する記憶部と、撮影装置によって撮影されたユーザの顔画像データ及び音声入力装置に入力されたユーザの入力音声データを取得する情報取得部と、取得されたユーザの顔画像データ及び入力音声データに基づいてユーザの現在のストレス度を判定する判定部と、ユーザ履歴データから当該ユーザの過去のストレス度を取得し、対応出力データに基づいて、判定部が判定した現在のストレス度及び取得した過去のストレス度に対応した出力データを選択する選択部と、選択部によって選択された出力データを、出力装置に出力する出力処理部と、を有する。   A control device according to the present invention is a control device that is connected to an imaging device, a voice input device, and an output device and determines a stress level indicating a degree of stress of a user, and includes a plurality of current stress levels and a plurality of past stress levels. A storage unit for storing corresponding output data including a plurality of output data corresponding to each of the stress levels, user history data including past stress levels for each user, face image data of the user captured by the imaging device, and An information acquisition unit that acquires user input voice data input to the voice input device, a determination unit that determines the current stress level of the user based on the acquired user face image data and input voice data, and a user history The past stress level of the user is acquired from the data, and based on the corresponding output data, the current stress level determined by the determination unit and the acquired stress level Of a selection unit for selecting the output data corresponding to the stress level, the output data selected by the selection unit, and an output processing unit that outputs the output device.

また、本発明に係る制御装置において、判定部は、ユーザの顔画像データに基づいて表情パラメータを判定し、ユーザの入力音声データに基づいて感情パラメータ及びテンションパラメータを判定し、判定した表情パラメータ、感情パラメータ及びテンションパラメータに基づいてユーザの現在のストレス度を判定することが好ましい。   Further, in the control device according to the present invention, the determination unit determines the facial expression parameter based on the user's face image data, determines the emotion parameter and the tension parameter based on the user's input voice data, It is preferable to determine the current stress level of the user based on the emotion parameter and the tension parameter.

また、本発明に係る制御装置において、出力装置は、胴部、胴部と首部アクチュエータを介して接続する頭部、胴部と肩部アクチュエータを介して接続し且つ肘部アクチュエータを有する腕部とを少なくとも備え、胴部は、首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータを駆動制御する制御部を有し、出力処理部は、選択部によって選択されたユーザのストレスを解消するための一連のヒーリング動作を出力装置に行わせるための、首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータの駆動命令を出力データとして出力装置の制御部に出力することが好ましい。   Further, in the control device according to the present invention, the output device includes: a torso, a head connected to the torso via a neck actuator, an arm connected to the torso and a shoulder actuator and having an elbow actuator; The body includes a control unit that drives and controls the neck actuator, the shoulder actuator, and the elbow actuator, and the output processing unit performs a series of healings for eliminating the stress of the user selected by the selection unit. It is preferable to output a drive command for the neck actuator, the shoulder actuator, and the elbow actuator for causing the output device to perform an operation as output data to the control unit of the output device.

また、本発明に係る制御装置において、出力装置は、音声出力部及び表示部を備え、記憶部は、ユーザのストレス度に応じたアドバイスを示すアドバイス音声データ又はアドバイス文字データを出力データとして記憶し、出力処理部は、選択部によって選択されたユーザの現在のストレス度に応じたアドバイス音声データ又はアドバイス文字データを出力することが好ましい。   In the control device according to the present invention, the output device includes a voice output unit and a display unit, and the storage unit stores advice voice data or advice character data indicating advice according to the stress level of the user as output data. The output processing unit preferably outputs advice voice data or advice character data corresponding to the current stress level of the user selected by the selection unit.

また、本発明に係る制御装置において、出力処理部は、選択部によって選択されたユーザのストレス度を解消するための一連のヒーリング動作を行うキャラクタ画像を表示部に表示させることが好ましい。   In the control device according to the present invention, the output processing unit preferably displays on the display unit a character image for performing a series of healing operations for eliminating the stress level of the user selected by the selection unit.

また、本発明に係る制御装置において、出力処理部は、ユーザ履歴データを表示部に表示させることが好ましい。   In the control device according to the present invention, the output processing unit preferably displays user history data on the display unit.

本発明に係る制御方法は、撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定する制御装置の制御方法であって、現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶部に記憶し、撮影装置によって撮影されたユーザの顔画像データ及び音声入力装置に入力されたユーザの入力音声データを取得し、取得されたユーザの顔画像データ及び入力音声データに基づいてユーザの現在のストレス度を判定し、ユーザ履歴データから当該ユーザの過去のストレス度を取得し、対応出力データに基づいて、判定された現在のストレス度及び取得した過去のストレス度に対応した出力データを選択し、選択された出力データを、出力装置に出力する、こと含む。   A control method according to the present invention is a control method for a control device that is connected to an imaging device, a voice input device, and an output device and includes a storage unit, and that determines a user's stress. Corresponding output data including a plurality of output data corresponding to each of a plurality of stress levels and user history data including past stress levels for each user are stored in a storage unit, and the user's face image captured by the imaging device The user's input voice data input to the data and voice input device is acquired, the user's current stress level is determined based on the acquired user's face image data and input voice data, and the user's history data is used to determine the user's current stress level. The past stress level is acquired, and based on the corresponding output data, the determined current stress level and the output data corresponding to the acquired past stress level are obtained. Select data, and outputs the output data selected, the output device, including things.

本発明に係る制御プログラムは、撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定するコンピュータの制御プログラムであって、現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶部に記憶し、撮影装置によって撮影されたユーザの顔画像データ及び音声入力装置に入力されたユーザの入力音声データを取得し、取得されたユーザの顔画像データ及び入力音声データに基づいてユーザの現在のストレス度を判定し、ユーザ履歴データから当該ユーザの過去のストレス度を取得し、対応出力データに基づいて、判定された現在のストレス度及び取得した過去のストレス度に対応した出力データを選択し、選択された出力データを、出力装置に出力する、ことをコンピュータに実行させる。   A control program according to the present invention is a computer control program that is connected to an imaging device, a voice input device, and an output device and includes a storage unit, and determines a user's stress. The corresponding output data including a plurality of output data corresponding to the respective stress levels and the user history data including the past stress levels for each user are stored in the storage unit, and the user's face image data captured by the imaging device And the user's input voice data input to the voice input device, the user's current stress level is determined based on the acquired user's face image data and input voice data, and the user's history is determined from the user history data. The current stress level determined based on the corresponding output data and the acquired past stress level Selects the output data corresponding, the output data selected and output to the output device, causes the computer to execute the.

本発明に係る制御装置、制御方法及び制御プログラムによって、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる。   According to the control device, the control method, and the control program according to the present invention, it is possible to output appropriate information according to the state of stress of the user.

ロボットシステムの概略を説明するための模式図である。It is a schematic diagram for demonstrating the outline of a robot system. ロボットシステム１の概略構成の一例を示す図である。1 is a diagram illustrating an example of a schematic configuration of a robot system 1. FIG. 制御装置２の概略構成の一例を示す図である。2 is a diagram illustrating an example of a schematic configuration of a control device 2. FIG. ロボット３の概略構成の一例を示す図である。2 is a diagram illustrating an example of a schematic configuration of a robot 3. FIG. （ａ）及び（ｂ）は、制御装置２の表示部２４に表示される画面の一例を示す図である。(A) And (b) is a figure which shows an example of the screen displayed on the display part 24 of the control apparatus 2. FIG. （ａ）及び（ｂ）は、制御装置２の表示部２４に表示される画面の一例を示す図である。(A) And (b) is a figure which shows an example of the screen displayed on the display part 24 of the control apparatus 2. FIG. （ａ）及び（ｂ）は、制御装置２の表示部２４に表示される画面の一例を示す図である。(A) And (b) is a figure which shows an example of the screen displayed on the display part 24 of the control apparatus 2. FIG. （ａ）は、表情パラメータテーブルＴ１のデータ構造の一例を示す図であり、（ｂ）は、感情パラメータテーブルＴ２のデータ構造の一例を示す図であり、（ｃ）は、テンションパラメータテーブルＴ３のデータ構造の一例を示す図である。(A) is a figure which shows an example of the data structure of facial expression parameter table T1, (b) is a figure which shows an example of the data structure of emotion parameter table T2, (c) is a figure of tension parameter table T3. It is a figure which shows an example of a data structure. ストレステーブルＴ４のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of stress table T4. 対応出力テーブルＴ５のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of corresponding | compatible output table T5. ユーザ履歴テーブルＴ６のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of user history table T6. 制御装置２によって実行される情報出力処理の動作フローの一例を示す図である。4 is a diagram illustrating an example of an operation flow of information output processing executed by a control device 2. FIG. 制御装置２によって実行されるストレス度の判定処理の動作フローの一例を示す図である。It is a figure which shows an example of the operation | movement flow of the determination process of the stress degree performed by the control apparatus.

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。   Hereinafter, various embodiments of the present invention will be described with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to these embodiments, and extends to the invention described in the claims and equivalents thereof.

（ロボットシステムの概要）
本実施形態のロボットシステムは、制御装置及びロボットを有する。制御装置は、タブレット端末又はタブレットＰＣ（Personal Computer）等を想定するが、後述する各処理が実行可能であれば、どのような情報処理装置であってもよい。ロボットは、予め定められた動作を行うことが可能な頭部及び腕部等を備えるとともに、２Ｄ（2 dimensions）カメラ等の撮影装置、マイクロフォン等の音声入力装置及びスピーカ等の音声出力装置等を備える。 (Outline of the robot system)
The robot system of this embodiment has a control device and a robot. The control device is assumed to be a tablet terminal, a tablet PC (Personal Computer), or the like, but may be any information processing device as long as each process described below can be executed. The robot includes a head and arms that can perform a predetermined operation, and includes a photographing device such as a 2D (2 dimensions) camera, a voice input device such as a microphone, and a voice output device such as a speaker. Prepare.

制御装置は、有線又は無線の通信ネットワークを介してロボットと接続することにより、撮影装置及び音声入力装置からの情報を取得し、取得した情報に基づく出力データをロボットに出力する。ロボットは、制御装置からの出力データに従った動作、又は、画像出力若しくは音声出力等を行う。なお、出力データは、例えば、ロボットに一連の動作を行わせるための駆動命令、又は、ユーザに所定の動作を促すための画像データ若しくは音声データ等である。   The control device acquires information from the imaging device and the voice input device by connecting to the robot via a wired or wireless communication network, and outputs output data based on the acquired information to the robot. The robot performs an operation according to output data from the control device, an image output or a sound output. The output data is, for example, a drive command for causing the robot to perform a series of operations, or image data or audio data for prompting a user to perform a predetermined operation.

図１は、本実施形態のロボットシステムの概略を説明するための模式図である。以下、制御装置によって実行される情報出力処理について、図１を参照して説明する。   FIG. 1 is a schematic diagram for explaining the outline of the robot system of the present embodiment. Hereinafter, the information output process executed by the control device will be described with reference to FIG.

まず、制御装置は、ユーザに対して、ユーザの顔がロボットの撮影装置の視野範囲内に位置するように促すための音声データを、ロボットの音声出力装置を介して出力する。次に、制御装置は、ユーザの顔が撮影装置の視野範囲内に位置したことを判定すると、撮影装置によって撮影されたユーザの顔画像データを取得する。次に、制御装置は、ユーザの音声の入力を促すための音声データを、ロボットの音声出力装置に出力させる。ロボットの音声入力装置にユーザの音声が入力された場合、制御装置は当該入力音声データを取得する。   First, the control device outputs voice data for prompting the user to place the user's face within the field of view of the imaging device of the robot via the voice output device of the robot. Next, when it is determined that the user's face is located within the visual field range of the imaging device, the control device acquires user face image data captured by the imaging device. Next, the control device causes the voice output device of the robot to output voice data for prompting the user to input voice. When the user's voice is input to the voice input device of the robot, the control device acquires the input voice data.

次に、制御装置は、取得したユーザの顔画像データ及び入力音声データに基づいてユーザのストレス度を判定する。ストレス度は、人間のストレスの度合いを示す情報であり、制御装置によって予め記憶されている。以下、ストレス度の判定処理の一例の概略について説明する。   Next, the control device determines the degree of stress of the user based on the acquired user face image data and input voice data. The stress level is information indicating the level of human stress and is stored in advance by the control device. Hereinafter, an outline of an example of the stress degree determination process will be described.

まず、制御装置は、公知の表情認識処理を実行し、取得したユーザの顔画像データに対応する顔の表情属性（「笑顔」、「穏やか」、「喜び」、「驚き」、「怒り」及び「悲しみ」等）を特定する。また、制御装置は、公知の声認識処理を実行し、取得したユーザの入力音声データに対応する声の感情属性（「穏やか」、「怒り」、「喜び」及び「悲しみ」等）を特定する。   First, the control device executes a known facial expression recognition process, and facial expression attributes (“smile”, “gentle”, “joy”, “surprise”, “anger” and “face” corresponding to the acquired facial image data of the user. "Sorrow" etc.). In addition, the control device executes a known voice recognition process, and identifies emotion attributes (“gentle”, “anger”, “joy”, “sadness”, etc.) of the voice corresponding to the acquired user input voice data. .

次に、制御装置は、特定したユーザの表情属性及び感情属性に対応するストレス度を判定する（図１の（１））。例えば、制御装置は、表情属性である「笑顔」、「穏やか」、「喜び」、「驚き」、「怒り」及び「悲しみ」等のそれぞれと、感情属性である「穏やか」、「怒り」、「喜び」及び「悲しみ」等のそれぞれとに、ストレス度（「強いストレス」、「ややストレス」等）を対応付けて記憶する。制御装置は、特定したユーザの表情属性及び感情属性に対応付けられたストレス度を判定する。以上により、ストレス度の判定処理は終了する。なお、公知の声認識処理が実行されることで特定される感情の高まりを示すテンション属性（「低い」、「高い」等）が、ストレス度に対応付けられてもよい。この場合、制御装置は、特定したユーザの表情属性及び感情属性とともに、特定したテンション属性に基づいてストレス度を判定する。   Next, the control device determines the degree of stress corresponding to the identified facial expression attribute and emotion attribute of the user ((1) in FIG. 1). For example, the control device includes facial expressions such as “smiling”, “gentle”, “joy”, “surprise”, “anger” and “sadness”, and emotional attributes “gentle”, “anger”, The degree of stress (such as “strong stress” or “slight stress”) is stored in association with each of “joy” and “sadness”. The control device determines the degree of stress associated with the identified facial expression attribute and emotion attribute of the user. Thus, the stress degree determination process ends. Note that a tension attribute (“low”, “high”, etc.) indicating an increase in emotion identified by executing a known voice recognition process may be associated with the degree of stress. In this case, the control device determines the stress level based on the specified tension attribute together with the specified facial expression attribute and emotion attribute of the user.

次に、制御装置は、判定したユーザのストレス度及び判定を実施した実施日を、ユーザ履歴テーブルに記憶する（図１の（２））。以下、制御装置が今回判定したストレス度を、現在のストレス度と称する場合がある。なお、ユーザ履歴テーブルは、ユーザ履歴データの一例である。   Next, a control apparatus memorize | stores the determined user's stress degree and the implementation date which performed determination in a user history table ((2) of FIG. 1). Hereinafter, the stress level determined by the control device this time may be referred to as the current stress level. The user history table is an example of user history data.

次に、制御装置は、現在のストレス度より前に、当該ユーザの過去のストレス度がユーザ履歴テーブルに記憶されているか否かを判定する。制御装置は、現在の実施日より前に、当該ユーザの過去のストレス度がユーザ履歴テーブルに記憶されていないと判定した場合、ユーザの現在のストレス度に対応付けられた出力データを選択する。また、制御装置は、今回の実施日より前に、当該ユーザの過去のストレス度がユーザ履歴テーブルに記憶されていると判定した場合、ユーザの現在のストレス度及びユーザの過去のストレス度の両方に対応付けられた出力データを選択する（図１の（３））。   Next, the control device determines whether or not the past stress level of the user is stored in the user history table before the current stress level. When it is determined that the user's past stress level is not stored in the user history table before the current implementation date, the control device selects output data associated with the user's current stress level. Further, when it is determined that the past stress level of the user is stored in the user history table before the current implementation date, the control device determines both the current stress level of the user and the past stress level of the user. Output data associated with is selected ((3) in FIG. 1).

そして、制御装置は、選択された出力データをロボットに出力し（図１の（４））、ロボットは、出力データに従った一連の動作を行う（図１の（５））。なお、ロボットは出力装置の一例である。   Then, the control device outputs the selected output data to the robot ((4) in FIG. 1), and the robot performs a series of operations according to the output data ((5) in FIG. 1). The robot is an example of an output device.

上述のとおり、ロボットシステムの制御装置は、ユーザに対して、当該ユーザにおける現在のストレス度及び過去のストレス度の両方に対応付けられた出力データを出力することができる。したがって、ロボットシステムの制御装置によって、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる。   As described above, the control device of the robot system can output output data associated with both the current stress level and the past stress level of the user to the user. Therefore, it is possible to output appropriate information according to the stress state of the user by the control device of the robot system.

なお、上述した図１の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明及び本明細書の開示範囲に含まれる。   The description of FIG. 1 described above is merely an explanation for deepening the understanding of the contents of the present invention. Specifically, the present invention may be implemented in various embodiments described below, and may be implemented in various modifications without substantially exceeding the principle of the present invention. All such variations are within the scope of the present disclosure and the specification.

（ロボットシステム１の概略構成）
図２は、ロボットシステム１の概略構成の一例を示す図である。ロボットシステム１は、制御装置２と、ロボット３とを有する。制御装置２とロボット３とは、有線又は無線による通信ネットワークを介して相互に接続される。 (Schematic configuration of the robot system 1)
FIG. 2 is a diagram illustrating an example of a schematic configuration of the robot system 1. The robot system 1 includes a control device 2 and a robot 3. The control device 2 and the robot 3 are connected to each other via a wired or wireless communication network.

（制御装置２）
図３は、制御装置２の概略構成の一例を示す図である。 (Control device 2)
FIG. 3 is a diagram illustrating an example of a schematic configuration of the control device 2.

制御装置２は、ユーザのストレス度に対応付けられた出力データを選択し、選択された出力データをロボット３に出力する機能を有する。そのために、制御装置２は、通信部２１と、記憶部２２と、操作部２３と、表示部２４と、処理部２５とを備える。   The control device 2 has a function of selecting output data associated with the user's stress level and outputting the selected output data to the robot 3. For this purpose, the control device 2 includes a communication unit 21, a storage unit 22, an operation unit 23, a display unit 24, and a processing unit 25.

なお、本実施形態では、制御装置２として、タブレット端末、タブレットＰＣ等を想定するが、本発明はこれに限定されるものではない。制御装置２は、本発明が適用可能であればよく、例えば、パーソナルコンピュータ（ＰＣ）、サーバ、多機能携帯電話（所謂「スマートフォン」）、携帯電話（所謂「フィーチャーフォン」）や携帯情報端末（Personal Digital Assistant, PDA）、携帯ゲーム機、携帯音楽プレーヤ、ノートＰＣ等でもよい。   In the present embodiment, a tablet terminal, a tablet PC, or the like is assumed as the control device 2, but the present invention is not limited to this. The control device 2 only needs to be applicable to the present invention. For example, a personal computer (PC), a server, a multi-function mobile phone (so-called “smartphone”), a mobile phone (so-called “feature phone”), or a portable information terminal ( (Personal Digital Assistant, PDA), portable game machine, portable music player, notebook PC, etc.

通信部２１は、ＵＳＢ（Universal Serial Bus）等と接続するためのインターフェース、有線又は無線のＬＡＮ（Local Area Network）の通信インターフェース等を含む、通信インターフェース等である。通信部２１は、ロボット３から受信したデータを処理部２５に供給する。また、通信部２１は、処理部２５から供給されたデータをロボット３に送信する。   The communication unit 21 is a communication interface including an interface for connecting to a USB (Universal Serial Bus) or the like, a wired or wireless LAN (Local Area Network) communication interface, or the like. The communication unit 21 supplies data received from the robot 3 to the processing unit 25. In addition, the communication unit 21 transmits data supplied from the processing unit 25 to the robot 3.

記憶部２２は、例えば、半導体メモリ装置を備える。記憶部２２は、処理部２５での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部２２は、ドライバプログラムとして、操作部２３を制御する入力デバイスドライバプログラムや、表示部２４を制御する出力デバイスドライバプログラム等を記憶する。また、記憶部２２は、アプリケーションプログラムとして、少なくとも情報出力処理プログラム等を記憶する。さらに、記憶部２２は、データとして後述する表情パラメータテーブルＴ１、感情パラメータテーブルＴ２、テンションパラメータテーブルＴ３、ストレステーブルＴ４、対応出力テーブルＴ５、ユーザ履歴テーブルＴ６等を記憶する。また、記憶部２２は、所定の処理に係る一時的なデータを一時的に記憶してもよい。   The storage unit 22 includes, for example, a semiconductor memory device. The storage unit 22 stores an operating system program, a driver program, an application program, data, and the like used for processing in the processing unit 25. For example, the storage unit 22 stores an input device driver program for controlling the operation unit 23, an output device driver program for controlling the display unit 24, and the like as driver programs. The storage unit 22 stores at least an information output processing program or the like as an application program. Further, the storage unit 22 stores, as data, a facial expression parameter table T1, an emotion parameter table T2, a tension parameter table T3, a stress table T4, a corresponding output table T5, a user history table T6, and the like. The storage unit 22 may temporarily store temporary data related to a predetermined process.

操作部２３は、制御装置２の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネル又はキーボード等である。ユーザは、操作部２３を用いて、後述する表示部２４に表示されたボタン等の指定指示、又は、文字、数字若しくは記号等の入力を行うことができる。操作部２３は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として、処理部２５に供給される。   The operation unit 23 may be any device as long as the operation of the control device 2 is possible, for example, a touch panel or a keyboard. The user can use the operation unit 23 to input a designation instruction such as a button displayed on the display unit 24 described later, or characters, numbers, symbols, or the like. When operated by the user, the operation unit 23 generates a signal corresponding to the operation. The generated signal is supplied to the processing unit 25 as a user instruction.

表示部２４は、動画像、静止画像等の表示が可能であればどのようなデバイスでもよく、例えば、有機ＥＬ（Electro−Luminescence）ディスプレイ、液晶ディスプレイ、又は、タッチパネル式の表示装置等である。表示部２４は、処理部２５から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。   The display unit 24 may be any device as long as it can display moving images, still images, and the like, and is, for example, an organic EL (Electro-Luminescence) display, a liquid crystal display, or a touch panel display device. The display unit 24 displays a moving image corresponding to the moving image data supplied from the processing unit 25, a still image corresponding to the still image data, and the like.

処理部２５は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部２５は、制御装置２の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。処理部２５は、制御装置２の各種処理が記憶部２２に記憶されているプログラムや操作部２３の操作等に基づいて適切な手順で実行されるように、表示部２４等の動作を制御する。処理部２５は、記憶部２２に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部２５は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。   The processing unit 25 includes one or a plurality of processors and their peripheral circuits. The processing unit 25 comprehensively controls the overall operation of the control device 2 and is, for example, a CPU (Central Processing Unit). The processing unit 25 controls the operation of the display unit 24 and the like so that various processes of the control device 2 are executed in an appropriate procedure based on a program stored in the storage unit 22, an operation of the operation unit 23, and the like. . The processing unit 25 executes processing based on programs (operating system program, driver program, application program, etc.) stored in the storage unit 22. The processing unit 25 can execute a plurality of programs (such as application programs) in parallel.

処理部２５は、情報取得部２５１と、判定部２５２と、選択部２５３と、出力処理部２５４とを有する。処理部２５が有するこれらの各部は、処理部２５が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、処理部２５が有するこれらの各部は、ファームウェアとして制御装置２に実装されてもよい。   The processing unit 25 includes an information acquisition unit 251, a determination unit 252, a selection unit 253, and an output processing unit 254. Each of these units included in the processing unit 25 is a functional module realized by a program executed by a processor included in the processing unit 25. Or these each part which the process part 25 has may be mounted in the control apparatus 2 as firmware.

（ロボット３）
図４は、ロボット３の概略構成の一例を示す図である。 (Robot 3)
FIG. 4 is a diagram illustrating an example of a schematic configuration of the robot 3.

ロボット３は、制御装置２から出力された出力データに従った動作又は音声出力等を行う機能を有する。そのために、ロボット３は、撮影装置３１と、音声入力装置３２と、音声出力装置３３と、第２通信部３４と、制御部３５と、アクチュエータ３６とを備える。   The robot 3 has a function of performing an operation according to the output data output from the control device 2 or outputting a voice. For this purpose, the robot 3 includes an imaging device 31, an audio input device 32, an audio output device 33, a second communication unit 34, a control unit 35, and an actuator 36.

また、ロボット３は、胴部Ｐ１と、頭部Ｐ２と、腕部Ｐ３と、脚部Ｐ４とで構成される。胴部Ｐ１は、第２通信部３４と、制御部３５とを備え、頭部Ｐ２は、音声入力装置３２と、音声出力装置３３とを備える。   Moreover, the robot 3 is comprised by the trunk | drum P1, the head P2, the arm part P3, and the leg part P4. The torso P1 includes a second communication unit 34 and a control unit 35, and the head P2 includes an audio input device 32 and an audio output device 33.

撮影装置３１は、結像光学系、撮像素子及び画像処理部等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して出力する。または、画像処理部は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して出力する。   The imaging device 31 includes an imaging optical system, an imaging element, an image processing unit, and the like. The imaging optical system is an optical lens, for example, and forms an image of a light beam from a subject on the imaging surface of the imaging device. The imaging element is a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and outputs an image of a subject image formed on the imaging surface. The image processing unit creates and outputs moving image data in a predetermined file format every predetermined period from images continuously generated by the image sensor. Alternatively, the image processing unit creates and outputs still image data in a predetermined file format from the image generated by the image sensor.

音声入力装置３２は、例えば、マイクロフォン等であり、入力された音声を電気信号に変換し、変換された電気信号を音声データに変換して制御部３５に送出する。   The voice input device 32 is, for example, a microphone or the like, converts input voice into an electrical signal, converts the converted electrical signal into voice data, and sends the voice data to the control unit 35.

音声出力装置３３は、例えば、スピーカ等であり、制御部３５から取得した音声データの電気信号を音声に変換して出力する。なお、音声出力装置３３は、音声出力部の一例である。   The audio output device 33 is, for example, a speaker or the like, and converts an electric signal of audio data acquired from the control unit 35 into audio and outputs the audio. The audio output device 33 is an example of an audio output unit.

第２通信部３４は、ＵＳＢ等と接続するためのインターフェース、有線又は無線のＬＡＮの通信インターフェース等を含む、通信インターフェース等である。第２通信部３４は、制御装置２から受信したデータを制御部３５に供給する。また、第２通信部３４は、制御部３５から供給されたデータを制御装置２に送信する。   The second communication unit 34 is a communication interface including an interface for connecting to a USB or the like, a wired or wireless LAN communication interface, or the like. The second communication unit 34 supplies the data received from the control device 2 to the control unit 35. In addition, the second communication unit 34 transmits the data supplied from the control unit 35 to the control device 2.

制御部３５は、一又は複数個のプロセッサ及びその周辺回路を備える。制御部３５は、ロボット３の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。制御部３５は、制御装置２からの出力データに従って、音声出力装置３３及びアクチュエータ３６の動作を制御する。なお、制御部３５は、出力データに限らず、制御装置２からの所定の制御情報に応じて、撮影装置３１、音声入力装置３２、音声出力装置３３、第２通信部３４、制御部３５、アクチュエータ３６等を制御する。   The control unit 35 includes one or a plurality of processors and their peripheral circuits. The control unit 35 controls the overall operation of the robot 3 and is, for example, a CPU. The control unit 35 controls the operations of the audio output device 33 and the actuator 36 according to the output data from the control device 2. The control unit 35 is not limited to the output data, but according to predetermined control information from the control device 2, the imaging device 31, the voice input device 32, the voice output device 33, the second communication unit 34, the control unit 35, The actuator 36 and the like are controlled.

アクチュエータ３６は、ロボット３の各関節部の動きを行うための駆動装置であり、例えば、首部アクチュエータ３６ａ、肩部アクチュエータ３６ｂ、肘部アクチュエータ３６ｃ、手首部アクチュエータ３６ｄ、腰部アクチュエータ３６ｅ、脚部アクチュエータ３６ｆ、車輪部アクチュエータ３６ｇ等を有する。なお、制御部３５によって、少なくとも首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータが、制御情報に従って駆動制御される。   The actuator 36 is a driving device for performing movement of each joint portion of the robot 3, and includes, for example, a neck actuator 36a, a shoulder actuator 36b, an elbow actuator 36c, a wrist actuator 36d, a waist actuator 36e, and a leg actuator 36f. And a wheel actuator 36g. Note that at least the neck actuator, the shoulder actuator, and the elbow actuator are driven and controlled by the control unit 35 according to the control information.

首部アクチュエータ３６ａは、胴部Ｐ１と頭部Ｐ２とを接続する駆動装置であり、首関節の動きを行う。また、肩部アクチュエータ３６ｂは、胴部Ｐ１と腕部Ｐ３とを接続する駆動装置であり、肩関節の動きを行う。肘部アクチュエータ３６ｃは、腕部Ｐ３に備えられる駆動装置であり、腕部Ｐ３の上腕部分と前腕部分とを接続し、肘関節の動きを行う。手首部アクチュエータ３６ｄは、腕部Ｐ３に備えられる駆動装置であり、腕部Ｐ３の前腕部分と手部分とを接続し、手首関節の動きを行う。腰部アクチュエータ３６ｅは、胴部Ｐ１と脚部Ｐ４とを接続する駆動装置であり腰関節の動きを行う。脚部アクチュエータ３６ｆは、脚部Ｐ４に備えられる駆動装置であり、脚部Ｐ４を回転させる動きを行う。車輪部アクチュエータ３６ｇは、脚部Ｐ４と車輪部（図示せず）とを接続する駆動装置であり、鉛直方向を軸として車輪部を回転させる動きを行う。   The neck actuator 36a is a drive device that connects the body P1 and the head P2, and moves the neck joint. The shoulder actuator 36b is a drive device that connects the trunk P1 and the arm P3, and moves the shoulder joint. The elbow actuator 36c is a driving device provided in the arm part P3, and connects the upper arm part and the forearm part of the arm part P3 to move the elbow joint. The wrist actuator 36d is a drive device provided in the arm part P3, and connects the forearm part and the hand part of the arm part P3 to move the wrist joint. The waist actuator 36e is a drive device that connects the torso P1 and the leg P4, and moves the waist joint. The leg actuator 36f is a driving device provided in the leg part P4, and moves the leg part P4. The wheel part actuator 36g is a drive device that connects the leg part P4 and the wheel part (not shown), and moves the wheel part around the vertical direction.

以下、図５〜７を参照して、制御装置２の表示部２４に表示される各画面の一例について説明する。   Hereinafter, an example of each screen displayed on the display unit 24 of the control device 2 will be described with reference to FIGS.

（ユーザ選択画面５００）
図５（ａ）は、制御装置２の表示部２４に表示されるユーザ選択画面５００の一例を示す図である。ユーザ選択画面５００には、ユーザ選択ボタン５０１、新規登録ボタン５０２及び戻るボタン５０３等が表示される。ユーザ選択画面５００は、図示しないメニュー画面が表示部２４に表示されている場合において、ユーザによる操作部２３の操作に応じてメニュー画面に表示された所定のアプリケーション実行ボタンが選択されることによって表示される。 (User selection screen 500)
FIG. 5A is a diagram illustrating an example of a user selection screen 500 displayed on the display unit 24 of the control device 2. On the user selection screen 500, a user selection button 501, a new registration button 502, a return button 503, and the like are displayed. When a menu screen (not shown) is displayed on the display unit 24, the user selection screen 500 is displayed by selecting a predetermined application execution button displayed on the menu screen in accordance with the operation of the operation unit 23 by the user. Is done.

ユーザ選択ボタン５０１は、制御装置２に登録されているユーザを選択するための選択ボタンである。ユーザによる操作部２３の操作に応じてユーザ選択ボタン５０１が選択されると、選択されたユーザ選択ボタン５０１に対応するユーザに対する判定画面６００が表示される。   The user selection button 501 is a selection button for selecting a user registered in the control device 2. When the user selection button 501 is selected according to the operation of the operation unit 23 by the user, a determination screen 600 for the user corresponding to the selected user selection button 501 is displayed.

新規登録ボタン５０２は、制御装置２に登録されていないユーザを新たに登録する画面を表示するための選択ボタンである。ユーザによる操作部２３の操作に応じて新規登録ボタン５０２が選択されると、ユーザの名前、年齢、性別等の各種情報を登録するための登録画面が表示される。登録画面によってユーザの各種情報が登録されると、登録されたユーザに対する判定画面６００が表示される。戻るボタン５０３は、ユーザ選択画面５００の表示を終了させ、メニュー画面を表示させるための選択画面である。   A new registration button 502 is a selection button for displaying a screen for newly registering a user who is not registered in the control device 2. When the new registration button 502 is selected according to the operation of the operation unit 23 by the user, a registration screen for registering various information such as the user's name, age, and sex is displayed. When various types of user information are registered on the registration screen, a determination screen 600 for the registered user is displayed. A return button 503 is a selection screen for ending display of the user selection screen 500 and displaying a menu screen.

（判定画面６００）
図５（ｂ）は、制御装置２の表示部２４に表示される判定画面６００の一例を示す図である。判定画面６００には、撮影画像表示枠６０１、表情パラメータグラフ６０２、感情パラメータグラフ６０３及びテンションパラメータグラフ６０４等が表示される。 (Judgment screen 600)
FIG. 5B is a diagram illustrating an example of the determination screen 600 displayed on the display unit 24 of the control device 2. On the determination screen 600, a captured image display frame 601, an expression parameter graph 602, an emotion parameter graph 603, a tension parameter graph 604, and the like are displayed.

撮影画像表示枠６０１には、ロボット３の撮影装置３１から取得した動画像データが表示される。なお、撮影画像表示枠６０１にユーザの顔が表示されない等の要因によって、制御装置２が表情認識処理を実行できない場合、ロボット３の音声出力装置３３は、ユーザの顔が撮影装置３１の視野範囲内に位置するように促すための音声を出力してもよい。また、制御装置２が表情認識処理を実行できた場合、撮影画像表示枠６０１には、表情認識処理の対象となったユーザの顔の静止画像が表示されてもよい。   In the captured image display frame 601, moving image data acquired from the imaging device 31 of the robot 3 is displayed. When the control device 2 cannot execute the facial expression recognition process due to factors such as the user's face not being displayed in the captured image display frame 601, the voice output device 33 of the robot 3 causes the user's face to be within the visual field range of the imaging device 31. A sound for prompting the user to be located inside may be output. When the control device 2 can execute the facial expression recognition process, the captured image display frame 601 may display a still image of the user's face that is the target of the facial expression recognition process.

表情パラメータグラフ６０２には、制御装置２が実行した表情認識処理によって算出された表情属性毎の表情パラメータが表示される。表情パラメータは、対応する表情属性の度合いを示す指標（例えば、０から１００までの整数値等）である。撮影画像表示枠６０１にユーザの顔が表示されて、表情認識処理が実行された場合、表情認識処理によって算出された表情属性毎の表情パラメータを示す表情パラメータグラフ６０２を含む判定画面６００が表示部２４に表示される。   The facial expression parameter graph 602 displays facial expression parameters for each facial expression attribute calculated by facial expression recognition processing executed by the control device 2. The facial expression parameter is an index (for example, an integer value from 0 to 100) indicating the degree of the corresponding facial expression attribute. When the user's face is displayed in the captured image display frame 601 and the facial expression recognition process is executed, a determination screen 600 including a facial expression parameter graph 602 showing facial expression parameters for each facial expression attribute calculated by the facial expression recognition process is displayed on the display unit. 24.

図５（ｂ）に示される判定画面６００の例では、「笑顔」の表情パラメータとして９２ポイントが表示され、「穏やか」の表情パラメータとして２７ポイントが表示され、「喜び」の表情パラメータとして７３ポイントが表示され、「驚き」の表情パラメータとして８ポイントが表示され、「怒り」の表情パラメータとして５３ポイントが表示され、「悲しみ」の表情パラメータとして４９イントが表示されている。   In the example of the determination screen 600 shown in FIG. 5B, 92 points are displayed as the facial expression parameter of “smile”, 27 points are displayed as the facial expression parameter of “gentle”, and 73 points are expressed as the facial expression parameter of “joy”. Is displayed as an expression parameter of “surprise”, 53 points are displayed as an expression parameter of “anger”, and 49 ints are displayed as an expression parameter of “sadness”.

感情パラメータグラフ６０３には、制御装置２が実行した声認識処理によって算出された感情属性毎の感情パラメータが表示される。感情パラメータは、対応する感情属性の度合いを示す指標（例えば、０から１００までの整数値等）である。ロボット３の音声入力装置３２によってユーザの入力音声が検知された場合、当該入力音声に係る入力音声データに基づいて声認識処理が実行され、声認識処理によって算出された感情属性毎の感情パラメータが表示される。なお、図５（ｂ）に示される判定画面６００の例では、ユーザからの入力音声が検知されていないため、感情パラメータグラフ６０３には、各感情パラメータは表示されていない。この場合、ロボット３の音声出力装置３３は、ユーザからの入力音声が検知されるまで、所定時間間隔毎に、ユーザの音声入力を促すための音声（例えば、「こんにちは」等の挨拶の音声）を出力してもよい。   The emotion parameter graph 603 displays emotion parameters for each emotion attribute calculated by the voice recognition process executed by the control device 2. The emotion parameter is an index (for example, an integer value from 0 to 100) indicating the degree of the corresponding emotion attribute. When the voice input device 32 of the robot 3 detects the user's input voice, voice recognition processing is executed based on the input voice data related to the input voice, and emotion parameters for each emotion attribute calculated by the voice recognition processing are obtained. Is displayed. Note that in the example of the determination screen 600 shown in FIG. 5B, since no voice input from the user is detected, each emotion parameter is not displayed in the emotion parameter graph 603. In this case, the audio output device 33 of the robot 3, to the input speech from the user is detected, a predetermined time interval, the sound for prompting the user's voice input (e.g., voice greeting such as "Hello") May be output.

テンションパラメータグラフ６０４には、制御装置２が実行した声認識処理によって算出されたテンション属性のテンションパラメータが表示される。テンションパラメータは、テンション（感情の高まり）の度合いを示す指標（例えば、０から１００までの整数値等）である。ロボット３の音声入力装置３２によってユーザの入力音声が検知された場合、当該入力音声に係る入力音声データに基づいて声認識処理が実行され、声認識処理によって算出されたテンション属性のテンションパラメータが表示される。なお、図５（ｂ）に示される判定画面６００の例では、ユーザからの入力音声が検知されていないため、テンションパラメータグラフ６０４には、テンション属性のテンションパラメータは表示されていない。この場合、ロボット３の音声出力装置３３は、ユーザからの入力音声が検知されるまで、所定時間間隔毎に、ユーザの音声入力を促すための音声（例えば、「こんにちは」等の挨拶の音声）を出力してもよい。   The tension parameter graph 604 displays the tension parameter of the tension attribute calculated by the voice recognition process executed by the control device 2. The tension parameter is an index (for example, an integer value from 0 to 100) indicating the degree of tension (increased emotion). When the voice input device 32 of the robot 3 detects the user input voice, the voice recognition process is executed based on the input voice data related to the input voice, and the tension parameter of the tension attribute calculated by the voice recognition process is displayed. Is done. Note that in the example of the determination screen 600 shown in FIG. 5B, the input voice from the user is not detected, so the tension parameter of the tension attribute is not displayed in the tension parameter graph 604. In this case, the audio output device 33 of the robot 3, to the input speech from the user is detected, a predetermined time interval, the sound for prompting the user's voice input (e.g., voice greeting such as "Hello") May be output.

図６（ａ）は、制御装置２の表示部２４に表示される判定画面６００の一例を示す図である。図６（ａ）に示される判定画面６００の例では、ロボット３の音声入力装置３２によってユーザの入力音声が検知され、当該入力音声に係る入力音声データに基づく声認識処理によって算出された感情属性毎の感情パラメータを示す感情パラメータグラフ６０３、及び、テンション属性のテンションパラメータを示すテンションパラメータグラフ６０４が表示部２４に表示される。   FIG. 6A is a diagram illustrating an example of the determination screen 600 displayed on the display unit 24 of the control device 2. In the example of the determination screen 600 illustrated in FIG. 6A, the emotion input attribute calculated by the voice recognition process based on the input voice data related to the input voice is detected by the voice input device 32 of the robot 3. An emotion parameter graph 603 indicating the emotion parameter for each and a tension parameter graph 604 indicating the tension parameter of the tension attribute are displayed on the display unit 24.

図６（ａ）に示される判定画面６００の例では、「穏やか」の感情パラメータとして１５ポイントが表示され、「怒り」の感情パラメータとして８２ポイントが表示され、「喜び」の感情パラメータとして１００ポイントが表示され、「悲しみ」の感情パラメータとして３８ポイントが表示されている。また、当該判定画面６００の例では、テンションパラメータとして７５ポイントが表示されている。   In the example of the determination screen 600 shown in FIG. 6A, 15 points are displayed as the emotion parameter for “gentle”, 82 points are displayed as the emotion parameter for “anger”, and 100 points are used as the emotion parameter for “joy”. Is displayed, and 38 points are displayed as the emotion parameter of “sadness”. In the example of the determination screen 600, 75 points are displayed as the tension parameter.

（判定結果画面７００）
図６（ｂ）は、制御装置２の表示部２４に表示される判定結果画面７００の一例を示す図である。判定結果画面７００には、ストレス度アイコン７０１、表情属性アイコン７０２、感情属性アイコン７０３、テンションパラメータグラフ６０４、文字出力情報７０４等が表示される。 (Judgment result screen 700)
FIG. 6B is a diagram illustrating an example of the determination result screen 700 displayed on the display unit 24 of the control device 2. The determination result screen 700 displays a stress level icon 701, a facial expression attribute icon 702, an emotion attribute icon 703, a tension parameter graph 604, character output information 704, and the like.

ストレス度アイコン７０１は、後述するストレス度の判定処理によって抽出されたユーザのストレス度に対応するアイコン画像である。   The stress level icon 701 is an icon image corresponding to the stress level of the user extracted by the stress level determination process described later.

表情属性アイコン７０２は、制御装置２が実行した表情認識処理によって算出された表情属性毎の表情パラメータのうち、最も数値の高い表情パラメータの表情属性に対応するアイコン画像である。また、感情属性アイコン７０３は、制御装置２が実行した声認識処理によって算出された感情属性毎の感情パラメータのうち、最も数値の高い感情パラメータの感情属性に対応するアイコン画像である。なお、テンションパラメータグラフ６０４は、図６（ａ）に示されるテンションパラメータグラフ６０４と同一である。   The expression attribute icon 702 is an icon image corresponding to the expression attribute of the expression parameter having the highest numerical value among the expression parameters for each expression attribute calculated by the expression recognition process executed by the control device 2. The emotion attribute icon 703 is an icon image corresponding to the emotion attribute of the emotion parameter having the highest numerical value among the emotion parameters for each emotion attribute calculated by the voice recognition process executed by the control device 2. The tension parameter graph 604 is the same as the tension parameter graph 604 shown in FIG.

文字出力情報７０４は、ストレス度の判定処理によって抽出されたユーザのストレス度に対応する文字情報であり、制御装置２によって出力された出力文字データに基づいて表示される。なお、表示される文字情報は、例えば、ユーザのストレス度に応じたアドバイに関する文字情報であってもよく、ロボット３の音声出力装置３３が、文字出力情報７０４を示す音声を出力してもよい。なお、出力文字データは、出力データの一例である。   The character output information 704 is character information corresponding to the stress level of the user extracted by the stress level determination process, and is displayed based on the output character data output by the control device 2. Note that the displayed character information may be, for example, character information related to the advice according to the user's stress level, and the voice output device 33 of the robot 3 may output a voice indicating the character output information 704. . The output character data is an example of output data.

（動作提示画面８００）
図７（ａ）は、制御装置２の表示部２４に表示される動作提示画面８００の一例を示す図である。動作提示画面８００には、ユーザのストレスを解消するための一連のヒーリング動作等を行うキャラクタ画像を含む動作例画像８０１が動作例画像データに基づいて表示される。動作提示画面８００は、ストレス度の判定処理によって抽出されたユーザのストレス度が、予め定められたストレス度であった場合に、表示部２４に表示される。なお、動作例画像データは、出力データの一例である。 (Operation presentation screen 800)
FIG. 7A is a diagram illustrating an example of the operation presentation screen 800 displayed on the display unit 24 of the control device 2. On the action presentation screen 800, an action example image 801 including a character image for performing a series of healing actions and the like for eliminating user stress is displayed based on the action example image data. The operation presentation screen 800 is displayed on the display unit 24 when the stress level of the user extracted by the stress level determination process is a predetermined stress level. The operation example image data is an example of output data.

（履歴画面９００）
図７（ｂ）は、制御装置２の表示部２４に表示される履歴画面９００の一例を示す図である。履歴画面９００には、ユーザ履歴９０１が、後述するユーザ履歴テーブルＴ６に基づいて表示される。図７（ｂ）に示される例では、ユーザによる操作部２３の操作に応じて、ストレス度の判定処理の実施日毎にストレス度の判定処理によって抽出されたユーザのストレス度に対応するアイコン画像が表示される。 (History screen 900)
FIG. 7B is a diagram illustrating an example of a history screen 900 displayed on the display unit 24 of the control device 2. On the history screen 900, a user history 901 is displayed based on a user history table T6 described later. In the example shown in FIG. 7B, an icon image corresponding to the user's stress level extracted by the stress level determination process for each implementation date of the stress level determination process in accordance with the operation of the operation unit 23 by the user. Is displayed.

（各種テーブル）
以下、記憶部２２に記憶される各種テーブルについて説明する。図８（ａ）は、表情パラメータテーブルＴ１のデータ構造の一例を示す図であり、（ｂ）は、感情パラメータテーブルＴ２のデータ構造の一例を示す図であり、（ｃ）は、テンションパラメータテーブルＴ３のデータ構造の一例を示す図である。また、図９は、ストレステーブルＴ４のデータ構造の一例を示す図である。また、図１０は、対応出力テーブルＴ５のデータ構造の一例を示す図である。また、図１１は、ユーザ履歴テーブルＴ６のデータ構造の一例を示す図である。なお、記憶部２２に記憶される各種テーブルの全て又は一部は、制御装置２とは異なる一又は複数の装置によって記憶されてもよい。 (Various tables)
Hereinafter, various tables stored in the storage unit 22 will be described. FIG. 8A is a diagram showing an example of the data structure of the facial expression parameter table T1, FIG. 8B is a diagram showing an example of the data structure of the emotion parameter table T2, and FIG. 8C is a diagram showing the tension parameter table. It is a figure which shows an example of the data structure of T3. FIG. 9 is a diagram illustrating an example of a data structure of the stress table T4. FIG. 10 is a diagram showing an example of the data structure of the correspondence output table T5. FIG. 11 is a diagram illustrating an example of a data structure of the user history table T6. Note that all or some of the various tables stored in the storage unit 22 may be stored by one or a plurality of devices different from the control device 2.

図８（ａ）に示される表情パラメータテーブルＴ１には、制御装置２が実行した表情認識処理によって算出された表情属性毎の表情パラメータが記憶される。なお、表情パラメータテーブルＴ１は、ユーザ毎に作成される。   In the facial expression parameter table T1 shown in FIG. 8A, facial expression parameters for each facial expression attribute calculated by facial expression recognition processing executed by the control device 2 are stored. The facial expression parameter table T1 is created for each user.

図８（ｂ）に示される感情パラメータテーブルＴ２には、制御装置２が実行した声認識処理によって算出された感情属性毎の感情パラメータが記憶される。なお、感情パラメータテーブルＴ２は、ユーザ毎に作成される。   In the emotion parameter table T2 shown in FIG. 8B, emotion parameters for each emotion attribute calculated by the voice recognition processing executed by the control device 2 are stored. The emotion parameter table T2 is created for each user.

図８（ｃ）に示されるテンションパラメータテーブルＴ３には、制御装置２が実行した声認識処理によって算出されたテンションパラメータが記憶される。なお、テンションパラメータは、ユーザ毎に作成される。   In the tension parameter table T3 shown in FIG. 8C, the tension parameters calculated by the voice recognition process executed by the control device 2 are stored. The tension parameter is created for each user.

図９に示されるストレステーブルＴ４には、複数の感情属性と複数の表情属性とテンション属性とのそれぞれに対応するストレス度が記憶されている。例えば、テンションパラメータが、０から１００までの整数値で示される場合において、テンションパラメータが０から２０までの値であれば、テンション属性として「低すぎる」が設定される。また、テンションパラメータが２１から４５までの値であれば、テンション属性として「低い」が設定され、テンションパラメータが４６から７５までの値であれば、テンション属性として「丁度いい」が設定される。また、テンションパラメータが７６から９０までの値であれば、テンション属性として「高い」が設定され、テンションパラメータが９１から１００までの値であれば、テンション属性として「高すぎる」が設定される。   The stress table T4 shown in FIG. 9 stores stress levels corresponding to a plurality of emotion attributes, a plurality of facial expression attributes, and a tension attribute. For example, when the tension parameter is indicated by an integer value from 0 to 100, if the tension parameter is a value from 0 to 20, “too low” is set as the tension attribute. If the tension parameter is a value from 21 to 45, “low” is set as the tension attribute, and if the tension parameter is a value from 46 to 75, “just right” is set as the tension attribute. If the tension parameter is a value from 76 to 90, “high” is set as the tension attribute, and if the tension parameter is a value from 91 to 100, “too high” is set as the tension attribute.

また、図９に示されるストレステーブルＴ４では、ストレス度として、例えば、「強いストレス（一致）」、「強いストレス（不一致）」、「ややストレス（一致）」、「ややストレス（不一致）」、「丁度いい」、「元気すぎる」等が設定される。感情属性と表情属性とが同じ種類である場合（例えば、感情属性「怒り」及び表情属性「怒り」）と、感情属性と表情属性とが異なる種類である場合（例えば、感情属性「怒り」及び表情属性「喜び」）とで、同程度のストレスが生じる場合がある。そこで、強いストレスが生じており且つ感情属性と表情属性とが同じ種類である場合は、ストレス度として「強いストレス（一致）」が設定され、強いストレスが生じており且つ感情属性と表情属性とが異なる種類である場合は、ストレス度として「強いストレス（不一致）」が設定される。また、ストレスがやや生じており且つ感情属性と表情属性とが同じ種類である場合は、ストレス度として「ややストレス（一致）」が設定され、ストレスがやや生じており且つ感情属性と表情属性とが異なる種類である場合は、ストレス度として「ややストレス（不一致）」が設定される。   In the stress table T4 shown in FIG. 9, the stress levels include, for example, “strong stress (match)”, “strong stress (mismatch)”, “slight stress (match)”, “slight stress (mismatch)”, “Just right”, “too fine”, etc. are set. When the emotion attribute and the expression attribute are the same type (for example, the emotion attribute “anger” and the expression attribute “anger”), and when the emotion attribute and the expression attribute are different types (for example, the emotion attribute “anger” and The expression attribute “joy”) may cause the same level of stress. Therefore, when strong stress occurs and the emotion attribute and the facial expression attribute are the same type, “strong stress (match)” is set as the degree of stress, the strong stress occurs, and the emotion attribute and facial expression attribute Are different types, “strong stress (mismatch)” is set as the degree of stress. In addition, when the stress is slightly generated and the emotion attribute and the facial expression attribute are the same type, “slightly stress (match)” is set as the stress level, the stress is slightly generated and the emotion attribute and the facial expression attribute are If the types are different, “slightly stress (mismatch)” is set as the degree of stress.

例えば、図９に示されるストレステーブルＴ４では、例えば、ストレス度「強いストレス（一致）」には、感情属性「怒り」と、表情属性「怒り」と、テンション属性「低すぎる」、「低い」、「丁度いい」、「高い」及び「高すぎる」とが対応付けられている。また、ストレス度「強いストレス（一致）」には、例えば、感情属性「穏やか」と、表情属性「穏やか」と、テンション属性「高い」及び「高すぎる」とが対応付けられている。また、ストレス度「強いストレス（不一致）」には、例えば、感情属性「穏やか」と、表情属性「怒り」と、テンション属性「高い」及び「高すぎる」とが対応付けられている。   For example, in the stress table T4 shown in FIG. 9, for example, for the stress level “strong stress (match)”, the emotion attribute “anger”, the facial expression attribute “anger”, the tension attributes “too low”, and “low”. , “Just right”, “high” and “too high” are associated with each other. The stress level “strong stress (match)” is associated with, for example, the emotion attribute “gentle”, the expression attribute “gentle”, and the tension attributes “high” and “too high”. Further, for example, the emotion attribute “gentle”, the expression attribute “anger”, and the tension attributes “high” and “too high” are associated with the stress level “strong stress (mismatch)”.

また、ストレス度「ややストレス（一致）」には、例えば、感情属性「怒り」と、表情属性「驚き」と、テンション属性「低すぎる」、「低い」、「丁度いい」及び「高い」とが対応付けられている。また、ストレス度「ややストレス（不一致）」には、例えば、感情属性「怒り」と、表情属性「喜び」と、テンション属性「低すぎる」及び「低い」とが対応付けられている。   The stress level “slightly stress (match)” includes, for example, an emotion attribute “anger”, a facial expression attribute “surprise”, and tension attributes “too low”, “low”, “just right”, and “high”. Are associated. Further, for example, the emotion attribute “anger”, the facial expression attribute “joy”, and the tension attributes “too low” and “low” are associated with the stress level “slightly stress (mismatch)”.

また、ストレス度「丁度いい」には、例えば、感情属性「穏やか」と、表情属性「笑顔」と、テンション属性「低すぎる」、「低い」、「丁度いい」及び「高い」とが対応付けられている。また、ストレス度「高すぎる」には、例えば、感情属性「穏やか」と、表情属性「笑顔」と、テンション属性「高すぎる」とが対応付けられている。   The stress level “just right” is associated with, for example, the emotion attribute “gentle”, the expression attribute “smile”, and the tension attributes “too low”, “low”, “just right”, and “high”. It has been. The stress level “too high” is associated with, for example, an emotion attribute “gentle”, a facial expression attribute “smile”, and a tension attribute “too high”.

図１０に示される対応出力テーブルＴ５には、複数の現在のストレス度のそれぞれと、複数の前回のストレス度のそれぞれとに対応付けられた出力データが記憶されている。出力データは、ロボット３に一連のヒーリング動作を行わせるための駆動命令及び／又はロボット３の音声出力装置３３に出力させるヒーリング動作に係る音声の音声データ等である。なお、出力データの出力先はロボット３に限らない。例えば、出力データは、制御装置２の表示部２４に所定の画像を表示させるための出力データでもよく、例えば、ユーザのストレスを解消するための一連のヒーリング動作等を行うキャラクタ画像を含む動作例画像８０１を表示するための動作例画像データ、ユーザにストレス度に応じたアドバイスを示す文字情報を表示するためのアドバイス文字データ等である。また、ユーザにストレス度に応じたアドバイスを示す音声を出力するためのアドバイス音声データが、出力データとしてロボット３の音声出力装置３３に出力されてもよい。なお、対応出力テーブルＴ５は、対応出力データの一例である。また、対応出力テーブルＴ５として、複数の現在のストレス度のみに対応付けられた出力データが記憶されたテーブルがさらに設けられてもよい。   The correspondence output table T5 shown in FIG. 10 stores output data associated with each of a plurality of current stress levels and a plurality of previous stress levels. The output data is a drive command for causing the robot 3 to perform a series of healing operations and / or voice data related to a healing operation to be output to the voice output device 33 of the robot 3. Note that the output destination of the output data is not limited to the robot 3. For example, the output data may be output data for displaying a predetermined image on the display unit 24 of the control device 2, for example, an operation example including a character image for performing a series of healing operations and the like for eliminating user stress. Operation example image data for displaying an image 801, advice character data for displaying character information indicating advice according to the degree of stress to the user, and the like. Further, advice voice data for outputting voice indicating advice according to the degree of stress to the user may be output to the voice output device 33 of the robot 3 as output data. The correspondence output table T5 is an example of correspondence output data. Further, as the correspondence output table T5, a table in which output data associated only with a plurality of current stress levels may be further provided.

図１１に示されるユーザ履歴テーブルＴ６には、ユーザ毎に、各ユーザのユーザＩＤ、ユーザ名、ストレス度の判定処理の実施日及び判定結果（ストレス度）等が記憶されている。   The user history table T6 illustrated in FIG. 11 stores, for each user, the user ID of each user, the user name, the execution date of the determination process of the stress level, the determination result (stress level), and the like.

（情報出力処理の動作フロー）
図１２は、制御装置２によって実行される情報出力処理の動作フローの一例を示す図である。 (Operation flow of information output processing)
FIG. 12 is a diagram illustrating an example of an operation flow of information output processing executed by the control device 2.

まず、制御装置２の情報取得部２５１は、ユーザ選択画面５００においてユーザによる操作部２３の操作に応じてユーザが選択又は新規登録された場合、当該選択又は新規登録されたユーザを判定対象ユーザとして特定する（ステップＳ１０１）。例えば、メニュー画面が表示部２４に表示されている場合において、ユーザによる操作部２３の操作に応じてメニュー画面に表示された所定のアプリケーション実行ボタンが選択されると、情報取得部２５１は、ユーザ選択画面５００を表示する。つぎに、ユーザによる操作部２３の操作に応じてユーザ選択画面５００に表示されたユーザ選択ボタン５０１のいずれかが選択されると、ユーザ選択ボタン５０１に対応するユーザのユーザＩＤを、判定対象ユーザＩＤとしてユーザ履歴テーブルＴ６から特定する。   First, when a user is selected or newly registered in accordance with the operation of the operation unit 23 by the user on the user selection screen 500, the information acquisition unit 251 of the control device 2 sets the selected or newly registered user as a determination target user. Specify (step S101). For example, when the menu screen is displayed on the display unit 24, when a predetermined application execution button displayed on the menu screen is selected according to the operation of the operation unit 23 by the user, the information acquisition unit 251 A selection screen 500 is displayed. Next, when one of the user selection buttons 501 displayed on the user selection screen 500 is selected according to the operation of the operation unit 23 by the user, the user ID of the user corresponding to the user selection button 501 is determined as the determination target user. The ID is specified from the user history table T6.

また、ユーザによる操作部２３の操作に応じてユーザ選択画面５００に表示された新規登録ボタン５０２が選択された場合、新たなユーザを登録するための登録画面が表示される。表示された登録画面から、ユーザによる操作部２３の操作に応じて少なくともユーザ名が入力されると、入力されたユーザ名に対して新たなユーザＩＤが付与され、ユーザ履歴テーブルＴ６に、新たなユーザＩＤとユーザ名とが記憶される。そして、情報取得部２５１は、ユーザ履歴テーブルＴ６から、記憶された新たなユーザＩＤを判定対象ユーザＩＤとして特定する。   In addition, when the new registration button 502 displayed on the user selection screen 500 is selected according to the operation of the operation unit 23 by the user, a registration screen for registering a new user is displayed. When at least a user name is input from the displayed registration screen according to the operation of the operation unit 23 by the user, a new user ID is assigned to the input user name, and a new user ID is added to the user history table T6. A user ID and a user name are stored. Then, the information acquisition unit 251 specifies the stored new user ID as the determination target user ID from the user history table T6.

次に、情報取得部２５１は、ロボット３の撮影装置３１によって撮影された判定対象ユーザの顔画像データを取得する（ステップＳ１０２）。例えば、情報取得部２５１は、撮影装置３１によって出力された判定対象ユーザの顔画像を含む動画像データを、所定期間毎に取得し、取得した動画像データを判定対象ユーザの顔画像データとして判定部２５２に順次送出する。   Next, the information acquisition unit 251 acquires the determination target user's face image data imaged by the imaging device 31 of the robot 3 (step S102). For example, the information acquisition unit 251 acquires the moving image data including the face image of the determination target user output by the imaging device 31 every predetermined period, and determines the acquired moving image data as the determination target user face image data. The data are sequentially sent to the unit 252.

次に、情報取得部２５１は、ロボット３の音声入力装置３２に入力された判定対象ユーザの音声を変換した入力音声データを取得する（ステップＳ１０３）。例えば、情報取得部２５１は、ロボット３の音声入力装置３２によってユーザの音声が検知された場合において、音声入力装置３２から、検知された音声を変換した入力音声データを取得する。そして、情報取得部２５１は、取得した入力音声データを判定部２５２に送出する。   Next, the information acquisition unit 251 acquires input voice data obtained by converting the voice of the determination target user input to the voice input device 32 of the robot 3 (step S103). For example, when the user's voice is detected by the voice input device 32 of the robot 3, the information acquisition unit 251 acquires input voice data obtained by converting the detected voice from the voice input device 32. Then, the information acquisition unit 251 sends the acquired input voice data to the determination unit 252.

次に、判定部２５２は、ストレス度の判定処理を実行する（ステップＳ１０４）。なお、ストレス度の判定処理の詳細については後述する。   Next, the determination unit 252 performs a stress level determination process (step S104). Details of the stress degree determination process will be described later.

次に、判定部２５２は、ストレス度の判定処理によって判定された判定対象ユーザのストレス度を、判定処理の実行日とともに、判定対象ユーザＩＤに対応付けてユーザ履歴テーブルＴ６に記憶する（ステップＳ１０５）。なお、判定部２５２は、判定された判定対象ユーザの表情パラメータ、判定対象ユーザの感情パラメータ、判定対象ユーザのテンションパラメータを含む判定画面６００を表示する。   Next, the determination unit 252 stores the stress level of the determination target user determined by the determination process of the stress level in the user history table T6 in association with the determination target user ID together with the execution date of the determination process (step S105). ). The determination unit 252 displays a determination screen 600 including the determined facial expression parameter of the determination target user, the emotion parameter of the determination target user, and the tension parameter of the determination target user.

次に、選択部２５３は、判定対象ユーザＩＤに対する現在のストレス度よりも前に、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されているか否かを判定する（ステップＳ１０６）。   Next, the selection unit 253 determines whether or not the past stress level for the determination target user ID is stored in the user history table T6 before the current stress level for the determination target user ID (step S106). .

選択部２５３は、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されていないと判定した場合（ステップＳ１０６−Ｎｏ）、対応出力テーブルＴ５を参照し、判定対象ユーザＩＤに対する現在のストレス度に対応付けられた出力データを選択し（ステップＳ１０７）、ステップＳ１０９に処理を進める。なお、ステップＳ１０７で参照される対応出力テーブルＴ５は、複数の現在のストレス度のみに対応付けられた出力データが記憶されたテーブルであってもよい。   When the selection unit 253 determines that the past stress level for the determination target user ID is not stored in the user history table T6 (step S106-No), the selection unit 253 refers to the corresponding output table T5 and determines the current stress level for the determination target user ID. Output data associated with the degree of stress is selected (step S107), and the process proceeds to step S109. The correspondence output table T5 referred to in step S107 may be a table in which output data associated with only a plurality of current stress levels is stored.

また、選択部２５３は、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されていると判定した場合（ステップＳ１０６−Ｙｅｓ）、対応出力テーブルＴ５を参照し、判定対象ユーザＩＤに対する現在のストレス度及び過去のストレス度の両方に対応付けられた出力データを選択する（ステップＳ１０８）。   In addition, when the selection unit 253 determines that the past stress level for the determination target user ID is stored in the user history table T6 (step S106-Yes), the selection unit 253 refers to the corresponding output table T5 to determine the determination target user ID. Output data associated with both the current stress level and the past stress level is selected (step S108).

そして、出力処理部２５４は、選択された出力データをロボット３に出力し（ステップＳ１０９）、一連のステップを終了する。なお、出力処理部２５４は、ストレス度の判定処理によって判定された判定表情属性、判定感情属性及びストレス度のそれぞれを示すアイコン画像を含む判定結果画面７００を表示する。   Then, the output processing unit 254 outputs the selected output data to the robot 3 (step S109), and ends a series of steps. The output processing unit 254 displays a determination result screen 700 including icon images indicating the determined facial expression attribute, the determined emotion attribute, and the stress level determined by the stress level determination process.

（ストレス度の判定処理の動作フロー）
図１３は、制御装置２によって実行されるストレス度の判定処理の動作フローの一例を示す図である。 (Operation flow of stress level judgment processing)
FIG. 13 is a diagram illustrating an example of an operation flow of a stress degree determination process executed by the control device 2.

まず、制御装置２の判定部２５２は、表情パラメータを判定する（ステップＳ２０１）。例えば、判定部２５２は、情報取得部２５１から順次送出された判定対象ユーザの顔画像データを取得する毎に、表情認識処理を実行する。表情認識処理では、判定部２５２は、顔画像データにおいて顔検出を行い、顔領域の画像を切り出す。なお、判定部２５２は、顔検出ができなかった場合、ロボット３の音声出力装置３３に、ユーザの顔が撮影装置３１の視野範囲内に位置するように促すための音声を出力させてもよい。次に、判定部２５２は、切り出した画像に対して、両目の端点及び口の端等点の座標を特定する特徴点検出を行い、特徴点に基づいて、「笑顔」、「穏やか」、「喜び」、「驚き」、「怒り」及び「悲しみ」等の表情属性の度合いを示す表情パラメータを判定する。そして、判定部２５２は、判定した判定対象ユーザの表情パラメータを、判定対象ユーザの表情パラメータテーブルＴ１に記憶する。なお、各表情パラメータは、０から１００までの整数値で示される。   First, the determination unit 252 of the control device 2 determines facial expression parameters (step S201). For example, the determination unit 252 performs facial expression recognition processing each time the determination target user's face image data sequentially sent from the information acquisition unit 251 is acquired. In the facial expression recognition process, the determination unit 252 performs face detection on the face image data and cuts out an image of the face area. When the face cannot be detected, the determination unit 252 may cause the voice output device 33 of the robot 3 to output a voice for prompting the user's face to be positioned within the field of view of the photographing device 31. . Next, the determination unit 252 performs feature point detection for specifying the coordinates of the endpoints of both eyes and the mouth edges of the clipped image, and based on the feature points, “smile”, “gentle”, “ A facial expression parameter indicating the degree of facial expression attributes such as “joy”, “surprise”, “anger” and “sadness” is determined. Then, the determination unit 252 stores the determined facial expression parameter of the determination target user in the determination target user facial expression parameter table T1. Each facial expression parameter is indicated by an integer value from 0 to 100.

次に、判定部２５２は、感情パラメータを判定する（ステップＳ２０２）。例えば、判定部２５２は、情報取得部２５１から送出された判定対象ユーザの入力音声データを取得すると、声認識処理を実行する。なお、判定部２５２は、表情認識処理の実行後に、判定対象ユーザの入力音声データが取得されない場合、所定時間間隔毎に、ユーザの音声入力を促すための音声（例えば、「こんにちは」等の挨拶の音声）をロボット３の音声出力装置３３に出力させてもよい。声認識処理では、判定部２５２は、例えば、特許５７５５７９１号公報に記載されているように、入力音声データにおいて判定対象ユーザが発声した声の基本周波数を検知し、基本周波数と予め学習された統計モデルに基づいて、「穏やか」、「怒り」、「喜び」及び「悲しみ」等の感情属性の度合いを示す感情パラメータを判定する。そして、判定部２５２は、判定した判定対象ユーザの感情パラメータを、判定対象ユーザの感情パラメータテーブルＴ２に記憶する。なお、各感情パラメータは、０から１００までの整数値で示される。   Next, the determination part 252 determines an emotion parameter (step S202). For example, when the determination unit 252 acquires the input voice data of the determination target user sent from the information acquisition unit 251, the determination unit 252 executes voice recognition processing. The determination unit 252, after execution of the facial expression recognition processing, when the input audio data to be determined user is not acquired, at predetermined time intervals, the voice for prompting a voice input of the user (e.g., greeting such as "Hello" May be output to the audio output device 33 of the robot 3. In the voice recognition processing, the determination unit 252 detects the fundamental frequency of the voice uttered by the determination target user in the input voice data as described in, for example, Japanese Patent No. 5557791, and the fundamental frequency and the statistically learned in advance Based on the model, emotion parameters indicating the degree of emotion attributes such as “gentle”, “anger”, “joy” and “sadness” are determined. Then, the determination unit 252 stores the determined emotion parameter of the determination target user in the determination target user's emotion parameter table T2. Each emotion parameter is represented by an integer value from 0 to 100.

次に、判定部２５２は、テンションパラメータを判定する（ステップＳ２０３）。例えば、判定部２５２は、取得した判定対象ユーザの入力音声データに基づいて、声の韻律的特徴（大きさ、高）及び声質（スペクトルの特徴）、並びにそれら変動量等の各パラメータを算出する声認識処理を実行する。判定部２５２は、声の韻律的特徴とその変動量、及び、声質及びその変動量について、予め特定した声のテンションに関する特徴量と、算出された判定対象ユーザの各パラメータとに基づいて、判定対象ユーザのテンションパラメータを判定する。そして、判定部２５２は、判定した判定対象ユーザのテンションパラメータを、判定対象ユーザのテンションパラメータテーブルＴ３に記憶する。なお、テンションパラメータは、０から１００までの整数値で示される。   Next, the determination unit 252 determines a tension parameter (step S203). For example, the determination unit 252 calculates parameters such as voice prosodic features (volume, high) and voice quality (spectrum features), and variations thereof based on the acquired input voice data of the determination target user. Perform voice recognition processing. The determination unit 252 determines the prosodic feature of the voice and the amount of variation thereof, and the voice quality and the amount of variation based on the feature amount related to the voice tension specified in advance and the calculated parameters of the determination target user. Determine the tension parameter of the target user. Then, the determination unit 252 stores the determined determination target user's tension parameter in the determination target user's tension parameter table T3. The tension parameter is represented by an integer value from 0 to 100.

そして、判定部２５２は、ストレス度を抽出する（ステップＳ２０４）。まず、判定部２５２は、判定された表情パラメータのうち、最も数値の高い表情パラメータの表情属性を、判定表情属性として特定する。次に、判定部２５２は、判定された感情パラメータのうち、最も数値の高い感情パラメータの感情属性を、判定感情属性として特定する。次に、判定部２５２は、判定されたテンションパラメータに基づいて判定テンション属性を特定する。例えば、判定部２５２は、テンションパラメータが０から２０までの値であれば、判定テンション属性として「低すぎる」を特定する。また、判定部２５２は、テンションパラメータが２１から４５までの値であれば、判定テンション属性として「低い」を特定する。また、判定部２５２は、テンションパラメータが４６から７５までの値であれば、判定テンション属性として「丁度いい」を特定する。また、判定部２５２は、テンションパラメータが７６から９０までの値であれば、判定テンション属性として「高い」を特定する。また、判定部２５２は、テンションパラメータが、９１から１００までの値であれば、判定テンション属性として「高すぎる」を特定する。そして、判定部２５２は、判定した判定表情属性、判定感情属性及び判定テンション属性のそれぞれに対応付けられたストレス度を、ストレステーブルＴ４から抽出する。   And the determination part 252 extracts a stress degree (step S204). First, the determination unit 252 specifies the facial expression attribute of the facial expression parameter having the highest numerical value among the determined facial expression parameters as the determined facial expression attribute. Next, the determination unit 252 specifies the emotion attribute of the emotion parameter with the highest numerical value among the determined emotion parameters as the determination emotion attribute. Next, the determination unit 252 specifies a determination tension attribute based on the determined tension parameter. For example, when the tension parameter is a value from 0 to 20, the determination unit 252 specifies “too low” as the determination tension attribute. Further, when the tension parameter is a value from 21 to 45, the determination unit 252 specifies “low” as the determination tension attribute. If the tension parameter is a value between 46 and 75, the determination unit 252 specifies “just right” as the determination tension attribute. The determination unit 252 specifies “high” as the determination tension attribute if the tension parameter is a value from 76 to 90. Further, when the tension parameter is a value between 91 and 100, the determination unit 252 specifies “too high” as the determination tension attribute. And the determination part 252 extracts the stress degree matched with each of the determined determination facial expression attribute, determination emotion attribute, and determination tension attribute from the stress table T4.

上述のとおり、ロボットシステム１は、ユーザに対して、当該ユーザにおける現在のストレス度及び過去のストレス度の両方に対応付けられた出力データを出力することができる。したがって、ロボットシステムの制御装置によって、ユーザのストレスの状況に応じて適切な情報を出力することが可能となる。   As described above, the robot system 1 can output to the user output data associated with both the current stress level and the past stress level of the user. Therefore, it is possible to output appropriate information according to the stress state of the user by the control device of the robot system.

（変形例１）
なお、本発明は、本実施形態に限定されるものではない。例えば、ステップＳ１０７の出力データの選択処理は、判定対象ユーザＩＤに対する過去のストレス度がユーザ履歴テーブルＴ６に記憶されていると判定された場合であっても、当該過去のストレス度の判定処理の実施日が現在の日付から所定期間（例えば、１週間）内でない場合は、実行されてもよい。この場合、ステップＳ１０８の出力データの選択処理は、判定対象ユーザＩＤに対する過去のストレス度が、現在の日付から所定期間（例えば、１週間）内でユーザ履歴テーブルＴ６に記憶されていると判定された場合に限り実行される。 (Modification 1)
Note that the present invention is not limited to this embodiment. For example, even if it is determined that the past stress level for the determination target user ID is stored in the user history table T6, the output data selection process in step S107 is performed in the past stress level determination process. If the implementation date is not within a predetermined period (for example, one week) from the current date, it may be executed. In this case, the output data selection process in step S108 determines that the past stress level for the determination target user ID is stored in the user history table T6 within a predetermined period (for example, one week) from the current date. Only executed if

また、判定部２５２は、判定した判定表情属性、判定感情属性及び判定テンション属性のうちの少なくともいずれか１つに対応付けられたストレス度を、ストレステーブルＴ４から抽出してもよい。この場合、判定表情属性、判定感情属性及び判定テンション属性のうちの少なくともいずれか１つに対応付けられたストレス度を記憶したテーブルが、ストレステーブルＴ４としてさらに記憶される。   Further, the determination unit 252 may extract the stress level associated with at least one of the determined determination facial expression attribute, determination emotion attribute, and determination tension attribute from the stress table T4. In this case, a table storing a stress level associated with at least one of the determined facial expression attribute, the determined emotion attribute, and the determined tension attribute is further stored as the stress table T4.

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。   It should be understood by those skilled in the art that various changes, substitutions, and modifications can be made thereto without departing from the spirit and scope of the present invention.

１ ロボットシステム
２ 制御装置
２１ 通信部
２２ 記憶部
２３ 操作部
２４ 表示部
２５ 処理部
２５１ 情報取得部
２５２ 判定部
２５３ 選択部
２５４ 出力処理部
３ ロボット
３１ 撮影装置
３２ 音声入力装置
３３ 音声出力装置
３４ 第２通信部
３５ 制御部
３６ アクチュエータ
３６ａ 首部アクチュエータ
３６ｂ 肩部アクチュエータ
３６ｃ 肘部アクチュエータ
３６ｄ 手首部アクチュエータ
３６ｅ 腰部アクチュエータ
３６ｆ 脚部アクチュエータ
３６ｇ 車輪部アクチュエータ DESCRIPTION OF SYMBOLS 1 Robot system 2 Control apparatus 21 Communication part 22 Storage part 23 Operation part 24 Display part 25 Processing part 251 Information acquisition part 252 Determination part 253 Selection part 254 Output processing part 3 Robot 31 Image pick-up device 32 Voice input device 33 Voice output device 34 1st 2 communication section 35 control section 36 actuator 36a neck actuator 36b shoulder actuator 36c elbow actuator 36d wrist actuator 36e waist actuator 36f leg actuator 36g wheel section actuator

Claims (8)

撮影装置、音声入力装置及び出力装置と接続し、ユーザのストレスの度合いを示すストレス度を判定する制御装置であって、
現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を記憶する記憶部と、
前記撮影装置によって撮影されたユーザの顔画像データ及び前記音声入力装置に入力されたユーザの入力音声データを取得する情報取得部と、
取得されたユーザの前記顔画像データ及び前記入力音声データに基づいてユーザの現在のストレス度を判定する判定部と、
前記ユーザ履歴データを参照し、当該ユーザの過去のストレス度が前記記憶部に記憶されているか否かを判定し、
前記ユーザの過去のストレス度が前記記憶部に記憶されていない場合、前記対応出力データに基づいて、前記判定部が判定した前記現在のストレス度のみに対応する出力データを選択し、
前記ユーザの過去のストレス度が前記記憶部に記憶されている場合、前記対応出力データに基づいて、前記判定部が判定した前記現在のストレス度及び取得した前記過去のストレス度に対応した出力データを選択する、選択部と、
前記選択部によって選択された前記出力データを、前記出力装置に出力する出力処理部と、
を有することを特徴とする制御装置。 A control device that is connected to an imaging device, a voice input device, and an output device, and determines a stress level indicating a user's stress level,
A storage unit for storing corresponding output data including a plurality of output data corresponding to each of a plurality of current stress levels and a plurality of past stress levels, and user history data including a past stress level for each user;
An information acquisition unit that acquires user face image data captured by the imaging device and user input voice data input to the voice input device;
A determination unit that determines the current stress level of the user based on the acquired face image data and the input voice data of the user;
Refer to the user history data , determine whether the past stress level of the user is stored in the storage unit,
When the past stress level of the user is not stored in the storage unit, based on the corresponding output data, select output data corresponding only to the current stress level determined by the determination unit,
When the past stress level of the user is stored in the storage unit, based on the corresponding output data, the current stress level determined by the determination unit and the output data corresponding to the acquired past stress level to select a, and a selection unit,
An output processing unit that outputs the output data selected by the selection unit to the output device;
A control device comprising: 前記判定部は、
前記ユーザの顔画像データに基づいて表情パラメータを判定し、
前記ユーザの入力音声データに基づいて感情パラメータ及びテンションパラメータを判定し、
判定した前記表情パラメータ、感情パラメータ及び前記テンションパラメータに基づいて前記ユーザの現在のストレス度を判定する、請求項１に記載の制御装置。 The determination unit
Determining facial expression parameters based on the user's facial image data;
Determining emotion parameters and tension parameters based on the user's input voice data;
The control device according to claim 1, wherein a current stress level of the user is determined based on the determined facial expression parameter, emotion parameter, and tension parameter. 前記出力装置は、胴部、前記胴部と首部アクチュエータを介して接続する頭部、前記胴部と肩部アクチュエータを介して接続し且つ肘部アクチュエータを有する腕部とを少なくとも備え、
前記胴部は、前記首部アクチュエータ、前記肩部アクチュエータ及び前記肘部アクチュエータを駆動制御する制御部を有し、
前記出力処理部は、前記選択部によって選択された前記ユーザのストレスを解消するための一連のヒーリング動作を前記出力装置に行わせるための、前記首部アクチュエータ、肩部アクチュエータ及び肘部アクチュエータの駆動命令を出力データとして前記出力装置の前記制御部に出力する、請求項１又は２に記載の制御装置。 The output device includes at least a trunk, a head connected to the trunk via a neck actuator, an arm connected to the trunk and a shoulder actuator and having an elbow actuator,
The torso has a control unit that drives and controls the neck actuator, the shoulder actuator, and the elbow actuator,
The output processing unit is configured to drive the neck actuator, the shoulder actuator, and the elbow actuator to cause the output device to perform a series of healing operations for eliminating the user's stress selected by the selection unit. The control device according to claim 1, wherein the output data is output to the control unit of the output device. 前記出力装置は、音声出力部及び表示部を備え、
前記記憶部は、前記ユーザのストレス度に応じたアドバイスを示すアドバイス音声データ又はアドバイス文字データを出力データとして記憶し、
前記出力処理部は、前記選択部によって選択された前記ユーザの現在のストレス度に応じたアドバイス音声データ又はアドバイス文字データを出力する、請求項１〜３のいずれか一項に記載の制御装置。 The output device includes an audio output unit and a display unit,
The storage unit stores advice voice data or advice character data indicating advice according to the stress level of the user as output data,
The control device according to claim 1, wherein the output processing unit outputs advice voice data or advice character data corresponding to a current stress level of the user selected by the selection unit. 前記出力処理部は、前記選択部によって選択された前記ユーザのストレス度を解消するための一連のヒーリング動作を行うキャラクタ画像を前記表示部に表示させる、請求項４に記載の制御装置。   The control device according to claim 4, wherein the output processing unit causes the display unit to display a character image for performing a series of healing operations for eliminating the stress level of the user selected by the selection unit. 前記出力処理部は、前記ユーザ履歴データを前記表示部に表示させる、請求項４又は５に記載の制御装置。   The control device according to claim 4, wherein the output processing unit displays the user history data on the display unit. 撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定する制御装置の制御方法であって、
現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を前記記憶部に記憶し、
前記撮影装置によって撮影されたユーザの顔画像データ及び前記音声入力装置に入力されたユーザの入力音声データを取得し、
取得されたユーザの前記顔画像データ及び前記入力音声データに基づいてユーザの現在のストレス度を判定し、
前記ユーザ履歴データを参照し、当該ユーザの過去のストレス度が前記記憶部に記憶されているか否かを判定し、
前記ユーザの過去のストレス度が前記記憶部に記憶されていない場合、前記対応出力データに基づいて、判定された前記現在のストレス度のみに対応する出力データを選択し、前記ユーザの過去のストレス度が前記記憶部に記憶されている場合、前記対応出力データに基づいて、判定された前記現在のストレス度及び取得した前記過去のストレス度に対応した出力データを選択し、
選択された前記出力データを、前記出力装置に出力する、
こと含むことを特徴とする制御方法。 A control method of a control device that is connected to an imaging device, a voice input device, and an output device and includes a storage unit, and determines user's stress,
Corresponding output data including a plurality of output data corresponding to each of a plurality of current stress levels and a plurality of past stress levels, and user history data including a past stress level for each user are stored in the storage unit,
Obtaining user face image data photographed by the photographing device and user input voice data input to the voice input device;
Determining the current stress level of the user based on the acquired face image data and the input voice data of the user;
Refer to the user history data , determine whether the past stress level of the user is stored in the storage unit,
If the past stress level of the user is not stored in the storage unit, output data corresponding only to the determined current stress level is selected based on the corresponding output data, and the past stress level of the user is selected. If the degree is stored in the storage unit, based on the corresponding output data, select the output data corresponding to the determined current stress degree and the acquired past stress degree,
Outputting the selected output data to the output device;
A control method comprising: 撮影装置、音声入力装置及び出力装置と接続し且つ記憶部を備え、ユーザのストレスを判定するコンピュータの制御プログラムであって、
現在の複数のストレス度及び過去の複数のストレス度のそれぞれ対応する複数の出力データを含む対応出力データと、ユーザ毎の過去のストレス度を含むユーザ履歴データと、を前記記憶部に記憶し、
前記撮影装置によって撮影されたユーザの顔画像データ及び前記音声入力装置に入力されたユーザの入力音声データを取得し、
取得されたユーザの前記顔画像データ及び前記入力音声データに基づいてユーザの現在のストレス度を判定し、
前記ユーザ履歴データを参照し、当該ユーザの過去のストレス度が前記記憶部に記憶されているか否かを判定し、
前記ユーザの過去のストレス度が前記記憶部に記憶されていない場合、前記対応出力データに基づいて、判定された前記現在のストレス度のみに対応する出力データを選択し、前記ユーザの過去のストレス度が前記記憶部に記憶されている場合、前記対応出力データに基づいて、判定された前記現在のストレス度及び取得した前記過去のストレス度に対応した出力データを選択し、
選択された前記出力データを、前記出力装置に出力する、
ことを前記コンピュータに実行させることを特徴とする制御プログラム。 A computer control program that is connected to an imaging device, a voice input device, and an output device and includes a storage unit, and determines a user's stress,
Corresponding output data including a plurality of output data corresponding to each of a plurality of current stress levels and a plurality of past stress levels, and user history data including a past stress level for each user are stored in the storage unit,
Obtaining user face image data photographed by the photographing device and user input voice data input to the voice input device;
Determining the current stress level of the user based on the acquired face image data and the input voice data of the user;
Refer to the user history data , determine whether the past stress level of the user is stored in the storage unit,
If the past stress level of the user is not stored in the storage unit, output data corresponding only to the determined current stress level is selected based on the corresponding output data, and the past stress level of the user is selected. If the degree is stored in the storage unit, based on the corresponding output data, select the output data corresponding to the determined current stress degree and the acquired past stress degree,
Outputting the selected output data to the output device;
A control program for causing a computer to execute the above.

Images