JP2018534641A - ロボットの感情データ更新方法及びシステム - Google Patents

ロボットの感情データ更新方法及びシステム Download PDF

Info

Publication number
JP2018534641A
JP2018534641A JP2017538648A JP2017538648A JP2018534641A JP 2018534641 A JP2018534641 A JP 2018534641A JP 2017538648 A JP2017538648 A JP 2017538648A JP 2017538648 A JP2017538648 A JP 2017538648A JP 2018534641 A JP2018534641 A JP 2018534641A
Authority
JP
Japan
Prior art keywords
data
robot
emotion
user
emotion data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017538648A
Other languages
English (en)
Inventor
ナン チユウ
ナン チユウ
ハオフエン ワン
ハオフエン ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Gowild Robotics Co ltd
Original Assignee
Shenzhen Gowild Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Gowild Robotics Co ltd filed Critical Shenzhen Gowild Robotics Co ltd
Publication of JP2018534641A publication Critical patent/JP2018534641A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、ユーザの感情識別データに基づいてロボットの感情データを更新し、ロボットがユーザに感情を持つフィードバックを与えることができるようにさせ、且つロボットの感情データを絶えず更新でき、ユーザの体験を向上させたロボットの感情データ更新方法及びシステムを提供する。ロボットの感情データ更新方法は、ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得し、その後、ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得、そして、識別されたユーザのマルチモード感情データを融合して、ユーザの感情データ予測結果を得、最後に、ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、ユーザの感情データ予測結果に基づき、ロボットの感情データを更新する。
【選択図】図1

Description

本発明は、データ処理の分野に関し、特に、ロボットの感情データの処理に関する。
近年、知能ロボット技術の急速な発展に伴い、ロボットの知能化は、人々が現時点で注目される焦点となっている。簡単に言えば、知能ロボットとは、人間の言語を理解でき、且つ人間の言語で操作者との対話を実現することができるロボットである。発生された状況を解析し、操作者からのすべての要求を満たすように自己の動作を調整することができるとともに、期待される動作を制定し、且つ不十分な情報と急速的に変化する環境の条件でこれらの動作を完成することができる。勿論、我々の人間の思い方にそっくりになるように求められれば無理であるため、予め設定されたモデルによってロボットに操作者からの要求に対して適当に応答させることが一般的である。
従来のロボットでは、一般に、自己認識の訓練が客観的事実に対する認識である。例えば、ロボットは、誰か、どこから来たか、家族等の情報を認識し、ロボットの自己認識の訓練は、操作者の感情に基づき自己認識を行い、更に、感情をもって応答することなく、ユーザからの指令に基づいて完成したものであり、且つ、訓練の方式が単一で、ロボットの自己認識が絶えず更新できない。
そのため、従来の技術において、ロボットは、ユーザの感情に基づき自己の認識を更新して感情をもって応答することができなく、且つロボットの自己認識の訓練の方式が単一で、絶えず更新できないという欠点があった。
本発明は、ユーザの感情識別データに基づいてロボットの感情データを更新する手段を採用し、ロボットがユーザに感情を持つフィードバックを与えることができるようにさせ、且つロボットの感情データを絶えず更新でき、ユーザの体験をより向上させるロボットの感情データ更新方法及びシステムを提供する。
前記技術課題を解決するために、本発明は、以下のような技術的解決手段を提供する。
第1の局面で、本発明は、
ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得するステップS1と、
前記ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得るステップS2と、
前記識別されたユーザのマルチモード感情データを融合して、前記ユーザの感情データ予測結果を得るステップS3と、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、前記ユーザの感情データ予測結果に基づき、前記ロボットの感情データを更新するステップS4と、を含むロボットの感情データ更新方法を提供する。
本発明に係るロボットの感情データ更新方法の技術的解決手段は、まず、ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得し、その後、ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得、そして、識別されたユーザのマルチモード感情データを融合して、ユーザの感情データ予測結果を得、最後に、ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、ユーザの感情データ予測結果に基づき、ロボットの感情データを更新することにある。
本発明におけるロボットの感情データ更新方法では、ユーザの感情識別データに基づいてロボットの感情データを更新する手段を採用し、ユーザによって入力された多様な形式のデータを識別することによって感情識別を行い、ユーザのマルチモード感情データを得た後、ユーザのマルチモード感情データを融合し、ここで、ロボットの感情データは、ロボット感情属性テーブルから取得された、予め人為設定された感情データであり、融合処理された後、予測される人の感情データを得、最後に、予測される人の感情データによって、予めに設定されたロボットの感情属性テーブルにおけるロボットの感情データを更新し、人の感情データに基づき、ロボットの感情データを更新することによって、ロボットの感情がもっと人の感情に近づくようにさせる。マルチモード入力データの持続増加によって、ロボットの感情データを絶えず更新し、ロボットの自己認識能力を絶えず向上させ、ユーザに対応する感情を持つフィードバックを与えることができ、且つ、絶えず更新することによって、ユーザの体験を向上させた。
更に、前記ロボットの感情データがロボットの言語データ及び表情データを含む。ロボットの感情データがロボットの言語データ及び表情データを含むことによって、人のように、ロボットも言語と表情によって感情を表現することが可能になる。
更に、前記ステップS4には、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、且つ前記ロボット感情属性テーブルによってロボットの言語データ及び表情データを得るステップS41と、
前記ユーザの感情データ予測結果に基づき、前記ロボットの言語データを更新して、前記ロボットの言語データの更新結果を得るステップS42と、
前記ユーザの感情データ予測結果に基づき、前記ロボットの表情データを更新して、前記ロボットの表情データの更新結果を得るステップS43と、を更に含む。
ロボットが同時に言語と表情によって感情を表現できる場合には、ロボットの言語データ及び表情データをそれぞれ更新する必要がある。ユーザの感情データ予測結果に基づき、ロボットの言語データ及び表情データを更新することによって、ロボットの感情データが人の感情データを基礎としてもっと人の感情に近づくようにさせることができる。
更に、マルチモード入力データは、音声入力データ、テキスト入力データ、画像入力データ、手振り識別データのうちの少なくとも一方である。マルチモード入力データとは、ユーザがロボットと対話する際に入力し、ユーザの感情が付けられたいくつかのデータである。このため、感情を表現するための手段は多く、音声や映像、テキスト、画像、手振りに大別され、ここで、言語入力も画像の形式に変換される。マルチモード入力データの形式が多いほど、ロボットの自己認識能力がうまくなる。
更に、前記ロボットの感情属性テーブルは、前記ロボットの属性情報を含む知識マップによって取得されたものである。ロボットの知識マップには、例えばロボットの言語情報や表情情報、動作情報などの人為に設定されたいくつかの属性情報が含まれている。
第2の局面で、本発明は、
ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得するためのデータ取得モジュールと、
前記ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得るためのユーザ感情データ識別モジュールと、
前記識別されたユーザのマルチモード感情データを融合して、前記ユーザの感情データ予測結果を得るためのユーザ感情データ予測モジュールと、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、前記ユーザの感情データ予測結果に基づき、前記ロボットの感情データを更新するためのロボット感情データ更新モジュールと、を含むロボットの感情データ更新システムを提供する。
本発明に係るロボットの感情データ更新システムの技術的解決手段は、まず、データ取得モジュールにって、ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得し、その後、ユーザ感情データ識別モジュールによって、前記ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得、そして、ユーザ感情データ予測モジュールによって、前記識別されたユーザのマルチモード感情データを融合し、前記ユーザの感情データ予測結果を得、最後に、ロボット感情データ更新モジュールによって、ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、前記ユーザの感情データ予測結果に基づき、前記ロボットの感情データを更新することにある。
本発明におけるロボットの感情データ更新システムでは、ユーザの感情識別データに基づいてロボットの感情データを更新する手段を採用し、ユーザによって入力された多様な形式のデータを識別することによって感情識別を行いユーザのマルチモード感情データを得た後、ユーザのマルチモード感情データを融合し、ここで、ロボットの感情データは、ロボット感情属性テーブルから取得された、予め人為設定された感情データであり、融合処理された後、予測される人の感情データを得、最後に、予測される人の感情データによって、予めに設定されたロボットの感情属性テーブルにおけるロボットの感情データを更新し、人の感情データに基づき、ロボットの感情データを更新することによって、ロボットの感情がもっと人の感情に近づくようにさせる。マルチモード入力データの持続増加によって、ロボットの感情データを絶えず更新し、ロボットの自己認識能力を絶えず向上させ、ユーザに対応する感情を持つフィードバックを与えることができ、且つ、絶えず更新することによって、ユーザの体験を向上させた。
更に、前記ロボットの感情データがロボットの言語データ及び表情データを含む。ロボットの感情データがロボットの言語データ及び表情データを含むことによって、人のように、ロボットも言語と表情によって感情を表現することが可能になる。
更に、前記ロボット感情データ更新モジュールには、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、且つ前記ロボット感情属性テーブルによってロボットの言語データ及び表情データを得るためのロボットの感情データ取得モジュールと、
前記ユーザの感情データ予測結果に基づき、前記ロボットの言語データを更新して、前記ロボットの言語データの更新結果を得るための言語データ更新モジュールと、
前記ユーザの感情データ予測結果に基づき、前記ロボットの表情データを更新して、前記ロボットの表情データの更新結果を得るための表情データの更新モジュールと、を更に含む。
ロボットが同時に言語と表情によって感情を表現できる場合には、ロボットの言語データ及び表情データをそれぞれ更新する必要がある。ユーザの感情データ予測結果に基づき、ロボットの言語データ及び表情データを更新することによって、ロボットの感情データが人の感情データを基礎としてもっと人の感情に近づくようにさせることができる。
更に、前記マルチモード入力データは、音声入力データ、テキスト入力データ、画像入力データ、手振り識別データのうちの少なくとも一方である。マルチモード入力データとは、ユーザがロボットと対話する際に入力し、ユーザの感情が付けられたいくつかのデータである。このため、感情を表現するための手段は多く、音声や映像、テキスト、画像、手振りに大別される。マルチモード入力データの形式が多いほど、ロボットの自己認識能力がうまくなる。
更に、前記ロボットの感情属性テーブルは、前記ロボットの属性情報を含む知識マップによって取得されたものである。ロボットの知識マップには、例えばロボットの言語情報や表情情報、動作情報などの人為に設定されたいくつかの属性情報が含まれている。
以下、本発明の実施の形態や従来の技術における技術的解決手段をより明瞭に説明するために、実施の形態や従来の技術の説明に必要な図面を簡単に説明する。
図1は本発明の実施例1に係るロボットの感情データ更新方法を示すフローチャートである。 図2は本発明の実施例2に係るロボットの感情データ更新システムを示す模式図である。
以下、図面を参照して本発明の技術的解決手段の実施例について詳細に説明する。以下の実施例は、例として提示して、本発明の技術的解決手段をより明瞭に説明するためのものであるため、これによって本発明の保護範囲が制限されない。
実施例1
図1は、本発明の実施例1に係るロボットの感情データ更新方法を示すフローチャートである。図1に示すように、本発明の実施例1によるロボットの感情データ更新方法は、
ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得するステップS1と、
ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得るステップS2と、
識別されたユーザのマルチモード感情データを融合して、ユーザの感情データ予測結果を得るステップS3と、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、ユーザの感情データ予測結果に基づき、ロボットの感情データを更新するステップS4と、を含む。
本発明に係るロボットの感情データ更新方法の技術的解決手段は、まず、ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得し、その後、ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得、そして、識別されたユーザのマルチモード感情データを融合して、ユーザの感情データ予測結果を得、最後に、ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、ユーザの感情データ予測結果に基づき、ロボットの感情データを更新することにある。
本発明に係るロボットの感情データ更新方法では、ユーザの感情識別データに基づいてロボットの感情データを更新する手段を採用し、ユーザによって入力された多様な形式のデータを識別することによって感情識別を行い、ユーザのマルチモード感情データを得た後、ユーザのマルチモード感情データを融合し、ここで、ロボットの感情データは、ロボット感情属性テーブルから取得された、予め人為設定された感情データであり、融合処理された後、予測される人の感情データを得、最後に、予測される人の感情データによって、予めに設定されたロボットの感情属性テーブルにおけるロボットの感情データを更新し、人の感情データに基づき、ロボットの感情データを更新することによって、ロボットの感情がもっと人の感情に近づくようにさせる。マルチモード入力データの持続増加によって、ロボットの感情データを絶えず更新し、ロボットの自己認識能力を絶えず向上させ、ユーザに対応する感情を持つフィードバックを与えることができ、且つ、絶えず更新することによって、ユーザの体験を向上させた。
具体的には、ロボットの感情データがロボットの言語データ及び表情データを含む。ロボットの感情データがロボットの言語データ及び表情データを含むことによって、人のように、ロボットも言語と表情によって感情を表現することが可能になる。
具体的には、ステップS4には、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、且つロボット感情属性テーブルによってロボットの言語データ及び表情データを得るステップS41と、
ユーザの感情データ予測結果に基づき、ロボットの言語データを更新して、ロボットの言語データの更新結果を得るステップS42と、
ユーザの感情データ予測結果に基づき、ロボットの表情データを更新して、ロボットの表情データの更新結果を得るステップS43と、を更に含む。
ロボットが同時に言語と表情によって感情を表現できる場合には、ロボットの言語データ及び表情データをそれぞれ更新する必要がある。ユーザの感情データ予測結果に基づき、ロボットの言語データ及び表情データを更新することによって、ロボットの感情データが人の感情データを基礎としてもっと人の感情に近づくようにさせることができる。
データの融合処理には、一般に、平均値を求める方法、重み付け処理、又は重みを求める方法を採用してよい。ユーザのマルチモード感情データを例とすると、ユーザのマルチモード感情データについて平均値を求める処理を行うことによって、ユーザの感情データの予測結果を得ることができる。人間は、言語、表情、動作などの様々な形式で感情を表現することができ、これらの人の感情を表現するデータを融合して、人の感情を表現する予測結果(喜怒哀楽などの気分)を得た後、人の感情データの予測結果をロボットの感情データを更新する基礎とすることによって、ロボットの言語データが人が表現しようとする感情にもっと接近するようにさせる。それと同様に、重み付け処理、又は重みを求める方法の採用も、ロボットが表現しようとする感情が人が表現しようとする感情に接近させることに狙い、更に、ロボットの自己認識能力を向上させ、ユーザに感情を持つフィードバックを与えることができるようになっている。
具体的には、マルチモード入力データは、音声入力データ、テキスト入力データ、画像入力データ、手振り識別データのうちの少なくとも一方である。マルチモード入力データとは、ユーザがロボットと対話する際に入力し、ユーザの感情が付けられたいくつかのデータである。このため、感情を表現するための手段は多く、音声や映像、テキスト、画像、手振りに大別される。マルチモード入力データの形式が多いほど、ロボットの自己認識能力がうまくなる。
ここで、ユーザによって入力された多様な形式のデータに感情識別処理を行うことは、具体的には、ユーザによって入力されたテキストデータを例とすると、テキスト感情を識別し、テキストデータを人工でマークし、テキストデータに含まれている口ぶり、意味などに基づき、テキスト情報に合わせて、ユーザによって入力されたテキストデータの感情を識別し、同じ方法を適用することで、音声をテキストに変換した後、音声の感情を識別することができる。なお、映像に含まれている画像データによって、表情を識別し、表情により感情を識別することもできる。
具体的には、ロボットの感情属性テーブルは、ロボットの属性情報を含む知識マップによって取得されたものである。ロボットの知識マップには、例えばロボットの言語情報や表情情報、動作情報などの人為に設定されたいくつかの属性情報が含まれている。
前記設定によって、ロボットは、自己認識能力に基づいてユーザに感情を持つフィードバックを与えることができる。例えば、ユーザが「今日昇給した。」と言うと、ロボットは、ユーザの話から識別した感情に基づいて感情を持つフィードバックを与え、例えば、「ご主人様は偉い!」と答えるとともに、喜ぶ表情をする。このように、ロボットは感情を持って人と対話することができ、より人間化になっている。また、ロボットは、ユーザによって絶えず入力されたマルチモードデータに基づいて持続的に更新することで、自己認識能力を向上させる。
実施例2
図2は、本発明の実施例2に係るロボットの感情データ更新システムを示す模式図である。図2に示すように、本発明の実施例2によるロボットの感情データ更新システム10は、
ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得するためのデータ取得モジュール101と、
ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得るためのユーザ感情データ識別モジュール102と、
識別されたユーザのマルチモード感情データを融合して、ユーザの感情データ予測結果を得るためのユーザ感情データ予測モジュール103と、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、ユーザの感情データ予測結果に基づき、ロボットの感情データを更新するためのロボット感情データ更新モジュール104と、を含む。
本発明に係るロボットの感情データ更新システム10の技術的解決手段は、まず、データ取得モジュール101にって、ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得し、その後、ユーザ感情データ識別モジュール102によって、ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得、そして、ユーザ感情データ予測モジュール103によって、識別されたユーザのマルチモード感情データを融合し、ユーザの感情データ予測結果を得、最後に、ロボット感情データ更新モジュール104によって、ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、ユーザの感情データ予測結果に基づき、ロボットの感情データを更新することにある。
本発明に係るロボットの感情データ更新システム10では、ユーザの感情識別データに基づいてロボットの感情データを更新する手段を採用し、ユーザによって入力された多様な形式のデータを識別することによって感情識別を行いユーザのマルチモード感情データを得た後、ユーザのマルチモード感情データを融合し、ここで、ロボットの感情データは、ロボット感情属性テーブルから取得された、予め人為設定された感情データであり、融合処理された後、予測される人の感情データを得、最後に、予測される人の感情データによって、予めに設定されたロボットの感情属性テーブルにおけるロボットの感情データを更新し、人の感情データに基づき、ロボットの感情データを更新することによって、ロボットの感情がもっと人の感情に近づくようにさせる。マルチモード入力データの持続増加によって、ロボットの感情データを絶えず更新し、ロボットの自己認識能力を絶えず向上させ、ユーザに対応する感情を持つフィードバックを与えることができ、且つ、絶えず更新することによって、ユーザの体験を向上させた。
具体的には、ロボットの感情データがロボットの言語データ及び表情データを含む。ロボットの感情データがロボットの言語データ及び表情データを含むことによって、人のように、ロボットも言語と表情によって感情を表現することが可能になる。
具体的には、ロボット感情データ更新モジュール104には、
ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、且つロボット感情属性テーブルによってロボットの言語データ及び表情データを得るためのロボットの感情データ取得モジュール1041と、
ユーザの感情データ予測結果に基づき、ロボットの言語データを更新して、ロボットの言語データの更新結果を得るための言語データ更新モジュール1042と、
ユーザの感情データ予測結果に基づき、ロボットの表情データを更新して、ロボットの表情データの更新結果を得るための表情データの更新モジュール1043と、を更に含む。
ロボットが同時に言語と表情によって感情を表現できる場合には、ロボットの言語データ及び表情データをそれぞれ更新する必要がある。ユーザの感情データ予測結果に基づき、ロボットの言語データ及び表情データを更新することによって、ロボットの感情データが人の感情データを基礎としてもっと人の感情に近づくようにさせることができる。
具体的には、マルチモード入力データは、音声入力データ、テキスト入力データ、画像入力データ、手振り識別データのうちの少なくとも一方である。マルチモード入力データとは、ユーザがロボットと対話する際に入力し、ユーザの感情が付けられたいくつかのデータである。このため、感情を表現するための手段は多く、音声や映像、テキスト、画像、手振りに大別される。マルチモード入力データの形式が多いほど、ロボットの自己認識能力がうまくなる。
具体的には、ロボットの感情属性テーブルは、ロボットの属性情報を含む知識マップによって取得されたものである。ロボットの知識マップには、例えばロボットの言語情報や表情情報、動作情報などの人為に設定されたいくつかの属性情報が含まれている。
以上に説明したように、本発明に係るロボットの感情データ更新方法及びシステムは、ユーザの感情識別データに基づいてロボットの感情データを更新する手段を採用し、簡単な方法で実現でき、ロボットがユーザに感情を持つフィードバックを適当に与えることができるようにさせ、且つロボットの自己認識に持続性を持たせるようにロボットの感情データを絶えず更新でき、より人間化になり、ユーザの体験を更に向上させたという利点がある。
最後に、説明すべきのは、以上の各実施例は、本発明の技術的解決手段を説明するだけで、それを制限することは意図していない。前記各実施例を参照して本発明を詳細に説明したが、当業者は依然として前記各実施例に記載の技術的解決手段を変更し、又はその中の一部やすべての技術特徴を同等のものに置き換えることができると理解すべきである。これらの変更や置き換えは、対応した技術的解決手段の本質が本発明の各実施例の技術的解決手段の範囲から逸脱するようにさせなく、何れも本発明の特許請求の範囲と明細書の範囲に含まれべきである。

Claims (10)

  1. ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得するステップS1と、
    前記ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得るステップS2と、
    前記識別されたユーザのマルチモード感情データを融合して、前記ユーザの感情データ予測結果を得るステップS3と、
    ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、前記ユーザの感情データ予測結果に基づき、前記ロボットの感情データを更新するステップS4と、を含むことを特徴とするロボットの感情データ更新方法。
  2. 前記ロボットの感情データがロボットの言語データ及び表情データを含むことを特徴とする請求項1に記載のロボットの感情データ更新方法。
  3. 前記ステップS4には、
    ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、且つ前記ロボット感情属性テーブルによってロボットの言語データ及び表情データを得るステップS41と、
    前記ユーザの感情データ予測結果に基づき、前記ロボットの言語データを更新して、前記ロボットの言語データの更新結果を得るステップS42と、
    前記ユーザの感情データ予測結果に基づき、前記ロボットの表情データを更新して、前記ロボットの表情データの更新結果を得るステップS43と、を更に含むことを特徴とする請求項2に記載のロボットの感情データ更新方法。
  4. 前記マルチモード入力データは、音声入力データ、テキスト入力データ、画像入力データ、手振り識別データのうちの少なくとも一方であることを特徴とする請求項1に記載のロボットの感情データ更新方法。
  5. 前記ロボット感情属性テーブルは、前記ロボットの属性情報を含む前記ロボットの知識マップによって取得されたものであることを特徴とする請求項1に記載のロボットの感情データ更新方法。
  6. ユーザによって入力された多様な形式のデータであるマルチモード入力データを取得するためのデータ取得モジュールと、
    前記ユーザによって入力された多様な形式のデータに基づき、感情識別を行い、識別されたユーザのマルチモード感情データを得るためのユーザ感情データ識別モジュールと、
    前記識別されたユーザのマルチモード感情データを融合して、前記ユーザの感情データ予測結果を得るためのユーザ感情データ予測モジュールと、
    ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、前記ユーザの感情データ予測結果に基づき、前記ロボットの感情データを更新するためのロボット感情データ更新モジュールと、を含むことを特徴とするロボットの感情データ更新システム。
  7. 前記ロボットの感情データがロボットの言語データ及び表情データを含むことを特徴とする請求項6に記載のロボットの感情データ更新システム。
  8. 前記ロボット感情データ更新モジュールには、
    ロボットの感情データを記述するためのロボット感情属性テーブルを取得し、且つ前記ロボット感情属性テーブルによってロボットの言語データ及び表情データを得るためのロボットの感情データ取得モジュールと、
    前記ユーザの感情データ予測結果に基づき、前記ロボットの言語データを更新して、前記ロボットの言語データの更新結果を得るための言語データ更新モジュールと、
    前記ユーザの感情データ予測結果に基づき、前記ロボットの表情データを更新して、前記ロボットの表情データの更新結果を得るための表情データの更新モジュールと、を更に含むことを特徴とする請求項7に記載のロボットの感情データ更新システム。
  9. 前記マルチモード入力データは、音声入力データ、テキスト入力データ、画像入力データ、手振り識別データのうちの少なくとも一方であることを特徴とする請求項6に記載のロボットの感情データ更新システム。
  10. 前記ロボット感情属性テーブルは、前記ロボットの属性情報を含む前記ロボットの知識マップによって取得されたものであることを特徴とする請求項6に記載のロボットの感情データ更新システム。
JP2017538648A 2016-07-07 2016-08-12 ロボットの感情データ更新方法及びシステム Pending JP2018534641A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610539549.7 2016-07-07
CN201610539549.7A CN107590503A (zh) 2016-07-07 2016-07-07 一种机器人情感数据更新方法及***
PCT/CN2016/094907 WO2018006471A1 (zh) 2016-07-07 2016-08-12 一种机器人情感数据更新方法及***

Publications (1)

Publication Number Publication Date
JP2018534641A true JP2018534641A (ja) 2018-11-22

Family

ID=60901648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017538648A Pending JP2018534641A (ja) 2016-07-07 2016-08-12 ロボットの感情データ更新方法及びシステム

Country Status (3)

Country Link
JP (1) JP2018534641A (ja)
CN (1) CN107590503A (ja)
WO (1) WO2018006471A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109079791A (zh) * 2018-09-02 2018-12-25 重庆市南岸区瑜目网络科技有限责任公司 一种让人工智能机器人具有人类情绪的方法
CN113486233A (zh) * 2020-08-21 2021-10-08 青岛海信电子产业控股股份有限公司 一种内容推荐方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003200370A (ja) * 2001-11-05 2003-07-15 Samsung Electronics Co Ltd オブジェクトの成長制御システム及びオブジェクトの成長制御方法
JP2005128711A (ja) * 2003-10-22 2005-05-19 Omron Corp 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
JP2006178063A (ja) * 2004-12-21 2006-07-06 Toyota Central Res & Dev Lab Inc 対話処理装置
JP2007271655A (ja) * 2006-03-30 2007-10-18 Brother Ind Ltd 感情付加装置、感情付加方法及び感情付加プログラム
JP2008125815A (ja) * 2006-11-21 2008-06-05 Business Design Kenkyusho:Kk 会話ロボットシステム
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
JP2016036883A (ja) * 2014-08-08 2016-03-22 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
WO2016080553A1 (ja) * 2014-11-21 2016-05-26 ヴイストン株式会社 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1151016C (zh) * 1999-11-30 2004-05-26 索尼公司 机器人设备及其控制方法,和机器人性格判别方法
KR100953407B1 (ko) * 2008-04-24 2010-04-19 한국과학기술원 로봇의 호감도 형성장치 및 그 방법
CN101604204B (zh) * 2009-07-09 2011-01-05 北京科技大学 智能情感机器人分布式认知***
CN103413113A (zh) * 2013-01-15 2013-11-27 上海大学 一种服务机器人智能情感交互的方法
CN103456314B (zh) * 2013-09-03 2016-02-17 广州创维平面显示科技有限公司 一种情感识别方法以及装置
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
CN104493827A (zh) * 2014-11-17 2015-04-08 福建省泉州市第七中学 智能认知机器人及其认知***
US20160162807A1 (en) * 2014-12-04 2016-06-09 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation Emotion Recognition System and Method for Modulating the Behavior of Intelligent Systems
CN104965426A (zh) * 2015-06-24 2015-10-07 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人控制***、方法和装置
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法
CN105334743B (zh) * 2015-11-18 2018-10-26 深圳创维-Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其***
CN105355200B (zh) * 2015-11-20 2020-02-07 深圳狗尾草智能科技有限公司 直接训练和修改机器人交互内容的***及方法
CN105739688A (zh) * 2016-01-21 2016-07-06 北京光年无限科技有限公司 一种基于情感体系的人机交互方法、装置和交互***
CN105740948B (zh) * 2016-02-04 2019-05-21 北京光年无限科技有限公司 一种面向智能机器人的交互方法及装置
CN105690408A (zh) * 2016-04-27 2016-06-22 深圳前海勇艺达机器人有限公司 一种基于数据字典的情感识别机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003200370A (ja) * 2001-11-05 2003-07-15 Samsung Electronics Co Ltd オブジェクトの成長制御システム及びオブジェクトの成長制御方法
JP2005128711A (ja) * 2003-10-22 2005-05-19 Omron Corp 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
JP2006178063A (ja) * 2004-12-21 2006-07-06 Toyota Central Res & Dev Lab Inc 対話処理装置
JP2007271655A (ja) * 2006-03-30 2007-10-18 Brother Ind Ltd 感情付加装置、感情付加方法及び感情付加プログラム
JP2008125815A (ja) * 2006-11-21 2008-06-05 Business Design Kenkyusho:Kk 会話ロボットシステム
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
JP2016036883A (ja) * 2014-08-08 2016-03-22 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
WO2016080553A1 (ja) * 2014-11-21 2016-05-26 ヴイストン株式会社 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム

Also Published As

Publication number Publication date
CN107590503A (zh) 2018-01-16
WO2018006471A1 (zh) 2018-01-11

Similar Documents

Publication Publication Date Title
US20210081056A1 (en) Vpa with integrated object recognition and facial expression recognition
US10977452B2 (en) Multi-lingual virtual personal assistant
US20200236425A1 (en) Method and apparatus for filtering video
US11206450B2 (en) System, apparatus and method for providing services based on preferences
US10593322B2 (en) Electronic device and method for controlling the same
KR102448382B1 (ko) 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
US10521723B2 (en) Electronic apparatus, method of providing guide and non-transitory computer readable recording medium
US11508378B2 (en) Electronic device and method for controlling the same
EP3756185B1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
KR102484257B1 (ko) 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체
CN104985599A (zh) 基于人工智能的智能机器人控制方法、***及智能机器人
KR102429583B1 (ko) 전자 장치, 그의 가이드 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체
US20210124929A1 (en) Device and method for auto audio and video focusing
JP2018024058A (ja) 接客装置、接客方法及び接客システム
US11830502B2 (en) Electronic device and method for controlling the same
KR20180096483A (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
JP2018534641A (ja) ロボットの感情データ更新方法及びシステム
KR20190061824A (ko) 전자장치 및 그 제어 방법
US20210004702A1 (en) System and method for generating information for interaction with a user
KR20210079061A (ko) 정보 처리 방법 및 정보 처리 장치
KR102576788B1 (ko) 로봇 인터랙션 행위 생성 장치 및 방법
KR20220040997A (ko) 전자 장치 및 그 제어 방법
CN113946222A (zh) 一种控制方法、电子设备及计算机存储介质
KR20210078122A (ko) 정보 처리 방법 및 정보 처리 장치
EP3841460B1 (en) Electronic device and method for controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191210