JP2019095795A - In-vehicle machine - Google Patents
In-vehicle machine Download PDFInfo
- Publication number
- JP2019095795A JP2019095795A JP2018236315A JP2018236315A JP2019095795A JP 2019095795 A JP2019095795 A JP 2019095795A JP 2018236315 A JP2018236315 A JP 2018236315A JP 2018236315 A JP2018236315 A JP 2018236315A JP 2019095795 A JP2019095795 A JP 2019095795A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- learning
- program
- unit
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 description 92
- 230000008569 process Effects 0.000 description 90
- 238000013473 artificial intelligence Methods 0.000 description 67
- 238000004891 communication Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000008451 emotion Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 210000001255 hallux Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Toys (AREA)
Abstract
Description
本国際出願は、2014年12月25日に日本国特許庁に出願された日本国特許出願第2014−262907号に基づく優先権を主張するものであり、日本国特許出願第2014−262907号の全内容を本国際出願に参照により援用する。 This international application claims priority based on Japanese Patent Application No. 2014-262907 filed with the Japanese Patent Office on December 25, 2014, and the Japanese Patent Application No. 2014-262907 The entire contents are incorporated by reference into this international application.
本開示はロボットに関する。 The present disclosure relates to robots.
近年、人と会話できるロボットが注目されている。このロボットは、人が発音する音声をマイクで取得し、音声認識により音声の意味内容を推定する。そして、推定した意味内容に対し、予め関連付けられた回答を行う(特許文献1参照)。 In recent years, robots that can talk to people have attracted attention. This robot acquires speech uttered by a human with a microphone and estimates the meaning of speech by speech recognition. Then, an answer associated in advance is given to the estimated semantic content (see Patent Document 1).
ロボットの会話能力を、人工知能等を用いた学習により高めることが考えられる。しかしながら、ある特定のロボットの会話能力を学習により高めたとしても、例えば、異なる場所にある別のロボットを使用する場合、初歩から学習を行わなければならない。本開示は、ロボットの学習に関するユーザの負担を軽減できるロボットを提供することを一側面とする。 It is conceivable to enhance the conversational ability of the robot by learning using artificial intelligence or the like. However, even if the conversational ability of a certain robot is enhanced by learning, for example, when using another robot at a different place, learning must be performed from the beginning. The present disclosure makes it an aspect to provide a robot that can reduce the burden on the user regarding learning of the robot.
本開示のロボットは、音声認識を行う音声認識ユニットと、前記音声認識ユニットの認識結果について学習する学習ユニットと、前記音声認識ユニットの認識結果に対し、前記学習ユニットの学習結果を用いて、対応する処理を行う処理ユニットと、前記学習結果を外部の記憶装置に記憶する記憶ユニットと、前記学習結果を前記記憶装置から取得する学習結果取得ユニットと、を備える。 The robot according to the present disclosure corresponds to a speech recognition unit that performs speech recognition, a learning unit that learns about the recognition result of the speech recognition unit, and the recognition result of the speech recognition unit using the learning result of the learning unit And a storage unit that stores the learning result in an external storage device, and a learning result acquisition unit that acquires the learning result from the storage device.
本開示のロボットは、音声認識ユニットの認識結果について学習することができる。また、本開示のロボットは、学習結果を外部の記憶装置に記憶するとともに、その記憶装置から、学習結果を取得することができる。 The robot of the present disclosure can learn about the recognition result of the speech recognition unit. In addition, the robot of the present disclosure can store learning results in an external storage device, and can acquire the learning results from the storage device.
そのため、ユーザは、例えば、第1のロボットの使用により生じた学習結果を外部の記憶装置に記憶しておき、第2のロボットを使用するとき、記憶しておいた学習結果を第2のロボットに導入することができる。その結果、ユーザは、第1のロボットにおける学習結果を利用することができ、第2のロボットを必ずしも初歩から学習させなくてもよい。 Therefore, the user stores, for example, a learning result generated by use of the first robot in an external storage device, and uses the second robot, the second robot stores the learning result stored therein. Can be introduced. As a result, the user can use the learning result of the first robot, and the second robot does not have to learn from the beginning.
1、301…ロボット、3…制御ユニット、5…マイク、7…カメラ、9…タッチパネル、11…センサ群、13…GPS、15…スピーカ、17…モータ群、19…ディスプレイ、21…入力ユニット、23…標準プログラム記憶ユニット、25…人工知能ユニット、26…通信ユニット、27…演算ユニット、29…出力ユニット、31…クラウドネットワーク、33…端末、35…頭部、37…胴部、39…右腕部、41…左腕部、43…右脚部、45…左脚部、47、49…車輪、51…移動用モータ、53…首関節、55…肩関節、57…肘関節、59…手首関節、61…関節用モータ、63…キーボード、65…マウス、67…筐体、69…端子、71…車両制御部、101…コンピュータ、201…車載機
DESCRIPTION OF
本開示の実施形態を図面に基づき説明する。
<第1の実施形態>
1.ロボット1の構成
ロボット1の構成を図1、図2に基づき説明する。ロボット1は、図1に示すように、制御ユニット3、マイク5、カメラ7、タッチパネル9、センサ群11、GPS13、スピーカ15、モータ群17、及びディスプレイ19を備える。
Embodiments of the present disclosure will be described based on the drawings.
First Embodiment
1. Configuration of
制御ユニット3はマイクロコンピュータを備える。制御ユニットは、具体的には、入力ユニット21、標準プログラム記憶ユニット23、人工知能ユニット25、通信ユニット26、演算ユニット27、及び出力ユニット29を備える。
The
入力ユニット21は、マイク5、カメラ7、タッチパネル9、センサ群11、及びGPS13から情報を取得し、その情報を演算ユニット27及び人工知能ユニット25に出力する。
The input unit 21 acquires information from the
標準プログラム記憶ユニット23は、ロボット1の各種動作を実行するための標準プログラムを常時記憶している。標準プログラムは、後述するAI用プログラムとは異なり、
内容が変化しないプログラムである。
The standard
It is a program whose content does not change.
人工知能ユニット25は、ロボット1の各種動作を実行するためのAI(人工知能)用プログラムを記憶可能である。人工知能ユニット25は、AI用プログラムを記憶しているとき、それを学習により変化、発展させる。また、人工知能ユニット25は、AI用プログラムを新規にインストールすること、及びAI用プログラムを消去することが可能である。
The
通信ユニット26は、外部のクラウドネットワーク31、端末33等と通信を行う。通信は無線通信であってもよいし、有線通信であってもよい。
演算ユニット27は、標準プログラム又はAI用プログラムを用いて、ロボット1の各種動作を実現するたに必要な演算を実行する。
The
The
出力ユニット29は演算ユニット27の演算結果をスピーカ15、モータ群17、及びディスプレイ19に出力する。なお、制御ユニット3に属する各ユニットの詳しい機能は後述する。
The
図2に示すように、ロボット1は、人型の外形を有しており、頭部35、胴部37、右腕部39、左腕部41、右脚部43、及び左脚部45を備える。
マイク5、カメラ7、及びスピーカ15は頭部35に設けられている。また、ディスプレイ19、及びタッチパネル9は胴部37の正面側に設けられている。
As shown in FIG. 2, the
The
右脚部43、及び左脚部45は、それぞれ、移動用の車輪47、49を備えている。車輪47、49は、それぞれ、前後方向に2つ設けられている。よって、ロボット1は、合計4つの車輪により地面に接する。車輪47、49は、モータ群17に属する移動用モータ51により駆動される。移動用モータ51の駆動力によって車輪47、49を回転させることにより、ロボット1は前後に移動することができる。また、車輪47の回転数と、車輪49の回転数とを異ならせることにより、ロボット1は右旋回又は左旋回をすることができる。
The
ロボット1は、首関節53、肩関節55、肘関節57、及び手首関節59を備える。各関節の自由度は、1〜3の中から適宜設定できる。各関節は、モータ群17に属する関節用モータ61の駆動力により、動作する。上記の関節のうち、適宜選択したものを関節用モータ61で動かすことにより、ロボット1は所定の動作を行い、また、所定の姿勢を表現する。
The
センサ群11に属する複数のセンサは、ロボット1における各部の位置、速度、加速度、傾き、関節の角度等を検出する。その検出結果は、入力ユニット21を介して演算ユニット27にフィードバックされ、ロボット1の動作制御に用いられる。
A plurality of sensors belonging to the
なお、標準プログラム記憶ユニット23、人工知能ユニット25、及び演算ユニット27は、音声認識ユニット、処理ユニット、及び学習停止ユニットの一例である。人工知能ユニット25は、学習ユニットの一例である。通信ユニット26は、記憶ユニット及び学習結果取得ユニットの一例である。入力ユニット21及び通信ユニット26は識別情報取得ユニットの一例である。クラウドネットワーク31は外部の記憶装置の一例である。
The standard
2.ロボット1が実行する処理
(2−1)プログラム設定処理
制御ユニット3は、標準プログラムと、AI用プログラムとのうち、使用するプログラムを決めるために、図3に示すプログラム設定処理を実行する。このプログラム設定処理
は、ロボット1の電源がオンであるとき、所定時間ごとに繰り返し実行される。
2. 2. Processing Executed by Robot 1 (2-1) Program Setting Process The
ステップ1では、その時点でAI用プログラムを使用しているか否かを判断する。AI用プログラムを使用していない場合(すなわち、標準プログラムを使用している場合)はステップ2に進み、AI用プログラムを使用している場合はステップ5に進む。
In
ステップ2では、ユーザの識別情報が入力されたか否かを判断する。識別情報は、例えば、以下の方法で入力することができる。
・端末33から通信ユニット26に識別情報を送信する。
In
The terminal 33 transmits identification information to the
・識別情報を表す電磁波(例えば、電波、赤外線等)を通信ユニット26に送信する。識別情報を表す電磁波は、端末33から送信してもよいし、固定式の装置(例えば、ビーコン、無線LANのアクセスポイント等)から送信してもよい。識別情報を表す電磁波は、定期的に送信してもよいし、ユーザの指示に応じて送信してもよいし、端末33や固定式の装置等がロボット1を検出することをきっかけとして送信してもよい。
Transmit an electromagnetic wave (for example, a radio wave, an infrared ray, etc.) representing the identification information to the
・ユーザが識別情報の内容を声に出して言う。マイク5がその音声を取得し、音声認識により、識別情報を特定する。
・識別情報を表す一次元バーコードや二次元バーコードをカメラ7で撮影する。
The user speaks out the contents of the identification information. The
Taking a one-dimensional barcode or two-dimensional barcode representing identification information with the camera 7.
・タッチパネル9を用いて識別情報を入力する。
識別情報は、数字や文字で構成されるものであってもよいし、1次元又は2次元の画像(例えば一次元バーコードや二次元バーコード)であってもよいし、ユーザの生体情報(例えば、指紋、身体のいずれかの部位における静脈のパターン、虹彩、顔等)であってもよいし、音声で構成されるものであってもよい。
The identification information is input using the
The identification information may be composed of numbers or characters, may be one-dimensional or two-dimensional images (for example, one-dimensional barcodes or two-dimensional barcodes), or may be biometric information of the user ( For example, it may be a fingerprint, a pattern of veins in any part of the body, an iris, a face, etc.), or it may be composed of voice.
識別情報が入力された場合はステップ3に進み、識別情報が入力されなかった場合は本処理を終了する。
ステップ3では、前記ステップ2で入力されたと判断された識別情報に対応するAI用プログラム及びデータセットを、クラウドネットワーク31からインストールする。インストールしたAI用プログラム及びデータセットは、人工知能ユニット25に記憶する。
If the identification information is input, the process proceeds to step 3. If the identification information is not input, the process ends.
In
なお、クラウドネットワーク31には、識別情報と、AI用プログラム及びデータセットとが、対応付けられて記憶されている。データセットは、AI用プログラムの使用、学習等において用いるデータセットであり、音声認識及び音声合成において用いる辞書データを含む。 In the cloud network 31, identification information, an AI program, and a data set are stored in association with each other. The data set is a data set used in use of an AI program, learning, etc., and includes dictionary data used in speech recognition and speech synthesis.
ステップ4では、ロボット1が使用するプログラムを、標準プログラムから、前記ステップ3でインストールしたAI用プログラムに変更する。この時点以降、ロボット1はAI用プログラムを使用する。
In step 4, the program used by the
一方、前記ステップ1で肯定判断された場合はステップ5において、ロボット1の使用終了条件が充足されたか否かを判断する。使用終了条件は、例えば、以下のものとすることができる。
On the other hand, when an affirmative determination is made in
・所定時間以上、ユーザがロボット1を操作しないこと。
・カメラ7の画像やマイク5で取得した音声においてユーザを認識できない状態が所定時間以上続くこと。
The user does not operate the
A state in which the user can not be recognized in the image of the camera 7 or the sound acquired by the
・ユーザがロボット1に対し、使用終了に該当する入力を行うこと(例えば、ユーザが
「使用終了」と声に出して言う、または、タッチパネル9に使用終了に該当する内容の入力を行う等)。
・ The user performs an input corresponding to the end of use to the robot 1 (for example, the user makes a voice saying “end of use”, or performs an input corresponding to the end of use on the
・ロボット1の電源がオフになる。
・予め設定された時刻になる。
使用終了条件が充足された場合はステップ6に進み、使用終了条件が充足されない場合は本処理を終了する。
The power of the
-It becomes a preset time.
If the use end condition is satisfied, the process proceeds to step 6, and if the use end condition is not satisfied, the process ends.
ステップ6では、AI用プログラム及びデータセットを、クラウドネットワーク31にアップロードする。このとき、ユーザの識別情報と対応付けてアップロードする。なお、後述する学習が行われた場合、アップロードするAI用プログラム及びデータセットは、学習後のものである。 In step 6, the program for AI and the data set are uploaded to the cloud network 31. At this time, it uploads in association with the identification information of the user. In addition, when learning mentioned later is performed, the program and data set for AI to upload are after learning.
ステップ7では、人工知能ユニット25からAI用プログラム及びデータセットを消去する。
ステップ8では、使用するプログラムを、AI用プログラムから標準プログラムに変更する。この時点以降、ロボット1は標準プログラムを使用する。
In step 7, the AI program and data set are erased from the
In step 8, the program to be used is changed from the program for AI to the standard program. After this point, the
(2−2)会話処理
制御ユニット3は、図4に示す会話処理を実行する。この処理は、マイク5が所定の閾値以上の音量を検出したときに実行される。
(2-2) Conversation Process The
ステップ11では、マイク5を用いて音声を取得する。
ステップ12では、周知の音声認識技術により、前記ステップ11で取得した音声の内容を認識する。このとき、標準プログラムを使用している場合は、ロボット1が予め備えている標準辞書データを用いて音声の内容を認識する。また、AI用プログラムを使用している場合は、AI用プログラムとともにクラウドネットワーク31からインストールされ、過去の学習によって強化された辞書データを用いて音声の内容を認識する。
At
In step 12, the content of the voice acquired in
ステップ13では、前記ステップ12で認識した音声の内容に対し、回答する音声のデータ(以下では回答音声データとする)を作成する。このとき、標準プログラムを使用している場合は、ロボット1が予め備えている標準辞書データを用いて回答音声データを作成する。また、AI用プログラムを使用している場合は、AI用プログラムとともにクラウドネットワーク31からインストールされ、過去の学習によって強化された辞書データを用いて回答音声データを作成する。
In
回答音声データの内容は、例えば、前記ステップ12で認識した音声の内容からキーワードを検出し、そのキーワードに予め対象付けられた事項を辞書データから探し、作成することができる。また、回答音声データの内容は、前記ステップ12で認識した音声の内容に対し、人工知能を用いて推論したものであってもよい。 The contents of the answer voice data can be created, for example, by detecting a keyword from the contents of the voice recognized in the step 12 and searching for an item which has been previously targeted to the keyword from the dictionary data. Further, the contents of the answer voice data may be those inferred by using artificial intelligence on the contents of the voice recognized in the step 12.
ステップ14では、前記ステップ13で作成した回答音声データに基づき、スピーカ15を用いて発音する。すなわち、前記ステップ11で取得した音声に対する回答を発音する。
In step 14, based on the answer voice data created in
ステップ15では、その時点でAI用プログラムを使用中であるか否かを判断する。AI用プログラムを使用中である場合はステップ16に進み、標準プログラムを使用中である場合は本処理を終了する。
In
ステップ16では、その時点で学習停止中であるか否かを判断する。なお、学習停止は
、後述する学習停止判断処理により設定される。学習停止中ではない場合はステップ17に進み、学習停止中である場合は本処理を終了する。
In step 16, it is determined whether learning is being stopped at that time. The learning stop is set by a learning stop determination process described later. If the learning is not stopped, the process proceeds to step 17. If the learning is stopped, the present process ends.
ステップ17では、その時点で設定されている学習制限内容を取得する。学習制限内容としては、例えば、ユーザ(前記ステップ2で入力されたと判断された識別情報に対応するユーザ)の家族、知人に関する情報(名前、住所、電話番号、メールアドレス、経歴、顔を含む画像)等である。
At
ステップ18では、前記ステップ12で認識した音声の内容について学習を行う。学習としては、例えば、機械学習が挙げられる。機械学習は、教師付き学習であってもよいし、教師無し学習であってもよい。また、学習は、人工無能による学習であってもよい。この場合、前記ステップ12で認識した音声からキーワードを抽出し、そのキーワードをデータセット(例えば、音声認識に用いる辞書データ)に追加することができる。このキーワードは、例えば、回答音声データを作成する処理(前記ステップ13)において利用できる。 In step 18, learning is performed on the content of the voice recognized in step 12. Examples of learning include machine learning. Machine learning may be supervised learning or unsupervised learning. Moreover, learning may be learning by artificial incompetence. In this case, a keyword can be extracted from the voice recognized in step 12 and the keyword can be added to a data set (for example, dictionary data used for voice recognition). This keyword can be used, for example, in the process of creating answer voice data (step 13).
ただし、前記ステップ12で認識した音声の内容であっても、前記ステップ17で取得した学習制限内容に該当する事項は、学習しないようにする。
ステップ19では、前記ステップ18での学習結果を反映するように、AI用プログラムとデータセットとを更新する。なお、学習結果を反映するように更新されたAI用プログラム及びデータセットは、学習結果の一例である。
However, even if it is the content of the speech recognized in the step 12, the matter corresponding to the learning restriction content acquired in the
In
(2−3)学習停止判断処理
制御ユニット3は、図5に示す学習停止判断処理を所定時間ごとに繰り返し実行する。図5のステップ21では、AI用プログラムを使用中であるか否かを判断する。AI用プログラムを使用中である場合はステップ22に進み、標準プログラムを使用中である場合は本処理を終了する。
(2-3) Learning Stop Determination Processing The
ステップ22では、GPS13を用いてロボット1の位置情報を取得する。
ステップ23では、カメラ7を用いて、ロボット1の周囲を撮像した画像を取得する。
ステップ24では、マイク5を用いて、音声を取得する。
At step 22, position information of the
In
In step 24, the
ステップ25では、その時点で学習停止中であるか否かを判断する。なお、学習停止の状態は、後述するステップ28において開始され、後述するステップ30において学習を再開したときに終了する。学習停止中ではない場合はステップ26に進み、学習停止中である場合はステップ29に進む。
In
ステップ26では、前記ステップ23で取得した画像、又は前記ステップ24で取得した音声に、学習停止のきっかけとなるものがあるか否かを判断する。学習停止のきっかけとしては、例えば、以下のものが挙げられる。
In
・前記ステップ23で取得した画像において、学習停止を指示する動作として予め設定された動作が認識されること。その動作として、例えば、図6Aに示すように、人差し指を立てて口の前に置く動作が挙げられる。また、他の動作として、ウインクが挙げられる。
In the image acquired in
・前記ステップ24で取得した音声において、学習停止を指示するキーワードとして予め設定された音声が認識されること。そのキーワードとして、例えば、「秘密」、「オフレコ」、「プライベート」等が挙げられる。また、別のキーワードとして、例えば、ユーザの家族や知人の名前等が挙げられる。ユーザは、家族や知人の名前をキーワードとして
予めロボット1に登録しておくことができる。また、ロボット1が、過去に認識した音声データに基づき、どの言葉がユーザの家族や知人の名前であるかを推論し、ユーザの家族や知人の名前であると推論した言葉をキーワードとして登録してもよい。
In the voice acquired in the step 24, a voice preset as a keyword for instructing to stop learning is recognized. As the keyword, for example, "secret", "off record", "private" and the like can be mentioned. In addition, another keyword may be, for example, the name of the user's family or acquaintance. The user can register the name of a family or acquaintance in the
・前記ステップ23で取得した画像において、予め登録された人の顔が認識されること。この人としては、例えば、ユーザの家族、知人等が挙げられる。なお、ユーザは、学習停止のきっかけとする人の顔画像を予め登録しておくことができる。
In the image acquired in the
学習停止のきっかけがある場合はステップ28に進み、学習停止のきっかけがない場合はステップ27に進む。
ステップ27では、前記ステップ22で取得した位置情報が、学習を停止するべき位置として予め登録された位置に該当するか否かを判断する。学習を停止するべき位置としては、例えば、ユーザの自宅、会議室等が挙げられる。
If there is an opportunity to stop learning, the process proceeds to step 28, and if there is no opportunity to stop learning, the process proceeds to step 27.
In
ユーザは、学習を停止するべき位置を予め登録しておくことができる。また、ロボット1が、過去のデータに基づき、学習を停止するべき場所を推論し、推論した場所を登録することができる。例えば、ロボット1は、学習停止のきっかけが過去に認識された場所を、学習を停止するべき場所として推論することができる。
The user can register in advance the position at which learning should be stopped. Also, the
ステップ28では、学習停止の状態を開始する。この時点以降、前記会話処理における前記ステップ16では、肯定判断がなされ、前記ステップ18での学習が行われない。
一方、前記ステップ25で肯定判断された場合はステップ29にて、前記ステップ23で取得した画像、又は前記ステップ24で取得した音声に、学習を再開するきっかけとなるものがあるか否かを判断する。学習再開のきっかけとしては、例えば、以下のものが挙げられる。
At step 28, the state of learning stop is started. From this point on, in the step 16 in the conversation process, an affirmative determination is made, and the learning in the step 18 is not performed.
On the other hand, when an affirmative determination is made in
・前記ステップ23で取得した画像において、学習再開を指示する動作として予め設定された動作が認識されること。その動作として、例えば、図6Bに示すように、親指と人差し指とで輪を作る(いわゆるOKを示す)動作が挙げられる。
In the image acquired in the
・前記ステップ24で取得した音声において、学習再開を指示するキーワードとして予め設定された音声が認識されること。そのキーワードとして、例えば、「OK」、「再開」、「学習」等が挙げられる。 In the voice acquired in the step 24, a voice preset as a keyword instructing resumption of learning is recognized. As the keyword, for example, “OK”, “resume”, “learning” and the like can be mentioned.
学習再開のきっかけがある場合はステップ30に進み、学習再開のきっかけがない場合は本処理を終了する。
ステップ30では、学習を再開する。この時点以降、前記会話処理における前記ステップ16では否定判断がなされ、前記ステップ18の学習が行われる。
If there is an opportunity for resuming learning, the process proceeds to step 30. If there is no opportunity for resuming learning, the present process ends.
Step 30 resumes learning. From this point onward, a negative determination is made in step 16 in the conversation process, and learning in step 18 is performed.
(2−4)スケジュール管理処理
ロボット1は、以下に示すスケジュール管理処理を実行することができる。ユーザは予め自らのスケジュール情報を、ロボット1に入力しておく。スケジュール情報の入力は、例えば、タッチパネル9を用いて行ってもよいし、音声入力により行ってもよい。また、端末33からスケジュール情報を通信ユニット26に送信してもよい。
(2-4) Schedule Management Process The
スケジュール情報は、少なくとも、期日と、その期日までに実行すべき事項とを含む。ロボット1は、期日よりも所定時間(例えば、1日、3時間)前の時点で、マイク5により取得した音声、カメラ7により取得した画像、端末33から取得した情報等に基づき、ユーザがスケジュール情報に含まれる事項を実行済みであるか否かを判断し、未だ実行していない場合は、スピーカ15の音声、又はディスプレイ19に表示する画像により、ユ
ーザに警告する。
The schedule information includes at least a due date and matters to be performed by the due date. The
3.ロボット1が奏する効果
(1A)ロボット1は、AI用プログラムを、学習により変化、発展させることができる。また、ロボット1は、データセット(例えば辞書データ)の内容を、学習により強化することができる。そして、ロボット1は、学習後のAI用プログラム及びデータセットを、クラウドネットワーク31にアップロードすることができる。また、ロボット1は、クラウドネットワーク31にアップロードされたAI用プログラム及びデータセットを、インストールすることができる。
3. Effects of the Robot 1 (1A) The
学習後のAI用プログラム及びデータセットをインストールするロボット1は、過去に学習を行ったロボット1と同じであっても、異なっていてもよい。また、学習後のAI用プログラム及びデータセットをインストールするロボット1は、過去に学習を行った場所にあるものであってもよいし、異なる場所にあるものであってもよい。
The
よって、ユーザは、過去の自らの使用よって学習したAI用プログラム及びデータセットを、ユーザがその時点でいる場所(例えば、職場、店舗、自宅等様々な場所)のロボット1に、クラウドネットワーク31からインストールし、ロボット1を使用することができる。
Therefore, the user can download the AI program and data set learned by his own use from the cloud network 31 to the
(1B)ロボット1は、ユーザの識別情報が入力されることを条件として、その識別情報に対応するAI用プログラム及びデータセットのインストールを許容する。そのため、あるユーザのAI用プログラム及びデータセットを、他人が勝手に使用してしまうことを抑制できる。
(1B) The
(1C)ロボット1は、人の音声を認識し、それに対する回答の音声を発音することができる。すなわち、ロボット1は人と会話をすることができる。また、ロボット1は、AI用プログラムを使用している場合、音声の認識結果に基づき学習を行い、その学習結果を用いて回答の音声を作成するので、学習が進むほど、より高度な会話を行うことができる。
(1C) The
(1D)ロボット1は、その周囲にいる人の動作や、人の識別結果等に応じて、学習を停止する。そのため、ユーザにとって望ましくない事項をロボット1が学習し、後に他人に話してしまうことを抑制できる。
(1D) The
(1E)ロボット1は、それが存在する場所に応じて、学習を停止する。そのため、学習してほしくない場所で学習した事項を、ロボット1が後に他人に話してしまうことを抑制できる。
(1E) The
(1F)ロボット1は、その周囲にいる人の動作等に応じて、学習を再開する。そのため、ロボット1の学習を促進することができる。
(1G)ロボット1は、学習制限内容に該当する事項を学習しない。そのため、ユーザにとって望ましくない事項をロボット1が学習し、後に他人に話してしまうことを抑制できる。
(1F) The
(1G) The
(1H)ロボット1は、ユーザのスケジュール管理を行うことができる。
(1I)ロボット1は、ロボット1の使用終了条件が充足された場合、AI用プログラム及びデータセットを消去する。そのため、ユーザは、自分のAI用プログラム及びデータセットを後で他人が使用することを抑制できる。
<第2の実施形態>
1.コンピュータ101の構成
コンピュータ101の構成を図7、図8に基づき説明する。コンピュータ101の電気的構成は、前記第1の実施形態におけるロボット1と基本的に同じである。ただし、コンピュータ101における入力ユニット21は、外部のマイク5、カメラ7、キーボード63、マウス65、タッチパネル9と接続している。また、出力ユニット29は、外部のスピーカ15、及びディスプレイ19と接続している。
(1H) The
(1I) The
Second Embodiment
1. Configuration of
コンピュータ101は、図8に示すように、箱型の筐体67を備え、その内部に各構成を収容している。また、コンピュータ101は、外部の機器(例えば、マイク5、カメラ7、キーボード63、マウス65、タッチパネル9、スピーカ15、ディスプレイ19等)を接続可能な端子69を複数備えている。なお、コンピュータ101は広義でのロボットである。
As shown in FIG. 8, the
2.コンピュータ101が実行する処理
コンピュータ101は、前記第1の実施形態のロボット1と同様に、プログラム設定処理、会話処理、学習停止判断処理、及びスケジュール管理処理を実行する。また、コンピュータ101は、周知のコンピュータと同様の機能を有する。
2. Processing Executed by
3.コンピュータ101が奏する効果
コンピュータ101は、前記(1A)〜(1I)の効果を奏する。
<第3の実施形態>
1.車載機201の構成
車載機201の構成を図9に基づき説明する。車載機201は車両に搭載される。車載機201の電気的構成は、前記第2の実施形態におけるコンピュータ101と基本的に同じである。ただし、車載機201における入力ユニット21は、車両に設けられたマイク5、カメラ7、タッチパネル9、センサ群11、及びGPS13と接続している。
3. Effects of the
Third Embodiment
1. Configuration of on-vehicle unit 201 The configuration of the on-vehicle unit 201 will be described based on FIG. The on-vehicle device 201 is mounted on a vehicle. The electrical configuration of the on-vehicle device 201 is basically the same as that of the
マイク5は車両の車室内に設けられ、車両の乗員(ドライバ、又は他の乗員)の声を検出する。カメラ7は乗員を撮影する。タッチパネル9は車両の車室内に設けられ、乗員により操作される。センサ群11は、ドライバの運転操作(操舵角、アクセルの踏み込み量、ブレーキの踏み込み量、シフト位置等)と、車両の状態(速度、加速度、ヨーレート、パワーユニット(内燃機関、モータ等)の状態、燃料の残量、バッテリーの残量等)とを検出する。
The
また、出力ユニット29は、スピーカ15、ディスプレイ19、及び車両制御部71と接続している。スピーカ15及びディスプレイ19は車両の車室内に設けられている。車両制御部71は、車両に関する様々な制御(例えば、操舵、加速、減速、シフトチェンジ等)を行う。なお、車載機201は広義でのロボットである。
The
2.車載機201が実行する処理
(2−1)ロボット1と同様の処理
車載機201は、前記第1の実施形態のロボット1と同様に、プログラム設定処理、会話処理、学習停止判断処理、及びスケジュール管理処理を実行する。
2. Processing executed by in-vehicle device 201 (2-1) Processing similar to
(2−2)車両制御処理
車載機201の制御ユニット3は、図10に示す車両制御処理を所定時間ごとに繰り返し実行する。この処理は、マイク5が所定の閾値以上の音量を検出したときに実行される。
(2-2) Vehicle Control Process The
ステップ31では、マイク5を用いて音声を取得する。ステップ32では、周知の音声
認識技術により、前記ステップ31で取得した音声から、車両に対する指示(例えば、発進、停止、減速、加速、右左折、レーンチェンジ、シフトチェンジ等)を認識する。このとき、標準プログラムを使用している場合は、車載機201が予め備えている標準辞書データを用いて上記の指示を認識する。また、AI用プログラムを使用している場合は、AI用プログラムとともにクラウドネットワーク31からインストールされ、過去の学習によって強化された辞書データを用いて上記の指示を認識する。
At step 31, voice is acquired using the
ステップ33では、前記ステップ32で認識した、車両対する指示に応じて、車両の制御内容を決定する。例えば、車両に対する指示が発進である場合、ブレーキを解除するタイミング、エンジン回転数の増加量及び増加速度等を決定する。このとき、標準プログラムを使用している場合は、標準プログラムを用いて車両の制御内容を決定する。また、AI用プログラムを使用している場合は、過去の学習によって進化したAI用プログラムを用いて制御内容を決定する。 In step 33, the control content of the vehicle is determined according to the instruction for the vehicle recognized in the step 32. For example, when the instruction to the vehicle is a start, the timing of releasing the brake, the amount of increase of the engine speed, the increase speed, and the like are determined. At this time, when using a standard program, the control content of the vehicle is determined using the standard program. When an AI program is used, the control content is determined using the AI program evolved by past learning.
ステップ34では、前記ステップ33で決定した制御内容を車両制御部71に出力する。なお、車両制御部71は、その制御内容に従って車両を制御する。
ステップ35では、その時点でAI用プログラムを使用中であるか否かを判断する。AI用プログラムを使用中である場合はステップ36に進み、標準プログラムを使用中である場合は本処理を終了する。
In step 34, the control content determined in step 33 is output to the vehicle control unit 71. Vehicle control unit 71 controls the vehicle according to the control content.
In
ステップ36では、センサ群11から、車両の状態に関する検出結果を取得する。
ステップ37では、前記ステップ34で出力した制御内容と、前記ステップ36で取得したセンサ出力とに基づき学習を行う。その学習は、前記ステップ36で取得したセンサ出力が予め設定された最適範囲となるように、制御内容を修正するものである。
In step 36, the detection result regarding the state of the vehicle is acquired from the
At
例えば、前記ステップ34で出力した制御内容が発進であった場合、発進の過程におけるセンサ出力(例えば、速度、加速度等のセンサ出力)が最適範囲であったか否かを確認し、最適範囲から外れていたならば、次回以降の発進時におけるセンサ出力が最適範囲に近づくように、発進の制御内容を修正する。 For example, when the control content output in step 34 is start, it is checked whether the sensor output (for example, sensor output such as speed, acceleration, etc.) in the process of start is in the optimum range. Then, the control content of the start is corrected so that the sensor output at the start of the next time and after will approach the optimum range.
ステップ38では、前記ステップ37での学習結果を反映するように、AI用プログラムを更新する。
3.車載機201が奏する効果
車載機201は、前記(1A)〜(1I)の効果を奏する。さらに、車載機201は次の効果も奏する。
In step 38, the program for AI is updated to reflect the learning result in
3. Effects of the on-vehicle device 201 The on-vehicle device 201 achieves the effects (1A) to (1I). Furthermore, the on-vehicle device 201 also exhibits the following effect.
(3A)車載機201は、人の音声を認識し、それに対応する車両制御を行うことができる。また、車載機201は、AI用プログラムを使用している場合、車両制御部71に出力した車両制御の内容と、車両の状態を表すセンサ出力とに基づき学習を行うので、学習が進むほど、より高度な車両制御を行うことができる。 (3A) The in-vehicle device 201 can recognize human voice and perform vehicle control corresponding to it. Further, when using the program for AI, the in-vehicle device 201 performs learning based on the contents of vehicle control output to the vehicle control unit 71 and the sensor output representing the state of the vehicle. More advanced vehicle control can be performed.
(3B)車載機201は、車両制御処理に関し、AI用プログラムを、学習により変化、発展させることができる。また、車載機201は、クラウドネットワーク31にアップロードされたAI用プログラムを、インストールすることができる。 (3B) The on-board unit 201 can change and develop the program for AI by learning in the vehicle control process. Further, the in-vehicle apparatus 201 can install the AI program uploaded to the cloud network 31.
学習後のAI用プログラムをインストールする車載機201は、過去に学習を行った車載機201と同じであっても、異なっていてもよい。
よって、ユーザは、過去の自らの使用よって学習したAI用プログラムを、任意の車両の車載機201に、クラウドネットワーク31からインストールし、使用することができる。
<第4の実施形態>
1.ロボット301の構成
本実施形態のロボット301の構成は、基本的には前記第1の実施形態のロボット1と同様である。以下では、第1の実施形態との相違点を中心に説明する。ロボット301は、図11に示すように、第1の人工知能ユニット73と、第2の人工知能ユニット75とを備えている。
The in-vehicle apparatus 201 which installs the program for AI after learning may be the same as or different from the in-vehicle apparatus 201 which has learned in the past.
Therefore, the user can install and use the program for AI learned by his own use from the cloud network 31 in the on-vehicle device 201 of any vehicle.
Fourth Embodiment
1. Configuration of Robot 301 The configuration of the robot 301 of the present embodiment is basically the same as that of the
第1の人工知能ユニット73は、ロボット301の各種動作を実行するためのAI用プログラム及びデータセットを記憶している。以下では、このプログラムを第1のAI用プログラムとし、このデータセットを第1のデータセットとする。 The first artificial intelligence unit 73 stores an AI program and data set for executing various operations of the robot 301. Hereinafter, this program is referred to as a first AI program, and this data set is referred to as a first data set.
第1人工知能ユニット73は、第1のAI用プログラム及び第1のデータセットを学習により変化、発展させる。第1の人工知能ユニット73が行う学習は、後述する学習停止、及び学習制限に影響されない。また、第1のAI用プログラム及び第1のデータセットは、クラウドネットワーク31にアップロードされることはない。 The first artificial intelligence unit 73 changes and develops the first AI program and the first data set by learning. The learning performed by the first artificial intelligence unit 73 is not affected by learning stop and learning restriction described later. Also, the first AI program and the first data set are not uploaded to the cloud network 31.
第2の人工知能ユニット75は、AI用プログラム及びデータセットを記憶可能である。以下では、このプログラムを第2のAI用プログラムとし、このデータセットを第2のデータセットとする。 The second artificial intelligence unit 75 can store an AI program and a data set. Hereinafter, this program is referred to as a second AI program, and this data set is referred to as a second data set.
第2のAI用プログラムは、基本的には第1のAI用プログラムと同様であるが、ロボット301の各種動作を実行するためには使用されない。第2人工知能ユニット75は、第2のAI用プログラム及び第2のデータセットを学習により変化、発展させる。第2のAI用プログラム及び第2のデータセットは、学習結果を蓄積し、クラウドネットワーク31にアップロードされる。そのことにより、学習結果をクラウドネットワーク31に記憶することができる。 The second AI program is basically the same as the first AI program, but is not used to execute various operations of the robot 301. The second artificial intelligence unit 75 changes and develops the second AI program and the second data set by learning. The second AI program and the second data set accumulate learning results and are uploaded to the cloud network 31. As a result, the learning result can be stored in the cloud network 31.
ただし、第2の人工知能ユニット75が行う学習は、後述する学習停止、及び学習制限により制限される。そのため、第2のAI用プログラム及び第2のデータセットのアップロードによってクラウドネットワーク31に記憶される学習結果は制限される。 However, the learning performed by the second artificial intelligence unit 75 is limited by learning stop and learning restriction described later. Therefore, the learning result stored in the cloud network 31 by the upload of the second AI program and the second data set is limited.
第2のAI用プログラム及び第2のデータセットは、クラウドネットワーク31から第2の人工知能ユニット75にダウンロードすることが可能である。そして、ダウンロードされた第2のAI用プログラム及び第2のデータセットに基づき、第1のAI用プログラム及び第1のデータセットの学習を行うことができる。詳しくは後述する。 The second AI program and the second data set can be downloaded from the cloud network 31 to the second artificial intelligence unit 75. Then, learning of the first AI program and the first data set can be performed based on the downloaded second AI program and the second data set. Details will be described later.
2.ロボット301が実行する処理
(2−1)プログラムインストール処理
制御ユニット3は、ロボット301の電源がオンになったとき、図12に示すプログラムインストール処理を実行する。
2. Process Executed by Robot 301 (2-1) Program Installation Process When the power of the robot 301 is turned on, the
ステップ41では、ユーザの識別情報が入力されたか否かを判断する。識別情報は、前記第1の実施形態と同様のものとすることができる。識別情報が入力された場合はステップ42に進み、識別情報が入力されなかった場合は本処理を終了する。
In
ステップ42では、前記ステップ41で入力されたと判断された識別情報に対応する第2のAI用プログラム及び第2のデータセットを、クラウドネットワーク31からインストールする。インストールした第2のAI用プログラム及び第2のデータセットは、第2の人工知能ユニット75に記憶する。第2の人工知能ユニット75に既に第2のAI用プログラム及び第2のデータセットが記憶されていた場合は上書きする。
In step 42, a second AI program and a second data set corresponding to the identification information determined to be input in
ステップ43では、前記ステップ42でインストールした第2のAI用プログラム及び第2のデータセットには含まれているが、第1のAI用プログラム及び第1のデータセットには記憶されていない内容を学習する。
In
ステップ44では、第1のAI用プログラム及び第1のデータセットに、前記ステップ43で学習した内容を加え、更新する。すなわち、ダウンロードされた第2のAI用プログラム及び第2のデータセットに基づき、第1のAI用プログラム及び第1のデータセットの学習を行う。
In step 44, the contents learned in
(2−2)会話処理
制御ユニット3は、図13に示す会話処理を実行する。この処理は、マイク5が所定の閾値以上の音量を検出したときに実行される。会話処理は、第1の人工知能ユニット73に記憶されている第1のAI用プログラム及び第1のデータセットを用いて行われる。
(2-2) Conversation Process The
ステップ51〜54の処理は、前記第1の実施形態におけるステップ11〜14の処理と同様である。
ステップ55では、第1の人工知能ユニット73が、前記ステップ52で認識した音声の内容について学習を行う。学習の内容は、前記第1の実施形態と同様である。
The processes of
In
ステップ56では、前記ステップ55での学習結果を反映するように、第1のAI用プログラム及び第1のデータセットを更新する。
ステップ57では、第2の人工知能ユニット75がその時点で学習停止中であるか否かを判断する。なお、第2の人工知能ユニット75の学習停止は、後述する、第2の人工知能ユニット学習停止判断処理により設定される。第2の人工知能ユニット75が学習停止中ではない場合はステップ58に進み、学習停止中である場合は本処理を終了する。
At step 56, the first AI program and the first data set are updated to reflect the learning result at
At
ステップ58では、その時点で設定されている学習制限内容を取得する。学習制限内容としては、例えば、ユーザ(前記ステップ41で入力されたと判断された識別情報に対応するユーザ)の家族、知人に関する情報(名前、住所、電話番号、メールアドレス、経歴、顔を含む画像)等である。 At step 58, the learning restriction content set at that time is acquired. As the learning restriction content, for example, an image (including a name, an address, a telephone number, an e-mail address, a history, a face, and the like) of a user (a user corresponding to the identification information determined in step 41). Etc.
ステップ59では、第2の人工知能ユニット75が、前記ステップ52で認識した音声の内容について学習を行う。学習の内容は、前記第1の実施形態と同様である。ただし、前記ステップ52で認識した音声の内容であっても、前記ステップ58で取得した学習制限内容に該当する事項は、学習しないようにする。
At
ステップ60では、前記ステップ59での学習結果を反映するように、第2のAI用プログラム及び第2のデータセットを更新する。
(2−3)第2の人工知能ユニット学習停止判断処理
制御ユニット3は、図14に示す第2の人工知能ユニット学習停止判断処理を所定時間ごとに繰り返し実行する。
At step 60, the second AI program and the second data set are updated to reflect the learning result at
(2-3) Second Artificial Intelligence Unit Learning Stop Determination Processing The
ステップ71では、GPS13を用いてロボット301の位置情報を取得する。
ステップ72では、カメラ7を用いて、ロボット301の周囲を撮像した画像を取得する。
At step 71, position information of the robot 301 is acquired using the
In step 72, the camera 7 is used to acquire an image of the surroundings of the robot 301.
ステップ73では、マイク5を用いて、音声を取得する。
ステップ74では、第2の人工知能ユニット75がその時点で学習停止中であるか否かを判断する。なお、学習停止の状態は、後述するステップ77において開始され、後述す
るステップ79において学習を再開したときに終了する。学習停止中ではない場合はステップ75に進み、学習停止中である場合はステップ78に進む。
In step 73, the
At step 74, it is determined whether or not the second artificial intelligence unit 75 is at a stop of learning at that time. The state of learning stop is started in
ステップ75では、前記ステップ72で取得した画像、又は前記ステップ73で取得した音声に、学習停止のきっかけとなるものがあるか否かを判断する。学習停止のきっかけは、前記第1の実施形態と同様である。学習停止のきっかけがある場合はステップ77に進み、学習停止のきっかけがない場合はステップ76に進む。 In step 75, it is determined whether the image acquired in step 72 or the sound acquired in step 73 has an opportunity to stop learning. The trigger for stopping learning is the same as that in the first embodiment. If there is an opportunity to stop learning, the process proceeds to step 77, and if there is no opportunity to stop learning, the process proceeds to step 76.
ステップ76では、前記ステップ71で取得した位置情報が、学習を停止するべき位置として予め登録された位置に該当するか否かを判断する。学習を停止するべき位置は、前記第1の実施形態と同様である。 In step 76, it is determined whether the position information acquired in step 71 corresponds to a position registered in advance as a position to stop learning. The position where learning should be stopped is the same as that of the first embodiment.
ステップ77では、第2の人工知能ユニット75について学習停止の状態を開始する。この時点以降、前記会話処理における前記ステップ57では、肯定判断がなされ、前記ステップ59での学習が行われない。
In
一方、前記ステップ74で肯定判断された場合はステップ78にて、前記ステップ72で取得した画像、又は前記ステップ73で取得した音声に、学習を再開するきっかけとなるものがあるか否かを判断する。学習再開のきっかけは、前記第1の実施形態と同様である。学習再開のきっかけがある場合はステップ79に進み、学習再開のきっかけがない場合は本処理を終了する。 On the other hand, if an affirmative determination is made in step 74, it is determined in step 78 whether or not the image acquired in step 72 or the audio acquired in step 73 is a trigger to restart learning. Do. The trigger for resuming learning is the same as that in the first embodiment. If there is an opportunity for resuming learning, the process proceeds to step 79. If there is no opportunity for resuming learning, the present process ends.
ステップ79では、第2の人工知能ユニット75における学習を再開する。この時点以降、前記会話処理における前記ステップ57では否定判断がなされ、前記ステップ59の学習が行われる。
At
(2−4)プログラムアップロード処理
制御ユニット3は、図15に示すプログラムアップロード処理を所定時間ごとに繰り返し実行する。
(2-4) Program Upload Process The
ステップ81では、ロボット301の使用終了条件が充足されたか否かを判断する。使用終了条件は、前記第1の実施形態の前記ステップ5で判断するものと同様である。使用終了条件が充足された場合はステップ82に進み、使用終了条件が充足されない場合は本処理を終了する。
In
ステップ82では、第2のAI用プログラム及び第2のデータセットを、クラウドネットワーク31にアップロードする。このとき、ユーザの識別情報と対応付けてアップロードする。なお、前述した学習が行われた場合、アップロードする第2のAI用プログラム及び第2のデータセットは、学習後のものである。 At step 82, the second AI program and the second data set are uploaded to the cloud network 31. At this time, it uploads in association with the identification information of the user. When the above-described learning is performed, the second AI program and the second data set to be uploaded are after learning.
3.ロボット301が奏する効果
ロボット301は、前記(1B)、(1C)、(1F)、(1H)の効果を奏する。さらに、ロボット301は、次の効果も奏する。
3. Effects of the Robot 301 The robot 301 exerts the effects of (1B), (1C), (1F) and (1H). Furthermore, the robot 301 also exhibits the following effect.
(4A)ロボット301は、第1のAI用プログラム及び第1のデータセットを、学習により変化、発展させることができる。さらに、第1のAI用プログラム及び第1のデータセットにおける学習は、学習停止の処理、及び学習制限の処理に影響されない。 (4A) The robot 301 can change and develop the first AI program and the first data set by learning. Furthermore, the learning in the first AI program and the first data set is not affected by the process of learning stop and the process of learning restriction.
また、第1のAI用プログラム及び第1のデータセットはクラウドネットワーク31にアップロードされないので、その内容が他人に知られることを抑制できる。
(4B)ロボット301は、学習後の第2のAI用プログラム及び第2のデータセットを、クラウドネットワーク31にアップロードすることができる。また、ロボット301は、第2のAI用プログラム及び第2のデータセットをクラウドネットワーク31からインストールすることができる。
Further, since the first AI program and the first data set are not uploaded to the cloud network 31, it is possible to suppress the contents from being known to others.
(4B) The robot 301 can upload the second AI program and the second data set after learning to the cloud network 31. Also, the robot 301 can install the second AI program and the second data set from the cloud network 31.
学習後の第2のAI用プログラム及び第2のデータセットをインストールするロボット301は、過去に学習を行ったロボット301と同じであっても、異なっていてもよい。また、学習後の第2のAI用プログラム及び第2のデータセットをインストールするロボット301は、過去に学習を行った場所にあるものであってもよいし、異なる場所にあるものであってもよい。 The robot 301 that installs the second AI program and the second data set after learning may be the same as or different from the robot 301 that has performed learning in the past. In addition, the robot 301 for installing the second AI program and the second data set after learning may be located at a place where learning has been performed in the past, or may be located at different places. Good.
よって、ユーザは、過去の自らの使用よって学習した第2のAI用プログラム及び第2のデータセットを、ユーザがその時点でいる場所(例えば、職場、店舗、自宅等様々な場所)のロボット301に、クラウドネットワーク31からインストールすることができる。そして、第2のAI用プログラム及び第2データセットを用いて学習を行い、第1のAI用プログラム及び第1のデータセットを変化、発展させることができる。 Therefore, the user can use the robot 301 in a place (for example, various places such as a work place, a shop, a home, etc.) where the user is at the time (second place) such as the second AI program and second data set learned by his own use. Can be installed from the cloud network 31. Then, learning is performed using the second AI program and the second data set, and the first AI program and the first data set can be changed and developed.
(4C)ロボット301は、クラウドネットワーク31にアップロードされる第2のAI用プログラム及び第2のデータセットついて、学習を制限する。すなわち、ロボット301は、その周囲にいる人の動作や、人の識別結果等に応じて、第2のAI用プログラム及び第2のデータセットについての学習を停止する。また、ロボット301は、それが存在する場所に応じて、第2のAI用プログラム及び第2のデータセットにおける学習を停止する。また、ロボット301は、学習制限内容に該当する事項を、第2のAI用プログラム及び第2のデータセットに含ませない。 (4C) The robot 301 restricts learning on the second AI program and the second data set uploaded to the cloud network 31. That is, the robot 301 stops learning about the second AI program and the second data set in accordance with the operation of the person around the robot 301, the identification result of the person, and the like. Also, the robot 301 stops learning in the second AI program and the second data set according to the place where it exists. Also, the robot 301 does not include the items corresponding to the learning restriction content in the second AI program and the second data set.
そのため、ユーザが他人に知られたくない事項を含む第2のAI用プログラム及び第2のデータセットが、クラウドネットワーク31にアップロードされることを抑制できる。<第5の実施形態>
1.ロボット401の構成
本実施形態のロボット401の構成は、基本的には前記第1の実施形態のロボット1と同様である。以下では、第1の実施形態との相違点を中心に説明する。ロボット401は、図16に示すように、通信ユニット26を用いてインターネット77と接続することができる。インターネット77はネットワークの一例である。また、ロボット401は車両内に置くことができる。この場合、ロボット401は、後述する会話等処理により、車両の乗員と会話することができる。
Therefore, it is possible to suppress that the second AI program and the second data set including matters that the user does not want to be known to others are uploaded to the cloud network 31. Fifth Embodiment
1. Configuration of Robot 401 The configuration of the robot 401 of this embodiment is basically the same as that of the
2.ロボット401が実行する処理
(2−1)ロボット1と同様の処理
ロボット401は、前記第1の実施形態のロボット1と同様に、プログラム設定処理、学習停止判断処理、及びスケジュール管理処理を実行する。
2. Processing Executed by Robot 401 (2-1) Processing Similar to
(2−2)会話等処理
ロボット401の制御ユニット3は、図17に示す会話等処理を所定時間ごとに繰り返し実行する。この処理は、マイク5が所定の閾値以上の音量を検出したときに実行される。
(2-2) Conversation Process, etc. The
ステップ91、92の処理は、それぞれ、前記第1の実施形態におけるステップ11、12の処理と同様である。
ステップ93では、前記ステップ92で認識した音声の内容に関連する情報を、通信ユニット26を用い、インターネット77において検索し、取得する。例えば、前記ステッ
プ92で認識した音声の内容からキーワードを抽出し、そのキーワードに予め関連付けられた事項を含む情報を検索する。検索の対象としては、例えば、SNS(ソーシャルネットワーキングサービス)、ブログ、電子掲示板等が挙げられる。また、前記ステップ92で認識した音声の内容が質問である場合、その質問に対する回答を検索する。検索の方法としては、例えば、公知の検索エンジンを用いることができる。
The processes of steps 91 and 92 are the same as the processes of
In step 93, information related to the content of the voice recognized in step 92 is searched and acquired on the
ステップ94では、前記ステップ92で認識した音声の内容に対し、基本的には前記第1の実施形態におけるステップ13と同様に、回答音声データを作成する。ただし、本ステップでは、前記ステップ93で取得した情報も用いて、回答音声データを作成する。前記ステップ93で取得した情報を用いるとは、例えば、その情報を音声化したものを、回答音声データに含めることである。
In step 94, for the contents of the voice recognized in step 92, response voice data is created basically in the same manner as
ステップ95では、後述するステップ96で発音するときの音声の種類を、前記ステップ94で作成した回答の内容に応じて決定する。音声の種類としては、例えば、男性の声、女性の声、大人の声、子供の声等が挙げられる。 In step 95, the type of voice to be pronounced in step 96, which will be described later, is determined according to the contents of the answer created in step 94. As the type of voice, for example, male voice, female voice, adult voice, child voice and the like can be mentioned.
音声の種類は、具体的には、以下のようにして決定する。まず、制御ユニット3は、前記ステップ94で作成した回答の内容から、特徴(例えば、男性に特有の特徴、女性に特有の特徴、大人に特有の特徴、子供に特有の特徴等)を抽出する。
Specifically, the type of voice is determined as follows. First, the
制御ユニット3は、回答の内容における特徴と、音声の種類とを対応付けたマップを予め備えている。制御ユニット3は、上記のように抽出した特徴をそのマップに入力することで、抽出した特徴に対応した音声の種類を決定する。
The
例えば、前記ステップ94で作成した回答の内容から、男性に特有の特徴と大人に特有の特徴とが抽出されれば、制御ユニット3は、大人の男性の音声を決定する。
ステップ96では、前記ステップ94で作成した回答音声データに基づき、スピーカ15を用いて発音する。このとき、前記ステップ95で設定した種類の音声を用いて発音する。
For example, if male-specific features and adult-specific features are extracted from the contents of the answer prepared in step 94, the
In step 96, based on the answer voice data created in step 94, the
ステップ97では、まず、前記ステップ92で認識した音声の内容、又は、前記ステップ94で作成した回答の内容に対応する感情(例えば、喜び、怒り、悲しみ、平静等)を取得する。この感情の取得は以下のように行う。
In
制御ユニット3は、音声の内容や回答の内容に現れる特徴と、感情とを対応付けたマップを予め備えている。音声の内容に現れる特徴としては、例えば、音量、音声の抑揚、音程の高低等が挙げられる。また、回答の内容に現れる特徴としては、例えば、回答の内容に含まれる、感情を反映した語句、感情を反映した言い回し等が挙げられる。
The
制御ユニット3は、前記ステップ92で認識した音声の内容、又は、前記ステップ94で作成した回答から抽出した特徴を前記マップに入力することにより、対応する感情を取得する。
The
次に、制御ユニット3は、取得した感情を表現する人又はキャラクタの顔画像を作成し、ディスプレイ19に表示する。例えば、取得した感情が喜びである場合、笑顔の人又はキャラクタの顔画像をディスプレイ19に表示する。また、取得した感情が悲しみである場合、泣き顔の人又はキャラクタの顔画像をディスプレイ19に表示する。
Next, the
ステップ98〜102の処理は、それぞれ、前記第1の実施形態におけるステップ15〜19の処理と同様である。
3.ロボット401が奏する効果
ロボット401は、前記(1A)〜(1I)の効果を奏する。さらに、ロボット401は次の効果も奏する。
The processes of steps 98 to 102 are respectively similar to the processes of
3. Effects of the Robot 401 The robot 401 exerts the effects (1A) to (1I). Furthermore, the robot 401 also exhibits the following effect.
(5A)ロボット401は、音声の内容に関連する情報を、インターネット77において検索し、取得することができる。そして、ロボット401は、そのように取得した情報も用いて、回答音声データを作成する。そのことにより、より適切な回答音声データを作成することができる。
(5A) The robot 401 can search and acquire information related to the content of the voice on the
(5B)ロボット401は、回答の内容に応じて音声の種類を決定することができる。そのため、ユーザは、回答の内容と、それを発音する音声の種類との不調和を感じにくい。 (5B) The robot 401 can determine the type of voice according to the content of the answer. Therefore, the user hardly feels inconsistencies between the content of the answer and the type of voice that pronounces it.
(5C)ロボット401は、認識した音声の内容、又は、回答の内容に対応する感情を取得し、取得した感情を表現する人又はキャラクタの顔画像をディスプレイ19に表示する。そのことにより、ユーザは、ロボット401をあたかも人間のように感じることができる。
<第6の実施形態>
1.ロボット501の構成
本実施形態のロボット501の構成は、基本的には前記第1の実施形態のロボット1と同様である。
(5C) The robot 401 acquires the content of the recognized voice or the emotion corresponding to the content of the answer, and displays the face image of a person or a character expressing the acquired emotion on the
Sixth Embodiment
1. Configuration of Robot 501 The configuration of the robot 501 of the present embodiment is basically the same as that of the
2.ロボット501が実行する処理
(2−1)ロボット1と同様の処理
ロボット501は、前記第1の実施形態のロボット1と同様に、プログラム設定処理、会話処理、学習停止判断処理、及びスケジュール管理処理を実行する。
2. Processing executed by the robot 501 (2-1) Processing similar to the
(2−2)通話処理
図18に示すように、複数のロボット501は、ユーザ79とユーザ81との間の通話を可能にする。例えば、ユーザ79側のロボット501(以下ではロボット501Aとする)は、ユーザ79が発音した音声をマイク5で取得する。また、ロボット501Aは、ユーザ79による、通話相手のロボット501(以下ではロボット501Bとする)を指定する入力を、タッチパネル9を用いて受け付ける。
(2-2) Call Processing As shown in FIG. 18, the plurality of robots 501 enable a call between the
ロボット501Aは、ユーザ79が発音した音声を変換した信号(以下では音声変換信号とする)と、ロボット501Aの識別信号と、ユーザ79により指定された通話相手のロボット501Bの識別信号とを、通信ユニット26を用いてホストコンピュータ83に送信する。
The robot 501A communicates a signal obtained by converting the voice generated by the user 79 (hereinafter referred to as a voice conversion signal), an identification signal of the robot 501A, and an identification signal of the robot 501B of the communication partner designated by the
ホストコンピュータ83は、受信したロボット501Aの識別信号と、通話相手のロボット501Bの識別信号とが、通話ペアとして設定されているか否かを判断する。通話ペアとして設定されていれば、音声変換信号を、通話相手のロボット501Bに転送する。なお、通話ペアの設定については後述する。
The
ロボット501Bは、通信ユニット26を用いて、転送された音声変換信号を受信し、その音声変換信号に基づき、スピーカ15を用いて発音する。以上の処理により、ユーザ79が発音した音声が、ロボット501B側のユーザ81に伝えられる。また、ロボット501Bは、音声を発音することに加えて、その音声を文字に変換し、その文字をディスプレイ19に表示する。
The robot 501 </ b> B receives the transferred voice conversion signal using the
また、ロボット501Bが上述したロボット501Aの処理を行い、ロボット501Aが上述したロボット501Bの処理を行うことで、ユーザ81が発音した音声を、ユーザ79に伝えることもできる。
In addition, the robot 501B performs the process of the robot 501A described above, and the robot 501A performs the process of the robot 501B described above, whereby the voice generated by the
一方、ホストコンピュータ83は、受信したロボット501Aの識別信号と、通話相手のロボット501Bの識別信号とが、通話ペアとして設定されてなければ、上記の音声変換信号の転送を行わない。
On the other hand, the
(2−3)通話ペア設定処理
次に、ホストコンピュータ83が上記の通話ペアを設定する処理を、図19に基づき説明する。
(2-3) Call Pair Setting Process Next, a process in which the
ステップ111では、通話ペアの設定要求を新たに受信したか否かを判断する。通話ペアの設定要求とは、ロボット501Aがホストコンピュータ83に送信する要求である。通話ペアの設定要求には、要求の送信元であるロボット501Aの識別信号と、そのロボット501A側のユーザ79の特徴(例えば、趣味、衣食住の好み、関心を持つ事項等)と、ユーザ79の顔写真の画像データとが含まれる。
In step 111, it is determined whether a call pair setting request has been newly received. The call pair setting request is a request that the robot 501A transmits to the
通話ペアの設定要求は、ユーザの指示に応じてロボット501Aが送信してもよいし、ロボット501Aが自動的に送信してもよい。通話ペアの設定要求をホストコンピュータ83が新たに受信した場合はステップ112に進み、受信しなかった場合は本処理を終了する。
The setting request of the call pair may be transmitted by the robot 501A according to an instruction of the user, or may be automatically transmitted by the robot 501A. If the
ステップ112では、前記ステップ111で受信したと判断した通話ペアの設定要求(以下では、新たな設定要求とする)に含まれるユーザ79の特徴を、設定待ちリストにおいて検索する。ここで、設定待ちリストとは、過去にいずれかのロボット501から受信した、通話ペアの設定要求(以下では、過去の設定要求とする)のリストである。
In step 112, the feature of the
ステップ113では、前記ステップ112での検索の結果、新たな設定要求に含まれるユーザ79の特徴と一致する特徴を有する、過去の設定要求が発見されたか否かを判断する。そのような過去の設定要求が発見された場合はステップ114に進み、発見されなかった場合はステップ116に進む。
In step 113, as a result of the search in step 112, it is determined whether a past setting request having a feature that matches the feature of the
ステップ114では、前記ステップ113で発見された、過去の設定要求の送信元であるロボット501Bと、新たな設定要求の送信元であるロボット501Aとを、通話ペアとして設定する。 In step 114, the robot 501B as the transmission source of the previous setting request and the robot 501A as the transmission source of the new setting request, which are found in the step 113, are set as a call pair.
ステップ115では、通話ペアとして設定されたロボット501A、501Bのそれぞれに、相手のロボット501に関する情報を通知する。すなわち、ロボット501Aにはロボット501Bに関する情報を通知し、ロボット501Bにはロボット501Aに関する情報を通知する。通知する情報には、相手のロボット501の識別信号、対応するユーザの顔写真の画像データ等が含まれる。 At step 115, information on the partner robot 501 is notified to each of the robots 501A and 501B set as the call pair. That is, the robot 501A is notified of information related to the robot 501B, and the robot 501B is notified of information related to the robot 501A. The information to be notified includes an identification signal of the partner robot 501, image data of a corresponding user's face photograph, and the like.
一方、前記ステップ113で否定判断された場合はステップ116にて、新たな設定要求を設定待ちリストに追加する。これ以降、新たな設定要求は、過去の設定要求のリストにおける一部となる。 On the other hand, if a negative determination is made in step 113, in step 116, a new setting request is added to the setting waiting list. From then on, the new configuration request will be part of the list of past configuration requests.
なお、相手側のロボット501に関する情報を通知されたロボット501は、その情報を用いて、通話ペアの相手を表すアイコン85を作成し、図20に示すように、ディスプレイ19に表示する。アイコン85は、通話ペアの相手側のユーザの顔写真を含む。ロボ
ット501は、複数のアイコン85をディスプレイ19に表示することができる。
The robot 501 notified of the information on the robot 501 on the other party side uses the information to create an
ロボット501は、特定のアイコン85がユーザによってタッチされたとき、そのアイコン85に対応するユーザを通話相手として認識する。そして、ロボット501は、音声変換信号を上記のようにホストコンピュータ83に送信するとき、タッチしたアイコン85に対応するロボット501の識別信号を、ホストコンピュータ83に送信する。
When a
(2−4)その他の処理
ホストコンピュータ83は、前記(2−2)の通話処理のとき、ロボット501Aが送信した音声変換信号の内容を分析する。その分析結果が予め設定された禁止事項(例えば犯罪に関する事項等)に該当する場合、通話処理を開始しないようにしたり、通話処理を途中で終了したりする。そのため、ホストコンピュータ83は、通話処理が犯罪等に利用されることを抑制できる。
(2-4) Other Processing The
また、前記(2−2)の通話処理のとき、ロボット501Bは、他のコンピュータ501Aから送信された音声も用いて学習を行う。そのため、学習を一層効率的に行うことができる。 Further, at the time of the call processing of (2-2), the robot 501B performs learning using the voice transmitted from the other computer 501A. Therefore, learning can be performed more efficiently.
また、前記(2−2)の通話処理において、ユーザ79の発音が所定時間以上途絶えたとき、又は、ユーザ79が指示したとき、ロボット501Aは、自らが作成した音声変換信号をホストコンピュータ83に送信する。この場合、ロボット501Aと、ユーザ81とが通話することになる。コンピュータ501Aは、過去の通話処理により得られた学習結果を用いて音声変換信号を作成することができる。また、ロボット501Aは、過去の通話においてロボット501A又はロボット501Bが発音した音声(例えば、相槌等)を記憶しておき、その音声に対応する音声変換信号を作成してもよい。
Further, in the call processing of (2-2), when the
3.ロボット501が奏する効果
ロボット501は、前記(1A)〜(1I)の効果を奏する。さらに、ロボット501は次の効果も奏する。
3. Effects of the Robot 501 The robot 501 exerts the effects (1A) to (1I). Furthermore, the robot 501 also exhibits the following effect.
(6A)ロボット501A側のユーザ79と、ロボット501B側のユーザ81とは、通話を行うことができる。
(6B)ユーザ79とユーザ81との通話は、ロボット501Aとロボット501Bとが通話ペアとして設定されていることが前提になる。通話ペアは、ユーザ79とユーザ81との特徴が一致する場合に設定される。よって、ロボット501は、特徴が一致するユーザ同士の通話を選択的に可能にする。
(6A) The
(6B) A call between the
(6C)ロボット501は通話相手のユーザの顔写真を含むアイコン85を作成し、ディスプレイ19に表示する。ユーザは、アイコン85をタッチすることで、容易に通話相手を選択することができる。また、アイコン85は通話相手の顔写真を含んでいるので、ユーザは、どのアイコン85がどの通話相手に対応しているのかを容易に理解することができる。
<その他の実施形態>
(1)前記第1〜第6の実施形態において、ロボット1、301、401、501、コンピュータ101、車載機201は、状況に応じて学習制限内容を増減してもよい。例えば、当初は学習制限内容に属していた事項が、複数の人物によって話されたと認識した場合、その事項を学習制限内容から除外してもよい。
(6C) The robot 501 creates an
<Other Embodiments>
(1) In the first to sixth embodiments, the
(2)前記第1〜第6の実施形態において、ロボット1、301、401、501、コンピュータ101、車載機201は、マイク5により音声を取得したとき、その音声の声
色を判断し、その判断結果に応じて、音声の内容を学習するか否かを決めてもよい。
(2) In the first to sixth embodiments, when the
(3)前記第1〜第6の実施形態において、音声の認識結果に応じて行う処理は、回答音声データの作成(前記ステップ13)、車両の制御内容決定(前記ステップ33)以外のものであってもよい。例えば、音声の認識結果に応じて、ロボット1、301、401、501を移動させたり、コンピュータ101に接続した外部装置を操作したりしてもよい。また、音声の認識結果に応じて、例えば、所定の動作(例えば、箱の開閉、窓の開閉、鍵の施錠又は開錠、家電製品の操作等)を行ってもよい。
(3) In the first to sixth embodiments, the processing to be performed according to the recognition result of the voice is not the creation of the answer voice data (the step 13), but the control content determination of the vehicle (the step 33). It may be. For example, the
(4)前記第1〜第6の実施形態において、AI用プログラム及びデータセットを記憶するものは、クラウドネットワーク31以外のものであってもよい。例えば、周知のサーバ、記憶媒体等に記憶してもよい。 (4) In the first to sixth embodiments, the one for storing the program for AI and the data set may be other than the cloud network 31. For example, it may be stored in a known server, storage medium, etc.
(5)前記第3の実施形態において、車載機201は、車両以外の移動体(例えば、鉄道車両、航空機、船舶等)に搭載され、それらを制御するものであってもよい。
(6)前記第1、第4〜6の実施形態において、ロボット1、301、401、501の形態は人型でなくてもよい。例えば、動物、魚、想像上キャラクタ等の形態であってもよい。
(5) In the third embodiment, the on-board unit 201 may be mounted on a mobile unit (for example, a railway vehicle, an aircraft, a ship, etc.) other than a vehicle and may control them.
(6) In the first and fourth to sixth embodiments, the form of the
(7)前記第1〜第3、第5、第6の実施形態において、ロボット1、401、501、コンピュータ101、車載機201は、標準プログラムと、AI用プログラムとを同時に使用してもよい。この場合、標準プログラムにより基本的な処理を実行するとともに、AI用プログラムにより、学習の結果得られた付加的な処理を実行することができる。
(7) In the first to third, fifth, and sixth embodiments, the
(8)前記第1〜第6の実施形態において、ロボット1、301、401、501、コンピュータ101、車載機201の形態は、家電製品(例えば、テレビ、冷蔵庫、エアコン、掃除機、洗濯機等)、携帯端末(例えば、携帯電話(スマートフォンを含む)、メガネ型端末、腕時計型端末)等であってもよい。
(8) In the first to sixth embodiments, the
(9)前記第1〜第6の実施形態において、ロボット1、301、401、501、コンピュータ101、車載機201は、カメラ7を用いて自動的に画像を取得し、取得した画像をネットワーク上に送信する機能を有していてもよい。送信先としては、サーバ、端末、車両、他のロボット等が挙げられる。送信する画像は、カメラ7を用いて取得した画像そのものであってもよいし、カメラ7を用いて取得した画像から抽出した一部(例えば、人の顔、人の全身、車両、車両のナンバープレート等)の画像であってもよい。
(9) In the first to sixth embodiments, the
上記の機能を有するロボット1、301、401、501、コンピュータ101、車載機201は、防犯の用途、他のロボットの監視の用途等に使用することができる。上記の機能を有するロボット1、301、401、501、コンピュータ101、車載機201は、例えば、室内、路上、特定の施設(例えば、住居、マンション、オフィス、駐車場等)の入口、他のロボットの近傍等に設置することができる。
The
また、上記の機能を有するロボット1、301、401、501、コンピュータ101、車載機201は、空中を飛行する機能を持つか、飛行物に搭載することができる。その場合、上空の視点から撮影した地上の画像をネットワーク上で送信することができる。この場合、ロボット1、301、401、501、コンピュータ101、車載機201は、撮影した画像において道路の白線を認識し、その白線に沿って移動することができる。また、ロボット1、301、401、501、コンピュータ101、車載機201は、上空の視点から撮影した地上の画像において信号機を認識し、その表示内容(赤信号、青信号等)を、地上の車両に送信することができる。
Further, the
(10)前記第1〜第6の実施形態において、ロボット1、301、401、501、コンピュータ101、車載機201は、カメラ7を用いて人の行動を認識し、その認識結果に予め関連付けられた音声を出力してもよい。
(10) In the first to sixth embodiments, the
例えば、ガスの火をつけたまま人が台所を離れるという行動を認識した場合、その人に対する警告の音声を出力することができる。また、人が所定の物を探す行動を認識した場合、その物の場所を探し、物のありかを音声で知らせることができる。また、人が住宅の入口から室内に入るという行動を認識したとき、「おかえりなさい」という音声を出力することができる。人の行動と、それに関連付けられた音声とは、学習により増加させることができる。 For example, when it is recognized that a person leaves the kitchen with the gas light on, a warning sound for the person can be output. In addition, when a person recognizes an action of searching for a predetermined thing, the user can search for the place of the thing and can tell the existence of the thing by voice. Also, when a person recognizes an action of entering a room from the entrance of a house, it can output a voice saying "Welcome home". Human behavior and the speech associated with it can be increased by learning.
上記のように音声を発する場合、その音声の種類は、そのときの状況と、音声の内容とに関連付けられたものとすることができる。例えば、画像において父親を認識した場合、「おかえりなさい」という音声の種類は、その子供の声とすることができる。 When the voice is emitted as described above, the type of the voice can be associated with the current situation and the content of the voice. For example, when a father is recognized in an image, the type of voice "Please Welcome" can be the voice of the child.
(11)前記第1〜第6の実施形態において、制御ユニットは、マイクロコンピュータを備えているが、個別の電子回路の組合せであってもよいし、AISIC(Application Specified Integrated Circuit)であってもよいし、FPGA(Field Programmable Gate Array)などのプログラマブル・ロジック・デバイスあるいはこれらの組合せであってもよい。
(12)前記第1〜第6の実施形態の構成の一部又は全部を適宜組み合わせてもよい。例えば、前記第4〜第6の実施形態の構成を、前記第2、第3の実施形態に適用してもよい。
(11) In the first to sixth embodiments, the control unit is provided with a microcomputer, but may be a combination of individual electronic circuits or an application specified integrated circuit (AISIC). It may be a programmable logic device such as an FPGA (Field Programmable Gate Array) or a combination thereof.
(12) Some or all of the configurations of the first to sixth embodiments may be combined as appropriate. For example, the configurations of the fourth to sixth embodiments may be applied to the second and third embodiments.
本開示の車載機は、車両の乗員の音声を取得するように構成された音声取得ユニットと、前記音声取得ユニットが取得した前記音声から、前記車両に対する指示を認識するように構成された指示認識ユニットと、前記指示認識ユニットが認識した前記指示に応じ、プログラムを使用して前記車両の制御内容を決定するように構成された制御内容決定ユニットと、前記制御内容決定ユニットが決定した前記制御内容を、前記車両を制御する車両制御部に出力するように構成された制御内容出力ユニットと、センサを使用して、前記車両の状態を取得するように構成された車両状態取得ユニットと、前記制御内容出力ユニットが出力した前記制御内容と、前記車両状態取得ユニットが取得した前記車両の状態とに基づき学習を行うように構成された学習ユニットと、前記学習ユニットの学習結果を反映するように前記プログラムを更新するように構成されたプログラム更新ユニットと、を備える。 The vehicle-mounted device according to the present disclosure includes a voice acquisition unit configured to acquire a voice of a vehicle occupant, and an instruction recognition configured to recognize an instruction for the vehicle from the voice acquired by the voice acquisition unit. A control content determination unit configured to use a program to determine the control content of the vehicle according to the unit and the instruction recognized by the instruction recognition unit; and the control content determined by the control content determination unit And a control content output unit configured to output the information to a vehicle control unit that controls the vehicle; a vehicle status acquisition unit configured to acquire a status of the vehicle using a sensor; It is configured to perform learning based on the control content output by the content output unit and the state of the vehicle acquired by the vehicle state acquisition unit. Comprising a learning unit, and a program update unit configured to update the program to reflect the learning result of the learning unit.
Claims (3)
前記音声認識ユニットの認識結果について学習する学習ユニット(25)と、
前記音声認識ユニットの認識結果に対し、前記学習ユニットの学習結果を用いて、対応する処理を行う処理ユニット(23、25、27)と、
前記学習結果を外部の記憶装置に記憶する記憶ユニット(26)と、
前記学習結果を前記記憶装置から取得する学習結果取得ユニット(26)と、
を備えるロボット(1、301)。 A speech recognition unit (23, 25, 27) for speech recognition;
A learning unit (25) for learning about the recognition result of the speech recognition unit;
A processing unit (23, 25, 27) that performs corresponding processing on the recognition result of the voice recognition unit using the learning result of the learning unit;
A storage unit (26) for storing the learning result in an external storage device;
A learning result acquisition unit (26) for acquiring the learning result from the storage device;
A robot (1, 301) comprising:
前記学習結果取得ユニットは、前記識別情報に対応付けられた前記学習結果を前記外部記憶装置から取得する請求項1に記載のロボット。 An identification information acquisition unit (21, 26) for acquiring user identification information;
The robot according to claim 1, wherein the learning result acquisition unit acquires the learning result associated with the identification information from the external storage device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014262907 | 2014-12-25 | ||
JP2014262907 | 2014-12-25 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016565988A Division JP6544693B2 (en) | 2014-12-25 | 2015-10-21 | robot |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020105300A Division JP6994781B2 (en) | 2014-12-25 | 2020-06-18 | On-board equipment and vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019095795A true JP2019095795A (en) | 2019-06-20 |
JP6744529B2 JP6744529B2 (en) | 2020-08-19 |
Family
ID=56149918
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016565988A Active JP6544693B2 (en) | 2014-12-25 | 2015-10-21 | robot |
JP2018236315A Active JP6744529B2 (en) | 2014-12-25 | 2018-12-18 | In-vehicle device and vehicle |
JP2020105300A Active JP6994781B2 (en) | 2014-12-25 | 2020-06-18 | On-board equipment and vehicles |
JP2021115110A Active JP7122038B2 (en) | 2014-12-25 | 2021-07-12 | In-vehicle device and vehicle |
JP2021197647A Active JP7251833B2 (en) | 2014-12-25 | 2021-12-06 | Host computer and system |
JP2023032952A Pending JP2023065621A (en) | 2014-12-25 | 2023-03-03 | Robot and vehicle |
JP2023038727A Pending JP2023072025A (en) | 2014-12-25 | 2023-03-13 | robot |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016565988A Active JP6544693B2 (en) | 2014-12-25 | 2015-10-21 | robot |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020105300A Active JP6994781B2 (en) | 2014-12-25 | 2020-06-18 | On-board equipment and vehicles |
JP2021115110A Active JP7122038B2 (en) | 2014-12-25 | 2021-07-12 | In-vehicle device and vehicle |
JP2021197647A Active JP7251833B2 (en) | 2014-12-25 | 2021-12-06 | Host computer and system |
JP2023032952A Pending JP2023065621A (en) | 2014-12-25 | 2023-03-03 | Robot and vehicle |
JP2023038727A Pending JP2023072025A (en) | 2014-12-25 | 2023-03-13 | robot |
Country Status (2)
Country | Link |
---|---|
JP (7) | JP6544693B2 (en) |
WO (1) | WO2016103881A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021144086A (en) * | 2020-03-10 | 2021-09-24 | 株式会社東海理化電機製作所 | Agent system and computer program |
US11403343B2 (en) | 2019-07-26 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Retrieval of video and vehicle behavior for a driving scene described in search text |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191390A (en) * | 2016-04-12 | 2017-10-19 | ロボットスタート株式会社 | Communication system, communication log collection system, server, and communication method |
WO2018008605A1 (en) * | 2016-07-04 | 2018-01-11 | 株式会社Seltech | System having artificial intelligence |
CN106297782A (en) * | 2016-07-28 | 2017-01-04 | 北京智能管家科技有限公司 | A kind of man-machine interaction method and system |
US10304463B2 (en) * | 2016-10-03 | 2019-05-28 | Google Llc | Multi-user personalization at a voice interface device |
CN107053191B (en) * | 2016-12-31 | 2020-05-08 | 华为技术有限公司 | Robot, server and man-machine interaction method |
WO2019064650A1 (en) * | 2017-09-28 | 2019-04-04 | 三菱自動車工業株式会社 | Information transfer support system for vehicle |
JP2021121877A (en) * | 2018-04-27 | 2021-08-26 | ソニーグループ株式会社 | Information processing device and information processing method |
CN109118860A (en) * | 2018-09-19 | 2019-01-01 | 江苏金惠甫山软件科技有限公司 | Expert English language training by qualified teachers system and method based on artificial intelligence |
JP2020056907A (en) * | 2018-10-02 | 2020-04-09 | 株式会社Tarvo | Cloud voice conversion system |
JP7342419B2 (en) * | 2019-05-20 | 2023-09-12 | カシオ計算機株式会社 | Robot control device, robot, robot control method and program |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL90277A0 (en) * | 1989-05-12 | 1989-12-15 | Shmuel Shapira | System for locating compatible persons at a given locality |
JP2522414B2 (en) * | 1989-10-19 | 1996-08-07 | 日本電気株式会社 | Server-client connection method |
JP4543444B2 (en) * | 1999-02-24 | 2010-09-15 | 株式会社エクォス・リサーチ | Vehicle control device |
JP4000828B2 (en) * | 2001-11-06 | 2007-10-31 | 株式会社デンソー | Information system, electronic equipment, program |
JP3945356B2 (en) * | 2002-09-17 | 2007-07-18 | 株式会社デンソー | Spoken dialogue apparatus and program |
JP2004214895A (en) | 2002-12-27 | 2004-07-29 | Toshiba Corp | Auxiliary communication apparatus |
JP4343621B2 (en) * | 2003-08-22 | 2009-10-14 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | File management system, file generation device, file acquisition device, authentication device, and program |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
JP2005345903A (en) | 2004-06-04 | 2005-12-15 | Honda Motor Co Ltd | Vocal equipment control unit |
JP2007034198A (en) | 2005-07-29 | 2007-02-08 | Denso Corp | Speech recognition system and mobile terminal device used therefor |
WO2008007688A1 (en) | 2006-07-13 | 2008-01-17 | Nec Corporation | Talking terminal having voice recognition function, sound recognition dictionary update support device, and support method |
JP5170052B2 (en) * | 2009-09-30 | 2013-03-27 | 中部日本電気ソフトウェア株式会社 | Driving support system, server device, driving support device, and information processing method |
JP2011085966A (en) * | 2009-10-13 | 2011-04-28 | Sony Corp | Information processing device, information processing method, and program |
JP5742184B2 (en) * | 2010-11-16 | 2015-07-01 | トヨタ自動車株式会社 | Driving assistance device |
JP5667895B2 (en) | 2011-01-25 | 2015-02-12 | メガトレンド株式会社 | Bank transfer fraud prevention device |
JP2013223161A (en) | 2012-04-18 | 2013-10-28 | Fic Service Co Ltd | Telephone call connection service system |
JP5617942B2 (en) | 2013-02-05 | 2014-11-05 | 株式会社デンソー | In-vehicle device control system |
-
2015
- 2015-10-21 WO PCT/JP2015/079730 patent/WO2016103881A1/en active Application Filing
- 2015-10-21 JP JP2016565988A patent/JP6544693B2/en active Active
-
2018
- 2018-12-18 JP JP2018236315A patent/JP6744529B2/en active Active
-
2020
- 2020-06-18 JP JP2020105300A patent/JP6994781B2/en active Active
-
2021
- 2021-07-12 JP JP2021115110A patent/JP7122038B2/en active Active
- 2021-12-06 JP JP2021197647A patent/JP7251833B2/en active Active
-
2023
- 2023-03-03 JP JP2023032952A patent/JP2023065621A/en active Pending
- 2023-03-13 JP JP2023038727A patent/JP2023072025A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403343B2 (en) | 2019-07-26 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Retrieval of video and vehicle behavior for a driving scene described in search text |
JP2021144086A (en) * | 2020-03-10 | 2021-09-24 | 株式会社東海理化電機製作所 | Agent system and computer program |
Also Published As
Publication number | Publication date |
---|---|
JPWO2016103881A1 (en) | 2017-10-05 |
WO2016103881A1 (en) | 2016-06-30 |
JP2022043116A (en) | 2022-03-15 |
JP6544693B2 (en) | 2019-07-17 |
JP7251833B2 (en) | 2023-04-04 |
JP2020173453A (en) | 2020-10-22 |
JP2023072025A (en) | 2023-05-23 |
JP2023065621A (en) | 2023-05-12 |
JP6744529B2 (en) | 2020-08-19 |
JP7122038B2 (en) | 2022-08-19 |
JP2021185410A (en) | 2021-12-09 |
JP6994781B2 (en) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6744529B2 (en) | In-vehicle device and vehicle | |
US11126833B2 (en) | Artificial intelligence apparatus for recognizing user from image data and method for the same | |
US11289074B2 (en) | Artificial intelligence apparatus for performing speech recognition and method thereof | |
KR20190084789A (en) | Electric terminal and method for controlling the same | |
KR20190022109A (en) | Method for activating voice recognition servive and electronic device for the same | |
US11568239B2 (en) | Artificial intelligence server and method for providing information to user | |
JP2016522465A (en) | Apparatus and method for providing a persistent companion device | |
US11107471B2 (en) | Dialog processing server, control method for dialog processing server, and terminal | |
US20190354178A1 (en) | Artificial intelligence device capable of being controlled according to user action and method of operating the same | |
US20180025283A1 (en) | Information processing apparatus, information processing method, and program | |
US10872438B2 (en) | Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same | |
US11501250B2 (en) | Refrigerator for providing information on item using artificial intelligence and method of operating the same | |
US20190197427A1 (en) | Device and method for recommending contact information | |
US11748614B2 (en) | Artificial intelligence device for controlling external device | |
CN110871447A (en) | Vehicle-mounted robot and man-machine interaction method thereof | |
US11270700B2 (en) | Artificial intelligence device and method for recognizing speech with multiple languages | |
JP7439826B2 (en) | Information processing device, information processing method, and program | |
US11116027B2 (en) | Electronic apparatus and operation method thereof | |
US20210137311A1 (en) | Artificial intelligence device and operating method thereof | |
US20190371149A1 (en) | Apparatus and method for user monitoring | |
US20190377489A1 (en) | Artificial intelligence device for providing voice recognition service and method of operating the same | |
US11170239B2 (en) | Electronic apparatus and operation method thereof | |
KR102514128B1 (en) | An artificial intelligence apparatus for providing a connection between home devices and method thereof | |
US11464380B2 (en) | Artificial intelligence cleaner and operating method thereof | |
US11288840B2 (en) | Artificial intelligence apparatus for estimating pose of head and method for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20191217 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6744529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |