JP2009223171A - Communication system - Google Patents
Communication system Download PDFInfo
- Publication number
- JP2009223171A JP2009223171A JP2008069606A JP2008069606A JP2009223171A JP 2009223171 A JP2009223171 A JP 2009223171A JP 2008069606 A JP2008069606 A JP 2008069606A JP 2008069606 A JP2008069606 A JP 2008069606A JP 2009223171 A JP2009223171 A JP 2009223171A
- Authority
- JP
- Japan
- Prior art keywords
- article
- word
- book
- robot
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明はコミュニケーションシステムに関し、特にたとえば、音声認識によって人間が指示する物品を特定し、当該特定した物品が当該人間の指示したものであるかを音声にて確認するコミュニケーションシステムに関する。 The present invention relates to a communication system, and more particularly to, for example, a communication system that identifies an article designated by a person by voice recognition and confirms by voice whether the identified article is designated by the person.
この種のコミュニケーションシステムの例が開示された特許文献は見当たらないが、音声認識は人間と装置をつなぐインターフェースとしてさまざまな装置に採用されており、音声認識を採用した装置には、たとえば、特許文献１に開示された片付けロボットがある。 There is no patent document that discloses an example of this type of communication system, but speech recognition has been adopted in various devices as an interface for connecting a person and a device. There is a tidying robot disclosed in No. 1.
特許文献１によると、この片付けロボットは、人間から受け取った物品の片付けや片付けた物品の人間への返却を行う。ロボットは、人間から片付ける物品を受け取ると、その物品の写真を撮って記憶してから物品を片付ける。そして、後に、人間が「この前預けた物とってきて」などと指示すると、ロボットは、この指示を音声認識して理解し、物品を預かったときに撮影してデータベースに記憶されている複数の物品の写真を返却する物品の候補として表示する。そして、人間は、表示された写真に添付された数字を発声して返却してほしい物品をロボットに伝える。ロボットは、人間の発声した数字を音声認識し、認識された数字が添付された写真から返却する物品を特定する。
特許文献１に記載の片付けロボットは、人間による返却してほしい物品の指示を、写真の提示と写真の選択によって行っているが、インターフェースの簡便化のためこの物品の指示をも音声認識で実現することが考えられる。音声によって物品を指示する場合、１つの物品を指示するための言葉（単語）は複数存在する。
The clean-up robot described in
たとえば、一冊の本を指示する場合であれば、本のタイトル名に基づいて指示する場合、本の著者名に基づいて指示する場合、本の出版者名に基づいて指示する場合、本の色に基づいて指示する場合、本が厚いか薄いかに基づいて指示する場合、ハードカバーであるかソフトカバーであるかに基づいて指示する場合などである。 For example, if you are pointing to a single book, if you are pointing based on the title of the book, if you are pointing based on the author's name, if you are pointing based on the publisher's name, For example, the instruction is based on the color, the instruction is based on whether the book is thick or thin, or the instruction is based on whether the book is a hard cover or a soft cover.
このように物品の指示の受け付けを音声認識で行う場合には、物品を指示するための言葉（単語）が複数存在するため、人間がどの言葉（単語）を使って物品を指示するかが、ロボットが正しく物品を特定できるか否かに影響を与える。ロボットが正しく物品を特定できるか否かに影響を与える要因としては、たとえば、個々の言葉（単語）の音声認識のしやすさの違いがあげられる。また、個々の言葉（単語）によって物品を１つに特定できるか否かという問題もある。人間が「赤色の本」と指示した場合にはロボットは人間が指示する本を一冊に特定できない可能性がある。 In this way, when receiving an instruction of an article by voice recognition, since there are a plurality of words (words) for instructing the article, which word (word) a human uses to instruct the article, This affects whether the robot can correctly identify the article. As a factor that affects whether or not the robot can correctly identify an article, for example, there is a difference in ease of speech recognition of individual words (words). There is also a problem of whether or not one item can be specified by each word (word). When a human designates a “red book”, the robot may not be able to identify a single book designated by the human.
それゆえに、この発明の主たる目的は、新規なコミュニケーションシステムを提供することである。 Therefore, the main object of the present invention is to provide a novel communication system.
また、この発明の他の目的は、システムが人間の指示する物品を特定しやすい言葉を用いて、人間に物品を指示させることができる、コミュニケーションシステムを提供することである。 Another object of the present invention is to provide a communication system that allows a human to instruct an article using words that allow the system to easily specify the article that the human designates.
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。 The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate correspondence relationships with embodiments described later to help understanding of the present invention, and do not limit the present invention in any way.
第１の発明は、音声認識によって人間が指示する物品を特定し、当該特定した物品が当該人間の指示したものであるかを音声にて確認するコミュニケーションシステムであって、物品に関連する単語と当該単語の音素記号列とを対応つけて記憶する第１記憶手段、物品の識別情報と当該物品に関連する単語とを対応つけて記憶する第２記憶手段、音声認識により生成した音素記号列を第１記憶手段に参照して物品に関連する単語を特定する単語特定手段、単語特定手段が特定した物品に関する単語を第２記憶手段に参照して物品の識別情報を特定する物品特定手段、物品特定手段が特定した物品の識別情報と対応つけて第２記憶手段に記憶された物品に関連する単語から所定の単語を選出する単語選出手段、および単語選出手段が選出した単語を用いて特定手段が特定した物品が人間の指示した物品であるか否かを確認する音声を出力する音声出力手段を備える、コミュニケーションシステム。 A first invention is a communication system for identifying an article designated by a person by voice recognition and confirming by voice whether the identified article is designated by the person, a word related to the article, First storage means for storing the phoneme symbol string of the word in association with each other, second storage means for storing the identification information of the article and the word related to the article in association with each other, and a phoneme symbol string generated by speech recognition Article specifying means for specifying a word related to an article with reference to the first storage means, article specifying means for specifying identification information of the article with reference to the second storage means for a word related to the article specified by the word specifying means, and article A word selection means for selecting a predetermined word from words related to the article stored in the second storage means in association with the identification information of the article specified by the specifying means, and a simple word selected by the word selection means. Communication system comprising a sound output means for the article that certain means identified outputs sound to check whether the indicated articles of human using.
第１の発明では、コミュニケーションシステム（１０）は、音声認識によって人間が指示する物品を特定し、当該特定した物品が当該人間の指示したものであるかを音声にて確認する。第１記憶手段（１２６、２０５Ｂ）は物品に関連する単語と当該単語の音素記号列とを対応つけて記憶する。第２記憶手段（１２２、２０５Ａ）は物品の識別情報と当該物品に関連する単語とを対応つけて記憶する。単語特定手段（２００、Ｓ１１１）は音声認識により生成した音素記号列を第１記憶手段に参照して物品に関連する単語を特定する。物品特定手段（２００、Ｓ１２５）は単語特定手段が特定した物品に関する単語を第２記憶手段に参照して物品の識別情報を特定する。単語選出手段（２００、３００、Ｓ１８３、Ｓ２０１）は物品特定手段が特定した物品の識別情報と対応つけて第２記憶手段に記憶された物品に関連する単語から所定の単語を選出する。そして、音声出力手段（６４、８０、９０）は単語選出手段が選出した単語を用いて特定手段が特定した物品が人間の指示した物品であるか否かを確認する音声を出力する。 In the first invention, the communication system (10) specifies an article designated by a human by voice recognition, and confirms by voice whether the identified article is designated by the human. The first storage means (126, 205B) stores the word related to the article and the phoneme symbol string of the word in association with each other. The second storage means (122, 205A) stores the identification information of the article in association with the word related to the article. The word specifying unit (200, S111) specifies a word related to the article by referring to the first storage unit with the phoneme symbol string generated by the speech recognition. The article specifying means (200, S125) specifies the identification information of the article by referring to the second storage means for the word related to the article specified by the word specifying means. The word selecting means (200, 300, S183, S201) selects a predetermined word from words related to the article stored in the second storage means in association with the identification information of the article specified by the article specifying means. Then, the voice output means (64, 80, 90) outputs a voice for confirming whether or not the article specified by the specifying means is an article designated by a human using the word selected by the word selection means.
第１の発明によれば、人間が指示した物品を確認する際に、コミュニケーションシステムは当該物品に関連する単語を用いた音声を発する。人間はコミュニケーションシステムの真似をする傾向があるので、次回に、人間が当該物品を指示する際にはコミュニケーションシステムが確認の際の音声に用いた単語を使用することになる。当該単語は、人間の指示した当該物品に関連する単語であるので、コミュニケーションシステムは当該単語を用いた人間の物品の指示によって容易に物品を特定することができる。したがって、コミュニケーションシステムが人間の指示する物品を特定しやすい言葉（単語）を用いて、人間に物品を指示させることができる。 According to the first invention, when confirming an article designated by a human, the communication system emits a sound using a word related to the article. Since human beings tend to imitate the communication system, the next time the human designates the article, the word used for the voice of the confirmation by the communication system is used. Since the word is a word related to the article designated by the person, the communication system can easily identify the article by the instruction of the person article using the word. Therefore, it is possible to cause a human to instruct an article using words (words) that are easy for the communication system to specify the article designated by the person.
第２の発明は、第１の発明に従属する発明であって、所定の単語は、第２記憶手段において物品特定手段が特定した物品の識別情報に対応つけて記憶されている物品に関連する単語から、第２記憶手段において物品特定手段が特定した物品以外であって人間の近傍に存在する物品の識別情報に対応つけて記憶されている物品に関する単語を除いたものである。 The second invention is an invention subordinate to the first invention, wherein the predetermined word relates to the article stored in the second storage means in association with the identification information of the article specified by the article specifying means. The word related to the article stored in association with the identification information of the article other than the article specified by the article specifying means in the second storage means and existing in the vicinity of the person is removed from the word.
第２の発明では、所定の単語は、第２記憶手段において物品特定手段が特定した物品の識別情報に対応つけて記憶されている物品に関連する単語から、第２記憶手段において物品特定手段が特定した物品以外であって人間の近傍に存在する物品の識別情報に対応つけて記憶されている物品に関する単語を除いたものである。 In the second invention, the predetermined word is obtained from the word related to the article stored in association with the identification information of the article specified by the article specifying means in the second storage means, and the article specifying means in the second storage means. This is a word obtained by removing words related to articles stored in association with identification information of articles other than the specified article and present in the vicinity of a person.
第２の発明によれば、所定の単語は、人間の指示した物品に関連する単語であって、人間の近傍に存在するその他の物品に関連する単語ではない。したがって、コミュニケーションシステムが人間の指示した物品を確認するために所定の単語を使用すれば、次回は、人間が真似を行い、所定の単語を用いて物品を指示することが期待できる。これによって、コミュニケーションシステムが容易に人間の指示する物品を特定することができる。 According to the second invention, the predetermined word is a word related to an article designated by a person, and is not a word related to another article existing in the vicinity of the person. Therefore, if the communication system uses a predetermined word to confirm the article designated by the person, it can be expected that the next time the person will imitate and designate the article using the predetermined word. As a result, the communication system can easily identify an article designated by a human.
第３の発明は、第２の発明に従属する発明であって、音声出力手段は、所定の単語が存在しない場合に、指示代名詞および指示形容詞の一方と、物品特定手段が特定した物品の識別情報と対応つけて第２記憶手段に記憶された物品に関連する単語のうちのいずれかの単語とを用いて音声を出力する。 The third invention is an invention subordinate to the second invention, wherein the voice output means identifies one of the pronoun and the adjective adjective and the article specified by the article specifying means when the predetermined word does not exist. A voice is output using any one of words related to the article stored in the second storage means in association with the information.
第３の発明では、音声出力手段（６４、８０、９０）は、所定の単語が存在しない場合に、指示代名詞および指示形容詞の一方と、物品特定手段が特定した物品の識別情報と対応つけて第２記憶手段に記憶された物品に関連する単語のうちのいずれかの単語とを用いて音声を出力する。 In the third invention, the voice output means (64, 80, 90) associates one of the pronoun and the adjective adjective with the identification information of the article specified by the article specifying means when the predetermined word does not exist. A voice is output using any one of the words related to the article stored in the second storage means.
第３の発明では、人間の指示する物品を一意に示すことができる所定の単語が存在しない場合でも、人間が指示した物品に関連する単語と指示代名詞および指示形容詞の一方とを用いた音声によって、人間に物品が人間の指示したものであるか否かを確認する。したがって、人間は音声によってコミュニケーションシステムが特定した物品を確認しやすくなる。 In the third invention, even when there is no predetermined word that can uniquely indicate an article designated by a person, the voice using a word related to the article designated by the person and one of a pronoun and an adjective adjective is used. , It is confirmed whether or not the article is a human instruction. Therefore, it becomes easy for a human to confirm the article specified by the communication system by voice.
第４の発明は、第２の発明または第３の発明に従属する発明であって、所定の単語は、音声認識による認識の成功率が高い単語である。 The fourth invention is an invention subordinate to the second invention or the third invention, and the predetermined word is a word having a high recognition success rate by speech recognition.
第４の発明では、所定の単語は、音声認識による認識の成功率が高い単語である。 In the fourth invention, the predetermined word is a word having a high success rate of recognition by voice recognition.
第４の発明によれば、人間に音声認識による認識の成功率の高い単語を用いて物品を指示させることができる。 According to the fourth aspect of the invention, it is possible to cause a human to instruct an article using a word having a high recognition success rate by voice recognition.
第５の発明は、第４の発明に従属する発明であって、認識の成功率の高い単語は、音声認識により６個以上の音素に分解される単語である。 A fifth invention is an invention subordinate to the fourth invention, and a word having a high recognition success rate is a word that is decomposed into six or more phonemes by voice recognition.
第５の発明では、認識の成功率の高い単語は、音声認識により６個以上の音素の分解される単語である。 In the fifth invention, a word having a high recognition success rate is a word in which six or more phonemes are decomposed by voice recognition.
第５の発明によれば、音声認識による認識率が高いと推定される単語を用いて人間に物品を指示させることができる。 According to the fifth aspect of the present invention, it is possible to cause a human to instruct an article using a word that is estimated to have a high recognition rate by voice recognition.
第６の発明は、第４の発明または第５の発明に従属する発明であって、単語と当該単語の音声認識による認識の成功率とを対応つけて記憶する第３記憶手段を備え、単語選出手段は、第３記憶手段への参照に基づいて認識の成功率の高い単語を決定する。 A sixth invention is an invention subordinate to the fourth invention or the fifth invention, comprising third storage means for storing the word and the success rate of recognition of the word by speech recognition in association with each other, and the word The selection unit determines a word having a high recognition success rate based on the reference to the third storage unit.
第６の発明では、コミュニケーションシステムは、単語と当該単語の音声認識による認識の成功率とを対応つけて記憶する第３記憶手段（２０５Ｆ）を備える。そして、単語選出手段は第３記憶手段への参照に基づいて音声認識による認識の成功率の高い単語を決定する。 In the sixth invention, the communication system includes third storage means (205F) that stores the word and the success rate of recognition by speech recognition of the word in association with each other. Then, the word selection means determines a word having a high recognition success rate by voice recognition based on the reference to the third storage means.
第６の発明によれば、音声認識による認識率が実際に高い単語を用いて人間に物品を指示させることができる。 According to the sixth aspect of the invention, it is possible to instruct a human to use an article using a word whose recognition rate by voice recognition is actually high.
この発明によれば、人間の指示する物品の確認に、コミュニケーションシステムが特定しやすい言葉（単語）を用いることによって、次回に人間が指示する物品の特定を容易にできる。 According to the present invention, by using words (words) that can be easily specified by the communication system for confirmation of an article designated by a person, it is possible to easily identify an article designated by the person next time.
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図１を参照して、この実施例のコミュニケーションロボットシステム（以下、単に「システム」ということがある。）１０は、コミュニケーションロボット(以下、単に「ロボット」ということがある。)１２を含む。このロボット１２は、たとえば無線ＬＡＮなどのネットワーク１４にアクセスすることができる。ロボット１２はサーバ２０と協働して人間１６が音声、視線、および指差しで指示する物品を特定し、たとえばその物品を人間１６に持っていくなどの動作を実行する。
Referring to FIG. 1, a communication robot system (hereinafter simply referred to as “system”) 10 of this embodiment includes a communication robot (hereinafter also simply referred to as “robot”) 12. The
人間１６は、その人物が誰であるかを示す無線タグ１８を装着しているとともに、図示しないが、モーションキャプチャのためのマーカが付着されている。マーカは、典型的には、人間の頭頂、両肩、両肘、両手の人差し指の先端などに設定されていて、それらのマーカが、人間１６の全体とともに、サーバ２０に制御されるカメラ１２０によって撮影される。カメラ１２０は、実施例では、３つ設けられ、人間１６を３方向から撮影し、そのカメラ映像をサーバ２０に供給する。
The human 16 is wearing a
サーバ２０は無線ＬＡＮのようなネットワーク１４に結合され、上述のようにして入力されるカメラ映像データに基づいて、マーカの動きを検出するモーションキャプチャ処理を実行するとともに、たとえば肌色領域を検出することによって、人間１６の顔の位置を特定することができる。
The
このシステム１０では、上述のように、ロボット１２が人間１６の指示する物品を対象物として特定するものである。対象物となり得る物品の例として、この実施例では、本（書籍）２４を用いる。本２４には、その本がどのような本であるかを示す無線タグ１８が付着されている。本２４は本棚２６に収納される。
In the
ただし、対象物となり得る物品は実施例の書籍だけでなく、もし家庭用のシステムであれば、家庭内のあらゆる物品が考えられる。また、当然、家庭用としてだけではなく、人間と一緒に働く任意の場所（会社、事務所、工場など）での利用が考えられる。 However, the articles that can be the object are not only the books of the embodiment, but any household article can be considered if it is a home system. Naturally, it can be used not only for home use but also in any place (company, office, factory, etc.) that works with people.
そして、このシステム１０が対象とするすべての物品（本２４）は、サーバ２０に付設された物品辞書１２２に登録される。物品辞書１２２については後述する。
All articles (books 24) targeted by this
また、システム１０が対象とする人間１６は、人間１６に付着されている無線タグ１８が複数存在するアンテナ１２４のいずれかを介して無線タグ読取装置２０８（図４参照）で読み取られることによって、その位置がサーバ２０で把握される。つまり、人間１６の位置は、人間１６に付着されている無線タグ１８からの電波をどのアンテナ１２４で受信したかによって若干大まかな位置が把握される。
Further, the human 16 targeted by the
なお、図１では、簡単のため、１台のロボット１２を示してあるが、２台以上であってよい。また、人間１６は１人に限定される必要はなく、無線タグ１８で識別できるので、複数であってよい。
In FIG. 1, one
また、図１に示す実施例では、このシステム１０を設置している空間のワールド座標を用いてロボット１２、人間１６、物品２４などの位置が表現されていて、他方、ロボット１２の制御はロボット座標で行なわれるので、詳細は説明しないが、ロボット１２は、後述の処理における必要に応じて、ロボット座標とワールド座標との間の座標変換処理を実行するものである。
In the embodiment shown in FIG. 1, the positions of the
図２を参照して、ロボット１２のハードウェアの構成について説明する。また、図２はこの実施例のロボット１２の外観を示す正面図である。ロボット１２は台車３０を含み、台車３０の下面にはロボット１２を自律移動させる２つの車輪３２および１つの従輪３４が設けられる。２つの車輪３２は車輪モータ３６（図３参照）によってそれぞれ独立に駆動され、台車３０すなわちロボット１２を前後左右の任意方向に動かすことができる。また、従輪３４は車輪３２を補助する補助輪である。したがって、ロボット１２は、配置された空間内を自律制御によって移動可能である。
The hardware configuration of the
台車３０の上には、円柱形のセンサ取り付けパネル３８が設けられ、このセンサ取り付けパネル３８には、多数の赤外線距離センサ４０が取り付けられる。これらの赤外線距離センサ４０は、センサ取り付けパネル３８すなわちロボット１２の周囲の物体（人間や障害物など）との距離を測定するものである。
A cylindrical
なお、この実施例では、距離センサとして、赤外線距離センサを用いるようにしてあるが、赤外線距離センサに代えて、超音波距離センサやミリ波レーダなどを用いることもできる。 In this embodiment, an infrared distance sensor is used as the distance sensor, but an ultrasonic distance sensor, a millimeter wave radar, or the like can be used instead of the infrared distance sensor.
センサ取り付けパネル３８の上には、胴体４２が直立するように設けられる。また、胴体４２の前方中央上部（人の胸に相当する位置）には、上述した赤外線距離センサ４０がさらに設けられ、ロボット１２の前方の主として人間との距離を計測する。また、胴体４２には、その側面側上端部のほぼ中央から伸びる支柱４４が設けられ、支柱４４の上には、全方位カメラ４６が設けられる。全方位カメラ４６は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ７０とは区別される。この全方位カメラ４６としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ４０および全方位カメラ４６の設置位置は、当該部位に限定されず適宜変更され得る。
A
胴体４２の両側面上端部（人の肩に相当する位置）には、それぞれ、肩関節４８Ｒおよび肩関節４８Ｌによって、上腕５０Ｒおよび上腕５０Ｌが設けられる。図示は省略するが、肩関節４８Ｒおよび肩関節４８Ｌは、それぞれ、直交する３軸の自由度を有する。すなわち、肩関節４８Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｒの角度を制御できる。肩関節４８Ｒの或る軸（ヨー軸）は、上腕５０Ｒの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節４８Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕５０Ｌの角度を制御できる。肩関節４８Ｌの或る軸（ヨー軸）は、上腕５０Ｌの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。
An
また、上腕５０Ｒおよび上腕５０Ｌのそれぞれの先端には、肘関節５２Ｒおよび肘関節５２Ｌが設けられる。図示は省略するが、肘関節５２Ｒおよび肘関節５２Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸回りにおいて前腕５４Ｒおよび前腕５４Ｌの角度を制御できる。
In addition, an elbow joint 52R and an elbow joint 52L are provided at the respective distal ends of the
前腕５４Ｒおよび前腕５４Ｌのそれぞれの先端には、人の手に相当するハンド５６Ｒおよびハンド５６Ｌがそれぞれ設けられる。これらのハンド５６Ｒおよび５６Ｌは、詳細な図示は省略するが、開閉可能に構成され、それによってロボット１２は、ハンド５６Ｒおよび５６Ｌを用いて物体を把持または挟持することができる。ただし、ハンド５６Ｒ，５６Ｌの形状は実施例の形状に限らず、人間の手に酷似した形状や機能を持たせるようにしてもよい。
At the tip of each of the
また、図示は省略するが、台車３０の前面，肩関節４８Ｒと肩関節４８Ｌとを含む肩に相当する部位，上腕５０Ｒ，上腕５０Ｌ，前腕５４Ｒ，前腕５４Ｌ，球体５６Ｒおよび球体５６Ｌには、それぞれ、接触センサ５８（図３で包括的に示す）が設けられる。台車３０の前面の接触センサ５８は、台車３０への人間や他の障害物の接触を検知する。したがって、ロボット１２は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪３２の駆動を停止してロボット１２の移動を急停止させることができる。また、その他の接触センサ５８は、当該各部位に触れたかどうかを検知する。なお、接触センサ５８の設置位置は、当該部位に限定されず、適宜な位置（人の胸，腹，脇，背中および腰に相当する位置）に設けられてもよい。
Although not shown, the front surface of the
胴体４２の中央上部（人の首に相当する位置）には首関節６０が設けられ、さらにその上には頭部６２が設けられる。図示は省略するが、首関節６０は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１２の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。
A neck joint 60 is provided at the upper center of the body 42 (a position corresponding to a person's neck), and a
頭部６２には、人の口に相当する位置に、スピーカ６４が設けられる。スピーカ６４は、ロボット１２が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク６６Ｒおよびマイク６６Ｌが設けられる。以下、右のマイク６６Ｒと左のマイク６６Ｌとをまとめてマイク６６ということがある。マイク６６は、周囲の音、とりわけコミュニケーションを実行する対象である人間の音声を取り込む。さらに、人の目に相当する位置には、眼球部６８Ｒおよび眼球部６８Ｌが設けられる。眼球部６８Ｒおよび眼球部６８Ｌは、それぞれ眼カメラ７０Ｒおよび眼カメラ７０Ｌを含む。以下、右の眼球部６８Ｒと左の眼球部６８Ｌとをまとめて眼球部６８ということがある。また、右の眼カメラ７０Ｒと左の眼カメラ７０Ｌとをまとめて眼カメラ７０ということがある。
The
眼カメラ７０は、ロボット１２に接近した人間の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。この実施例では、ロボット１２は、この眼カメラ７０からの映像信号によって、人間１６の左右両目のそれぞれの視線方向（ベクトル）を検出する。その視線検出方法は具体的には、２つのカメラを用いるものとして特開２００４‐２５５０７４号公報に、１つのカメラを用いるものとして特開２００６‐１７２２０９号公報や特開２００６‐２８５５３１号公報開示されるが、ここではその詳細は重要ではないので、これらの公開公報を引用するにとどめる。
The
ただし、人間１６の視線ベクトルの検出のためには、よく知られているアイマークレコーダなどが利用されてもよい。 However, a well-known eye mark recorder or the like may be used for detecting the line-of-sight vector of the human 16.
また、眼カメラ７０は、上述した全方位カメラ４６と同様のカメラを用いることができる。たとえば、眼カメラ７０は、眼球部６８内に固定され、眼球部６８は、眼球支持部（図示せず）を介して頭部６２内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部６２の上に向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部６２の正面側（顔）が向く方向に直行する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部６８ないし眼カメラ７０の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ６４，マイク６６および眼カメラ７０の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。
The
このように、この実施例のロボット１２は、車輪３２の独立２軸駆動，肩関節４８の３自由度（左右で６自由度），肘関節５２の１自由度（左右で２自由度），首関節６０の３自由度および眼球支持部の２自由度（左右で４自由度）の合計１７自由度を有する。
As described above, the
図３はロボット１２の電気的な構成を示すブロック図である。この図３を参照して、ロボット１２は、ＣＰＵ８０を含む。ＣＰＵ８０は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス８２を介して、メモリ８４，モータ制御ボード８６，センサ入力／出力ボード８８および音声入力／出力ボード９０に接続される。
FIG. 3 is a block diagram showing the electrical configuration of the
メモリ８４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、ロボット１２の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力（センサ情報）を検知するための検知プログラムや、外部コンピュータとの間で必要なデータやコマンドを送受信するための通信プログラムなどが記録される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。
The
さらに、この実施例では、ロボット１２は、人間１６とのコミュニケーションをとるために発話したり、ジェスチャしたりできるように構成されているが、メモリ８４に、このような発話やジェスチャのための発話／ジェスチャ辞書８５Ａが設定されている。
Furthermore, in this embodiment, the
モータ制御ボード８６は、たとえばＤＳＰで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、右眼球部６８Ｒの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ９２」と示す）の回転角度を制御する。同様にして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、左眼球部６８Ｌの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ９４」と示す）の回転角度を制御する。
The motor control board 86 is constituted by, for example, a DSP, and controls driving of each axis motor such as each arm, neck joint, and eyeball unit. That is, the motor control board 86 receives control data from the
また、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｒの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ９６」と示す）の回転角度を制御する。同様にして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、肩関節４８Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと肘関節５２Ｌの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ９８」と示す）の回転角度を制御する。
The motor control board 86 receives control data from the
さらに、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、首関節６０の直交する３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ１００」と示す）の回転角度を制御する。そして、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、車輪３２を駆動する２つのモータ（図３では、まとめて「車輪モータ３６」と示す）の回転角度を制御する。
Further, the motor control board 86 receives control data from the
モータ制御ボード８６にはさらにハンドアクチュエータ１０８が結合され、モータ制御ボード８６は、ＣＰＵ８０からの制御データを受け、ハンド５６Ｒ，５６Ｌの開閉を制御する。
A
なお、この実施例では、車輪モータ３６を除くモータは、制御を簡素化するためにステッピングモータ（すなわち、パルスモータ）を用いる。ただし、車輪モータ３６と同様に直流モータを用いるようにしてもよい。また、ロボット１２の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更された、たとえば、他の実施例では、エアアクチュエータが適用されてもよい。
In this embodiment, a motor other than the
センサ入力／出力ボード８８は、モータ制御ボード８６と同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ８０に与える。すなわち、赤外線距離センサ４０のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード８８を通じてＣＰＵ８０に入力される。また、全方位カメラ４６からの映像信号が、必要に応じてセンサ入力／出力ボード８８で所定の処理を施してからＣＰＵ８０に入力される。眼カメラ７０からの映像信号も、同様にして、ＣＰＵ８０に入力される。また、上述した複数の接触センサ５８（図３では、まとめて「接触センサ５８」と示す）からの信号がセンサ入力／出力ボード８８を介してＣＰＵ８０に与えられる。音声入力／出力ボード９０もまた、同様に、ＤＳＰで構成され、ＣＰＵ８０から与えられる音声合成データに従った音声または声がスピーカ６４から出力される。また、マイク６６からの音声入力が、音声入力／出力ボード９０を介してＣＰＵ８０に与えられる。
Similar to the motor control board 86, the sensor input /
また、ＣＰＵ８０は、バス８２を介して通信ＬＡＮボード１０２に接続される。通信ＬＡＮボード１０２は、たとえばＤＳＰで構成され、ＣＰＵ８０から与えられた送信データを無線通信装置１０４に与え、無線通信装置１０４は送信データを、ネットワーク１４を介してサーバ２０に送信する。また、通信ＬＡＮボード１０２は、無線通信装置１０４を介してデータを受信し、受信したデータをＣＰＵ８０に与える。たとえば、送信データとしては、ロボット１２からサーバ２０への信号（コマンド）であったり、ロボット１２が行ったコミュニケーションについての動作履歴情報（履歴データ）などであったりする。このように、コマンドのみならず履歴データを送信するのは、メモリ８４の容量を少なくするためと、消費電力を抑えるためである。この実施例では、履歴データはコミュニケーションが実行される度に、サーバ２０に送信されたが、一定時間または一定量の単位でサーバ２０に送信されるようにしてもよい。
The
さらに、ＣＰＵ８０は、バス８２を介して無線タグ読取装置１０６が接続される。無線タグ読取装置１０６は、アンテナ（図示せず）を介して、無線タグ１８（ＲＦＩＤタグ）から送信される識別情報の重畳された電波を受信する。そして、無線タグ読取装置１０６は、受信した電波信号を増幅し、当該電波信号から識別信号を分離し、当該識別情報を復調（デコード）してＣＰＵ８０に与える。図１によれば無線タグ１８は、ロボット１２が配置された会社の受付や一般家庭の居間などに居る人間１６に装着され、無線タグ読取装置１０６は、通信可能範囲内の無線タグ１８を検出する。なお、無線タグ１８は、アクティブ型であってもよいし、無線タグ読取装置１０６から送信される電波に応じて駆動されるパッシブ型であってもよい。
Further, the
図４を参照して、サーバ２０のハードウェアの構成について説明する。図４に示すように、サーバ２０は、ＣＰＵ２００を含む。ＣＰＵ２００は、プロセッサとも呼ばれ、バス２０２を介して、メモリ２０４、カメラ制御ボード２０６、無線タグ読取装置２０８、ＬＡＮ制御ボード２１０、入力装置制御ボード２１２、およびモニタ制御ボード２１４に接続される。
The hardware configuration of the
ＣＰＵ２００は、サーバ２０の全体の制御を司る。メモリ２０４は、ＲＯＭ、ＲＡＭ、およびＨＤＤなどを包括的に示したものであり、サーバ２０の動作のためのプログラムを記録したり、ＣＰＵ２００が動作する際のワークエリアとして機能したりする。カメラ制御ボード２０６は、当該制御ボード２０６に接続されるカメラ１２０を制御するためのものである。
The
無線タグ読取装置２０８は、当該制御ボード２０８に接続されるアンテナ１２４を介して人間１６や物品（本）２４に装着された無線タグ１８から送信される識別情報の重畳された電波を受信する。そして、無線タグ読取装置２０８は、受信した電波信号を増幅し、当該電波信号から識別信号を分離し、当該識別情報を復調（デコード）してＣＰＵ２００に与える。アンテナ１２４は、ロボット１２が配置された会社の受付や一般家庭の各部屋などにくまなく配置され、システム１０が対象とするすべての物品（本）２４および人間１６の無線タグ１８から電波を受信できるようになっている。したがって、アンテナ１２４は複数存在するが、図１および図４では包括的に示している。
The
また、ＬＡＮ制御ボード２１０は、当該制御ボード２１０に接続される無線通信装置２１６を制御し、サーバ２０が外部のネットワーク１４に無線によってアクセスできるようにするものである。さらに、入力装置制御ボード２１２は、当該制御ボード２１２に接続される入力装置としてのたとえば、キーボードやマウスなどによる入力を制御するものである。そして、モニタ制御ボード２１４は、当該制御ボード２１４に接続されるモニタへの出力を制御するものである。
The
また、サーバ２０は、図示しないインターフェースによって、サーバ２０に付設された物品辞書１２２および音声認識辞書１２６（図１参照）に接続されている。
The
メモリ２０４には、物品ローカル辞書２０５Ａ、音声認識ローカル辞書２０５Ｂ、発話パターン辞書２０５Ｃ、発話辞書２０５Ｄ、個人正誤ＤＢ２０５Ｅ、および音声認識率ＤＢ２０５Ｆが設定されている。
In the
物品ローカル辞書２０５Ａは、後述する物品辞書１２２から抽出された内容が登録される辞書である。サーバ２０は、ロボット１２が人間１６を認識した際に、当該人間１６の近傍に存在する物品（本）２４の情報だけを物品辞書１２２から抽出して物品ローカル辞書２０５Ａに登録する。音声認識ローカル辞書２０５Ｂは、後述する音声認識辞書１２６から抽出された内容が登録される辞書である。サーバ２０は、ロボット１２が人間１６を認識して物品ローカル辞書２０５Ａを作成すると、当該物品ローカル辞書２０５Ａに登録されている単語を音声認識するために必要な情報を音声認識辞書１２６から抽出して音声認識ローカル辞書２０５Ｂに登録する。したがって、物品ローカル辞書２０５Ａおよび音声認識ローカル辞書２０５Ｂは、人間１６の位置の変化に応じて動的に書き換えられる。このように音声認識辞書１２６から音声認識ローカル辞書２０５Ｂを作成し、音声認識に使用する辞書を小さくすることによって音声認識の対象となる単語（音素記号列）の数を少なくし、音声認識の処理にかかる時間を短くするとともに正しく音声認識できる割合を高めることができる。
The article
発話パターン辞書２０５Ｃは、人間１６の行った発話の内容が特定のパターンであるか否かを判断するための辞書である。発話辞書２０５Ｄは、サーバ２０がロボット１２に、人間１６に対して発話させる音声の内容を決定するために必要な情報を記憶している。また、個人正誤ＤＢ２０５Ｅは、システム１０が、人間１６が指示した物品（本）２４を特定することに最終的に成功したか否かを人間１６のＩＤ別に記憶している。そして、音声認識率ＤＢ２０５Ｆは、音声認識辞書１２６に登録されている単語のそれぞれについての音声認識における認識率、つまり、実際の音声認識により当該単語を正しく認識できた割合を記憶している。
The utterance pattern dictionary 205C is a dictionary for determining whether or not the content of the utterance performed by the human 16 is a specific pattern. The
次に、図５を参照して物品辞書１２２を説明する。この図５に示す物品辞書１２２は、たとえばユーコード（Ucode）のようなＩＤをそれぞれの物品の１つに割り当て、物品毎にその名称、属性、位置(座標)などの必要な情報を文字列として登録している。なお、ユーコードは、具体的には、１２８ビットの数字からなり、３４０兆の１兆倍のさらに１兆倍の数の物品を個別に識別できるものである。ただし、この物品辞書１２２に使うＩＤは必ずしもこのようなユーコードである必要はなく、適宜の数字や記号の組み合わせからなるものであってよい。
Next, the
このような物品辞書１２２は、システム１０（ロボット１２およびサーバ２０）が識別すべき対象物となるすべての、たとえば家庭内の物品をＩＤと文字列とで登録するものであり、いわばグローバル辞書に相当する。
Such an
物品辞書１２２には、1つの物品（本）２４についての情報が１つのレコードとして登録されている。そして、たとえば、１つのレコードには、本のＩＤ以外に「名称」、「属性」、「著者」、「出版社」などの項目が記憶されている。「属性」の項目には、本のカバーの色や体裁など当該本を補足的に説明する単語が記憶されている。各項目の情報はテキスト形式の単語で記憶されている。しかし、「属性」の項目においてダブルコーテーション（“）で囲まれている情報は、音声認識における音素記号形式（音素記号列）の単語で記憶されている。
In the
この音素記号列の情報は、ロボット１２がマイク６６で拾った人間１６が発する音声をサーバ２０が音声認識する処理の過程で生成される情報であり、音声認識ローカル辞書２０５Ｂ（音声認識辞書１２６）に登録されておらず、音声認識をすることができなかったが、人間１６の視線や指差しにより、人間１６がどの本を指示しているか判断できた場合に、その認識できなかった音声に相当する音素記号列をその本のレコードの「属性」として記憶したものである。
The information of the phoneme symbol string is information generated in the process of the
また、音素記号列の後に括弧書きで付記されているのは、当該音素記号列に対応つけて記憶された人間１６のＩＤの情報である。これは、当該音声記号列の示す音声が、当該ＩＤが示す人間１６によって発せられたことを示している。
Further, what is appended in parentheses after the phoneme symbol string is information on the ID of the
なお、前述したように、物品辞書１２２には各物品（本）２４が存在する場所の情報も記憶されており、物品辞書１２２の１つのレコードには、図示しないが当該物品（本）２４が存在する場所を記憶する項目も含まれている。
As described above, the
次に、図１０を参照して音声認識辞書１２６を説明する。一般的に音声認識辞書には単語辞書と文法辞書とが存在するが音声認識辞書１２６は単語辞書である。文法辞書についての説明は省略する。音声認識辞書１２６は、図１０に示すように、テキスト形式の単語を記憶する項目、テキスト形式の単語に対応する音素記号形式（音素記号列）の単語を記憶する項目、および当該テキスト形式の単語が物品の名称、たとえば、本のタイトル（名称）であるか否かを示す情報を記憶する項目を含むレコードからなっている。テキスト形式の単語を記憶する項目に記憶されているのが物品の名称であるか否かを示す情報を記憶する項目には、テキスト形式の単語を記憶する項目に物品の名称が記憶されている場合には「１」が記憶され、そうでない場合は「０」が記憶されている。
Next, the
音声認識の処理では、入力された音声を音素に分解し、分解した各音素について当該音素を表す記号を生成する。そして、入力された音声の単語に相当するこの記号の列が音声認識辞書１２６に記憶されている音素記号列である。音声認識の処理では、音声から生成した音素記号列ともっとも近い音素記号列を音声認識辞書１２６（音声認識ローカル辞書２０５Ｂ）内で特定し、この特定した音素記号列に対応して記憶されている単語を音声認識結果として出力する。
In the speech recognition process, the input speech is decomposed into phonemes, and a symbol representing the phoneme is generated for each decomposed phoneme. The symbol string corresponding to the input speech word is a phoneme symbol string stored in the
前述したように、このシステム１０では、人間１６が音声と視線および指差しによって物品（本）２４を指示すると、ロボット１２とサーバ２０とが協働して、人間１６が指示した物品（本）２４を特定し、その特定した物品（本）２４をロボット１２が人間１６のところに運搬などする。以下において、この人間１６とシステム１０とのやり取りをコミュニケーションと呼ぶことがある。
As described above, in the
より詳細に述べると、このシステム１０では、人間１６がロボット１２に近づくと、ロボット１２が人間１６を無線タグ１８によって認識する。サーバ２０には、システム１０が対象とする物品（本）２４のすべてが登録された物品辞書１２２、および音声認識によって物品（本）２４を特定するための単語が登録された音声認識辞書１２６が付設されている。ロボット１２が人間１６を認識すると、ロボット１２はサーバ２０に対して物品辞書１２２および音声認識辞書１２６のローカル辞書（物品ローカル辞書２０５Ａ、音声認識ローカル辞書２０５Ｂ）の作成を指示する。
More specifically, in the
ローカル辞書の作成の指示を受けると、サーバ２０では、ロボット１２が認識した人間１６の位置を特定し、特定した当該人間１６から所定の範囲内、たとえば、半径５ｍ以内にある物品（本）２４のレコードのみを物品辞書１２２から抽出して物品ローカル辞書２０５Ａを作成する。そして次に、音声認識辞書１２６から、物品ローカル辞書２０５Ａに登録されている物品（本）２４を音声認識するため必要な情報のみを抽出して音声認識ローカル辞書２０５Ｂを作成する。
Upon receiving an instruction to create a local dictionary, the
その後、ロボット１２は、認識した人間１６に対して、たとえば、「何か本を持ってきましょうか？」という発話を行う。この発話に対し、人間１６は、持ってきてほしい物品（本）２４に視線を向けつつ当該物品（本）２４を指差しながら、「化学の謎持ってきて」などと答える。
Thereafter, the
するとロボット１２は、「化学の謎持ってきて」という人間１６の声を音声認識し、人間１６の視線を推定し、指差した指が向かっている方向を推定することによって、人間１６が指示している物品（本）２４を特定する。
Then, the
人間１６が指示している物品（本）２４を特定すると、サーバ２０は、人間１６に特定した物品（本）２４を確認するためにロボット１２が発話する音声の内容、たとえば、「白い本ですか？」を決定し、ロボット１２が当該物品（本）２４（化学の謎の本２４）を指し示しながらこれを発話する。
When the article (book) 24 instructed by the
このとき、サーバ２０は、発話の内容を、次回に人間１６が当該物品（本）２４（化学の謎の本２４）をロボット１２に指示する際に、人間１６に当該物品（本）２４（化学の謎の本２４）を特定するための単語として使用してほしい単語を含んだものとする。
At this time, the
たとえば、ロボット１２が特定した物品（本）２４（化学の謎の本２４）を確認するための発話内容が「白い本ですか？」であった場合、システム１０は、次回に人間１６が「化学の謎」の本を指示する際には、指差しとともに、「化学の謎持ってきて」と発話する代わりに「あの白い本持ってきて」と発話することを期待している。このことは、人間はロボットの発話内容を真似する傾向があるという知見に基づいている。この場合、人間１６に物品（本）２４を特定するために次回に使用することを期待する単語は「白い」である。この「白い」という単語は、人間１６の近傍に「化学の謎」の本２４の他に「白い」物品（本）２４が存在せず、また、「白い」という単語の音声認識における認識率が高い場合にサーバ２０によって選択される。
For example, when the utterance content for confirming the article (book) 24 (the mysterious book of chemistry 24) identified by the
ところで、人間１６が指差しとともに、「化学の謎を持ってきて」などと発話する場合、「化学の謎」という単語ではなく、その人間１６が独自に使用する、たとえば、「化学の謎」の省略形である「バケナゾ」という単語を用い「バケナゾ持ってきて」などと発話することが考えられる。この場合、「バケナゾ」という単語が物品辞書１２２および音声認識辞書１２６に登録されていなければ、システム１０は「バケナゾ」という音声を認識し、「バケナゾ」が「化学の謎」の本を指示していることを特定することができない。
By the way, when the human 16 speaks with a pointing hand, “Take a chemical mystery” or the like, the word “chemical mystery” is used instead of the word “chemical mystery”. It is possible to use the word “Bakenazo”, which is an abbreviation for, and say “Bring a Bakenazo”. In this case, if the word “bakenazo” is not registered in the
このような場合においても、システム１０は、人間１６の視線や指差しの方向に基づいて人間１６が指示している物品（本）２４を特定することが可能である。したがって、「バケナゾ」などのように音声認識できなかった単語がある場合には、視線や指差しの方向に基づいて特定した結果を利用して、音声認識できなかった単語を物品辞書１２２および音声認識辞書１２６に登録する。
Even in such a case, the
システム１０が特定した物品（本）２４を確認するために、ロボット１２がたとえば「白い本ですか？」と発話すると、人間１６は、「そうです」あるいは「ちがいます」などと発話し、ロボット１２に返答する。サーバ２０は、この人間１６の返答における音声を音声認識し、システム１０が特定した物品（本）２４が、人間１６が指示したものであるか否かを判断する。システム１０が特定した物品（本）２４が、人間１６が指示したものでなかった場合には、次の候補である物品（本）２４が、人間１６が指示したものであるか否かを確認する。一方、システム１０が特定した物品（本）２４が、人間１６が指示したものであった場合には、ロボット１２が当該物品（本）２４を人間１６のところにまで運搬する。
When the
次に、図１に示す実施例におけるロボット１２およびサーバ２０の動作について、図１５から図２２に示すフロー図を参照して説明する。
Next, operations of the
図１５の最初のステップＳ１において、ロボット１２のＣＰＵ８０（図３）は、同じく図３に例示するセンサ入力／出力ボード８８からのセンサ入力にしたがって、人間１６（図１）を認識したかどうか判断する。具体的には、たとえば赤外線センサ４０で人体を検知し、そのとき無線タグ読取装置１０６で人間１６が装着している無線タグ１８を認識したとき、人間１６を認識したと判断する。このとき、ロボット１２は、無線タグ１８より人間１６のユーザＩＤ（たとえば、（456…0000004））を読み取る。
In the first step S1 of FIG. 15, the CPU 80 (FIG. 3) of the
ステップＳ１でＹＥＳと判断すると、次のステップＳ３で、ロボット１２のＣＰＵ８０は、ローカル辞書、つまり、物品ローカル辞書２０５Ａおよび音声認識ローカル辞書２０５Ｂを作成する指示を、ネットワーク１４を介してサーバ２０に送信する。このとき、ローカル辞書の作成指示と同時に、ステップＳ１で認識したと判断した人間１６のユーザＩＤ（456…0000004）をもサーバ２０に送信する。
If YES is determined in step S1, the
ロボット１２からローカル辞書の作成指示とユーザＩＤとが送信されると、サーバ２０では、図１６のステップＳ３１で、ＣＰＵ２００は、ローカル辞書の作成指示を受信したと判断し、ステップＳ３３において、ロボット１２が認識した人間１６とのコミュニケーションに使用する当該人間１６に専用の物品ローカル辞書２０５Ａおよび音声認識ローカル辞書２０５Ｂの作成を行う。
When the local dictionary creation instruction and the user ID are transmitted from the
ステップＳ３３の「ローカル辞書の作成」の処理は、図１８のフロー図に示す手順で実行される。まず、図１８のステップＳ８１で、ロボット１２から送信されたユーザＩＤで特定される人間１６の近傍にある物品（本）２４のレコードを物品辞書１２２から抽出して物品ローカル辞書２０５Ａを作成する。
The process of “create local dictionary” in step S33 is executed according to the procedure shown in the flowchart of FIG. First, in step S81 in FIG. 18, a record of an article (book) 24 near the
このとき、ＣＰＵ２００は、無線タグ読取装置２０８を駆動してアンテナ１２４を介して、人間１６に付着された無線タグ１８から電波を受信して人間１６ごとにユーザＩＤと人間の位置を特定する。そして、こうして特定した複数の人間１６のユーザＩＤと人間の位置の情報と、ロボット１２より送信されたユーザＩＤとに基づいてロボット１２が認識した人間１６の位置を特定する。
At this time, the
ロボット１２が認識した人間１６の位置を特定すると、次に、物品辞書１２２に記憶されている各レコードの物品（本）２４の位置が記憶されている項目を参照し、図５に示すような物品辞書１２２から、ロボット１２が認識した人間１６の近傍に位置する物品（本）２４のレコードをすべて抽出して、図６に示すような物品ローカル辞書２０５Ａを作成する。
When the position of the
こうして物品ローカル辞書２０５Ａを作成すると、次に、ＣＰＵ２００はステップＳ８３で、「物品ローカル辞書２０５Ａに登録されている単語」の一覧３００を作成する。図７は、この単語の一覧３００を示した図解図である。この単語の一覧３００は、音声認識辞書１２６から音声認識ローカル辞書２０５Ｂを作成する際に使用される。図６および図７からわかるように、単語の一覧３００に登録される「物品ローカル辞書２０５Ａに登録されている単語」とは、物品ローカル辞書２０５Ａの各レコードの「名称」、「属性」、「著者」、「出版社」のそれぞれに記憶されているテキスト形式の単語である。ただし、図７に示されるように、この単語一覧３００には、テキスト形式の文字列からなる単語のみではなく、先に説明した音素記号列（図７の例では、“bakenazo”、“saiai”）もユーザＩＤ（図７の例では、（456…0000004）、（456…0000003））とともに登録される。これらの音素記号列（およびユーザＩＤ）は、先述したように、物品辞書１２２に単語が登録されていなかったために、登録されていない単語に対応する音素記号列が後から登録されたものである。
After the article
ステップＳ８５では、単語の一覧３００に登録されている音素記号列の中から、ロボット１２が認識した人間１６のユーザＩＤ以外のユーザＩＤが対応つけられている音素記号列を削除する。ロボット１２が認識した人間１６のユーザＩＤが（456…0000004）である場合には、図８に示したように、他の人間１６のユーザＩＤ（456…0000003）と対応つけられている“saiai”が削除される。ユーザＩＤが（456…0000003）である人間１６に特有の“saiai”という本２４（化学の目）の名称の呼び方は、ロボット１２が認識したユーザＩＤが（456…0000004）である人間１６とのコミュニケーションにおける音声認識には必要がないと考えられるからである。
In step S85, a phoneme symbol string associated with a user ID other than the user ID of the human 16 recognized by the
次に、ＣＰＵ２００は、ステップＳ８７で、単語の一覧３００における冗長性を排除する。つまり、図７の例において、単語の一覧３００に登録されている「白色」や「ハードカバー」などの重複部分を図８に示すように削除する。
Next, in step S87, the
こうして単語の一覧３００が完成すると、次に、この単語の一覧３００を利用して音声認識辞書１２６から音声認識ローカル辞書２０５Ｂを作成する。
When the word list 300 is completed in this manner, the speech recognition
まず、ステップＳ８９において、ＣＰＵ２００は、メモリ２０４内に設定したカウンタＣｔ１をインクリメントする。初期状態では、カウンタＣｔ１は「０」である。このカウンタＣｔ１は、単語の一覧３００に登録されている単語の数をカウントするものであり、単語の一覧３００のポインタとして機能する。したがって、カウンタＣｔ１のカウント値によって、単語の一覧３００内において異なる単語を指定する。カウンタＣｔ１のカウント値が、単語の一覧３００に登録されている単語の数「Ｌ」に等しくなるまで、以下の動作が各単語について実行されると理解されたい。
First, in step S89, the
ステップＳ９１では、単語の一覧３００に登録されている単語が音素記号列であるか否かを判断する。たとえば、単語の一覧３００に登録されている単語が図８に示すように、テキスト形式で表現された「地球温暖化」という単語であれば、ステップＳ９１でＮＯと判断される。すると、ステップＳ９３で、テキスト形式である「地球温暖化」という単語をキーとして、音声認識辞書１２６（図１０参照）を検索し、「地球温暖化」という単語を記憶した項目を含むレコードを抽出し、図１１に示すように音声認識ローカル辞書２０５Ｂに登録する。
In step S91, it is determined whether or not the word registered in the word list 300 is a phoneme symbol string. For example, if the word registered in the word list 300 is the word “global warming” expressed in a text format as shown in FIG. 8, NO is determined in step S91. Then, in step S93, the speech recognition dictionary 126 (see FIG. 10) is searched using the word “global warming” in text format as a key, and a record including an item storing the word “global warming” is extracted. Then, it is registered in the voice recognition
一方、単語の一覧３００に登録されている単語が図８に示すように、音素記号形式で表現された“bakenazo”という単語であれば、ステップＳ９１でＹＥＳと判断される。すると、ステップＳ９５で、音素記号列である“bakenazo”という単語をキーとして音声認識辞書１２６を検索し、“bakenazo”という単語を記憶した項目を含むレコードを抽出し、図１１に示すように音声認識ローカル辞書２０５Ｂに登録する。
On the other hand, if the word registered in the word list 300 is the word “bakenazo” expressed in the phoneme symbol form as shown in FIG. 8, “YES” is determined in the step S91. Then, in step S95, the
このようにして、物品辞書１２２から物品ローカル辞書２０５Ａが作成され、音声認識辞書１２６から音声認識ローカル辞書２０５Ｂが作成される。
In this way, the article
一方、図１５に戻って、ロボット１２において、ステップＳ３でローカル辞書の作成指示をサーバ２０に送信した後は、ステップＳ５で、ＣＰＵ８０は、メモリ８４内に設定している発話／ジェスチャ辞書８５Ａを用いて、スピーカ６４から、たとえば、「何か本を持って来ましょうか？」のような発話を行なわせる。その後、人間１６がたとえば「花火の匠持ってきて」のような発話をしたとすると、ロボット１２が人間１６の指示を認識し、ステップＳ７で、ＣＰＵ８０が、“ＹＥＳ”と判断する。このとき、人間１６は、「花火の匠持ってきて」という発話とともに、該当本に視線を向けつつ当該本を指差すことによって、どの本持ってきてほしいかを指示する。
On the other hand, returning to FIG. 15, after the
ＣＰＵ８０は、ステップＳ７でＹＥＳと判断すると、次にステップＳ９において、人間１６が指示した「花火の匠持ってきて」という音声の情報とともに、音声認識ならびに視線と指差しの推定を行わせる指示をサーバ２０に送信する。
If the
サーバ２０では、ＣＰＵ２００が、図１６のステップＳ３５において、ロボット１２から音声認識ならびに視線と指差しの推定を行わせる指示を音声の情報とともに受信したと判断すると、ステップＳ３７における「音声認識による物品の推定」の処理とステップＳ３９における「視線と指差しによる物品の推定」の処理とを並列的に実行する。
In the
「音声認識による物品の推定」の処理は、図１９のフロー図に示す手順にしたがって実行される。まず、ＣＰＵ２００は、ステップＳ１１１で、ロボット１２から送信されてきた「花火の匠持ってきて」という音声の情報を音声認識する。具体的には、「花火の匠持ってきて」という音声を音素に分割し、各音素に対応する音素記号を生成する。そして、図示しない文法辞書を参照して、生成した音素記号列“hanabinotakumi mottekite”のうち“hanabinotakumi”という音素記号列が目的語であると特定する。次に、この“hanabinotakumi”という音素記号列をキーとして音声認識ローカル辞書２０５Ｂ（図１１参照）を検索し、もっとも近い音素記号列の単語を記憶した項目を有するレコードを特定する。そして、特定したレコードに記憶されているテキスト形式の単語である「花火の匠」を得る。また、このとき、特定したレコードの「物品名称」の項目に記憶されている情報に基づいて、音声認識されたのが物品の名称であるか、つまり、本２４のタイトル（名称）であるか否かを判断することができる。この判断に基づいて後ほどフラグｔｗの設定を行うが、後ほど設定を行うのはフロー図の表現上の都合であり、ステップＳ１１１においてフラグｔｗの設定を行えばよい。
The process of “estimating an article by voice recognition” is executed according to the procedure shown in the flowchart of FIG. First, in step S <b> 111, the
たとえば、人間１６が「花火の匠持ってきて」という代わりに「黒いの持ってきて」と指示した場合には、同様にしてステップＳ１１１における音声認識の結果として、「黒い」が得られる。なお、音声認識の方法としては特に限定されるものではなく既存の方法を採用することができる。 For example, when the human 16 instructs “bring a fireworks master” instead of “bring a black firework”, “black” is similarly obtained as a result of the speech recognition in step S111. The voice recognition method is not particularly limited, and an existing method can be adopted.
また、人間１６が「花火の匠持ってきて」という代わりに、「花火の匠」という単語の人間１６独特の略語である「ハナタク」という単語を用いて、「ハナタク持ってきて」と発話した場合には、音声認識ローカル辞書２０５Ｂには「ハナタク」という単語に相当する“hanataku”という音素記号列は登録されていないので、音声認識をすることができない。
Also, instead of saying "Take Fireworks Takumi", human 16 uttered "Take Hanatak" using the word "Hanataku" which is a unique abbreviation for the word "Fireworks Takumi". In this case, since the phonetic symbol string “hanataku” corresponding to the word “hanataku” is not registered in the speech recognition
このように、音声認識ができない単語があった場合には、ＣＰＵ２００は、ステップＳ１１３において、ＹＥＳと判断し、ステップＳ１１５において、音声認識した人間１６の発話内容は特定のパターンであったか否かを判断する。ここで発話内容の特定のパターンとは、たとえば、「○○持ってきて」や「○○お願い」などであり、人間１６が指示する物品を特定する単語（○○）が含まれるであろう発話パターンである。人間１６が発した発話の内容がこれらの特定のパターンに該当するか否かは、音声認識の処理における図示しない文法辞書を用いた発話内容の文法解析とともに、メモリ２０４に設定されている発話パターン辞書２０５Ｃを参照することによって判定することができる。
As described above, when there is a word that cannot be recognized by the voice, the
ステップＳ１１５でＹＥＳと判断した場合は、音声認識できなかった単語であって、人間１６が指示した物品を特定するであろう単語があることを示すために、ステップＳ１１７で、メモリ２０４上に設定されているフラグｎｗに数値「１」を記憶させてフラグｎｗをオン状態にする。なお、フラグｎｗの初期状態はオフ状態（数値「０」）である。そして、ステップＳ１１９では、ステップＳ１１１における音声認識の処理で生成された、音声認識できなかった単語の音素記号列をメモリ２０４に設定されたワークエリアｗａに格納する。なお、ステップＳ１１５でＮＯと判断すると、ステップＳ１１７およびステップＳ１１９をスキップする。
If YES is determined in step S115, it is set on the
一方、ステップＳ１１３においてＮＯと判断すると、つまり、音声認識できない単語がなかったと判断すると、ステップＳ１２１において、ＣＰＵ２００は、音声認識した単語は物品の名称、つまり、本２４のタイトル（名称）であったかどうかを判断する。この音声認識した単語が本２４のタイトル（名称）であったかどうかは、音声認識ローカル辞書２０５Ｂの各レコードに含まれる「物品名称」の項目に記録されている情報に基づいて判断される。
On the other hand, if NO is determined in step S113, that is, if it is determined that there is no word that cannot be voice-recognized, in step S121, the
ステップＳ１２１でＹＥＳと判断すると、ステップＳ１２３で、本２４のタイトル（名称）が音声認識されたことを示すために、メモリ２０４に設定されたフラグｔｗに数値「１」を記憶させてフラグｔｗをオン状態にする。なお、フラグｔｗの初期状態はオフ状態（数値「０」）である。ステップＳ１２１でＮＯと判断するとステップＳ１２３をスキップする。
If YES is determined in the step S121, a numerical value “1” is stored in the flag tw set in the
ステップＳ１２５では、ＣＰＵ２００は、ステップＳ１１１における音声認識の結果として得られたテキスト形式の単語、たとえば、「花火の匠」に基づいて物品ローカル辞書２０５Ａを参照し、人間１６が指示した物品（本）２４の候補としての物品（本）２４を選出する。具体的には、ステップＳ１１１で得られたテキスト形式の単語、たとえば、「花火の匠」をキーとして、物品ローカル辞書２０５Ａを検索し、「花火の匠」というテキスト形式の単語を項目に記憶しているレコードを特定する。図６の例では、物品ＩＤが「123…0000046」であるレコードが「名称」の項目に「花火の匠」という単語を記憶しているので、物品ＩＤが「123…0000046」である物品（本）２４が特定される。こうして特定された物品ＩＤの物品（本）２４が、人間１６が指示した物品の候補として選出され、当該物品（本）２４のＩＤが物品リストＡ（不図示）に登録される。
In step S125, the
ここで、ステップＳ１１１における音声認識の結果として得られた単語が、たとえば、「白い」であった場合は、図６の物品ローカル辞書２０５Ａの例の場合では、「属性」の項目に「白い」という単語を記憶しているレコードが複数存在するので、これらのレコードに含まれる物品ＩＤ、つまり、物品ＩＤが「123…0000035」、「123…0000091」、および「123…0000102」の物品（本）２４が、人間１６が指示した物品の候補として選出される。この場合、こうして選出された複数の物品のＩＤが、物品リストＡ（不図示）に登録される。
Here, if the word obtained as a result of the speech recognition in step S111 is “white”, for example, in the case of the article
ステップＳ１２７では、こうして選出された物品（本）２４の候補が物品リストＡに存在するか否かを判断する。ステップＳ１２７でＹＥＳと判断すると、ステップＳ１２９で、ＣＰＵ２００は、音声認識の結果による物品（本）２４の候補が存在することを示すために、メモリ２０４に設定されているフラグｃａに数値「１」を記憶させてフラグｃａをオン状態にする。なお、フラグｃａの初期状態はオフ状態（数値「０」）である。ステップＳ１２７でＮＯと判断すると、ステップＳ１２９をスキップする。このようにして、音声認識によって、人間１６が指示した物品（本）２４の推定が行われる。
In step S127, it is determined whether or not the candidate for the article (book) 24 thus selected exists in the article list A. If YES is determined in step S127, in step S129, the
図１６に戻って、ステップＳ３９の「視線と指差しによる物品の推定」の処理は、図２０のフロー図に示す手順にしたがって実行される。ＣＰＵ２００は、まず、ステップＳ１４１で、メモリ２０４内に設定したカウンタＣｔ２をインクリメントする。初期状態ではカウンタＣｔ２は「０」が設定されている。このカウンタＣｔ２は、人間１６の近傍に存在する物品の数をカウントするもので、物品ローカル辞書２０５Ａ（図６参照）のポインタとして機能する。したがって、カウンタＣｔ２のカウント値によって、物品ローカル辞書２０５Ａ内において、異なる物品を指定する。カウンタＣｔ２のカウント値が、物品ローカル辞書２０５Ａ内にリストアップしている物品の数「ｍ」に等しくなるまで、以下の動作が各物品について、実行されるものと理解されたい。
Returning to FIG. 16, the processing of “estimation of article by line of sight and pointing” in step S39 is executed according to the procedure shown in the flowchart of FIG. First, the
ステップＳ１４１に続いて、ＣＰＵ２００は、人間１６の視線を推定してそれの確信度を求める動作と、指差し方向を推定してそれの確信度を求める動作とを並行して実行するが、ここでは便宜上、まず視線を推定し次いで指差し方向を推定する順序で説明する。
Subsequent to step S141, the
図２０のステップＳ１４１〜ステップＳ１５３の処理は、図１６のステップＳ３５でロボット１２から音声認識ならびに視線と指差しの推定を行わせる指示を受信した後の一定の繰り返しの時間（ｔ１，ｔ２，ｔ３，…，ｔｍ）毎に実行されるが、実施例では、５０Ｈｚ（１秒間に５０回）で実行されるものとする。なお、ステップＳ１４１〜ステップＳ１５３の処理は、たとえば、図１５のステップＳ５でロボット１２が発話を行った際に、その旨を知らせる通知をロボット１２からサーバ２０に送信し、当該通知を受信したサーバ２０が、当該通知を受信した後の一定の繰り返しの時間（ｔ１，ｔ２，ｔ３，…，ｔｍ）毎に実行するようにしてもよい。
The processing from step S141 to step S153 in FIG. 20 is performed at a predetermined repetition time (t1, t2, t3) after receiving an instruction for performing speech recognition and gaze and pointing estimation from the
ステップＳ１４３では、ＣＰＵ２００は、ロボット１２から、人間１６の視線の方向を示す視線ベクトル情報を受信する。フロー図には明記しないが、ロボット１２では、ＣＰＵ８０は、たとえば眼カメラ７０からのカメラ映像を処理することによって、先に挙げた公開公報に記載したいずれかの方法に従って、人間１６の左右のそれぞれの眼の視線ベクトルを推定する。この左右それぞれの眼の視線方向は図１３において直線Ｌ１およびＬ２で示される。このようにして、ロボット１２は、所定の時間間隔で繰り返し各視線Ｌ１およびＬ２を推定し、この視線の方向を示す視線ベクトル情報をサーバ２０に送信する。
In step S <b> 143, the
サーバ２０では、ステップＳ１４５において、ＣＰＵ２００が、カウンタＣｔ２がそのとき物品ローカル辞書２０５Ａ内でポイントしている物品と、各視線Ｌ１およびＬ２との距離を計算する。この計算の際には、ＣＰＵ２００は、ロボット１２から受信した視線ベクトル情報をロボット座標系からワールド座標系に座標変換して使用する。また、この距離の計算の際には、物品ローカル辞書２０５Ａの当該物品（本）２４のレコードに記録されている当該物品（本）２４の位置の情報が利用される。
In the
一方、指差し方向を推定するためには、ステップＳ１４７において、まず、ＣＰＵ２００は、人間１６が指差し動作をした腕を特定する。具体的には、モーションキャプチャのデータを参照して、たとえば、人間１６の指先と肩の高さとの差が小さい側の腕を指差し腕として推定する。なぜなら、指差し動作をする場合には、腕を持ち上げる動作をまずすると考えられるからである。このようにして、ステップＳ１４７でどちらの腕を用いて指差し動作をするかを推定した後、ＣＰＵ２００は、次のステップＳ１４９において、指差し方向を推定する。
On the other hand, in order to estimate the pointing direction, in step S147, first, the
この実施例では、図１３に示すように、指差し腕の指先と顔の中心（重心）とを通る直線Ｌ３、および指差し腕の指先とその腕の肘とを通る直線Ｌ４を想定する。そして、モーションキャプチャのデータを参照して、その直線Ｌ３およびＬ４を推定する。次のステップＳ１５１において、各直線Ｌ３およびＬ４と各物品との間の距離を計算する。 In this embodiment, as shown in FIG. 13, a straight line L3 passing through the fingertip of the pointing arm and the center (center of gravity) of the face and a straight line L4 passing through the fingertip of the pointing arm and the elbow of the arm are assumed. Then, the straight lines L3 and L4 are estimated with reference to the motion capture data. In the next step S151, the distance between each straight line L3 and L4 and each article is calculated.
上述のステップＳ１４３〜Ｓ１４５およびステップＳ１４７〜Ｓ１５１は、繰返し時間（ｔ１，ｔ２，ｔ３，．．．，ｔｍ）毎に行われる。そして、各繰返しの時間（ｔ１，ｔ２，ｔ３，．．．，ｔｍ）毎に、線Ｌ１，Ｌ２，Ｌ３，およびＬ４との距離が最小になる物品を求める。各線において、最小になった物品に対して高い確信度（図１４でいえば「○」印）を付与する。このようにして、たとえば図１４に示すような確信度表を作成する。 The above-described steps S143 to S145 and steps S147 to S151 are performed every repetition time (t1, t2, t3,..., Tm). Then, for each repetition time (t1, t2, t3,..., Tm), an article having a minimum distance from the lines L1, L2, L3, and L4 is obtained. In each line, a high certainty factor (“◯” in FIG. 14) is assigned to the minimized article. In this way, for example, a certainty factor table as shown in FIG. 14 is created.
このように直線毎に最短距離を持つ物品を算出することによって確信度表を作成するようにすれば、１つの物品について２以上の直線について確信度（○）が付与されることがある。このことによって、後にステップＳ１５５で説明するような物品リストＢ（不図示）を作成することができるのである。 If the certainty factor table is created by calculating the article having the shortest distance for each straight line as described above, the certainty factor (○) may be given to two or more straight lines for one article. As a result, an article list B (not shown) as will be described later in step S155 can be created.
この図１４の確信度表において、視線Ｌ１およびＬ２のそれぞれについて評価される確信度は「視線確信度」ということができ、指差し方向線Ｌ３およびＬ４のそれぞれについて評価される確信度が「指差し方向確信度」であるということができる。 In the certainty factor table of FIG. 14, the certainty factor evaluated for each of the lines of sight L1 and L2 can be referred to as “gaze certainty factor”, and the certainty factor evaluated for each of the pointing direction lines L3 and L4 is “finger”. It can be said that it is the “direction direction certainty”.
図１４に示す例で説明すると、「123…0000001」のＩＤを持つ物品、実施例でいえば図１に示す「地球温暖化」という名称の本についていえば、時間ｔ１に一方の視線Ｌ２とこの本との間の距離が最小になったものの、その他の時間区間ではどの線も当該本に最接近することはなかったと判断できる。次の、「123…0000046」のＩＤを持つ物品、実施例でいえば図１に示す「花火の匠」という名称の本についていえば、時間ｔ１を除いて、各時間にどれかの線がこの物品に再接近したことがわかる。このようにして、図１４に示す確信度表がステップＳ１４５およびステップＳ１５１で作成される。 Referring to the example shown in FIG. 14, an article having an ID of “123... 0000001”, in the example, a book named “global warming” shown in FIG. Although the distance to the book is minimized, it can be determined that no line is closest to the book in other time intervals. For the next article having an ID of “123 ... 0000046”, in the example, the book named “Fireworks Takumi” shown in FIG. It can be seen that this article has been approached again. In this way, the certainty factor table shown in FIG. 14 is created in steps S145 and S151.
ステップＳ１５５においてＣＰＵ２００は、図１４に示す確信度表を参照して、そのとき人間１６が指示したと考える物品（本）２４を特定する。具体的には、確信度評価（図１４で言えば丸印）が単に多い順や、繰返し時間で視線（Ｌ１またはＬ２）と指差し(Ｌ３またはＬ４)の両方に○が入っている回数が多い順などに従って、物品のＩＤのリストである物品リストＢ（不図示）を作成する。
In step S <b> 155, the
この確信度評価について、たとえば、図１４に示す例で説明すると、「123…0000001」のＩＤを持つ「地球温暖化」という名称の本についていえば、確信度評価は「１」（１つの○印が付与された。）であり、「123…0000046」のＩＤを持つ「花火の匠」という本の確信度は「３」ということになる。したがって、この場合には、物品リストＢには、ＩＤ「123…0000046」、ＩＤ「123…0000001」の順で登録される。 This confidence evaluation will be described with reference to the example shown in FIG. 14. For example, if the book named “global warming” having the ID “123... The degree of certainty of the book “Fireworks Takumi” with ID “123... 0000046” is “3”. Accordingly, in this case, ID “123... 0000046” and ID “123... 0000001” are registered in the article list B in this order.
ただし、確信度（○印）の数が同じ場合であるとか、確信度（○印）の数が所定の閾値より小さい場合など、判断に迷う場合には、たとえば、図１４に示す各繰り返しの時間の全区間の半分以上で確信度が付与されているような物品を対象物として特定すればよい。 However, when the number of certainty factors (circles) is the same, or when the number of certainty factors (circles) is smaller than a predetermined threshold, for example, each repetition shown in FIG. What is necessary is just to specify the articles | goods to which confidence is provided in the half or more of all the sections of time as a target object.
このようにして、ステップＳ３７の「音声認識による物品の推定」の処理で物品リストＡが作成され、ステップＳ３９の「視線と指差しによる物品の推定」の処理で物品リストＢが作成されると、次に、ＣＰＵ２００は、図１６のステップＳ４１で、人間１６が指示した物品の候補の一覧である候補物品一覧Ｃ（不図示）を作成する。この候補物品一覧Ｃを作成する処理は、図２１のフロー図に示す手順で実行される。
In this manner, the article list A is created by the process of “estimating articles by voice recognition” in step S37, and the article list B is created by the process of “estimating articles by line of sight and pointing” in step S39. Next, in step S41 of FIG. 16, the
まず、ＣＰＵ２００は、ステップＳ１６１で、メモリ２０４に設定されているフラグｃａがオン状態であるか、つまり、音声認識の結果により推定された物品が存在するか否か、言い換えれば、物品リストＡに物品のＩＤが登録されているか否かを判断する。
First, in step S161, the
ステップＳ１６１でＮＯと判断すると、音声認識の結果によって推定された物品は存在しないので、ステップＳ１６３で、視線確信度および指差し方向確信度に基づいて候補物品一覧Ｃを作成する。つまり、物品リストＢの内容をそのままに候補物品一覧Ｃを作成する。 If NO is determined in step S161, there is no article estimated based on the result of the voice recognition. Therefore, in step S163, a candidate article list C is created based on the line-of-sight certainty and the pointing direction certainty. That is, the candidate article list C is created with the contents of the article list B as they are.
一方、ステップＳ１６１でＹＥＳと判断すると、次に、ＣＰＵ２００は、ステップＳ１６５で、フラグｔｗがオン状態であるか、つまり、音声認識により本２４のタイトル（名称）（物品の名称）が認識されたか否か、言い換えれば、音声認識の結果として得られた物品リストＡに登録されている物品のＩＤは、人間１６の発話内容に含まれる本２４のタイトル（名称）に基づいて決定されたか否かを判断する。
On the other hand, if “YES” is determined in the step S161, the
ステップＳ１６５でＹＥＳと判断すると、ステップＳ１６７で、ＣＰＵ２００は、音声認識の結果を視線確信度および指差し方向確信度よりも優先させて候補物品一覧Ｃを作成する。つまり、物品リストＡに登録されている物品のＩＤが上位となるように先に候補物品一覧Ｃに登録し、その後に、物品リストＢに登録されている物品のＩＤが下位となるように登録する。これは、人間１６が名指しした本２４のタイトル（名称）を音声認識して物品（本）２４を推定したほうが、視線や指差しに基づいて物品（本）２４を推定するよりも確実であると考えられるからである。なお、物品リストＡと物品リストＢとに重複する物品のＩＤが存在する場合には、物品リストＢに登録されている物品のＩＤを候補物品一覧Ｃに登録しない。
If YES is determined in step S165, in step S167, the
一方、ステップＳ１６５でＮＯと判断すると、ＣＰＵ２００は、ステップＳ１６９で、視線確信度および指差し方向確信度を音声認識の結果よりも優先させて候補物品一覧Ｃを作成する。つまり、物品リストＢに登録されている物品のＩＤが上位となるように先に候補物品一覧Ｃに登録し、その後に、物品リストＡに登録されている物品のＩＤが下位となるように登録する。なお、物品リストＡと物品リストＢとに重複する物品のＩＤが存在する場合には、物品リストＡに登録されている物品のＩＤを候補物品一覧Ｃに登録しない。
On the other hand, if NO is determined in step S165, the
このようにして候補物品一覧Ｃが作成されると、次に、ＣＰＵ２００は、図１６のステップＳ４３で、候補物品一覧Ｃから第１候補である物品（本）２４を選出する。はじめのステップＳ４３では、候補物品一覧Ｃの先頭に登録されている物品（本）２４のＩＤを選出する。２回目以降のステップＳ４３では、候補物品一覧Ｃの２番目以降に登録されている物品（本）２４のＩＤを選出する。
When the candidate article list C is created in this way, the
そして、ステップＳ４５では、ステップＳ４３で物品（のＩＤ）が選出されたか否か、つまり、候補となる物品（本）２４が存在したか否かを判断する。ステップＳ４５で、ＹＥＳと判断すると、次に、ＣＰＵ２００は、ステップＳ４７において、ステップＳ４３で選出された物品の位置情報を取得する。つまり、ＣＰＵ２００は、ステップＳ４３で選出された物品（本）２４（以下、「選出物品（本）２４」と呼ぶ。）のＩＤをキーとして物品ローカル辞書２０５Ａを検索することによって、当該物品ＩＤが示す物品（本）２４の位置の情報を取得する。
In step S45, it is determined whether or not an article (its ID) is selected in step S43, that is, whether or not a candidate article (book) 24 exists. If YES is determined in the step S45, the
次に、ＣＰＵ２００は、ステップＳ４９で、「選出物品（本）２４」が、人間１６が指示した物品（本）２４であるか否かを人間１６に確認するためにロボット１２に発話させる際の発話内容を決定する。ロボット１２が行うこの発話の内容には、サーバ２０が、人間１６が指示したと推定する物品（本）２４を特定する単語（以下、「特定単語」と呼ぶ。）が含まれる。図６を参照して、サーバ２０が、人間１６が指示したと推定した物品（本）２４が、物品ＩＤが「123…0000046」である「花火の匠」とう本であったとする。この場合、ステップＳ４９では、たとえば、「花火の匠の本ですね」、「黒色の本ですね」、「ハードカバーの本ですね」などという発話内容を決定する。この例の場合、それぞれ、「花火の匠」、「黒色」、「ハードカバー」が先述の「特定単語」である。この「発話内容の決定」の処理は、図２２のフロー図に示す手順で実行される。
Next, in step S49, the
図２２を参照して、まず、ＣＰＵ２００は、ステップＳ１８１で、メモリ２０４に設定されている個人正誤ＤＢ２０５Ｅを参照して、ロボット１２が認識した人間１６とコミュニケーションをとるのがはじめてであるか否か、つまり、当該人間１６の指示する物品（本）２４を特定するのがはじめてであるか否かを判断する。個人正誤ＤＢ２０５Ｅは、ロボット１２と人間１６とのコミュニケーション結果の記録である。つまり、この個人正誤ＤＢ２０５Ｅには、ロボット１２とコミュニケーションを行った人間１６のＩＤと当該人間１６が指示する物品（本）２４をシステム１０が正しく推定することができたか否かを示す成功、不成功の別がコミュニケーションのたび毎に記録されている。個人正誤ＤＢ２０５Ｅに当該人間１６のＩＤが記録されていなければ、当該人間１６は初対面であると判断する。
Referring to FIG. 22, first, in step S181,
ステップＳ１８１でＹＥＳと判断すると、つまり、人間１６は初対面であると判断すると、ステップＳ１８３で、ＣＰＵ２００は、物品（本）２４の「特定単語」を本２４のタイトル（名称）に決定する。この本２４のタイトル（名称）の内容は、図１６のステップＳ４３で選出した物品（本）２４（「選出物品（本）２４」）のＩＤを物品ローカル辞書２０５Ａで検索することによって得ることができる。
If YES is determined in step S181, that is, if it is determined that the human 16 is the first meeting, the
そして、ステップＳ２０３では、メモリ２０４に設定されている発話辞書２０５Ｄを利用して、ステップＳ１８３で決定した「特定単語」である本２４のタイトル（名称）、たとえば、「花火の匠」に基づいて「花火の匠の本ですね」などという発話内容を決定する。なお、ステップＳ２０３では、決定した発話内容をロボット１２がこれにしたがって発話するための発話内容情報の生成も行う。
In step S203, using the
一方、ステップＳ１８１でＮＯと判断された場合、つまり、当該人間１６のＩＤが個人正誤ＤＢ２０５Ｅに記録されている場合は、ステップＳ１８５で、ＣＰＵ２００は、同じく個人正誤ＤＢ２０５Ｅを参照して当該人間１６とのコミュニケーションにおける成功率を計算し、成功率が、たとえば、７０％以上であるか否かを判断する。ステップＳ１８５でＮＯと判断すると、先に説明したように、ステップＳ１８３で、物品（本）２４の「特定単語」を本２４のタイトル（名称）と決定し、ステップＳ２０３で、発話内容を決定する。
On the other hand, if NO is determined in step S181, that is, if the ID of the
一方、ステップＳ１８５で、ＹＥＳと判断すると、ステップＳ１８７で、「選出物品（本）２４」に関する単語の一覧Ｄ（不図示）を物品ローカル辞書２０５Ａから作成する。たとえば、「選出物品（本）２４」が、図６を参照して物品ＩＤが「123…0000046」である「花火の匠」という本２４であったとすると、単語の一覧Ｄには、物品ローカル辞書２０５Ａの物品ＩＤが「123…0000046」であるレコードに登録されている単語である「花火の匠」、「黒色」、「ハードカバー」、「近藤四郎」、「ＡＴＲ出版株式会社」が登録される。
On the other hand, if YES is determined in the step S185, a word list D (not shown) relating to the “selected article (book) 24” is created from the article
単語の一覧Ｄが作成されると、次に、ＣＰＵ２００は、ステップＳ１８９で、単語の一覧Ｄに登録されている単語のうち、人間１６の近傍に存在する物品（本）２４に関連する単語と同一の単語を削除する。人間１６の近傍には、物品ローカル辞書２０５Ａに登録されている物品（本）２４が存在することになる。「選出物品（本）２４」が、図６を参照して物品ＩＤが「123…0000046」である「花火の匠」という本２４であったとすると、単語の一覧Ｄには、先述したように、「ハードカバー」という単語や「ＡＴＲ出版株式会社」という単語が登録されている。
After the word list D is created, the
ここで、物品（本）２４の「特定単語」を「ハードカバー」という単語や「ＡＴＲ出版株式会社」という単語に決定し、ロボット１２が「ハードカバーの本ですね」や「ＡＴＲ出版株式会社の本ですね」と発話したとする。すると、図６の物品ローカル辞書２０５Ａからわかるように、人間１６の近傍には「ハードカバーの本」や「ＡＴＲ出版株式会社の本」は複数存在するので、人間１６はロボット１２の発話に基づいてロボット１２がどの物品（本）２４を示しているのかがわからない。そこで、単語の一覧Ｄから、物品ローカル辞書２０５Ａに記録されている「選出物品（本）２４」以外のレコードに記録されている単語と同一の単語を削除する。
Here, the “specific word” of the article (book) 24 is determined to be the word “hardcover” or the word “ATR Publishing Co., Ltd.”, and the
次に、ステップＳ１９１で、ＣＰＵ２００は、単語の一覧Ｄから６個未満の音素からなる単語、つまり、音声認識の処理において６個未満の音素に分解される単語を削除する。これは、音素数の少ない単語は正しく音声認識されにくいためである。なお、分解される音素の数は、当該単語を音声認識ローカル辞書２０５Ｂに参照することによって判明する当該単語に対応する音素記号列を構成する音素記号の数によって判断することができる。ただし、図１１の音声認識ローカル辞書２０５Ｂに示した音素記号列は、説明の表現の都合上、アルファベットを用いてローマ字であらわしたものであり、図１１に示すアルファベットが音素記号をあらわしたものではない。そして、ステップＳ１９３では、さらに、単語の一覧Ｄから平仮名の「う」で始まる単語を削除する。これは、「う」から始まる単語は正しく音声認識されにくいためである。
Next, in step S191, the
次に、ＣＰＵ２００は、ステップＳ１９５で、単語の一覧Ｄに単語が存在するか否かを判断する。ステップＳ１９５でＮＯと判断すると、「特定単語」とするべき単語が単語の一覧Ｄに存在しないので、ステップＳ１９７で指示形容詞である「あの」という単語を「特定単語」に決定する。そして、ステップＳ２０３では、発話辞書２０５Ｄを利用して、ステップＳ１９７で決定した「特定単語」である「あの」に基づいて「あの本ですね」などという発話内容を決定する。あるいは、指示形容詞とステップＳ１８７の段階で作成した単語の一覧Ｄに登録されているいずれかの単語を用いて、「あの白い本ですね」という発話内容にしてもよい。ただし、この例では、「白い本」という言葉によっては物品（本）２４を一意に特定することはできない。なお、ステップＳ２０３では、指示代名詞を用いて「白いあれ（これ）ですね」という発話内容にしてもよいし、単に「あれ（これ）ですね」という発話内容にしてもよい。
Next, in step S195, the
一方、ステップＳ１９５でＹＥＳと判断すると、ステップＳ１９９で、メモリ２０４に設定されている音声認識率ＤＢ２０５Ｆを参照し、単語の一覧Ｄに登録されている単語のそれぞれの音声認識率を取得して単語の一覧Ｄに登録されている単語を音声認識率の高い順にソートする。そして、ステップＳ２０１では、単語の一覧Ｄの最上位に登録されているもっとも音声認識率の高い単語を「特定単語」に決定する。ステップＳ２０３では、発話辞書２０５Ｄを利用して、ステップＳ２０１で決定した「特定単語」に基づいて発話内容を決定する。このようにして、システム１０が推定した人間１６が指示した物品（本）２４を人間１６に確認するためにロボット１２が発話する内容が決定される。
On the other hand, if “YES” is determined in the step S195, the speech
このように、人間１６が指示したとシステム１０が推定した物品（本）２４を人間１６に確認する際にロボット１２が発話する内容に、音声認識率の高い「特定単語」を利用すると、人間１６がこれを真似し、次回にその物品（本）２４を指示する際にこの「特定単語」を利用すれば、システム１０は音声認識による物品（本）２４の特定を容易に行うことができるようになる。
As described above, when a “specific word” having a high voice recognition rate is used as the content spoken by the
図１６に戻って、ステップＳ４９において発話内容が決定されると、次に、ＣＰＵ２００は、ステップＳ５１で、ステップＳ４７で取得した「選出物品（本）２４」の位置情報とステップＳ２０３（図２２）で生成した発話内容情報とをロボット１２に送信する。
Returning to FIG. 16, when the utterance content is determined in step S49, the
ロボット１２では、「選出物品（本）２４」の位置情報と発話内容情報とを受信すると、ＣＰＵ８０が、図１５のステップＳ１１でＹＥＳと判断する。するとＣＰＵ８０は、次のステップＳ１３において、メモリ８４に設定されている発話／ジェスチャ辞書８５Ａを参照して、「選出物品（本）２４」の位置情報に基づいて「選出物品（本）２４」を指差すとともに、発話内容情報に基づいて発話を行う。なお、このとき、ＣＰＵ８０は、受信した「選出物品（本）２４」の位置情報をワールド座標系からロボット座標系に座標変換して利用する。
When the
「選出物品（本）２４」が「花火の匠」というタイトル（名称）の本２４である場合は、このステップＳ１３では、図１において右から２番名に置かれている本を指差しジェスチャで示すとともに、たとえば、「花火の匠の本ですね」のような発話を行う。
When the “selected article (book) 24” is the
このようなロボット１２の指差しと発話に対し、人間１６は、「そうです」とか「ちがいます」などといった応答を行う。するとロボット１２では、ＣＰＵ８０が、マイク６６を通して入力された人間１６の声を取り込み、ステップＳ１５で人間１６の応答があったと判断する。そして、ステップＳ１７では、取り込んだ人間１６の音声の情報とともに、当該音声を音声認識して肯定する内容であるか否定する内容であるかを判断させる指示をサーバ２０に送信する。
In response to such pointing and utterance of the
サーバ２０では、ＣＰＵ２００は、音声認識により肯定であるか否定であるかを判断させる指示と、音声認識すべき音声の情報を受信すると、図１６のステップＳ５３でＹＥＳと判断する。そして、次に、ＣＰＵ２００は、ステップＳ５５で、受信した音声の情報に音声認識処理を施して、音声の内容が肯定を示すものであるか否定を示すものであるかを判断し、ステップＳ５７でその判断結果をロボット１２に送信する。
In
ロボット１２では、音声認識による肯定であるか否定であるかの判断結果を受信すると、ＣＰＵ８０は、ステップＳ１９でＹＥＳと判断する。そして、さらに、ステップＳ２１ではサーバ２０における音声認識の結果が肯定を示すものであったか否かを判断する。ステップＳ２１でＮＯと判断すると、ＣＰＵ８０は、ステップＳ１１で、サーバ２０から「選出物品（本）２４」の位置情報と発話内容情報とをさらに受信したか否かを判断する。
When the
一方、ステップＳ２１でＹＥＳと判断すると、ロボット１２は、該当する物品（本）２４の方向に移動し、該当する物品(本)２４を把持して人間１６の位置に運ぶ。つまり、物品（本）２４が存在する位置の座標が既にわかっているので、ロボット１２のＣＰＵ８０は、車輪モータ３６を制御して、ロボット１２をその物品（本）２４の位置に移動させ、次いでアクチュエータ１０８（図３）を制御することによってハンド５６Ｒ（または５６Ｌ）開閉して物品（本）２４をハンド５６Ｒ（または５６Ｌ：図２）で把持させ、その状態で再び車輪モータ３６を制御してロボット１２を人間１６の位置にまで移動させる。このようにして、ステップＳ２３で、サーバ２０が図１６のステップＳ４３で選出した「選出物品（本）２４」を人間１６に運ぶことができる。
On the other hand, if “YES” is determined in the step S <b> 21, the
一方、サーバ２０では、図１６のステップＳ５７で、音声認識による人間１６の音声の内容が肯定であるか否定であるかの判断結果をロボット１２に送信した後、図１７のステップＳ６１で、当該判断の結果が肯定であったか否かを判断する。ステップＳ６１でＮＯと判断すると、ＣＰＵ２００は、図１６のステップＳ４３で、音声認識の結果ならびに視線確信度と指差し方向確信度から作成した前述の候補物品一覧Ｃから、次の候補である物品（本）２４の選出を行う。
On the other hand, in step S57 in FIG. 16, the
このとき、候補物品一覧Ｃに他の物品（本）２４のＩＤが登録されていない場合には、ステップＳ４５で物品が選出されなかったと判断される（ステップＳ４５でＮＯ）。すると、ＣＰＵ２００は、ステップＳ５９で候補物品がない旨の通知をロボット１２に送信する。
At this time, if the ID of the other article (book) 24 is not registered in the candidate article list C, it is determined that no article has been selected in step S45 (NO in step S45). Then, the
ロボット１２では、候補物品がない旨の通知を受信すると、ＣＰＵ２００が、図１５のステップＳ２５でＹＥＳと判断し、人間１６が指示する物品（本）２４を特定できなかったものとして処理を終了する。
When the
一方、図１７に戻って、ステップＳ６１でＹＥＳと判断すると、次に、ＣＰＵ２００は、ステップＳ６３で、人間１６の指示する物品（本）２４を特定することができたことを示すために、メモリ２０４に設定されているフラグｓｃに数値「１」を記憶させてフラグｓｃをオン状態にする。なお、フラグｓｃの初期状態はオフ状態（数値「０」）である。
On the other hand, returning to FIG. 17, if YES is determined in the step S61, the
次に、ＣＰＵ２００は、ステップＳ６５で、メモリ２０４に設定されているフラグｎｗがオン状態であるか否かを判断する。先に説明したように、このフラグｎｗは、人間１６が発話した音声を音声認識した結果、音声認識できない単語が存在し、その単語が、人間１６が指示した物品を特定するであろう単語である場合にオン状態に設定される。
Next, in step S65, the
ステップＳ６５でＹＥＳと判断すると、ＣＰＵ２００は、ステップＳ６７で、音声認識できなかった単語を物品辞書１２２に登録して辞書を更新する。具体的には、図１９のステップＳ１１９で、メモリ２０４のワークエリアｗａに格納された音声認識できなかった単語の音素記号列を、物品辞書１２２に登録する。たとえば、人間１６が「ハナタク持ってきて」と発話し、「ハナタク」が音声認識できなかったが、視線や指差しに基づく推定により、人間１６は「花火の匠」の本を指示していたと判明したとする。この場合、ワークエリアｗａには単語「ハナタク」の音素記号列“hanataku”が格納されているので、この音素記号列を、図９に示すように、物品辞書１２２の物品のＩＤが「123…0000046」である「花火の匠」という本２４のレコードの「属性」の項目に、この「ハナタク」という単語を発話した人間１６のＩＤとともに記憶する。
If YES is determined in the step S65, the
次に、ＣＰＵ２００は、ステップＳ６９で、音声認識できなかった単語を音声認識辞書１２６に新たなレコードとして登録して辞書を更新する。具体的には、ステップＳ６７での例をそのまま用いると、図１２に示すように、音声認識辞書１２６に、図１６のステップＳ４３で選出された物品（本）２４（「選出物品（本）２４」）の名称の単語である「花火の匠」を記憶した項目と、メモリ２０４のワークエリアｗａに格納されている音素記号列である“hanataku”を記憶した項目とを含むレコードを追加する。このとき、当該レコードの「物品名称」の項目には、物品の名称（本２４のタイトル（名称））であることを示す値「１」が格納される。
Next, in step S69, the
このように音声認識辞書１２２に「花火の匠」という単語と“hanataku”という音素記号列を登録しておくと、次回以降において、人間１６が、たとえば、「ハナタク持ってきて」と発話すると、「ハナタク」を音声認識することができ、その音声認識の結果として物品（本）２４の名称である「花火の匠」を得ることができる。
If the word “fireworks master” and the phoneme symbol string “hanataku” are registered in the
ステップＳ７１では、メモリ２０４に設定されている個人正誤ＤＢ２０５Ｅを更新する。つまり、メモリ２０４に設定されているフラグｓｃがオン状態であるか否かを判断し、オン状態である場合には、人間１６が指示する物品（本）２４を特定することができたということを示しているので、個人正誤ＤＢ２０５Ｅに当該人間１６とのコミュニケーションが成功したことを示す情報を記憶する。一方、フラグｓｃがオフ状態である場合には、当該人間１６とのコミュニケーションが不成功であったことを示す情報を記憶する。
In step S71, the personal correctness /
なお、ステップＳ６５でＮＯと判断した場合は、ステップＳ６７およびステップＳ６９をスキップする。 If NO is determined in step S65, steps S67 and S69 are skipped.
このように、システム１０では、人間１６の指示する物品（本）２４を特定すると、当該物品（本）２４に関連する単語、つまり、物品ローカル辞書２０５Ａに当該物品（本）２４のＩＤに関連付けて記憶されている単語（「特定単語」）を用いた音声で、当該物品（本）２４が人間１６の指示した物品（本）２４であるかをロボット１２が確認する。
As described above, in the
上述したように、この「特定単語」は、物品ローカル辞書２０５Ａにおいて人間１６の指示する物品（本）２４以外の他の物品（本）２４のＩＤに関連付けられていない単語である。つまり、「特定単語」は人間１６の近傍に存在する他の物品（本）２４に関連付けられていない単語である。また、この「特定単語」は、音声認識による認識率の高い単語である。そのため、次回に、人間１６が同一物品(本)２４を指示する場合に、この「特定単語」を利用すれば、システム１０は容易に人間１６の指示する物品（本）２４を特定することができる。人間１６はロボット１２が用いる「特定単語」を真似して用いることが期待できるので、このシステム１０によれば、人間１６にシステム１０が物品（本）２４を特定しやすい単語を用いさせることができる。
As described above, this “specific word” is a word that is not associated with the ID of an article (book) 24 other than the article (book) 24 indicated by the
１０ …コミュニケーションロボットシステム
１２ …コミュニケーションロボット
１４ …ネットワーク
１８ …無線タグ
２０ …サーバ
２４ …物品（本）
８０ …ＣＰＵ
１２０ …カメラ
１２４ …アンテナ
２００ …ＣＰＵ
２０８ …無線タグ読取装置
DESCRIPTION OF
80 ... CPU
120 ...
208... RFID tag reader
Claims (6)
物品に関連する単語と当該単語の音素記号列とを対応つけて記憶する第１記憶手段、
物品の識別情報と当該物品に関連する単語とを対応つけて記憶する第２記憶手段、
音声認識により生成した音素記号列を前記第１記憶手段に参照して物品に関連する単語を特定する単語特定手段、
前記単語特定手段が特定した物品に関する単語を前記第２記憶手段に参照して物品の識別情報を特定する物品特定手段、
前記物品特定手段が特定した物品の識別情報と対応つけて前記第２記憶手段に記憶された物品に関連する単語から所定の単語を選出する単語選出手段、および
前記単語選出手段が選出した単語を用いて前記特定手段が特定した物品が前記人間の指示した物品であるか否かを確認する音声を出力する音声出力手段を備える、コミュニケーションシステム。 A communication system for identifying an article designated by a person by voice recognition and confirming by voice whether the identified article is designated by the person,
First storage means for storing a word related to an article and a phoneme symbol string of the word in association with each other;
Second storage means for storing the identification information of the article and the word related to the article in association with each other;
Word specifying means for specifying a word related to an article by referring to the first storage means for a phoneme symbol string generated by speech recognition;
Article specifying means for specifying identification information of an article by referring to the second storage means for a word related to the article specified by the word specifying means;
A word selecting means for selecting a predetermined word from words related to the article stored in the second storage means in association with the identification information of the article specified by the article specifying means; and a word selected by the word selecting means. A communication system comprising voice output means for outputting a sound for confirming whether or not the article specified by the specifying means is an article designated by the human.
前記単語選出手段は、前記第３記憶手段への参照に基づいて前記認識の成功率の高い単語を決定する、請求項４または５記載のコミュニケーションシステム。 Third storage means for storing a word and a success rate of recognition by speech recognition of the word in association with each other;
The communication system according to claim 4, wherein the word selection unit determines a word having a high recognition success rate based on a reference to the third storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008069606A JP5194314B2 (en) | 2008-03-18 | 2008-03-18 | Communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008069606A JP5194314B2 (en) | 2008-03-18 | 2008-03-18 | Communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009223171A true JP2009223171A (en) | 2009-10-01 |
| JP5194314B2 JP5194314B2 (en) | 2013-05-08 |
Family
ID=41239988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008069606A Active JP5194314B2 (en) | 2008-03-18 | 2008-03-18 | Communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5194314B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013114107A (en) * | 2011-11-30 | 2013-06-10 | Advanced Telecommunication Research Institute International | Communication system, utterance content generation device, utterance content generation program, and utterance content generation method |
| WO2018135302A1 (en) * | 2017-01-18 | 2018-07-26 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2019203016A1 (en) * | 2018-04-19 | 2019-10-24 | ソニー株式会社 | Information processing device, information processing method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08263657A (en) * | 1995-03-20 | 1996-10-11 | Omron Corp | Object explanation device |
| JP2003169147A (en) * | 2001-11-30 | 2003-06-13 | Buzzhits Kk | Client response system and method |
| JP2004240319A (en) * | 2003-02-07 | 2004-08-26 | Toshiba Tec Corp | Portable terminal for speech recognition and speech recognition system using same |
-
2008
- 2008-03-18 JP JP2008069606A patent/JP5194314B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08263657A (en) * | 1995-03-20 | 1996-10-11 | Omron Corp | Object explanation device |
| JP2003169147A (en) * | 2001-11-30 | 2003-06-13 | Buzzhits Kk | Client response system and method |
| JP2004240319A (en) * | 2003-02-07 | 2004-08-26 | Toshiba Tec Corp | Portable terminal for speech recognition and speech recognition system using same |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013114107A (en) * | 2011-11-30 | 2013-06-10 | Advanced Telecommunication Research Institute International | Communication system, utterance content generation device, utterance content generation program, and utterance content generation method |
| WO2018135302A1 (en) * | 2017-01-18 | 2018-07-26 | ソニー株式会社 | Information processing device, information processing method, and program |
| JPWO2018135302A1 (en) * | 2017-01-18 | 2019-11-21 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
| US11107469B2 (en) | 2017-01-18 | 2021-08-31 | Sony Corporation | Information processing apparatus and information processing method |
| JP7107228B2 (en) | 2017-01-18 | 2022-07-27 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| WO2019203016A1 (en) * | 2018-04-19 | 2019-10-24 | ソニー株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5194314B2 (en) | 2013-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5429462B2 (en) | Communication robot | |
| US6509707B2 (en) | Information processing device, information processing method and storage medium | |
| JP5366048B2 (en) | Information provision system | |
| US11437034B2 (en) | Remote control method and apparatus for an imaging apparatus | |
| JP5070441B2 (en) | Robot remote control system | |
| JP5145569B2 (en) | Object identification method and apparatus | |
| JP7375748B2 (en) | Information processing device, information processing method, and program | |
| JP2007260822A (en) | Guide robot | |
| JP2007139710A (en) | Walking-aid robot | |
| WO2002045916A1 (en) | Robot device, method for controlling motion of robot device, and system for controlling motion of robot device | |
| JP2023017880A (en) | Information processing device and information processing method | |
| JP5411789B2 (en) | Communication robot | |
| US20200269421A1 (en) | Information processing device, information processing method, and program | |
| JP5163202B2 (en) | Article estimation system | |
| JP4399603B2 (en) | Communication robot | |
| JP2009131914A (en) | Robot control system | |
| JP2024009862A (en) | Information processing apparatus, information processing method, and program | |
| JP5194314B2 (en) | Communication system | |
| JP2007160427A (en) | Robot control system | |
| JP2006231447A (en) | Confirmation method for indicating position or specific object and method and device for coordinate acquisition | |
| JP5866646B2 (en) | Communication system, utterance content generation device, utterance content generation program, and utterance content generation method | |
| JP2009223170A (en) | Speech recognition system | |
| JP6468643B2 (en) | Communication system, confirmation action determination device, confirmation action determination program, and confirmation action determination method | |
| JP2019175432A (en) | Dialogue control device, dialogue system, dialogue control method, and program | |
| JP5324956B2 (en) | Road guidance robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130118 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5194314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |