JP2007272534A - 省略語補完装置、省略語補完方法、及びプログラム - Google Patents

Abstract

【課題】２人以上のユーザが会話している状況において、省略語をより適切に補完できる省略語補完装置等を提供する。
【解決手段】２人以上のユーザが会話している状況における、少なくとも１人のユーザの発した音声を示す音声情報を受け付ける音声情報受付部１１と、音声情報を対応する文字情報に変換する文字情報変換部１３と、文字情報の示す文書において省略された格要素であるゼロ代名詞を特定するゼロ代名詞特定部１４と、２人以上のユーザの位置に関する情報であるユーザ位置情報を少なくとも含む情報であり、その２人以上のユーザの行動に関する情報である行動情報を受け付ける行動情報受付部１５と、行動情報を用いてゼロ代名詞の位置に省略語を補完した補完文字情報を生成する省略語補完部２１と、補完文字情報を出力する補完文字情報出力部２２と、を備える。
【選択図】図１

Description

本発明は、省略語を補完する省略語補完装置等に関する。

自然言語では、冗長な表現を避けるために、主語や目的語等が省略されることがある。特に、日本語では、文脈や状況から容易に推察できる言葉については、省略される傾向の強いことが知られている。そのような省略語が存在すると、文脈解析、音声対話、機械翻訳等において、適切な処理を実行することができないという問題がある。したがって、そのような省略語を補完する技術に関する研究が行われてきている（例えば、非特許文献１参照）。
山本和英、隅田英一郎、「決定木学習による日本語対話文の格要素省略補完」、自然言語処理、Ｖｏｌ．６，Ｎｏ．１，ｐ３−２８，１９９９年

しかしながら、対話の場面においては、身振りやアイコンタクト等を用いて意思の疎通を図ることもある。したがって、その対話の状況から聞き手にとって当然のことを省略する傾向があり、そのような場合には、言葉のみを解析することによって省略語を補完する方法には限界がある。

本発明は、上記問題を解決するためになされたものであり、２人以上のユーザが会話している状況において、省略語をより適切に補完することができる省略語補完装置等を提供することを目的とする。

上記目的を達成するため、本発明による省略語補完装置は、２人以上のユーザが会話している状況における、少なくとも１人のユーザの発した音声を示す情報である音声情報を受け付ける音声情報受付部と、前記音声情報受付部が受け付けた音声情報を、当該音声情報の示す音声に対応する文字を示す情報である文字情報に変換する文字情報変換部と、前記文字情報の示す文書において省略された格要素であるゼロ代名詞を特定するゼロ代名詞特定部と、前記２人以上のユーザの位置に関する情報であるユーザ位置情報を少なくとも含む情報であり、前記２人以上のユーザの行動に関する情報である行動情報を受け付ける行動情報受付部と、前記行動情報受付部が受け付けた行動情報を用いて、前記文字情報の示す文書における、前記ゼロ代名詞特定部によって特定されたゼロ代名詞の位置に、省略されている言葉である省略語を補完した情報である補完文字情報を生成する省略語補完部と、前記補完文字情報を出力する補完文字情報出力部と、を備えたものである。

このような構成により、２人以上のユーザが会話している状況において、行動情報を用いることにより、省略語をより適切に補完することができる。例えば、ユーザの会話の文脈からは知ることができない省略語を補完することも可能である。

また、本発明による省略語補完装置では、前記行動情報は、ユーザの動きを示す情報であるモーション情報も含んでもよい。
このような構成により、行動情報から、ユーザの指差し行為や、視線方向、うなずき行為等を検出することができ、それらの行為等を用いることによって、より適切に省略語を補完することができる。

また、本発明による省略語補完装置では、前記省略語補完部は、前記行動情報を用いて、人のゼロ代名詞に対応するユーザを特定するユーザ特定手段と、前記ゼロ代名詞に対応するユーザを示す文字の情報であるユーザ文字情報を決定するユーザ文字情報決定手段と、前記ゼロ代名詞の位置に補完される省略語を示す情報であり、前記ユーザ文字情報決定手段が決定したユーザ文字情報を含む情報であるユーザ省略語情報を、対応するゼロ代名詞の位置に挿入するユーザ省略語情報挿入手段と、を備えていてもよい。
このような構成により、人のゼロ代名詞に対応するユーザ省略語情報を、そのゼロ代名詞の位置に挿入することができる。

また、本発明による省略語補完装置では、前記ユーザの属性に関する情報であるユーザ属性情報を受け付けるユーザ属性情報受付部をさらに備え、前記ユーザ文字情報決定手段は、前記ユーザ属性情報受付部が受け付けたユーザ属性情報を用いて前記ユーザ文字情報を決定してもよい。
このような構成により、ユーザ属性情報の示すユーザの属性を含むユーザ文字情報を決定することができる。

また、本発明による省略語補完装置では、前記省略語補完部は、ユーザの位置関係と、ユーザの指示語とを対応付ける情報であるユーザ指示情報が記憶されるユーザ指示情報記憶手段をさらに具備し、前記ユーザ文字情報決定手段は、前記行動情報によって示される、前記ユーザ特定手段が特定したユーザ、話し手のユーザ、聞き手のユーザの位置関係に応じた指示語を、前記ユーザ指示情報を用いて選択し、当該選択した指示語を含む文字の情報であるユーザ文字情報を決定してもよい。

このような構成により、ユーザの位置関係に応じた適切な指示語を選択することができ、その選択した指示語を用いて適切なユーザ文字情報を決定することができる。

２人以上のユーザが会話している状況における、物に関する情報であり、当該物の位置に関する情報である物位置情報を少なくとも含む情報である物情報を受け付ける物情報受付部をさらに備え、前記省略語補完部は、前記物情報を用いて、物のゼロ代名詞に対応する物を特定する物特定手段と、前記ゼロ代名詞に対応する物を示す文字の情報である物文字情報を決定する物文字情報決定手段と、前記ゼロ代名詞の位置に補完される省略語を示す情報であり、前記物文字情報決定手段が決定した物文字情報を含む情報である物省略語情報を、対応するゼロ代名詞の位置に挿入する物省略語情報挿入手段と、を備えていてもよい。
このような構成により、物のゼロ代名詞に対応する物省略語情報を、そのゼロ代名詞の位置に挿入することができる。

また、本発明による省略語補完装置では、前記物情報は、物の属性に関する情報である物属性情報も含み、前記物文字情報決定手段は、前記物属性情報を用いて前記物文字情報を決定してもよい。
このような構成により、物属性情報の示す物の属性を含む物文字情報を決定することができる。

また、本発明による省略語補完装置では、前記省略語補完部は、ユーザと物の位置関係と、物の指示語とを対応付ける情報である物指示情報が記憶される物指示情報記憶手段をさらに具備し、前記物文字情報決定手段は、前記行動情報及び前記物情報によって示される、前記物特定手段が特定した物、話し手のユーザ、聞き手のユーザの位置関係に応じた指示語を、前記物指示情報を用いて選択し、当該選択した指示語を含む文字の情報である物文字情報を決定してもよい。

このような構成により、ユーザと物の位置関係に応じた適切な指示語を選択することができ、その選択した指示語を用いて適切な物文字情報を決定することができる。

また、本発明による省略語補完装置では、前記ゼロ代名詞特定部は、前記文字情報の示す文書から、動詞と当該動詞の格要素とを抽出する動詞抽出手段と、動詞と格要素との関係を示す情報である格フレーム情報が記憶される格フレーム情報記憶手段と、前記格フレーム情報を用いて、前記動詞抽出手段が抽出した動詞に対応する格要素を取得する格要素取得手段と、前記格要素取得手段が取得した格要素と、前記動詞抽出手段が抽出した格要素とを比較することにより、前記文字情報の示す文書に含まれない格要素を特定する格要素特定手段と、を備えていてもよい。
このような構成により、ゼロ代名詞の位置を特定することができる。

本発明による省略語補完装置等によれば、２人以上のユーザが会話している状況において、ユーザの位置情報を少なくとも含む行動情報を用いて、省略語を補完することにより、会話をしている２人以上のユーザにとって当然のことを考慮した省略語の補完が可能となる。その結果、会話の言葉のみを解析して省略語を補完する場合よりも適切な省略語の補完が可能となる。また、省略語の補完された文書を用いることによって、機械翻訳等を適切に行うことができる。

以下、本発明による省略語補完装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による省略語補完装置について、図面を参照しながら説明する。
図１は、本実施の形態による省略語補完装置１の構成を示すブロック図である。図１において、本実施の形態による省略語補完装置１は、音声情報受付部１１と、音声情報蓄積部１２と、文字情報変換部１３と、ゼロ代名詞特定部１４と、行動情報受付部１５と、行動情報蓄積部１６と、ユーザ属性情報受付部１７と、ユーザ属性情報蓄積部１８と、物情報受付部１９と、物情報蓄積部２０と、省略語補完部２１と、補完文字情報出力部２２とを備える。

音声情報受付部１１は、音声情報を受け付ける。この音声情報は、２人以上のユーザが会話している状況における、少なくとも１人のユーザの発した音声を示す情報である。ここで、「会話している２人以上のユーザ」には、その会話に直接参加していないユーザも含まれるものとする。例えば、２人のユーザが会話をしており、その２人のユーザのいずれかのユーザから第３のユーザに物が渡される場合には、その第３のユーザもその会話を聞いているものと考えられ、その第３のユーザも、「会話している２人以上のユーザ」に含まれるものとする。音声情報受付部１１が受け付けた音声情報に対応する文字情報に対して、後述する省略語の補完処理が行われるため、省略語の補完を行いたい音声情報が少なくとも音声情報受付部１１で受け付けられればよいことになる。なお、２人以上のユーザが会話している状況における、各ユーザの発した音声を示す音声情報を受け付けてもよいことは言うまでもない。この音声情報は、後述する文字情報変換部１３によって文字情報に変換されるため、ユーザの発した言葉が明確であることが好適である。

音声情報は、例えば、環境側に設置された単数または複数のマイクロフォンによって取得されてもよく、あるいは、ユーザが装着しているマイクロフォンによって取得されてもよい。環境側に複数のマイクロフォンを設置する場合には、そのマイクロフォンの位置と、ユーザの位置と、音声情報の信号レベルとを用いて、どのユーザが話しているのかを特定することも可能である。ユーザが装着しているマイクロフォンとは、例えば、通常のマイクロフォンでもよく、骨伝導マイクでもよく、スロート（咽喉）マイクでもかまわない。骨伝導マイクやスロートマイクを用いて音声情報を取得する場合には、環境音を含まない音声情報の取得が可能となる。なお、後の処理のために、どのユーザがどの音声を発したのかがわかるように音声情報を取得することが好適である。

音声情報受付部１１は、例えば、音声デバイス（例えば、マイクロフォン等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、音声情報受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、音声情報受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、音声情報受付部１１は、図１で示されるように、マイクロフォンによって取得された各ユーザの音声を示す音声情報をそれぞれ受け付けるものとする。

音声情報蓄積部１２は、音声情報受付部１１が受け付けた音声情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、音声情報蓄積部１２が有していてもよく、あるいは音声情報蓄積部１２の外部に存在してもよい。本実施の形態では、音声情報蓄積部１２がその記録媒体を有するものとする。また、この記録媒体は、音声情報を一時的に記憶するものであってもよく、そうでなくてもよい。

文字情報変換部１３は、音声情報を文字情報に変換する。その文字情報は、音声情報受付部１１が受け付けた音声情報の示す音声に対応する文字を示す情報である。この文字情報変換部１３による処理は、いわゆる音声認識の技術として知られており、すでに音声認識のソフトウェア等も市販されているため、その詳細な説明は省略する。

ゼロ代名詞特定部１４は、文字情報変換部１３が生成した文字情報の示す文書においてゼロ代名詞を特定する。ゼロ代名詞とは、省略された格要素である。格要素とは、意味素と格助詞との組である。例えば、「あなたが」、「電車が」、「私に」、「あの方に」、「この本を」、「あの花を」等が格要素である。

図２は、本実施の形態によるゼロ代名詞特定部１４の構成を示すブロック図である。図２において、本実施の形態によるゼロ代名詞特定部１４は、動詞抽出手段３１と、格フレーム情報記憶手段３２と、格要素取得手段３３と、格要素特定手段３４とを備える。

動詞抽出手段３１は、文字情報の示す文書から、動詞と、その動詞の格要素とを抽出する。動詞抽出手段３１は、例えば、文字情報の示す文書について、形態素解析を行うことによって、動詞を抽出し、その抽出した動詞の格要素を、「を」、「が」、「に」等の格助詞を手がかり句として用いて検索することにより抽出する。ここで、抽出した動詞に対応する格要素は、一般にその動詞よりも前の位置に存在し、その動詞の存在する文に含まれるため、そのような条件の下で「を」等の格助詞を手がかり句として用いた検索を行うことになる。なお、抽出した動詞の格要素が文字情報の示す文書にまったく含まれない場合には、動詞抽出手段３１は、格要素を抽出しなくてよい。文書から動詞と格要素とを抽出する方法については、従来から知られており、その詳細な説明は省略する。

格フレーム情報記憶手段３２では、動詞と格要素との関係を示す情報である格フレーム情報が記憶される。この格フレーム情報により、ある動詞がどのような格要素をとるのかについて知ることができる。格フレーム情報の具体例については後述する。格フレーム情報記憶手段３２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。格フレーム情報記憶手段３２に格フレーム情報が記憶される過程は問わない。例えば、記録媒体を介して格フレーム情報が格フレーム情報記憶手段３２で記憶されるようになってもよく、通信回線等を介して送信された格フレーム情報が格フレーム情報記憶手段３２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された格フレーム情報が格フレーム情報記憶手段３２で記憶されるようになってもかまわない。

格要素取得手段３３は、格フレーム情報記憶手段３２で記憶されている格フレーム情報を用いて、動詞抽出手段３１が抽出した動詞に対応する格要素を取得する。すなわち、格要素取得手段３３は、格フレーム情報から、動詞抽出手段３１が抽出した動詞を検索し、その検索した動詞に対応する格要素を格フレーム情報から読み出す。

格要素特定手段３４は、格要素取得手段３３が取得した格要素と、動詞抽出手段３１が抽出した格要素とを比較することにより、文字情報の示す文書に含まれない格要素を特定する。すなわち、格要素特定手段３４は、格要素取得手段３３が取得した１以上の格要素に含まれるが、動詞抽出手段３１が抽出した０以上の格要素に含まれない格要素を、文字情報の示す文書に含まれない格要素として特定される。このようにして特定された格要素がゼロ代名詞である。文字情報の示す文書に含まれない格要素を特定するとは、例えば、その格要素が本来含まれるべき文書の位置に、格要素が抜けている旨の情報を挿入することであってもよく、その格要素が本来含まれるべき位置と、抜けている格要素に関する情報とを対応付ける情報を図示しない記録媒体に蓄積することであってもよく、どのような格要素がどこにあるべきなのかがわかるのであれば、他の特定の方法であってもかまわない。抜けている格要素に関する情報とは、例えば、その格要素で用いられる格助詞と、意味素の種類とを示す情報である。意味素の種類としては、例えば、「人」、「物」、「場所」等がある。

行動情報受付部１５は、行動情報を受け付ける。ここで、行動情報とは、２人以上のユーザが会話をしている状況における、その２人以上のユーザの行動に関する情報である。その行動情報は、その２人以上のユーザの位置に関する情報であるユーザ位置情報を少なくとも含む情報である。行動情報は、ユーザの動きを示す情報であるモーション情報を含んでもよい。モーション情報は、例えば、ユーザの体の動きに関する情報（以下、「身体モーション情報」と呼ぶこともある）を含んでいてもよく、ユーザの視線の動きに関する情報（以下、「視線情報」と呼ぶこともある）を含んでいてもよい。

ユーザ位置情報は、例えば、モーションキャプチャシステムによって取得されてもよく、環境側に設置したカメラでユーザを撮影した画像を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。モーションキャプチャシステムを用いると、ユーザが付けているマーカの位置を検出できるため、ユーザ位置情報を容易に取得できる。モーションキャプチャシステムについては後述する。カメラでユーザを撮影した画像を解析するとは、ユーザの画像を撮影し、その撮影した画像から、肌色検出、差分抽出、またはパターンマッチング等の技術を用いてユーザの画像領域を特定し、その特定した画像領域に対応する位置を抽出することである。画像からユーザの位置を抽出した場合には、画像における位置を、ユーザの存在する座標系（以下、「世界座標系」と呼ぶこともある）での位置に変換してもよい。また、ユーザの位置は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、ＬＰＳ（Ｌｏｃａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、非接触方式のサーモセンサを用いて取得されてもよく、レーザレンジファインダを用いて取得されてもかまわない。ＬＰＳとは、例えば、アクティブＲＦＩＤを用いたり、地磁気センサと加速度センサとを有する自律航法型の位置測位センサを用いたりすることによって、基準点からの座標値を算出することができる装置である。非接触方式のサーモセンサとは、赤外線等を用いることにより物体の温度を検出することができる装置である。したがって、その装置によって人の存在を検出することができ、２以上のサーモセンサを用いることにより、高精度な人の位置検出が可能となる。レーザレンジファインダとは、出射したレーザ光の反射光から、三角測量の原理を利用して距離を検出する装置である。ユーザ位置情報を取得する方法については従来から知られており、その詳細な説明は省略する。

身体モーション情報は、ユーザの手の動きを示す情報を含んでいてもよく、ユーザの頭の動きを示す情報を含んでいてもよく、ユーザの胴体の動きを示す情報を含んでいてもよく、ユーザのその他の部分の動きを示す情報を含んでいてもかまわない。身体モーション情報は、例えば、モーションキャプチャシステムによって取得されてもよく、環境側に設置したカメラでユーザを撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。モーションキャプチャシステムとは、被験者の体に光を反射する所定のマーカを付け、１以上のカメラを用いることによって被験者を撮影し、そのマーカの位置を算出することによって被験者の体の動きを検出するものである。なお、反射式のマーカではなく、自ら発光するアクティブ式のマーカを用いてもよい。また、光学式のマーカではなく、磁気マーカを用いてもよい。このように、モーションキャプチャシステムは、被験者の動きを検出することができるものであれば、その種類を問わない。行動情報がモーションキャプチャシステムによって取得される場合には、身体モーション情報は、例えば、各マーカの３次元座標系における位置を示す時系列のデータである。ユーザを撮影して動画を解析するとは、ユーザの動画を撮影し、その撮影した動画から、肌色検出、差分抽出、またはパターンマッチング等の技術を用いてユーザの画像領域を特定し、その特定した画像領域からユーザの手の動きや頭の動き等を抽出することである。また、身体モーション情報を取得するその他の方法としては、例えば、被験者の体の１以上の部分に加速度センサを付け、その加速度センサによって被験者の体の動きを検出する方法等がある。また、身体モーション情報を取得する上記の２以上の方法を組み合わせてもよい。身体モーション情報を取得する方法については従来から知られており、その詳細な説明は省略する。

視線情報は、ユーザの視線の向きを示す情報を含んでいてもよく、ユーザの視線の向きをユーザの頭の向きで近似する場合には、ユーザの頭の向きを示す情報を含んでいてもよく、ユーザのその他の視線に関する情報を含んでいてもかまわない。ここで、被験者が立位である場合には、一般に顔の正面の向きの９０度の範囲内に視線があることが知られているため、ユーザの視線の向きをユーザの頭の向きで近似することも可能である。視線情報は、例えば、アイカメラによって取得されてもよく、ユーザを環境側に設置したカメラで撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。アイカメラとは、被験者の眼球運動を測定する装置である。アイカメラは、例えば、リンバストラッキング法（強膜反射法）、角膜反射法、画像処理法等を用いて被験者の眼球運動を測定する。画像処理法とは、瞳孔中心を検出して視線方向を抽出する方法であり、被験者への負担がほとんどない。ユーザを撮影した動画を解析するとは、ユーザの目の位置をパターンマッチング等の技術を用いて特定し、上記の画像処理法と同様の方法や、白目と黒目の領域を比較する方法等によって視線方向を抽出することである。また、視線情報を取得するその他の方法としては、モーションキャプチャシステムを用いて被験者の頭の向きを検出する方法、被験者の頭部に加速度センサを付け、その加速度センサによって被験者の頭の動きを検出する方法、被験者の頭部に指向性と収束性を有する光線を出力する発光部を付け、その発光部からの光を環境側に設置した検出部で検出することによって被験者の頭の動きを検出する方法、被験者の頭部にヘッドマウントカメラをつけて被験者の視線方向等の画像を撮影し、その画像を解析することによって被験者の頭の動きを検出する方法等がある。また、視線情報を取得する上記の２以上の方法を組み合わせてもよい。また、視線情報が被験者の視線の方向を示す情報である場合に、局所座標系（被験者の頭部に設定される視野座標系）の情報を視線情報として用いてもよく、あるいは、局所座標系の値をモーションキャプチャシステム等のデータと同じ座標系である世界座標系に変換した情報を視線情報として用いてもよい。視線情報を取得する方法については従来から知られており、その詳細な説明は省略する。

行動情報受付部１５は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネル等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、行動情報受付部１５は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、受付部は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、行動情報受付部１５は、図１で示されるように、アイカメラによって取得された視線情報と、モーションキャプチャシステムによって取得された行動情報とを受け付けるものとする。

行動情報蓄積部１６は、行動情報受付部１５が受け付けた行動情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、行動情報蓄積部１６が有していてもよく、あるいは行動情報蓄積部１６の外部に存在してもよい。本実施の形態では、行動情報蓄積部１６がその記録媒体を有するものとする。また、この記録媒体は、行動情報を一時的に記憶するものであってもよく、そうでなくてもよい。

ユーザ属性情報受付部１７は、ユーザ属性情報を受け付ける。ここで、ユーザ属性情報とは、ユーザの属性に関する情報である。ユーザ属性情報受付部１７は、２人以上のユーザが会話している状況における、少なくとも１人のユーザに対応するユーザ属性情報を受け付ければよい。ユーザの属性とは、例えば、ユーザの性別、ユーザの年齢、ユーザの氏名、ユーザの職業等である。ユーザ属性情報は、最終的にユーザの属性を特定することができる情報であれば、ユーザの属性を示す情報であってもよく、あるいは、ユーザの属性と対応付けられている情報であってもよい。ユーザの属性と対応付けられている情報とは、例えば、ユーザＩＤである。その場合には、そのユーザＩＤが、所定のデータベース情報において、ユーザの属性と対応付けられていればよい。そのユーザＩＤを用いて、ユーザの属性を取得できるからである。ユーザ属性情報は、例えば、ユーザの服等に付けられているＲＦＩＤから取得されてもよく、ユーザの服等に付けられているバーコード等の識別情報を、ユーザを撮影した画像において特定することによって取得されてもよく、その他の方法によって取得されてもかまわない。また、ユーザ属性情報受付部１７は、位置を示す情報と共に、ユーザ属性情報を受け付けてもよい。例えば、ＲＦＩＤから取得されたユーザ属性情報と、そのＲＦＩＤの位置を示す情報とがユーザ属性情報受付部１７で受け付けられてもよい。本実施の形態では、図１で示されるように、ユーザの服に付けられているＲＦＩＤによってユーザ属性情報と、位置を示す情報とが取得され、ユーザ属性情報受付部１７で受け付けられるものとする。

ユーザ属性情報受付部１７は、例えば、入力デバイス（例えば、ＲＦＩＤの受信デバイス等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、ユーザ属性情報受付部１７は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、ユーザ属性情報受付部１７は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

ユーザ属性情報蓄積部１８は、ユーザ属性情報受付部１７が受け付けたユーザ属性情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、ユーザ属性情報蓄積部１８が有していてもよく、あるいはユーザ属性情報蓄積部１８の外部に存在してもよい。本実施の形態では、ユーザ属性情報蓄積部１８がその記録媒体を有するものとする。また、この記録媒体は、ユーザ属性情報を一時的に記憶するものであってもよく、そうでなくてもよい。

物情報受付部１９は、物情報を受け付ける。ここで、物情報とは、２人以上のユーザが会話している状況における、物に関する情報である。その物は、２人以上のユーザが会話しているところに存在しており、例えば、いずれかのユーザが保持していてもよく、あるいは、いずれかのユーザの近くに存在してもよい。物情報は、その物の位置に関する情報である物位置情報を少なくとも含む情報である。物情報は、物の属性に関する情報である物属性情報を含んでもよい。物の属性とは、例えば、物の名称、物の種類、物の大きさ、物の色等である。物属性情報は、最終的に物の属性を特定することができる情報であれば、物の属性を示す情報であってもよく、あるいは、物の属性と対応付けられている情報であってもよい。物の属性と対応付けられている情報とは、例えば、物ＩＤである。その場合には、その物ＩＤが、所定のデータベース情報において、物の属性と対応付けられていればよい。その物ＩＤを用いて、物の属性を取得できるからである。

物位置情報は、例えば、環境側に設置したカメラで物を撮影した画像を解析することによって取得されてもよく、その他の方法によって取得されてもよい。カメラで物を撮影した画像を解析するとは、物の画像を撮影し、その撮影した画像から、パターンマッチング等の技術を用いて物の画像領域を特定し、その特定した画像領域に対応する位置を抽出することである。画像から物の位置を抽出した場合には、画像における位置を、物の存在する世界座標系での位置に変換してもよい。また、物の位置は、例えば、ＧＰＳによって取得されてもよく、ＬＰＳによって取得されてもよい。

物属性情報は、例えば、物に付けられているＲＦＩＤから取得されてもよく、物に付けられているバーコード等の識別情報を、物を撮影した画像において特定することによって取得されてもよく、その他の方法によって取得されてもかまわない。物情報を、物に付けられているＲＦＩＤから取得する場合には、そのＲＦＩＤによって、物属性情報と物位置情報とを一緒に取得することも可能である。本実施の形態では、図１で示されるように、物に付けられているＲＦＩＤによって、物属性情報と、物位置情報とが取得され、その物属性情報と、物位置情報とを含む物情報が物情報受付部１９で受け付けられるものとする。

物情報受付部１９は、例えば、入力デバイス（例えば、ＲＦＩＤの受信デバイス等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、物情報受付部１９は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、物情報受付部１９は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもかまわない。

物情報蓄積部２０は、物情報受付部１９が受け付けた物情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、物情報蓄積部２０が有していてもよく、あるいは物情報蓄積部２０の外部に存在してもよい。本実施の形態では、物情報蓄積部２０がその記録媒体を有するものとする。また、この記録媒体は、物情報を一時的に記憶するものであってもよく、そうでなくてもよい。

省略語補完部２１は、行動情報受付部１５が受け付けた行動情報、ユーザ属性情報受付部１７が受け付けたユーザ属性情報、物情報受付部１９が受け付けた物情報を用いて、補完文字情報を生成する。ここで、補完文字情報とは、文字情報の示す文書における、ゼロ代名詞特定部１４によって特定されたゼロ代名詞の位置に、省略されている言葉である省略語を補完した情報である。なお、省略語補完部２１は、音声情報も用いて省略語を補完してもよい。

図３は、本実施の形態による省略語補完部２１の構成を示すブロック図である。図３において、本実施の形態による省略語補完部２１は、ユーザ特定手段４１と、ユーザ指示情報記憶手段４２と、ユーザ文字情報決定手段４３と、ユーザ省略語情報挿入手段４４と、物特定手段４５と、物指示情報記憶手段４６と、物文字情報決定手段４７と、物省略語情報挿入手段４８とを備える。

ユーザ特定手段４１は、行動情報を用いて、人のゼロ代名詞に対応するユーザを特定する。このユーザの特定は、ゼロ代名詞特定部１４によって人のゼロ代名詞が特定された場合にのみ行ってもよい。人のゼロ代名詞とは、人を示す意味素と、格助詞との組合せであるゼロ代名詞のことである。ユーザを特定するとは、例えば、そのユーザを識別する識別情報を所定の記録媒体に蓄積することであってもよく、あるいは、そのユーザに対応する、あらかじめ記憶されている識別情報に所定のフラグを設定することであってもよく、どのユーザがゼロ代名詞に対応するのかがわかるのであれば、他の特定の方法であってもかまわない。ユーザ特定手段４１は、行動情報以外の情報を用いてユーザを特定してもよい。例えば、ユーザ特定手段４１は、音声情報受付部１１が受け付けた音声情報を用いてユーザを特定してもよい。

次に、ユーザ特定手段４１がユーザを特定する方法について説明する。
［話し手のユーザの指示行為に基づく方法］
話し手のユーザの指示行為によって、人のゼロ代名詞に対応するユーザを特定することができる場合がある。ここで、ユーザの指示行為とは、ユーザがある方向を指し示す行為であり、例えば、ある方向を指差す行為、ある方向に顔を向ける行為、ある方向に視線を向ける行為等である。例えば、話し手のユーザが聞き手のユーザに「手伝っていただけますか？」と言いながら、その他のユーザ（以下、「第三者のユーザ」とすることもある）を指差す、あるいは、第三者のユーザの方向に視線を移動させることによって、聞き手のユーザは、その第三者のユーザの手伝いを依頼されていることを知ることができる。その指示行為を検出することによって、人のゼロ代名詞に対応するユーザを特定することができる場合がある。

ユーザ特定手段４１は、例えば、ユーザの指示行為の発生の条件を示す情報である条件情報を保持しておき、その条件情報を参照することによって、ユーザが対応する音声（例えば、「手伝っていただけますか？」等）を発している間におけるユーザの指示行為の発生を検出し、指示行為の発生を検出した場合に、その指示行為によって示される方向を特定する。そして、ユーザ特定手段４１は、行動情報を用いて、その方向に位置するユーザを、人のゼロ代名詞に対応するユーザとして特定する。その方向に２人以上のユーザが存在する場合には、例えば、話し手のユーザに最も近いユーザを特定してもよい。

なお、指差しに関する条件情報は、例えば、少なくとも肘から指先までが水平に近い状態である方向に延びて、所定の時間（例えば、１秒等）だけ静止したこと等である。また、視線を向ける行為に関する条件情報は、例えば、視線方向が所定の時間（例えば、１秒等）だけ一定方向に固定されたこと等である。

［状況から判断する方法］
２人以上のユーザが会話をしている状況において、その状況から人のゼロ代名詞に対応するユーザを特定することができる場合がある。例えば、話し手のユーザが聞き手のユーザに「手伝っていただけますか？」といった状況において、その場に話し手のユーザと、聞き手のユーザの２人しかいない場合には、聞き手のユーザは、話し手のユーザの手伝いを依頼されていることを知ることができる。このように、その場の状況によって、人のゼロ代名詞に対応するユーザを特定することができる場合がある。

ユーザ特定手段４１は、例えば、動詞の目的格に対応する人として、話し手のユーザ、聞き手のユーザ、第三者のユーザのうち、どのユーザが含まれるのかを示す情報である人目的格情報を保持しておき、その人目的格情報と、行動情報によって示されるユーザの人数とを用いることによって、人のゼロ代名詞に対応するユーザとして特定する。例えば、動詞「手伝う」の目的格に対応するユーザは、話し手のユーザと、第三者のユーザであるため、第三者のユーザが存在しない状況では、動詞「手伝う」の目的格に対応するユーザを、話し手のユーザに特定することができ、人のゼロ代名詞に対応するユーザを特定することができる。

［ユーザの行動結果から判断する方法］
話し手のユーザが発した音声に対応してなされたユーザの行動結果から、人のゼロ代名詞に対応するユーザを特定することができる場合がある。例えば、話し手のユーザが聞き手のユーザに「手伝っていただけますか？」と言った後に、聞き手のユーザが、ある第三者のユーザに近づいていった場合には、結果として、その聞き手のユーザがその第三者のユーザを手伝うことを依頼されていたことがわかる。このように、ユーザの行動結果によって、人のゼロ代名詞に対応するユーザを特定することができる場合がある。

ユーザ特定手段４１は、例えば、話し手のユーザが発した音声に対応して、聞き手のユーザが近づいていったユーザを、人のゼロ代名詞に対応するユーザと特定してもよい。この場合に、ユーザ特定手段４１は、音声情報や文字情報、行動情報から、話し手のユーザに対応する聞き手のユーザの対応が肯定的なものであると判断できた場合、すなわち、「はい」、「ＯＫ」等の肯定的な音声を聞き手のユーザが発した場合や、うなずく行動を聞き手のユーザがした場合にのみ、この判断方法を用いるようにしてもよい。

なお、上記以外の方法によって、ユーザを特定することができる場合には、その方法を用いてもよいことは言うまでもない。また、話し手のユーザの位置から一定の範囲（例えば、半径１０ｍ以内の範囲等）より外に存在するユーザについては、特定するユーザに含めないようにしてもよい。話し手のユーザが、そのような遠くにいるユーザを、ゼロ代名詞に対応するユーザとして想定していることは考えにくいからである。

次に、話し手のユーザと、聞き手のユーザとを特定する方法について説明する。ここで、話し手のユーザとは、省略語を補完する文字情報に対応する発話を行ったユーザのことである。したがって、第１のユーザと第２のユーザが会話を行っており、第１のユーザが発話を行い、その発話に対して第２のユーザが応答した場合であって、第１のユーザの発話に対応する文字情報に対して省略語の補完を行う場合には、第１のユーザが話し手のユーザとなり、第２のユーザが聞き手のユーザとなる。

［話し手のユーザ］
どのユーザが話し手のユーザであるのかについて、文字情報から判断してもよく、音声情報から判断してもよい。例えば、文字情報にユーザの識別情報が対応付けられており、そのユーザの識別情報で識別されるユーザが、文字情報に対応する音声を発したユーザ、すなわち、話し手のユーザであると判断してもよい。また、例えば、音声情報にユーザの識別情報が対応付けられており、そのユーザの識別情報で識別されるユーザが、その音声情報に対応する音声を発した話し手のユーザであると判断してもよい。

［聞き手のユーザ］
行動情報からユーザの視線方向や体の向きについても知ることができる場合には、話し手のユーザと顔が向き合っているユーザが聞き手のユーザであると判断してもよい。また、音声情報、文字情報、または行動情報によって、聞き手のユーザが話し手のユーザの発した音声に反応していることがわかる場合には、その反応しているユーザが聞き手のユーザであると判断してもよい。例えば、話し手のユーザの発話に対して、返事をしているユーザ、うなずいているユーザ、話し手のユーザに対して身振りで答えているユーザを、聞き手のユーザと判断してもよい。話し手のユーザの発話に対して返事をしているかどうかは、例えば、音声情報から判断してもよく、ユーザを撮影した動画の画像データを用いて、ユーザの口元が動いているかどうかによって判断してもよい。
なお、上記以外の方法によって、話し手のユーザと、聞き手のユーザとを特定することができる場合には、その方法を用いてもよいことは言うまでもない。

ユーザ指示情報記憶手段４２では、ユーザ指示情報が記憶される。ここで、ユーザ指示情報とは、ユーザの位置関係と、ユーザの指示語とを対応付ける情報である。ユーザの位置関係とは、話し手のユーザと、聞き手のユーザと、第三者のユーザとの位置関係である。ユーザの指示語とは、例えば、「あちらのかた」や、「こちらのかた」等である。ユーザ指示情報の具体例については後述する。

ユーザ指示情報記憶手段４２は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。ユーザ指示情報記憶手段４２にユーザ指示情報が記憶される過程は問わない。例えば、記録媒体を介してユーザ指示情報がユーザ指示情報記憶手段４２で記憶されるようになってもよく、通信回線等を介して送信されたユーザ指示情報がユーザ指示情報記憶手段４２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたユーザ指示情報がユーザ指示情報記憶手段４２で記憶されるようになってもかまわない。

ユーザ文字情報決定手段４３は、ゼロ代名詞に対応するユーザを示す文字の情報であるユーザ文字情報を決定する。このユーザ文字情報と、格助詞との組である格要素が、特定されたゼロ代名詞の位置に挿入されることになる。ユーザ文字情報決定手段４３は、ユーザ特定手段４１によって特定されたユーザに対応するユーザ属性情報が、ユーザ属性情報受付部１７で受け付けられている場合には、そのユーザ属性情報を用いてユーザ文字情報を決定してもよい。この場合には、例えば、ユーザ文字情報「あちらの女性」等が決定されることになる。また、ユーザ文字情報決定手段４３は、ユーザ指示情報記憶手段４２で記憶されているユーザ指示情報を用いて、行動情報によって示される位置関係に応じた指示語を選択し、その選択した指示語を含む文字の情報であるユーザ文字情報を決定してもよい。行動情報によって示される位置関係とは、話し手のユーザ、聞き手のユーザ、ユーザ特定手段４１が特定したユーザの位置関係である。なお、その３者のユーザのうち、いずれか２者が同一のユーザである場合には、２者のユーザの位置関係となる。選択した指示語を含む文字の情報とは、選択した指示語そのものであってもよく、あるいは、選択した指示語以外に、ユーザ属性情報の示す言葉等を含むものであってもよい。ユーザ文字情報を決定するとは、例えば、ユーザ文字情報を生成することであってもよく、ユーザ指示情報記憶手段４２で記憶されているユーザ指示情報におけるユーザの指示語のうち、ユーザ文字情報となるものに所定のフラグを立てることであってもよく、ユーザ文字情報を特定できるのであれば、ユーザ文字情報の決定方法は問わない。

ユーザ省略語情報挿入手段４４は、ユーザ省略語情報を、対応するゼロ代名詞の位置に挿入する。ここで、ユーザ省略語情報とは、ゼロ代名詞の位置に補完される省略語を示す情報であり、ユーザ文字情報決定手段４３が決定したユーザ文字情報を含む情報である。ユーザ省略語情報は、ユーザ文字情報と、格助詞とを含む格要素を示す情報である。ユーザ省略語情報の示す省略語に含まれる格助詞は、ユーザ省略語情報挿入手段４４によって決定されたものであってもよく、あるいは、ゼロ代名詞特定部１４によって決定されたものであってもよい。ユーザ省略語情報挿入手段４４がユーザ省略語情報の挿入を行うことにより、ユーザに関する省略語の補完が行われることになる。ユーザ省略語情報に対応するゼロ代名詞の位置とは、そのユーザ省略語情報に含まれるユーザ文字情報を決定するためにユーザ特定手段４１が特定したユーザに対応する人のゼロ代名詞の位置である。

物特定手段４５は、少なくとも物情報を用いて、物のゼロ代名詞に対応する物を特定する。物特定手段４５は、物のゼロ代名詞に対応する物の特定において、物情報に加えて行動情報を用いてもよく、さらに、音声情報も用いてもよい。この物の特定は、ゼロ代名詞特定部１４によって物のゼロ代名詞が特定された場合にのみ行ってもよい。物のゼロ代名詞とは、物を示す意味素と、格助詞との組合せであるゼロ代名詞のことである。物を特定するとは、例えば、その物を識別する識別情報を所定の記録媒体に蓄積することであってもよく、あるいは、その物に対応する、あらかじめ記憶されている識別情報に所定のフラグを設定することであってもよく、どの物がゼロ代名詞に対応するのかがわかるのであれば、他の特定の方法であってもかまわない。

次に、物特定手段４５が物を特定する方法について説明する。
［話し手のユーザの指示行為に基づく方法］
話し手のユーザの指示行為によって、物のゼロ代名詞に対応する物を特定することができる場合がある。例えば、話し手のユーザが聞き手のユーザに「取っていただけますか？」と言いながら、ある物を指差す、あるいは、ある物の方向に視線を移動させることによって、聞き手のユーザは、その物の取得を依頼されていることを知ることができる。その指示行為を検出することによって、物のゼロ代名詞に対応するユーザを特定することができる場合がある。

物特定手段４５は、例えば、ユーザの指示行為の発生の条件を示す情報である条件情報を保持しておき、その条件情報を参照することによって、ユーザが対応する音声（例えば、「取っていただけますか？」等）を発している間におけるユーザの指示行為の発生を検出し、指示行為の発生を検出した場合に、その指示行為によって示される方向を特定する。そして、物特定手段４５は、行動情報を用いて、その方向に位置する物を、物のゼロ代名詞に対応する物として特定する。その方向に２以上の物が存在する場合には、例えば、話し手のユーザに最も近い物を特定してもよい。

［状況から判断する方法］
２人以上のユーザが会話をしている状況において、その状況から物のゼロ代名詞に対応するユーザを特定することができる場合がある。例えば、話し手のユーザが聞き手のユーザに「取っていただけますか？」といった状況において、その場に物が１個しかいない場合には、聞き手のユーザは、その物の取得を依頼されていることを知ることができる。このように、その場の状況によって、物のゼロ代名詞に対応する物を特定することができる場合がある。なお、２人以上のユーザが会話をしている状況において、実際には物が２以上あったとしても、省略語補完装置１が認識できる物が１個だけであった場合には、この判断方法を用いて物の特定を行ってもよい。

［ユーザの行動結果から判断する方法］
話し手のユーザが発した音声に対応してなされたユーザの行動結果から、物のゼロ代名詞に対応するユーザを特定することができる場合がある。例えば、話し手のユーザが聞き手のユーザに「取っていただけますか？」と言った後に、聞き手のユーザが、ある物に近づいていった場合には、結果として、その聞き手のユーザがその物の取得を依頼されていたことがわかる。このように、ユーザの行動結果によって、物のゼロ代名詞に対応する物を特定することができる場合がある。

物特定手段４５は、例えば、話し手のユーザが発した音声に対応して、聞き手のユーザが近づいていった物を、物のゼロ代名詞に対応する物と特定してもよい。この場合に、物特定手段４５は、音声情報や文字情報、行動情報から、話し手のユーザに対応する聞き手のユーザの対応が肯定的なものであると判断できた場合、すなわち、「はい」、「ＯＫ」等の肯定的な音声を聞き手のユーザが発した場合や、うなずく行動を聞き手のユーザがした場合にのみ、この判断方法を用いるようにしてもよい。

なお、上記以外の方法によって、物を特定することができる場合には、その方法を用いてもよいことは言うまでもない。また、話し手のユーザの位置から一定の範囲（例えば、半径１０ｍ以内の範囲等）より外に存在する物については、特定する物に含めないようにしてもよい。話し手のユーザが、そのような遠くに存在する物を、ゼロ代名詞に対応する物として想定していることは考えにくいからである。また、話し手のユーザと、聞き手のユーザとを特定する方法は、前述の通りである。

物指示情報記憶手段４６では、物指示情報が記憶される。ここで、物指示情報とは、ユーザと物の位置関係と、物の指示語とを対応付ける情報である。ユーザと物の位置関係とは、話し手のユーザと、聞き手のユーザと、物との位置関係である。物の指示語とは、例えば、「あれ」や、「これ」、「それ」等である。物指示情報の具体例については後述する。

物指示情報記憶手段４６は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。物指示情報記憶手段４６に物指示情報が記憶される過程は問わない。例えば、記録媒体を介して物指示情報が物指示情報記憶手段４６で記憶されるようになってもよく、通信回線等を介して送信された物指示情報が物指示情報記憶手段４６で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された物指示情報が物指示情報記憶手段４６で記憶されるようになってもかまわない。

物文字情報決定手段４７は、ゼロ代名詞に対応する物を示す文字の情報である物文字情報を決定する。この物文字情報と格助詞との組である格要素が、特定されたゼロ代名詞の位置に挿入されることになる。物文字情報決定手段４７は、物特定手段４５によって特定された物に対応する物属性情報が、物情報受付部１９で受け付けられている場合には、その物属性情報を用いて物文字情報を決定してもよい。この場合には、例えば、ユーザ文字情報「あの本」等が決定されることになる。また、物文字情報決定手段４７は、物指示情報記憶手段４６で記憶されている物指示情報を用いて、行動情報及び物情報によって示される位置関係に応じた指示語を選択し、その選択した指示語を含む文字の情報である物文字情報を決定してもよい。行動情報及び物情報によって示される位置関係とは、話し手のユーザ、聞き手のユーザ、物特定手段４５が特定した物の位置関係である。選択した指示語を含む文字の情報とは、選択した指示語そのものであってもよく、あるいは、選択した指示語以外に、物属性情報の示す言葉等を含むものであってもよい。物文字情報を決定するとは、例えば、物文字情報を生成することであってもよく、物指示情報記憶手段４６で記憶されている物指示情報における物の指示語のうち、物文字情報となるものに所定のフラグを立てることであってもよく、物文字情報を特定できるのであれば、物文字情報の決定方法は問わない。

物省略語情報挿入手段４８は、物省略語情報を、対応するゼロ代名詞の位置に挿入する。ここで、物省略語情報とは、ゼロ代名詞の位置に補完される省略語を示す情報であり、物文字情報決定手段４７が決定した物文字情報を含む情報である。物省略語情報は、物文字情報と、格助詞とを含む格要素を示す情報である。物省略語情報の示す省略語に含まれる格助詞は、物省略語情報挿入手段４８によって決定されたものであってもよく、あるいは、ゼロ代名詞特定部１４によって決定されたものであってもよい。物省略語情報挿入手段４８が物省略語情報の挿入を行うことにより、物に関する省略語の補完が行われることになる。物省略語情報に対応するゼロ代名詞の位置とは、その物省略語情報に含まれる物文字情報を決定するために物特定手段４５が特定した物に対応する物のゼロ代名詞の位置である。

補完文字情報出力部２２は、省略語補完部２１が生成した補完文字情報を出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ等）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもかまわない。なお、補完文字情報出力部２２は、出力を行うデバイス（例えば、表示デバイスやプリンタ等）を含んでいてもよく、あるいは含んでいなくてもよい。また、補完文字情報出力部２２は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、補完文字情報出力部２２は、補完文字情報をディスプレイに表示するものとする。

なお、音声情報蓄積部１２が有する記録媒体と、行動情報蓄積部１６が有する記録媒体と、ユーザ属性情報蓄積部１８が有する記録媒体と、物情報蓄積部２０が有する記録媒体と、格フレーム情報記憶手段３２と、ユーザ指示情報記憶手段４２と、物指示情報記憶手段４６とのうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、異なる記録媒体によって実現されてもよい。前者の場合には、例えば、その記録媒体のうち、格フレーム情報を記憶している領域が格フレーム情報記憶手段３２となる。

次に、本実施の形態による省略語補完装置１の動作について、フローチャートを用いて説明する。図４は、本実施の形態による省略語補完装置１の全体動作を示すフローチャートである。

（ステップＳ１０１）省略語補完装置１は、省略語を補完するかどうか判断する。そして、省略語を補完する場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。ここで、省略語補完装置１は、所定のイベント（例えば、音声情報、行動情報、ユーザ属性情報、物情報の一連の蓄積が終了したことや、省略語を補完する旨の指示が受け付けられたこと等）をトリガーとして省略語を補完すると判断してもよく、所定の期間ごとに省略語を補完すると判断してもよく、その他のタイミングで省略語を補完すると判断してもかまわない。

（ステップＳ１０２）省略語補完部２１等は、省略語を補完する処理を行う。そして、ステップＳ１０１に戻る。この省略語を補完する処理の詳細については、図５のフローチャートを用いて後述する。

（ステップＳ１０３）音声情報受付部１１は、音声情報を受け付けたかどうか判断する。そして、音声情報を受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０５に進む。
（ステップＳ１０４）音声情報蓄積部１２は、音声情報受付部１１が受け付けた音声情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

（ステップＳ１０５）行動情報受付部１５は、行動情報を受け付けたかどうか判断する。なお、行動情報が身体モーション情報、視線情報、ユーザ位置情報等を含む場合には、そのいずれかの情報を少なくとも受け付けた場合に、行動情報を受け付けたと判断してもよい。そして、行動情報を受け付けた場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０７に進む。

（ステップＳ１０６）行動情報蓄積部１６は、行動情報受付部１５が受け付けた行動情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
（ステップＳ１０７）ユーザ属性情報受付部１７は、ユーザ属性情報を受け付けたかどうか判断する。そして、ユーザ属性情報を受け付けた場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０９に進む。

（ステップＳ１０８）ユーザ属性情報蓄積部１８は、ユーザ属性情報受付部１７が受け付けたユーザ属性情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

（ステップＳ１０９）物情報受付部１９は、物情報を受け付けたかどうか判断する。なお、物情報が物位置情報と、物属性情報とを含む場合には、そのいずれか一方を少なくとも受け付けた場合に、物情報を受け付けたと判断してもよい。そして、物情報を受け付けた場合には、ステップＳ１１０に進み、そうでない場合には、ステップＳ１０１に戻る。

（ステップＳ１１０）物情報蓄積部２０は、物情報受付部１９が受け付けた物情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図５は、図４のフローチャートにおける省略語の補完処理（ステップＳ１０２）の詳細を示すフローチャートである。
（ステップＳ２０１）文字情報変換部１３は、音声情報蓄積部１２から音声情報を読み出す。文字情報変換部１３は、音声情報蓄積部１２が蓄積したすべての音声情報を読み出してもよく、あるいは、その一部を読み出してもよい。

（ステップＳ２０２）文字情報変換部１３は、音声情報蓄積部１２から読み出した音声情報を文字情報に変換する。
（ステップＳ２０３）ゼロ代名詞特定部１４は、文字情報の示す文書におけるゼロ代名詞を特定する。このゼロ代名詞を特定する処理の詳細については、図６のフローチャートを用いて後述する。

（ステップＳ２０４）省略語補完部２１は、行動情報と、ユーザ属性情報と、物情報とを用いて、ゼロ代名詞の位置に省略語を補完した情報である補完文字情報を生成する。この補完文字情報を生成する処理の詳細については、図７のフローチャートを用いて後述する。

（ステップＳ２０５）補完文字情報出力部２２は、省略語補完部２１が生成した補完文字情報を出力する。そして、省略語を補完する一連の処理は終了となり、図１のステップＳ１０１に戻る。

なお、本実施の形態では、省略語の補完処理を実行する際に音声情報を文字情報に変換する場合について説明するが、音声情報から文字情報への変換は、音声情報が蓄積されてから、省略語補完処理が実行されるまでの任意の時点で実行されればよい。例えば、省略語補完装置１の処理負荷の小さいときに、音声情報から文字情報への変換処理を実行してもよい。

図６は、図５のフローチャートにおけるゼロ代名詞の特定処理（ステップＳ２０３）の詳細を示すフローチャートである。
（ステップＳ３０１）動詞抽出手段３１は、文字情報の示す文書から、動詞と、その動詞の格要素とを抽出する。

（ステップＳ３０２）格要素取得手段３３は、格フレーム情報記憶手段３２で記憶されている格フレーム情報から、ステップＳ３０１で抽出された動詞に対応する格要素を取得する。
（ステップＳ３０３）格要素特定手段３４は、ステップＳ３０１で抽出された格要素と、ステップＳ３０２で取得された格要素とを比較する。

（ステップＳ３０４）格要素特定手段３４は、ステップＳ３０２取得した１以上の格要素に含まれるが、ステップＳ３０１で抽出した０以上の格要素に含まれない格要素を、文字情報の示す文書に含まれない格要素として特定する。この特定した格要素がゼロ代名詞である。そして、ゼロ代名詞を特定する一連の処理は終了となり、図５のステップＳ２０４に進む。

なお、図６のフローチャートのステップＳ３０１において、２以上の動詞が抽出された場合には、その動詞ごとに、ステップＳ３０２からステップＳ３０４の処理が実行されるものとする。

図７は、図５のフローチャートにおける補完文字情報の生成処理（ステップＳ２０４）の詳細を示すフローチャートである。

（ステップＳ４０１）物特定手段４５は、物のゼロ代名詞があるかどうか、すなわち、物のゼロ代名詞がゼロ代名詞特定部１４によって特定されたかどうか判断する。そして、物のゼロ代名詞がある場合には、ステップＳ４０２に進み、そうでない場合には、ステップＳ４０６に進む。

（ステップＳ４０２）物特定手段４５は、物のゼロ代名詞に対応する物を特定できるかどうか判断する。そして、物を特定できる場合には、ステップＳ４０３に進み、そうでない場合には、ステップＳ４０６に進む。

（ステップＳ４０３）物特定手段４５は、物のゼロ代名詞に対応する物を特定する。
（ステップＳ４０４）物文字情報決定手段４７は、ゼロ代名詞に対応する物を示す物文字情報を決定する。この物文字情報の決定処理の詳細については、図８のフローチャートを用いて後述する。

（ステップＳ４０５）物省略語情報挿入手段４８は、ステップＳ４０４で決定された物文字情報を含む物省略語情報を、文字情報における対応するゼロ代名詞の位置に挿入する。このようにして、物の省略語の補完が完了する。

（ステップＳ４０６）ユーザ特定手段４１は、ユーザのゼロ代名詞があるかどうか、すなわち、ユーザのゼロ代名詞がゼロ代名詞特定部１４によって特定されたかどうか判断する。そして、ユーザのゼロ代名詞がある場合には、ステップＳ４０７に進み、そうでない場合には、省略語を補完する一連の処理は終了となり、図５のステップＳ２０５に進む。

（ステップＳ４０７）ユーザ特定手段４１は、ユーザのゼロ代名詞に対応するユーザを特定できるかどうか判断する。そして、ユーザを特定できる場合には、ステップＳ４０８に進み、そうでない場合には、省略語を補完する一連の処理は終了となり、図５のステップＳ２０５に進む。

（ステップＳ４０８）ユーザ特定手段４１は、ユーザのゼロ代名詞に対応するユーザを特定する。
（ステップＳ４０９）ユーザ文字情報決定手段４３は、ゼロ代名詞に対応するユーザを示すユーザ文字情報を決定する。このユーザ文字情報の決定処理の詳細については、図９のフローチャートを用いて後述する。

（ステップＳ４１０）ユーザ省略語情報挿入手段４４は、ステップＳ４０９で決定されたユーザ文字情報を含むユーザ省略語情報を、文字情報における対応するゼロ代名詞の位置に挿入する。このようにして、ユーザの省略語の補完が完了し、図５のステップＳ２０５に進む。

なお、図７のフローチャートでは、物省略語情報の挿入処理を行った後に、ユーザ省略語情報の挿入処理を行う場合について示しているが、ユーザ省略語情報の挿入処理を行った後に、物省略語情報の挿入処理を行ってもよい。

図８は、図７のフローチャートにおける物文字情報の決定処理（ステップＳ４０４）の詳細を示すフローチャートである。
（ステップＳ５０１）物文字情報決定手段４７は、話し手のユーザ、聞き手のユーザ、物特定手段４５が特定した物の位置関係を決定する。話し手のユーザ、聞き手のユーザを特定する方法は、前述の通りである。話し手のユーザ、聞き手のユーザを特定し、行動情報を用いることによって、物文字情報決定手段４７は、話し手のユーザ、聞き手のユーザの位置を知ることができる。なお、話し手のユーザ、聞き手のユーザの特定は、他の構成要素、例えば、ユーザ特定手段４１によってなされてもよい。また、物文字情報決定手段４７は、物情報を用いることにより、物特定手段４５が特定した物の位置を知ることができる。

本実施の形態では、話し手のユーザ、聞き手のユーザ、物特定手段４５が特定した物の位置関係として、近称、中称、遠称があるものとする。これらの位置関係の名称「近称」、「中称」、「遠称」は、対応する代名詞の名称「近称代名詞」、「中称代名詞」、「遠称代名詞」に由来するものである。

近称とは、物特定手段４５が特定した物の位置が、聞き手よりも話し手に近く、話し手と特定された物との距離が、話し手と聞き手との間の距離よりも小さい場合である。すなわち、以下の２つの条件が満たされる場合には、近称となる。
条件１：話し手と特定された物との距離≦聞き手と特定された物との距離
条件２：話し手と特定された物との距離≦話し手と聞き手との距離

中称とは、物特定手段４５が特定した物の位置が、話し手よりも聞き手に近く、聞き手と特定された物との距離が、話し手と聞き手との間の距離よりも小さい場合である。すなわち、以下の２つの条件が満たされる場合には、中称となる。
条件１：聞き手と特定された物との距離<話し手と特定された物との距離
条件２：聞き手と特定された物との距離≦話し手と聞き手との距離

遠称とは、物特定手段４５が特定した物の位置が、話し手と聞き手の両方から、話し手と聞き手との距離よりも遠い場合である。すなわち、以下の２つの条件が満たされる場合には、遠称となる。
条件１：話し手と特定された物との距離>話し手と聞き手との距離
条件２：聞き手と特定された物との距離>話し手と聞き手との距離

（ステップＳ５０２）物文字情報決定手段４７は、物特定手段４５が特定した物に対応する物属性情報を含む物情報が物情報受付部１９で受け付けられたかどうか判断する。物文字情報決定手段４７は、例えば、物特定手段４５が特定した物に対応する物属性情報が物情報蓄積部２０の有する記録媒体で記憶されている場合に、物特定手段４５が特定した物に対応する物属性情報を含む物情報が物情報受付部１９で受け付けられたと判断してもよい。そして、受け付けられた場合には、ステップＳ５０３に進み、そうでない場合には、ステップＳ５０４に進む。

（ステップＳ５０３）物文字情報決定手段４７は、物指示情報記憶手段４６から、ステップＳ５０１で決定した位置関係に対応する物の指示語を選択する。この場合に、物文字情報決定手段４７は、物文字情報が物属性情報を含む場合の指示語を選択する。そして、物文字情報決定手段４７は、その選択した指示語と、物属性情報とを用いて、物文字情報を決定する。このようにして、物文字情報を決定する一連の処理は終了となり、図７のステップＳ４０５に進む。

（ステップＳ５０４）物文字情報決定手段４７は、物指示情報記憶手段４６から、ステップＳ５０１で決定した位置関係に対応する物の指示語を選択する。この場合に、物文字情報決定手段４７は、物文字情報が物属性情報を含まない場合の指示語を選択する。そして、物文字情報決定手段４７は、その選択した指示語を物文字情報に決定する。このようにして、物文字情報を決定する一連の処理は終了となり、図７のステップＳ４０５に進む。

図９は、図７のフローチャートにおける物文字情報の決定処理（ステップＳ４０９）の詳細を示すフローチャートである。
（ステップＳ６０１）ユーザ文字情報決定手段４３は、話し手のユーザ、聞き手のユーザ、ユーザ特定手段４１が特定したユーザの位置関係を決定する。話し手のユーザ、聞き手のユーザを特定する方法は、前述の通りである。話し手のユーザ、聞き手のユーザを特定し、行動情報を用いることによって、ユーザ文字情報決定手段４３は、話し手のユーザ、聞き手のユーザ、ユーザ特定手段４１によって特定されたユーザの位置を知ることができる。なお、話し手のユーザ、聞き手のユーザの特定は、他の構成要素、例えば、ユーザ特定手段４１によってなされてもよい。本実施の形態では、その位置関係として、近称、中称、遠称があるものとする。この近称、中称、遠称については、物特定手段４５が特定した物が、ユーザ特定手段４１が特定したユーザとなる以外、ステップＳ５０１での説明と同様であり、その詳細な説明は省略する。ただし、ユーザ特定手段４１が特定したユーザと、話し手あるいは聞き手のユーザとが同一である場合には、ユーザ特定手段４１が特定したユーザに対応する指示語は、「私」や「あなた」等になる。

（ステップＳ６０２）ユーザ文字情報決定手段４３は、ユーザ特定手段４１が特定したユーザに対応するユーザ属性情報がユーザ属性情報受付部１７で受け付けられたかどうか判断する。ユーザ文字情報決定手段４３は、例えば、ユーザ特定手段４１が特定したユーザに対応するユーザ属性情報がユーザ属性情報蓄積部１８の有する記録媒体で記憶されている場合に、ユーザ特定手段４１が特定したユーザに対応するユーザ属性情報がユーザ属性情報受付部１７で受け付けられたと判断してもよい。そして、受け付けられた場合には、ステップＳ６０３に進み、そうでない場合には、ステップＳ６０４に進む。

（ステップＳ６０３）ユーザ文字情報決定手段４３は、ユーザ指示情報記憶手段４２から、ステップＳ６０１で決定した位置関係に対応するユーザの指示語を選択する。この場合に、ユーザ文字情報決定手段４３は、ユーザ文字情報がユーザ属性情報を含む場合の指示語を選択する。そして、ユーザ文字情報決定手段４３は、その選択した指示語と、ユーザ属性情報とを用いて、ユーザ文字情報を決定する。このようにして、ユーザ文字情報を決定する一連の処理は終了となり、図７のステップＳ４１０に進む。

（ステップＳ６０４）ユーザ文字情報決定手段４３は、ユーザ指示情報記憶手段４２から、ステップＳ６０１で決定した位置関係に対応するユーザの指示語を選択する。この場合に、ユーザ文字情報決定手段４３は、ユーザ文字情報がユーザ属性情報を含まない場合の指示語を選択する。そして、ユーザ文字情報決定手段４３は、その選択した指示語をユーザ文字情報に決定する。このようにして、ユーザ文字情報を決定する一連の処理は終了となり、図７のステップＳ４１０に進む。

次に、本実施の形態による省略語補完装置１の動作について、具体例を用いて説明する。
この具体例では、各ユーザの身体モーション情報をモーションキャプチャシステムによって取得し、ユーザの視線情報をアイカメラによって取得し、身体モーション情報と視線情報とを含むモーション情報が行動情報受付部１５で受け付けられるものとする。また、各ユーザの発した音声をマイクロフォンによって取得し、その音声情報が音声情報受付部１１で受け付けられるものとする。それらの行動情報及び音声情報は、各ユーザを識別するユーザ識別情報に対応付けられて受け付けられ、そのユーザ識別情報に対応付けられて蓄積されるものとする。

また、この具体例では、各ユーザの服に付いているＲＦＩＤにユーザ属性情報が記憶されているとする。また、物に付いているＲＦＩＤに物属性情報が記憶されているものとする。ＲＦＩＤリーダは、ユーザの服に付いているＲＦＩＤから、ユーザ属性情報とＲＦＩＤの位置とを取得する。また、ＲＦＩＤリーダは、物に付いているＲＦＩＤから、物属性情報とＲＦＩＤの位置とを取得する。

図１０は、この具体例において各ユーザが装着している装置等について説明するための図である。図１０で示されるように、各ユーザは、マイクロフォンを装着しており、そのマイクロフォンによってユーザの発した音声が取得される。また、ユーザは、アイカメラを装着しており、そのアイカメラによってユーザの視線方向が取得される。また、ユーザは、体の複数の部分にモーションキャプチャシステムで位置を検出するためのマーカが取り付けられている。また、ユーザは、服にそのユーザに対応するユーザ属性情報が記憶されたＲＦＩＤが付けられている。

マイクロフォンによって取得された音声情報、アイカメラによって取得された視線情報、モーションキャプチャシステムによって取得された身体モーション情報は、それぞれ、有線または無線の通信によって省略語補完装置１に渡される。そして、音声情報は音声情報受付部１１で受け付けられ（ステップＳ１０３）、音声情報蓄積部１２によって蓄積される（ステップＳ１０４）。また、視線情報と、身体モーション情報とは行動情報受付部１５で受け付けられ（ステップＳ１０５）、行動情報蓄積部１６によって蓄積される（ステップＳ１０６）。また、ＲＦＩＤリーダによって取得されたユーザ属性情報とＲＦＩＤの位置とは、ユーザ属性情報受付部１７で受け付けられ（ステップＳ１０７）、ユーザ属性情報蓄積部１８によって蓄積される（ステップＳ１０８）。また、物属性情報とＲＦＩＤの位置を示す情報である物位置情報とを含む物情報は、物情報受付部１９で受け付けられ（ステップＳ１０９）、物情報蓄積部２０によって蓄積される（ステップＳ１１０）。

図１１は、音声情報蓄積部１２が蓄積した音声情報の一例を示す図である。図１１で示されるように、時系列の音声情報が各ユーザのユーザ識別情報Ｕ００１等に対応付けられて所定の記録媒体（図示せず）において記憶されている。

図１２は、行動情報蓄積部１６が蓄積した行動情報の一例を示す図である。図１２で示されるように、時系列の行動情報が各ユーザのユーザ識別情報Ｕ００１等に対応付けられて所定の記録媒体（図示せず）において記憶されている。行動情報に含まれるモーション情報は、視線情報と、身体モーション情報とを含む。視線情報は、ユーザの視野における画素位置を示す情報であるとする。身体モーション情報は、モーションキャプチャシステムによって取得された、各マーカの３次元直交座標系における位置を示す情報である。身体モーション情報によって、ユーザの位置についても知ることができるため、この具体例の場合、身体モーション情報に位置情報が含まれることになる。例えば、身体モーション情報に含まれる１個のマーカの位置によって、ユーザの位置を代表させることができる。

図１３は、ユーザ属性情報蓄積部１８が蓄積したユーザ属性情報と、物情報蓄積部２０が蓄積した物情報との一例を示す図である。図１３で示されるように、ユーザ属性情報は、各ユーザの属性（この具体例では、ユーザの性別である）を示す情報と、各ユーザのＲＦＩＤの位置を示す時系列の情報とを有する。物情報も、物の属性（この具体例では、物の名称である）を示す情報と、物のＲＦＩＤの位置を示す時系列の情報とを有する。

音声情報、行動情報、ユーザ属性情報、物情報が蓄積された後に、ユーザが図示しない入力デバイスを操作することにより、省略語を補完する指示が省略語補完装置１で受け付けられたとする。すると、省略語補完装置１は、省略語を補完するタイミングであると判断し（ステップＳ１０１）、省略語を補完する処理を開始する。以下、省略語を補完する処理について詳細に説明する。

まず、文字情報変換部１３は、音声情報蓄積部１２が有する記録媒体（図示せず）から、音声情報を読み出す（ステップＳ２０１）。この具体例では、ユーザ識別情報Ｕ００１で識別されるユーザ（以下、このユーザのことを「ユーザＵ００１」と呼ぶこともある。他のユーザについても同様であるとする）の発した音声「すみませんが、お渡しいただけますか？」のみについて、省略語を補完する処理を実行する場合について説明する。したがって、文字情報変換部１３は、そのユーザＵ００１の発した音声を示す音声情報のみを音声情報蓄積部１２が有する記録媒体から読み出すものとする。

文字情報変換部１３は、その読み出した音声情報の示す音声に対して音声認識処理を実行し、音声情報に対応する文字情報を生成する（ステップＳ２０２）。図１４は、そのようにして生成された文字情報の一例を示す図である。図１４で示される文字情報は、音声情報から認識された平仮名について、漢字変換を行っているが、漢字変換を行わない平仮名のままであってもよい。

ゼロ代名詞特定部１４は、図１４で示される文字情報「すみませんが お渡しいただけますか」において、ゼロ代名詞を特定する処理を行う（ステップＳ２０３）。なお、ゼロ代名詞特定部１４の格フレーム情報記憶手段３２では、図１５で示される格フレーム情報が記憶されているものとする。図１５で示されるように、格フレーム情報では、動詞と、その動詞がとる格要素とが対応付けられている。例えば、動詞「渡す」については、物に対応する格要素と、人に対応する格要素とが対応することがわかる。また、物に対応する格要素では、格助詞「を」が用いられることがわかる。また、人に対応する格要素では、格助詞「に」が用いられることがわかる。ここで、図１５で示される格フレーム情報では、主語に対応する格要素を省略しているが、主語に対応する格要素も格フレーム情報に含まれてもよい。その場合には、例えば、動詞「渡す」に対応する格要素を示す情報は、「（人が）（物を）（人に）渡す」となる。

ゼロ代名詞を特定する処理において、まず、ゼロ代名詞特定部１４の動詞抽出手段３１は、文字情報「すみませんが お渡しいただけますか」について形態素解析を行い、動詞「渡す」を抽出する。また、動詞抽出手段３１は、動詞「渡す」に対応する格要素を抽出するが、この場合には、対応する格要素がないため、格要素の抽出は行わない（ステップＳ３０１）。格要素取得手段３３は、動詞抽出手段３１が抽出した動詞「渡す」に対応する格要素を、格フレーム情報記憶手段３２で記憶されている格フレーム情報から取得する（ステップＳ３０２）。ここでは、動詞「渡す」に対応する格要素「物を」、「人に」が取得される。

次に、格要素特定手段３４は、動詞抽出手段３１が抽出した格要素と、格要素取得手段３３が取得した格要素とを比較する（ステップＳ３０３）。ここでは、動詞抽出手段３１は、格要素を抽出していないため、格要素特定手段３４は、比較の結果、格要素取得手段３３が取得したすべての格要素は、文字情報に含まれない格要素であると判断し、文字情報に含まれない格要素としてそれらの格要素を特定する（ステップＳ３０４）。具体的には、格要素特定手段３４は、図１６で示されるように、文字情報の対応する位置に物に対応するゼロ代名詞と、人に対応するゼロ代名詞とを挿入することによって、文字情報に含まれない格要素を特定する。

省略語補完部２１は、図１６で示されるようにゼロ代名詞の特定された文字情報に対して、省略語を補完する処理を行う（ステップＳ２０４）。なお、ユーザ指示情報記憶手段４２では、図１７で示されるユーザ指示情報が記憶されているものとする。また、物指示情報記憶手段４６では、図１８で示される物指示情報が記憶されているものとする。図１７で示されるユーザ指示情報、図８で示される物指示情報において、位置情報「近称」、「中称」、「遠称」と、ユーザの指示語、あるいは、物の指示語が対応付けられている。ユーザの指示語、及び物の指示語において、それぞれの指示語は、属性のある場合と、属性のない場合とがある。ユーザ属性情報や物属性情報がある場合には、属性のある場合の指示語を用い、ユーザ属性情報や物属性情報がない場合には、属性のない場合の指示語を用いることになる。属性のある場合の指示語において、（属性）の位置に、ユーザ属性情報や物属性情報を挿入すればよい。

また、行動情報、物情報から、ユーザＵ００１が「すみませんが お渡しいただけますか」と話した時点において、図１９で示されるように、各ユーザと物の位置関係を把握できたとする。ここで、ユーザＵ００１の指示方向とは、ユーザが指差しをした方向であるとする。

このような状況において、物特定手段４５は、まず、図１６で示されるゼロ代名詞の特定された文字情報を参照し、物のゼロ代名詞があると判断する（ステップＳ４０１）。そして、物特定手段４５は、その物のゼロ代名詞に対応する物を特定することができるかどうか判断する（ステップＳ４０２）。ここでは、図１９で示されるように、１個の物（本）に対応する物情報のみが受け付けられているため、物特定手段４５は、物を特定可能であると判断し、その物をユーザＵ００１の近くに存在する「本」に特定する（ステップＳ４０３）。

次に、物文字情報決定手段４７は、その物「本」に対応する物文字情報を決定する処理を行う（ステップＳ４０４）。具体的には、物文字情報決定手段４７は、図１９で示されるように、話し手であるユーザＵ００１がユーザＵ００２の方を向いており、ユーザＵ００２もユーザＵ００１の方を向いているため、話し手がユーザＵ００１であり、聞き手がユーザＵ００２であると判断する。そして、図１９で示されるように、物「本」は、ユーザＵ００１の近くに存在するため、話し手のユーザと、聞き手のユーザと、物特定手段４５が特定した物との位置関係が「近称」であると判断する（ステップＳ５０１）。また、図１３で示されるように、物属性情報「本」が物情報受付部１９で受け付けられているため（ステップＳ５０２）、物文字情報決定手段４７は、近称に対応する属性のある場合の指示語「この（属性）」を図１８で示される物指示情報から取得し、その属性の位置に物属性情報「本」を挿入することによって、物文字情報を「この本」に決定する（ステップＳ５０３）。

物省略語情報挿入手段４８は、物文字情報決定手段４７が決定した物文字情報「この本」と、格助詞「を」とを組み合わせた物の省略語「この本を」を、物のゼロ代名詞の位置に挿入する（ステップＳ４０５）。その結果、文字情報は、「すみませんが この本を（人に）渡していただけますか」となる。

次に、ユーザ特定手段４１は、物のゼロ代名詞の挿入された文字情報を参照し、人のゼロ代名詞があると判断する（ステップＳ４０６）。そして、ユーザ特定手段４１は、その人のゼロ代名詞に対応するユーザを特定することができるかどうか判断する（ステップＳ４０７）。ここでは、図１９で示されるように、話し手のユーザＵ００１がユーザＵ００３の方向を指示しているため、ユーザ特定手段４１は、ユーザを特定可能であると判断し、そのユーザをユーザＵ００３に特定する（ステップＳ４０８）。

次に、ユーザ文字情報決定手段４３は、そのユーザＵ００３に対応するユーザ文字情報を決定する処理を行う（ステップＳ４０９）。具体的には、ユーザ文字情報決定手段４３は、物文字情報決定手段４７と同様に、ユーザＵ００１が話し手であり、ユーザＵ００２が聞き手であると判断する。そして、図１９で示されるように、ユーザＵ００３は、話し手のユーザＵ００１からも、聞き手のユーザＵ００２からも、話し手と聞き手の距離以上離れているため、話し手のユーザと、聞き手のユーザと、ユーザ特定手段４１が特定したユーザとの位置関係が「遠称」であると判断する（ステップＳ６０１）。

また、ユーザ文字情報決定手段４３は、ユーザＵ００３の行動情報によって示される位置と、ユーザ属性情報に含まれる位置とを比較して、両者が所定の誤差の範囲内で一致するユーザ属性情報が、ユーザＵ００３のユーザ属性情報であると判断する。ここでは、図１３で示される３番目のユーザ属性情報「男性」がユーザＵ００３に対応するユーザ属性情報であるとする。すると、ユーザ文字情報決定手段４３は、ユーザＵ００３に対応するユーザ属性情報が存在すると判断し（ステップＳ６０２）、ユーザ文字情報決定手段４３は、遠称に対応する属性のある場合の指示語「あちらの（属性）」を図１７で示されるユーザ指示情報から取得し、その属性の位置にユーザＵ００３のユーザ属性情報「男性」を挿入することによって、ユーザ文字情報を「あちらの男性」に決定する（ステップＳ６０３）。

ユーザ省略語情報挿入手段４４は、ユーザ文字情報決定手段４３が決定したユーザ文字情報「あちらの男性」と、格助詞「に」とを組み合わせたユーザの省略語「あちらの男性に」を、ユーザのゼロ代名詞の位置に挿入する（ステップＳ４１０）。その結果、文字情報は、「すみませんが この本をあちらの男性に渡していただけますか」となる。この文字情報が、補完文字情報である。

補完文字情報出力部２２は、省略語補完部２１が生成した補完文字情報「すみませんが この本をあちらの男性に渡していただけますか」を、外部のディスプレイに表示する（ステップＳ２０５）。その結果、省略語補完装置１を操作しているユーザは、省略語の補完された補完文字情報を見ることができる。その後、補完文字情報が機械翻訳等に用いられてもよい。

なお、この具体例では、音声情報、行動情報、ユーザ属性情報、物情報をすべて蓄積した後に省略語を補完する処理を開始する場合について説明したが、前述のように、音声情報や行動情報等の受け付けと並行して、省略語を補完する処理を実行してもよい。

また、この具体例では、物のゼロ代名詞に対応する物を状況から判断し、人のゼロ代名詞に対応するユーザを話し手のユーザの指示行為に基づいて判断する場合について説明したが、前述のように、各種の判断方法があるため、この具体例で説明した以外の方法によって判断してもよいことは言うまでもない。

また、この具体例では、行動情報の示すユーザの位置と、ユーザ属性情報に含まれるＲＦＩＤの位置とを比較することによってユーザとユーザ属性情報とを対応付ける場合について説明したが、それ以外の方法によって、ユーザとユーザ属性情報とを対応付けてもよい。例えば、ＲＦＩＤにユーザを識別するユーザ識別情報（例えば、「Ｕ００１」等）が含まれており、そのユーザ識別情報を用いて、ユーザとユーザ属性情報とを対応付けてもよい。

また、この具体例において、ユーザ指示情報は、ユーザ特定手段４１が特定したユーザと、話し手あるいは聞き手のユーザとが同一である場合の指示語を示す情報を含んでもよい。その場合の指示語は、例えば、「私」や「あなた」等になる。

以上のように、本実施の形態による省略語補完装置１では、行動情報等を用いることにより、省略語を補完することができる。したがって、言葉のみを解析して省略語を補完する場合に比べて、対話の状況に応じた適切な省略語の補完が行われることになる。その結果、その省略語の補完された補完文字情報を、文脈解析、音声対話、機械翻訳等に用いることができる。例えば、補完文字情報出力部２２が出力した補完文字情報を機械翻訳装置（図示せず）が受け付けて、その補完文字情報に対して、機械翻訳処理を実行してもよい。また、省略語補完装置１と、その機械翻訳装置とによって、省略語補完機械翻訳システムを構成してもよい。

また、ユーザ属性情報を用いて省略語の補完を行うことにより、文脈からは知ることができない情報、例えば、ユーザの性別等を知ることができ、例えば、補完文字情報を英語に翻訳する場合に、人称代名詞を「ｈｉｍ」、あるいは「ｈｅｒ」に決定することができる。

また、物情報に含まれる物属性情報を用いて省略語の補完を行うことにより、文脈からは知ることができない物の名前等を知ることができ、補完文字情報の示す文書を、より明確なものにすることができる。

なお、本実施の形態では、行動情報がモーション情報も含む場合について説明したが、少なくともユーザ位置情報を含むのであれば、行動情報は、モーション情報を含まなくてもよい。

また、ゼロ代名詞特定部１４の構成は、図２で示されるものに限定されない。ゼロ代名詞を適切に特定できるのであれば、ゼロ代名詞特定部１４の構成は図２以外の構成であってもよい。

また、本実施の形態では、省略語補完部２１が行動情報、ユーザ属性情報、物情報を用いて省略語を補完する場合について説明したが、省略語補完部２１は、少なくとも行動情報を用いて省略語を補完すればよく、ユーザ属性情報や、物情報を用いなくてもよい。ユーザ属性情報を省略語の補完で用いない場合には、省略語補完装置１は、ユーザ属性情報受付部１７と、ユーザ属性情報蓄積部１８とを備えなくてもよい。物情報を省略語の補完で用いない場合には、省略語補完装置１は、物情報受付部１９と、物情報蓄積部２０とを備えなくてもよい。

また、本実施の形態では、ユーザ文字情報決定手段４３がユーザ指示情報を用いてユーザ文字情報を決定する場合について説明したが、ユーザ文字情報決定手段４３は、ユーザ指示情報を用いないでユーザ文字情報を決定してもよい。例えば、ユーザ文字情報決定手段４３は、ユーザ属性情報のみを用いてユーザ文字情報を決定してもよい。ユーザ文字情報決定手段４３がユーザ指示情報を用いない場合には、省略語補完部２１は、ユーザ指示情報記憶手段４２を備えなくてもよい。

また、本実施の形態では、ユーザ文字情報決定手段４３がユーザ属性情報を用いてユーザ文字情報を決定する場合について説明したが、ユーザ文字情報決定手段４３は、ユーザ属性情報を用いないで、例えば、ユーザ指示情報のみを用いてユーザ文字情報を決定してもよい。その場合には、ユーザ指示情報には、属性がある場合の指示語が含まれなくてもよい。

また、本実施の形態では、物文字情報決定手段４７が物指示情報を用いて物文字情報を決定する場合について説明したが、物文字情報決定手段４７は、物指示情報を用いないで物文字情報を決定してもよい。例えば、物文字情報決定手段４７は、物属性情報のみを用いて物文字情報を決定してもよい。物文字情報決定手段４７が物指示情報を用いない場合には、省略語補完部２１は、物指示情報記憶手段４６を備えなくてもよい。

また、本実施の形態では、物文字情報決定手段４７が物属性情報を用いて物文字情報を決定する場合について説明したが、物文字情報決定手段４７は、物属性情報を用いないで、例えば、物指示情報のみを用いて物文字情報を決定してもよい。その場合には、物指示情報には、属性がある場合の指示語が含まれなくてもよい。

また、省略語補完部２１の構成は、図３で示されるものに限定されない。省略語を適切に補完することができるのであれば、省略語補完部２１の構成は図３以外の構成であってもよい。例えば、省略語補完部２１は、人のゼロ代名詞に対応する省略語を補完するだけのものであってもよく、あるいは、物のゼロ代名詞に対応する省略語を補完するだけのものであってもよい。

また、本実施の形態では、位置関係を近称、中称、遠称に分ける場合について説明したが、位置関係を近称と遠称の２個に分けてもよい。例えば、英語や中国語では、中称代名詞という概念がないため、位置関係は話し手からの距離に応じて近称と遠称の２個に分けなくてはならないことになる。

また、本実施の形態では、ユーザ指示情報、及び物指示情報において、ユーザや物が単数である場合の指示語を示したが、ユーザ指示情報等は、ユーザや物が複数である場合の指示語を有してもよい。例えば、位置関係が近称のユーザの指示語であって、属性がない場合には、「こちらのかたがた」となる。この場合には、ユーザ特定手段４１や、物特定手段４５は、ユーザや物が単数であるのか、複数であるのかについても特定してもよい。

また、本実施の形態では、日本語について省略語の補完処理を行う場合について説明したが、他の言語について本実施の形態で説明した省略語の補完処理を用いてもよい。

また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記各実施の形態における省略語補完装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、２人以上のユーザが会話している状況における、少なくとも１人のユーザの発した音声を示す情報である音声情報を受け付ける音声情報受付ステップと、前記音声情報受付ステップで受け付けた音声情報を、当該音声情報の示す音声に対応する文字を示す情報である文字情報に変換する文字情報変換ステップと、前記文字情報の示す文書において省略された格要素であるゼロ代名詞を特定するゼロ代名詞特定ステップと、前記２人以上のユーザの位置に関する情報であるユーザ位置情報を少なくとも含む情報であり、前記２人以上のユーザの行動に関する情報である行動情報を受け付ける行動情報受付ステップと、前記行動情報受付ステップで受け付けた行動情報を用いて、前記文字情報の示す文書における、前記ゼロ代名詞特定ステップで特定されたゼロ代名詞の位置に、省略されている言葉である省略語を補完した情報である補完文字情報を生成する省略語補完ステップと、前記補完文字情報を出力する補完文字情報出力ステップと、を実行させるためのものである。

また、このプログラムでは、前記省略語補完ステップが、前記行動情報を用いて、人のゼロ代名詞に対応するユーザを特定するユーザ特定ステップと、前記ゼロ代名詞に対応するユーザを示す文字の情報であるユーザ文字情報を決定するユーザ文字情報決定ステップと、前記ゼロ代名詞の位置に補完される省略語を示す情報であり、前記ユーザ文字情報決定ステップで決定したユーザ文字情報を含む情報であるユーザ省略語情報を、対応するゼロ代名詞の位置に挿入するユーザ省略語情報挿入ステップと、を備えていてもよい。

また、このプログラムでは、前記ユーザの属性に関する情報であるユーザ属性情報を受け付けるユーザ属性情報受付ステップをさらにコンピュータに実行させ、前記ユーザ文字情報決定ステップにおいて、前記ユーザ属性情報受付ステップで受け付けたユーザ属性情報を用いて前記ユーザ文字情報を決定してもよい。

また、このプログラムでは、前記ユーザ文字情報決定ステップにおいて、前記行動情報によって示される、前記ユーザ特定ステップで特定したユーザ、話し手のユーザ、聞き手のユーザの位置関係に応じた指示語を、ユーザの位置関係とユーザの指示語とを対応付ける情報であるユーザ指示情報を用いて選択し、当該選択した指示語を含む文字の情報であるユーザ文字情報を決定してもよい。

また、このプログラムでは、２人以上のユーザが会話している状況における、物に関する情報であり、当該物の位置に関する情報である物位置情報を少なくとも含む情報である物情報を受け付ける物情報受付ステップをさらにコンピュータに実行させ、前記省略語補完ステップが、前記物情報を用いて、物のゼロ代名詞に対応する物を特定する物特定ステップと、前記ゼロ代名詞に対応する物を示す文字の情報である物文字情報を決定する物文字情報決定ステップと、前記ゼロ代名詞の位置に補完される省略語を示す情報であり、前記物文字情報決定ステップで決定した物文字情報を含む情報である物省略語情報を、対応するゼロ代名詞の位置に挿入する物省略語情報挿入ステップと、を備えていてもよい。

また、このプログラムでは、前記物情報が、物の属性に関する情報である物属性情報も含み、前記物文字情報決定ステップでは、前記物属性情報を用いて前記物文字情報を決定してもよい。

また、このプログラムでは、前記物文字情報決定ステップにおいて、前記行動情報及び前記物情報によって示される、前記物特定ステップで特定した物、話し手のユーザ、聞き手のユーザの位置関係に応じた指示語を、ユーザと物の位置関係と、物の指示語とを対応付ける情報である物指示情報を用いて選択し、当該選択した指示語を含む文字の情報である物文字情報を決定してもよい。

また、このプログラムでは、前記ゼロ代名詞特定ステップが、前記文字情報の示す文書から、動詞と当該動詞の格要素とを抽出する動詞抽出ステップと、動詞と格要素との関係を示す情報である格フレーム情報を用いて、前記動詞抽出ステップで抽出した動詞に対応する格要素を取得する格要素取得ステップと、前記格要素取得ステップで取得した格要素と、前記動詞抽出ステップで抽出した格要素とを比較することにより、前記文字情報の示す文書に含まれない格要素を特定する格要素特定ステップと、を備えていてもよい。

なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップ等では、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカード等で行われる処理は少なくとも含まれない。

また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図２０は、上記プログラムを実行して、上記実施の形態による省略語補完装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。

図２０において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図２１は、コンピュータシステムを示す図である。図２１において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム１００に、上記実施の形態による省略語補完装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記実施の形態による省略語補完装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による省略語補完装置等によれば、ユーザの行動情報等を用いることにより、省略語を適切に補完することができ、省略語を補完する装置等として有用である。

本発明の実施の形態１による省略語補完装置の構成を示すブロック図 同実施の形態によるゼロ代名詞特定部の構成を示すブロック図 同実施の形態による省略語補完部の構成を示すブロック図 同実施の形態による省略語補完装置の全体動作を示すフローチャート 同実施の形態による省略語補完装置の省略語を補完する処理を示すフローチャート 同実施の形態による省略語補完装置のゼロ代名詞を特定する処理を示すフローチャート 同実施の形態による省略語補完装置の補完文字情報の生成処理を示すフローチャート 同実施の形態による省略語補完装置の物文字情報の決定処理を示すフローチャート 同実施の形態による省略語補完装置のユーザ文字情報の決定処理を示すフローチャート 同実施の形態におけるアイカメラ等を装着したユーザの一例を示す図 同実施の形態における音声情報の一例を示す図 同実施の形態における行動情報の一例を示す図 同実施の形態におけるユーザ属性情報及び物情報の一例を示す図 同実施の形態における文字情報の一例を示す図 同実施の形態における格フレーム情報の一例を示す図 同実施の形態におけるゼロ代名詞の特定された文字情報の一例を示す図 同実施の形態におけるユーザ指示情報の一例を示す図 同実施の形態における物指示情報の一例を示す図 同実施の形態におけるユーザと物の位置関係の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ 省略語補完装置
１１ 音声情報受付部
１２ 音声情報蓄積部
１３ 文字情報変換部
１４ ゼロ代名詞特定部
１５ 行動情報受付部
１６ 行動情報蓄積部
１７ ユーザ属性情報受付部
１８ ユーザ属性情報蓄積部
１９ 物情報受付部
２０ 物情報蓄積部
２１ 省略語補完部
２２ 補完文字情報出力部
３１ 動詞抽出手段
３２ 格フレーム情報記憶手段
３３ 格要素取得手段
３４ 格要素特定手段
４１ ユーザ特定手段
４２ ユーザ指示情報記憶手段
４３ ユーザ文字情報決定手段
４４ ユーザ省略語情報挿入手段
４５ 物特定手段
４６ 物指示情報記憶手段
４７ 物文字情報決定手段
４８ 物省略語情報挿入手段

Claims (10)

1. ２人以上のユーザが会話している状況における、少なくとも１人のユーザの発した音声を示す情報である音声情報を受け付ける音声情報受付部と、
   前記音声情報受付部が受け付けた音声情報を、当該音声情報の示す音声に対応する文字を示す情報である文字情報に変換する文字情報変換部と、
   前記文字情報の示す文書において省略された格要素であるゼロ代名詞を特定するゼロ代名詞特定部と、
   前記２人以上のユーザの位置に関する情報であるユーザ位置情報を少なくとも含む情報であり、前記２人以上のユーザの行動に関する情報である行動情報を受け付ける行動情報受付部と、
   前記行動情報受付部が受け付けた行動情報を用いて、前記文字情報の示す文書における、前記ゼロ代名詞特定部によって特定されたゼロ代名詞の位置に、省略されている言葉である省略語を補完した情報である補完文字情報を生成する省略語補完部と、
   前記補完文字情報を出力する補完文字情報出力部と、を具備する省略語補完装置。
2. 前記行動情報は、ユーザの動きを示す情報であるモーション情報も含む、請求項１記載の省略語補完装置。
3. 前記省略語補完部は、
   前記行動情報を用いて、人のゼロ代名詞に対応するユーザを特定するユーザ特定手段と、
   前記ゼロ代名詞に対応するユーザを示す文字の情報であるユーザ文字情報を決定するユーザ文字情報決定手段と、
   前記ゼロ代名詞の位置に補完される省略語を示す情報であり、前記ユーザ文字情報決定手段が決定したユーザ文字情報を含む情報であるユーザ省略語情報を、対応するゼロ代名詞の位置に挿入するユーザ省略語情報挿入手段と、を具備する、請求項１または請求項２記載の省略語補完装置。
4. 前記省略語補完部は、
   ユーザの位置関係と、ユーザの指示語とを対応付ける情報であるユーザ指示情報が記憶されるユーザ指示情報記憶手段をさらに具備し、
   前記ユーザ文字情報決定手段は、前記行動情報によって示される、前記ユーザ特定手段が特定したユーザ、話し手のユーザ、聞き手のユーザの位置関係に応じた指示語を、前記ユーザ指示情報を用いて選択し、当該選択した指示語を含む文字の情報であるユーザ文字情報を決定する、請求項３記載の省略語補完装置。
5. ２人以上のユーザが会話している状況における、物に関する情報であり、当該物の位置に関する情報である物位置情報を少なくとも含む情報である物情報を受け付ける物情報受付部をさらに具備し、
   前記省略語補完部は、
   前記物情報を用いて、物のゼロ代名詞に対応する物を特定する物特定手段と、
   前記ゼロ代名詞に対応する物を示す文字の情報である物文字情報を決定する物文字情報決定手段と、
   前記ゼロ代名詞の位置に補完される省略語を示す情報であり、前記物文字情報決定手段が決定した物文字情報を含む情報である物省略語情報を、対応するゼロ代名詞の位置に挿入する物省略語情報挿入手段と、を具備する、請求項１から請求項４のいずれか記載の省略語補完装置。
6. 前記物情報は、物の属性に関する情報である物属性情報も含み、
   前記物文字情報決定手段は、前記物属性情報を用いて前記物文字情報を決定する、請求項５記載の省略語補完装置。
7. 前記省略語補完部は、
   ユーザと物の位置関係と、物の指示語とを対応付ける情報である物指示情報が記憶される物指示情報記憶手段をさらに具備し、
   前記物文字情報決定手段は、前記行動情報及び前記物情報によって示される、前記物特定手段が特定した物、話し手のユーザ、聞き手のユーザの位置関係に応じた指示語を、前記物指示情報を用いて選択し、当該選択した指示語を含む文字の情報である物文字情報を決定する、請求項５または請求項６記載の省略語補完装置。
8. 前記ゼロ代名詞特定部は、
   前記文字情報の示す文書から、動詞と当該動詞の格要素とを抽出する動詞抽出手段と、
   動詞と格要素との関係を示す情報である格フレーム情報が記憶される格フレーム情報記憶手段と、
   前記格フレーム情報を用いて、前記動詞抽出手段が抽出した動詞に対応する格要素を取得する格要素取得手段と、
   前記格要素取得手段が取得した格要素と、前記動詞抽出手段が抽出した格要素とを比較することにより、前記文字情報の示す文書に含まれない格要素を特定する格要素特定手段と、を具備する、請求項１から請求項７のいずれか記載の省略語補完装置。
9. ２人以上のユーザが会話している状況における、少なくとも１人のユーザの発した音声を示す情報である音声情報を受け付ける音声情報受付ステップと、
   前記音声情報受付ステップで受け付けた音声情報を、当該音声情報の示す音声に対応する文字を示す情報である文字情報に変換する文字情報変換ステップと、
   前記文字情報の示す文書において省略された格要素であるゼロ代名詞を特定するゼロ代名詞特定ステップと、
   前記２人以上のユーザの位置に関する情報であるユーザ位置情報を少なくとも含む情報であり、前記２人以上のユーザの行動に関する情報である行動情報を受け付ける行動情報受付ステップと、
   前記行動情報受付ステップで受け付けた行動情報を用いて、前記文字情報の示す文書における、前記ゼロ代名詞特定ステップで特定されたゼロ代名詞の位置に、省略されている言葉である省略語を補完した情報である補完文字情報を生成する省略語補完ステップと、
   前記補完文字情報を出力する補完文字情報出力ステップと、を具備する省略語補完方法。
10. コンピュータに、
    ２人以上のユーザが会話している状況における、少なくとも１人のユーザの発した音声を示す情報である音声情報を受け付ける音声情報受付ステップと、
    前記音声情報受付ステップで受け付けた音声情報を、当該音声情報の示す音声に対応する文字を示す情報である文字情報に変換する文字情報変換ステップと、
    前記文字情報の示す文書において省略された格要素であるゼロ代名詞を特定するゼロ代名詞特定ステップと、
    前記２人以上のユーザの位置に関する情報であるユーザ位置情報を少なくとも含む情報であり、前記２人以上のユーザの行動に関する情報である行動情報を受け付ける行動情報受付ステップと、
    前記行動情報受付ステップで受け付けた行動情報を用いて、前記文字情報の示す文書における、前記ゼロ代名詞特定ステップで特定されたゼロ代名詞の位置に、省略されている言葉である省略語を補完した情報である補完文字情報を生成する省略語補完ステップと、
    前記補完文字情報を出力する補完文字情報出力ステップと、を実行させるためのプログラム。
    

Images