JP2009216723A - 類似音声選択装置、音声生成装置及びコンピュータプログラム - Google Patents

Abstract

【課題】複数のサンプル音声から、目標音声に類似する音声を精度よく選択できるようにする。
【解決手段】類似音声選択装置は、複数のサンプル音声を記憶する声優音声ＤＢと、音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度の重み付き線形和により、目標となる音声と、複数のサンプル音声の各々との間の距離を算出するための距離算出処理部（ステップ９０２〜９１０）と、複数のサンプル音声の中から、距離算出処理部により算出された距離が最も小さいものを、目標となる音声に類似する音声として選択する音声選択部（ステップ９１２）とを含む。
【選択図】図３１

Description

この発明は映画、アニメーション等、出演者がシナリオにしたがって発話するマルチメディア製作物などにおける台詞音声作成装置に関し、特に、所定のシナリオにあわせて台詞を効率的に収録し、再生することが可能な台詞音声作成装置に関する。

コンピュータ技術、特に映像及び音響処理技術が発達することにより、利用者を参加させたマルチメディア製作物をごく短時間に製作することが可能なシステムが実用化されつつある。たとえば、博覧会のアトラクションとして、そのようなシステムを導入し、博覧会を訪れた参加者を登場人物とする映画をその場で製作し上映するようなアトラクションが実現できると、より多くの訪問者をひきつけるような効果が期待できる。

そうしたアトラクションシステムが、特許文献１に開示されている。特許文献１に開示されたシステムは、参加者の立体的顔画像を撮影する複数の３次元スキャナ及び画像処理パーソナルコンピュータ（以下単に「ＰＣ」と呼ぶ。）と、予め準備された映画のシナリオを登場人物の画像、背景画像等とともに記憶するためのシナリオ保存サーバと、これら３次元スキャナによって撮影された参加者の立体的顔画像に基づき、シナリオ保存サーバに保存されている映画の登場人物の顔を参加者の顔画像に入替えることにより、参加者が登場人物として登場する映画を生成するためのアトラクション映像生成装置と、生成された映画を映写するための映像送出装置とを含む。

複数の参加者はそれぞれ、映画の中の所望の登場人物を指定することでその登場人物として映画の中に登場することができる。
特開２００５−１１５７４０号公報

しかし、上記したシステムでは、登場人物の顔画像を参加者の顔画像に入替えることはできても、声までを入替えることはできない。これは、顔画像の場合には３次元スキャナで参加者の顔画像を撮影することにより、どのようなシーンでもその顔画像を利用することができるのに比べ、音声の場合にはそのようなことができないためである。

音声の場合には、シナリオにあわせ、かつ映像にあわせて台詞を読上げる作業をする必要がある。こうした作業は単に難しいだけではなく、長時間を有する作業であるという問題点がある。限られた時間しかないアトラクションの参加者にそのような作業を強いることはできず、結果として上記したアトラクションシステムにおいて参加者の声を使用することができなかった。

こうしたことは、映画に限らず他の場面でも起こりうる。たとえば音声のみを使用したラジオドラマのようなものを作成する場合にも、参加者がさくことのできる時間が短ければ、参加者の声を利用して長時間のドラマを作成することは困難である。また、アニメーションを吹替える場合、又は実写の動物に人間の声をあてはめるための吹替えをする場合にも同様の問題が生じる。

また、こうした問題はアトラクションの参加者のように一時的に来訪している人の声を使用する場合だけではなく、いわゆる声優のように吹替えを職業としている人の場合にも生じえる。ある長さのシナリオの全てを声優の声で吹替える場合には、最低限必要な時間が決まってしまい、利用可能な時間が非常に限定されているときには吹替えを完全に行なうことが不可能な場合さえ生じ得る。

仮に、既に他人の声で台詞が多数録音されている場合には、もしかしたら参加者の声とよく似た人物の声を使用して吹替えを行なうことができるかもしれない。しかしそのためには、男女、年齢、声の質などを考慮して、できるだけ多数の人物の声を収録しておかなければならず、それは非常に困難である。こうした問題を解決するために、登場人物の台詞が分かっているマルチメディア製作物を製作するために、登場人物の音声をユーザの声で容易に短時間で置換することが可能であることが望ましい。そのためには、例えば予め準備してあるサンプル音声から、目標となる音声に近い音声を精度よく生成できることが望ましい。そのためにはさらに、予め準備してあるサンプル音声から、目標となる音声に近い音声を選択できることが望ましい。

それ故に本発明の目的は、複数のサンプル音声の中から、目標となる音声に類似する音声を精度よく選択することが可能な音声選択装置を提供することである。

本発明の他の目的は、複数のサンプル音声の中から、目標となる音声に類似する音声を精度よく選択し、この音声から目標となる音声によく似た音声を生成することが可能な音声生成装置を提供することである

本発明の第１の局面に係る類似音声選択装置は、複数のサンプル音声の中から、目標となる音声に類似する音声を選択するための類似音声選択装置であって、複数のサンプル音声を記憶するための手段と、音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度の重み付き線形和により、目標となる音声と、複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、複数のサンプル音声の中から、距離算出手段により算出された距離が最も小さいものを、目標となる音声に類似する音声として選択するための音声選択手段とを含む。

ある発話者の音声で、その発話者による録音がなされていない内容の発話をさせたいことがある。この類似音声選択装置は、そうした場合に有効である。具体的には、距離算出手段は、音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度を算出し、それらの重み付き線形和により、目標となる音声と、サンプル音声の各々との間の距離を算出する。音声選択手段は、この距離が最も小さいものを選択する。

２つの音声の間の１種類以上の音響特徴量について算出される距離尺度の線形和を用いることにより、単独の音響特徴量のみを用いた場合と比較して、より精度よく、目標音声に近い音声を定めることができる。

好ましくは、距離尺度は、２つの音声の同一の音響特徴量の間での動的時間軸伸縮（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ：ＤＴＷ）によって算出される距離尺度である。

より好ましくは、距離尺度は、２つの音声の同一の音響特徴量の間でガウス混合分布モデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）によって算出される距離尺度である。

このように、ＤＴＷ又はＧＭＭを用いて算出された距離尺度の線形和を用いることにより、単独の音響特徴量のみを用いた場合と比較して精度がより高くなることが実験により確認できる。

さらに好ましくは、距離尺度の重み付き線形和の結合係数は、複数の音声について、複数の目標音声の各々との類似度の順位付けを人間によって行なった結果と、距離算出手段によって行なった結果との相関が最大となるように、予め決定されている。

重み付き線形和の結合係数が、人間の判断によって付された順位付けとの相関が高い結果が得られるように、予め決定されている。１種類以上の音響特徴量についての距離尺度の線形和を使用するため、この相関を高くすることができる。その結果、人間による類似音声の選択結果に近い結果が得られる音声選択装置が得られる。

本発明の第２の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、複数のサンプル音声を記憶するための手段と、音声に対する１種類以上の音響特徴量の各々について算出される距離尺度の重み付き線形和により、目標となる音声と、複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、複数のサンプル音声の中から、距離算出手段により算出された距離が最も小さなものを、目標となる音声に類似する音声として選択するための音声選択手段として機能させる。

本発明の第３の局面に係る音声生成装置は、予め定められた内容の音声を、目標となる音声に類似する音声で生成するための音声生成装置であって、予め定められた内容の、複数のサンプル音声を記憶するための手段と、音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度の重み付き線形和により、目標となる音声と、複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、複数のサンプル音声の中から、距離算出手段により算出された距離が最も小さなものを、目標となる音声に類似する音声として選択するための音声選択手段と、音声選択手段によって選択された音声を用いて、予め定められた内容の音声を生成するための音声生成手段とを含む。

この音声生成装置では、第１の局面に係る音声選択装置と同様の構成で、目標となる音声が複数のサンプル音声から選択され、選択された音声により予め定められた内容の発話の音声が生成される。したがって、第１の局面に係る音声選択装置と同様、精度よく、目標音声に近い音声を定め、その音声によって予め定められた内容の発話の音声を生成することができる。

好ましくは、音声選択手段は、複数のサンプル音声の中から、距離算出手段により算出された距離が最も小さな複数のものを、目標となる音声に類似する音声として選択するための手段を含み、音声生成手段は、音声選択手段によって選択された複数の音声に対するモーフィングを行なって新たな音声を生成するための音声モーフィング手段を含む。

複数のサンプル音声の中から、目標となる音声に最も類似する音声が選択され、さらにそれらのモーフィングによって音声が合成される。モーフィングによって、選択されたサンプル音声よりもさらに目標となる音声に近い音声を生成することができる。

より好ましくは、音声生成装置はさらに、選択するための手段によって選択された複数の話者の音声を、音声モーフィング手段によってモーフィングして得られたモーフィング後音声の所定の特徴量ベクトルと、目標となる音声の、所定の特徴量に対応する特徴量ベクトルとの間の距離が最小となるように、音声モーフィング手段によるモーフィング時の複数の話者のモーフィング比率を最適化するための最適化手段を含む。

モーフィング比率が最適化されているため、モーフィングにより得られる音声は、目標となる音声により近くなる。

本発明の第４の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、予め定められた内容の、複数のサンプル音声を記憶するための手段と、音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度の重み付き線形和により、目標となる音声と、複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、複数のサンプル音声の中から、距離算出手段により算出された距離が最も小さなものを、目標となる音声に類似する音声として選択するための音声選択手段と、音声選択手段によって選択された音声を用いて、予め定められた内容の音声を生成するための音声生成手段として機能させる。

以下、本発明の台詞音声作成装置の一実施の形態に係る、類似音声選択及び音声生成を行なうマルチメディア製作システムについて説明する。以下の説明及び図面において、同一の部品には同一の名称及び参照番号を付してある。それらの機能も同一である。したがってそれらについての詳細な説明は繰返さない。

図１に、本発明の一実施の形態に係るマルチメディア製作システム５０のブロック図を示す。図１を参照して、マルチメディア製作システム５０は、特許文献１に記載されたものと同様の複数の３次元スキャナからなる三次元スキャナ群６０と、三次元スキャナ群６０により撮影された参加者の顔画像の三次元モデルを作成するための画像処理ＰＣ６２と、映画のシナリオを登場人物（以下「キャラクタ」と呼ぶ。）の顔画像及びその他の画像とともに記憶するための図示しないシナリオ保存サーバと、画像処理ＰＣ６２により生成された参加者の顔画像を用い、シナリオ保存サーバに保存されているキャラクタの顔画像を置換して、参加者の顔を持つ人物が登場する映像を生成し映像データ６６として出力するための映像生成装置６４と、この映像データ６６を保存するための映像データ記憶装置とを含む。

マルチメディア製作システム５０はさらに、最終的な映像データ６６を作成するための映像素材を記憶するための映像素材ＤＢ（データベース）７０と、この映画のキャラクタの中で、参加者による吹替えの対象となるキャラクタの台詞に関する台詞情報を記憶するための台詞情報記憶部７２と、映画の中のキャラクタの台詞を標準的な音声で発話した標準音声を記憶するための標準音声記憶部７４と、映画の中の各台詞がどのようなシーンで発話されているか、それにより台詞の音声にどのような音響効果を加えるべきかを示すカット情報を記憶するためのカット情報記憶部７６とを含む。

マルチメディア製作システム５０はさらに、映像素材ＤＢ７０に記憶された映像、台詞情報記憶部７２に記憶された台詞情報、標準音声記憶部７４に記憶された標準音声による台詞の発話データ、及びカット情報記憶部７６に記憶されたカット情報を用い、参加者（ユーザ）の音声を収録してその音声に基づき、映画の特定のキャラクタの台詞の音声をユーザの音声に入替える処理（いわゆる「吹替え」と同様の処理）を実行し、ユーザの音声により台詞を発話した音声からなる台詞音声データ８６と、台詞音声データ８６の中の台詞の発話開始時間、発話時間、対応する音声ファイル名などをテーブルとして記憶するための台詞音声テーブル８８とを出力するための台詞音声データ作成部９０とを含む。

台詞音声データ作成部９０は、三次元スキャナ群６０と同様、複数のユーザの音声を処理することが可能なように構成されている。各ユーザは後述するように識別子（ＩＤ）によって区別され、三次元スキャナ群６０、画像処理ＰＣ６２、及び映像生成装置６４からなる映像処理系と、台詞音声データ作成部９０とで同じユーザについては同じＩＤを割当てて管理する。こうすることにより、映画の複数のキャラクタの顔と音声とを同時に特定のユーザの顔と音声とにより入替えることが可能になる。

マルチメディア製作システム５０はさらに、台詞音声データ作成部９０がユーザの音声からキャラクタの台詞音声を作成する際に、どのような手法を用いるかを示す情報を台詞ごとに記憶した手法リストテーブル７８と、ユーザによる発話の収録ができなかった台詞について、台詞音声データ作成部９０がユーザの発話に代えて台詞音声データの作成に使用する、予めこの映画の各台詞を種々の声優の音声により発話したサンプル音声データを記憶した声優音声ＤＢ８０と、台詞音声データ作成部９０がユーザの発話に代えて音声合成によりユーザの声に似た声質の台詞音声データを生成する際に使用する音声素片を、それらの特徴量データとともに記憶した素片ＤＢ８２と、後述するように、声優音声ＤＢ８０に記憶された声優音声のうちから、ユーザの音声に似た声質のものを選択する際に使用される、複数の音響特徴量を線形結合して得られる複合的音響特徴量を算出するための、線形結合係数を記憶するための線形結合係数記憶部９４とを含む。本実施の形態では、後述するように８種類の音響特徴量の線形結合で複合的音響特徴量を算出する。したがって線形結合係数記憶部９４には、８つの係数が記憶される。

マルチメディア製作システム５０はさらに、映像生成装置６４から出力された映像データ６６と、台詞音声データ作成部９０から出力された台詞音声データ８６とを台詞音声テーブル８８を使用して互いに同期させて再生することにより、キャラクタの一部の顔画像及び音声がユーザの顔画像及び音声に入替えられたマルチキャラクタ製作物を上演するための映像・音声再生装置９２を含む。

前述したとおり、台詞音声データ作成部９０は、複数のユーザの音声を収録し、それらに基づき、別々のキャラクタの台詞音声を生成する機能を持つ。そのために台詞音声データ作成部９０は、各々が処理対象のユーザに関する識別情報、性別、氏名、年齢、吹替え対象となるキャラクタを特定する情報等を含むユーザ情報の入力を受けるための複数のユーザ情報入力部１００，１００Ａ，…，１００Ｎと、これらユーザ情報入力部１００，１００Ａ，…，１００Ｎが受けたユーザ情報に基づいて、各々が対応するユーザの音声を収録し、収録した音声に基づいて種々の手法によりユーザの音声の声質で対応するキャラクタの台詞音声を生成し出力するための複数のキャラクタ音声作成部１０２，１０２Ａ，…，１０２Ｎと、複数のキャラクタ音声作成部１０２，１０２Ａ，…，１０２Ｎの出力する、ユーザ音声の声質に置換えられた種々のキャラクタの台詞音声を、台詞情報記憶部７２に記載された台詞情報に基づいて１つのマルチメディア製作物の音声を構成するように台詞の番号順にしたがって統合し、台詞音声データ８６及び台詞音声テーブル８８として出力するための音声統合部１０４とを含む。

なお、ユーザ情報入力部１００，１００Ａ，…，１００Ｎにより入力されたユーザ情報は、画像処理ＰＣ６２にも与えられ、ユーザの顔画像の管理にも用いられる。

複数のキャラクタ音声作成部１０２，１０２Ａ，…，１０２Ｎの構成はいずれも同じである。したがって以下では、キャラクタ音声作成部１０２の構成を代表として説明する。

図２は、キャラクタ音声作成部１０２の機能的ブロック図である。図２を参照して、キャラクタ音声作成部１０２は、ユーザ情報を受けて、映像素材ＤＢ７０に格納されている映像素材、台詞情報記憶部７２に記憶されている台詞情報、及び標準音声記憶部７４に記憶されている標準音声による台詞音声を利用して、ユーザによる吹替え対象となるキャラクタの台詞音声をユーザに発話させ、その発話音声をユーザ音声ＤＢ１２０に収録するための音声収録部１１４と、音声収録部１１４における発話の収録を制御するためにアテンダントが音声収録部１１４を操作するため、及びユーザによる発話の補助を行なうために使用する入出力装置１１２とを含む。

ところで、一般的に、１つの映画を構成する台詞は多数あり、あるキャラクタの台詞のみに限ってもユーザによるその台詞の発話音声の収録にはかなりの時間を要することが予測される。映画の音声の発話となると、キャラクタの動きにあわせて発話を行なう必要があり、この収録にはさらに時間がかかる可能性が高い。特に、アトラクションなどでは、時間的制限もあって、全ての発話音声の収録を行なうことが難しい場合が多い。また、収録できたとしても発話時間が短すぎたり長すぎたりすることも多く、そのまま収録音声を用いることができない場合が多い。そこで本実施の形態に係るキャラクタ音声作成部１０２では、あるキャラクタの台詞のうち、ユーザによる発話を収録できた分、及びできなかった分の双方に対して、それぞれ所定の音声生成手法を用いて、台詞音声をできるだけユーザの声質に近い声質で生成することを目標としている。手法リストテーブル７８には、台詞ごとにどのような手法をどのような優先順位で使用するかを示す台詞ごとの手法リストが記憶されており、キャラクタ音声作成部１０２は音声生成にこの手法リストテーブル７８を使用する。

キャラクタ音声作成部１０２はさらに、音声収録部１１４によってユーザ音声ＤＢ１２０に記憶されたユーザ音声に対し、手法リストテーブル７８を参照して、ユーザの吹替え対象のキャラクタの台詞ごとに条件に合致した手法を決定し、さらに、図１に示す線形結合係数記憶部９４からの線形結合係数を参照して、声優音声ＤＢ８０に記憶された声優音声のうちでユーザ音声に類似した３名の声優の音声を決定し、それら３名の声優音声をモーフィングすることによりユーザ音声に類似した音声を生成する際のモーフィング率ベクトルを計算するための合成手法決定部１１６と、合成手法決定部１１６によって決定された３名の声優音声の識別子を記憶するための類似声優記憶部１３０と、合成手法決定部１１６によって決定されたモーフィング率ベクトルを記憶するためのモーフィング率記憶部１３２と、合成手法決定部１１６によって決定された手法を用いてキャラクタの台詞音声をユーザの声質にあわせて作成し、台詞ごとに音声ファイル１１０として出力するための音声作成部１１８とを含む。

音声作成部１１８はこの合成の際に、手法によって声優音声ＤＢ８０、ユーザ音声ＤＢ１２０、素片ＤＢ８２、標準音声記憶部７４等に記憶された音声、類似声優記憶部１３０に記憶された識別子に対応する声優音声、又はモーフィング率記憶部１３２に記憶されたモーフィング率ベクトルを適宜利用する。また音声作成部１１８は、生成された台詞の発話音声に対し、カット情報記憶部７６に記憶されたカット情報に基づいて決定される音響効果を加えて最終的な音声ファイル１１０を出力する。

合成手法決定部１１６において行なわれる、ユーザ音声に類似した声優音声の選択処理の詳細と、それらを使用したモーフィングの詳細と、モーフィングのためのモーフィング率ベクトルの算出方法の詳細については後述する。

キャラクタ音声作成部１０２はさらに、ユーザ音声ＤＢ１２０に格納されたユーザの音声を声優音声ＤＢ８０に新たな声優音声として登録する処理を行なう音声ＤＢ更新部１２２と、ユーザ音声ＤＢ１２０に記憶されたユーザ音声を音素片（素片）に分解し、それらの所定の音響データ、音素ラベル、及びユーザＩＤとともに素片ＤＢ８２に追加するための素片ＤＢ更新部１２４とを含む。素片ＤＢ更新部１２４による音声の素片への分解においては、音声認識技術を利用し、台詞情報記憶部７２に記憶された台詞情報にあわせてユーザ音声ＤＢ１２０に記憶されたユーザの音声を細分化するセグメンテーションを行なう。

図３は、台詞情報記憶部７２に記憶される台詞情報テーブルの構成を示す。図３を参照して、台詞情報記憶部７２は、作成対象となる映画の台詞の全てを通し番号（Ｎｏ）で管理するためのものである。各台詞情報は、その台詞の通し番号（以下「台詞番号」と呼ぶ。）と、その台詞を発話する映画のキャラクタを識別するキャラクタＩＤと、台詞の内容であるテキストデータと、その台詞を標準音声で発話したものを記録した、標準音声記憶部７４内の音声ファイルのファイル名と、映画の進行経過の中でその台詞の発話が開始される時点を示す開始時刻と、その発話の継続時間を示す発話時間とを含む。台詞情報記憶部７２の台詞情報テーブルがこのような構成を有しているため、同じキャラクタＩＤの台詞を抽出することにより、あるキャラクタの台詞を全てリスト化することができる。また、ある台詞について、ユーザによる音声が利用できないときに、対応する標準音声を音声ファイル名により示される音声ファイルから得ることができる。

図４に、本実施の形態に係るマルチメディア製作システム５０における、ユーザによる録音状況としてあり得るいくつかの場合を示す。なお、たとえば図４（Ａ）を参照して、あるユーザについて録音すべき発話全体が発話集合１４０を形成するものとする。この発話集合１４０は、音声合成、声質変換などのために必要で、必ず収録すべき発話からなる必須発話部分１４２と、対応するキャラクタの台詞全体からなる台詞部分１４４とからなる。ユーザの収録にかかる時間、ユーザの発話の巧拙などにより、必須発話部分１４２はともかく、台詞部分１４４については、全て収録できる場合、一部のみしか収録できないとき、全く収録できないとき、の３通りがあり得る。図４には、それらの場合を分けて、収録できた部分に斜線を付し、収録できなかった部分は白抜きのままで例示してある。

たとえば図４（Ａ）には、発話集合１４０の全てを収録できた場合を示す。図４（Ｂ）には、必須発話部分１４２と、一部の台詞部分１４６のみが収録でき、残りの部分１４８が収録できなかった場合を示す。図４（Ｃ）には、必須発話部分１４２の部分のみが収録でき、他の台詞部分１５０が全く収録できなかった場合を示す。

図４（Ａ）に示す場合には、基本的にはユーザの音声のみを用いて台詞音声を作成することができる。ただしこの場合にも、ユーザの巧拙によって話速を変換したり、発話レベルを調整したりする加工が必要なときがある。それらは台詞ごとに異なる。

図４（Ｂ）に示す場合には、収録できた台詞部分１４６については、図４（Ａ）に示す場合と同様に処理できるが、収録できなかった台詞部分１４８については何らかの手法を用いてユーザの音声以外からユーザの音声に似た台詞音声を生成する必要がある。

図４（Ｃ）に示す場合には、台詞部分１５０の全てについて台詞音声を生成する必要がある。その場合、たとえば必須発話部分１４２からユーザの声質を表す特徴量を抽出し、声優音声ＤＢから類似の声質の声優の台詞音声を抽出したり、標準音声の声質をユーザの声質に近くなるように変換したりする処理（声質変換）を行なったりする必要がある。

図２に示す手法リストテーブル７８には、台詞ごとに、どのような優先順位でそうした手法を使用するかが示されている。本実施の形態では、９種類の手法を用いて台詞音声を生成する。それら手法の詳細については後述する。

図５及び図６は、図２に示す音声収録部１１４で行なわれる音声収録処理を、コンピュータハードウェア上で実現するコンピュータプログラムのフローチャートである。既に述べたように、映画のキャラクタの台詞の吹替えを行なうことは難しい。たとえばある台詞について、決められた時間で明瞭に発話する必要がある。通常、発話時間が長すぎても短すぎても吹替えとして不適当になる場合がある。ましてや、声優ではないユーザに台詞の吹替えを間違いなく行なわせるのは困難である。そこで、本実施の形態では、様々な方策を講じてできるだけ正確に所望の台詞音声を収録することができるようにしている。たとえば、図７に示されるように、台詞音声収録時にユーザに提示される入出力装置１１２の画面に、台詞の発話時の映像２４６と、発話すべき台詞のテキスト２４０とを表示し、発話の進行にあわせて伸びるプログレスバー２４２を表示したり、台詞のテキスト２４０のうち、発話が終了しているべき部分２４４の色を、これから発話すべき部分の色と違う色で表示したりする、という方法を採用する。

図５を参照して、このプログラムは、ユーザ情報をユーザ情報入力部１００から受信し所定の記憶領域に保存するステップ１７０と、ステップ１７０に続き、受信したユーザ情報にしたがって、処理対象のユーザに対し、指定されたキャラクタを割当てるステップ１７２と、ステップ１７２に続き、共通の練習用台詞及び対応する標準音声、ステップ１７２で割当てられたキャラクタの台詞及び対応する標準音声を図２に示す台詞情報記憶部７２及び標準音声記憶部７４から抽出するステップ１７４と、ステップ１７４に続き、ユーザ音声テーブルと呼ばれる、ユーザの台詞音声を管理するためのテーブルを生成し、全ての台詞について未収録状態に初期化するステップ１７６とを含む。

ユーザ音声テーブルは、図２に示すユーザ音声ＤＢ１２０の一部を構成する。図８を参照して、ユーザ音声ＤＢ１２０は、ユーザの発話を台詞ごとに収録した音声ファイルを記憶するユーザ音声記憶部２６２と、ユーザ音声記憶部２６２に記憶された音声ファイルの管理を行なうためのユーザ音声テーブル２６０とを含む。

ユーザ音声テーブル２６０は、ユーザが吹替えを行なうキャラクタの台詞と、対応するユーザ音声とを管理するためのものであって、先頭にはユーザＩＤが付され、さらに、このキャラクタの台詞の各々について、抽出された台詞の台詞番号と、ユーザによるその台詞の発話の収録が完了したか否かを示す録音フラグと、収録した発話音声データを格納した音声ファイルの名称と、その発話時間とを記憶するためのものである。録音フラグは、１のときに発話音声が収録済であることを示し、０のときには未収録であることを示す。なお、実際には発話開始時間、発話時間などは１秒よりも細かい単位で管理する必要があるが、以下の説明及び図面では、理解を容易にするため、これら時間は秒単位で管理するものとする。

再び図５を参照して、ステップ１７６では、上記したユーザ音声テーブル２６０が新たに作成され、台詞番号には抽出された台詞に付されている通し番号が、録音フラグには全て０が、音声ファイル名には全て空白が、発話時間には全て０が、それぞれ代入される。

このプログラムはさらに、ステップ１７６に続き、収録に要した時間を測定するためのタイマを起動するステップ１７８と、ユーザ音声テーブル２６０内の先頭の台詞を選択するステップ１８０と、直前のステップで選択された台詞のテキストをユーザの前に置かれたモニタに表示するステップ１８２と、この台詞に対応する標準音声を標準音声記憶部７４から取出し、再生するステップ１８４とを含む。ステップ１８２及び１８４においても、図７に示したような表示が行なわれる。

このプログラムはさらに、ステップ１８４に続いて、ユーザの発話練習の時間として設けられたステップ１８６と、ステップ１８２に戻って再度練習を行なうか、次のステップに進んでもよいかをアテンダントが判定して入力する判定結果にしたがい、制御の流れを分岐させるステップ１８８とを含む。ステップ１８８での判定結果が再度練習を行なうべきことを示すときには、制御はステップ１８２に戻る。

このプログラムはさらに、ステップ１８８で練習を終了しても良いことを示す入力がされたことに応答して実行され、選択中の台詞を再度表示するステップ１９０と、選択中の台詞の通常の発話速度にしたがって変化するプログレスバーの表示を開始するステップ１９２とを含む。

続いて図６を参照して、このプログラムは、ステップ１９２の次に配置され、ユーザの発話する台詞音声を録音するステップ１９４と、ステップ１９４で録音された台詞音声を再生するステップ１９６と、ステップ１９６で再生された台詞音声の発話時間、発話の明瞭さ及び自然さなどに基づいて、この台詞の収録を完了するか否かについてアテンダントが判定して入力した結果にしたがい、制御の流れを分岐させるステップ１９８と、ステップ１９８においてこの台詞の収録を完了することを示す入力が行なわれたことに応答して実行され、ステップ１９４で録音された音声を音声ファイルとしてユーザ音声記憶部２６２内に保存し、ユーザ音声テーブル２６０内の当該台詞の音声ファイル名欄にその音声ファイル名を、発話時間欄に録音音声の持続時間を、それぞれ代入するステップ２００と、収録フラグに「１」を代入するステップ２０１とを含む。

このプログラムはさらに、ステップ２００の後、対象のキャラクタの次の台詞の選択を試みるステップ２０２と、ステップ２０２で選択を試みた次の台詞が存在しているか否か、すなわち対象のキャラクタの台詞を全て処理したか否かを判定し、その判定結果にしたがって制御の流れを分岐させるステップ２０４と、ステップ２０４においてまだ台詞が残っていると判定されたことに応答して、タイマを参照し、録音開始から所定時間が経過したか否かを判定し、判定結果にしたがって制御の流れを分岐させるステップ２１２とを含む。ステップ２１２においてまだ所定時間が経過していないと判定された場合には、制御は図５のステップ１８２に戻る。

このプログラムはさらに、ステップ２０４で対象のキャラクタの全台詞について収録が完了したと判定された場合、及びステップ２１２において所定時間が経過したと判定されたことに応答して実行され、録音した全音声を、対応する台詞のテキストに基づいてセグメンテーションし、音声素片に分解するステップ２０６と、ステップ２０６で生成された素片の各々について、Ｆ０，スペクトル分布など、所定の音響特徴量を算出するステップ２０８と、ステップ２０６で作成された素片を、ステップ２０８で算出された音響特徴量、対応する音素のラベル、及び話者のＩＤとともに素片ＤＢ８２に追加して処理を終了するステップ２１０とを含む。

このプログラムはさらに、ステップ１９８において、録音をやり直すことを示す入力がアテンダントにより行なわれたことに応答して実行され、ステップ１９４で録音された音声データを破棄するステップ２１４と、ステップ２１４の後に配置され、タイマの時間を参照して所定時間が経過したか否かを判定し、判定結果にしたがって制御の流れを分岐させるステップ２１６と、ステップ２１６においてまだ所定時間が経過していないと判定されたときに実行され、どこから処理を再開するかを決めるアテンダントの入力にしたがって、台詞音声の収録から再開するときにはステップ１９０に、発話の練習から再開するときにはステップ１８２に、それぞれ制御の流れを分岐させるステップ２２０と、ステップ２１６で既に所定時間が経過していると判定されたことに応答して実行され、現在収録中の台詞が必須部分であればステップ２２０に、それ以外であればステップ２０６に、それぞれ制御を分岐させるステップ２１８とを含む。

図９は、図２に示す音声作成部１１８のより詳細なブロック図を示す。図９を参照して、音声作成部１１８は、それぞれ第１の手法〜第９の手法によって台詞音声を生成するための第１〜第９の音声生成部３００，３０２，３０４，３０６，３０８，３１０，３１２，３１４，及び３１６と、合成手法決定部１１６によって決定された手法にしたがって、第１〜第９の音声生成部３００，３０２，３０４，３０６，３０８，３１０，３１２，３１４，及び３１６のいずれかを選択的に能動化し、ユーザ音声を与えて指定した手法で音声を生成させる分岐部２８０と、合成手法決定部１１６によって決定された手法にしたがい、分岐部２８０によって選択された音声生成部の出力である台詞音声データを選択して共通の出力に出力する合流部２９２と、合流部２９２により出力される台詞音声データに対し、カット情報記憶部７６に記憶されたカット情報にしたがって指定される音響効果を付加して出力する音声信号処理部３２０とを含む。

第１の音声生成部３００は、ある台詞についてユーザの台詞音声を収録することができたときの手法である。この場合には、原則として収録した音声をそのまま使用する。

第２の音声生成部３０２も、ある台詞についてユーザの台詞音声を収録することができたときの手法である。ただし、この手法では、収録した台詞音声の発話速度を調整して台詞音声を生成する。

第３の音声生成部３０４は、台詞のうち、一部についてユーザの台詞音声を収録することができなかったときにも有効な手法である。この手法では、収録することができた台詞についてはユーザの台詞音声の話速変換をして台詞音声を生成する。収録することができなかった台詞については、ユーザの音声を使用せず、標準音声記憶部７４に記憶された標準音声のうち、ユーザ情報に合致した台詞音声（性、年齢など）を用いる。

第４の音声生成部３０６も、台詞のうち、一部についてユーザの台詞音声を収録することができなかったときにも有効な手法である。この手法では、収録することができた台詞についてはユーザの台詞音声の話速変換をして台詞音声を生成する。収録することができなかった台詞については、声優音声ＤＢ８０に記憶されている声優による台詞音声のうち、ユーザの音声に最も近い声質を持つ声優の台詞音声が採用される。このときの声優音声の決定には、練習用台詞から得られたユーザ音声の８種の特徴量（基本周波数、スペクトル分布など）について、比較対象となる音声との間で算出される距離の線形和を用いた声質間の距離比較が用いられる。この際の、これら特徴量の線形和の係数には、図１に示す線形結合係数記憶部９４に記憶された線形結合係数が使用される。ただし、本実施の形態では、この比較は図２に示す合成手法決定部１１６によって行なわれ、その結果である声優音声の識別子が類似声優記憶部１３０に記憶されている。第４の音声生成部３０６はこの情報を利用する。後述する第５の音声生成部３０８、第７の音声生成部３１２、及び第８の音声生成部３１４でも同様である。この類似した声優音声の決定の際には、ユーザの発話のうち、必須発話部分の音声と、声優音声の対応する台詞音声とが使用される。

第５の音声生成部３０８も、台詞のうち、一部についてユーザの台詞音声を収録することができなかったときに有効な手法である。この手法では、収録することができた台詞についてはユーザの台詞音声の話速変換をして台詞音声を生成する。収録することができなかった台詞については、声優音声ＤＢ８０に記憶されている声優による台詞音声のうち、ユーザ音声と声質が最も類似のもの３個を特定し、その台詞音声にさらにユーザの声質を反映させた声質変換を行なって台詞音声とする。類似した声優音声の特定には、前述したとおり類似声優記憶部１３０に記憶された声優音声の識別子を用いる。声質変換は、類似声優記憶部１３０に格納された識別子に対応する３名の声優音声に対し、モーフィング率記憶部１３２に記憶された、合成手法決定部１１６によって決定されたモーフィング率ベクトルを用いた、音声分析変換合成システムＳＴＲＡＩＧＨＴ（http://www.wakayama-u.ac.jp/~kawahara/STRAIGHTadv/）によるモーフィングによって行なわれる。

第６の音声生成部３１０も、台詞のうち、一部についてユーザの台詞音声を収録することができなかったときに有効な手法である。この手法では、収録することができた台詞についてはユーザの台詞音声の話速変換をして台詞音声を生成する。収録することができなかった台詞については、収録できたユーザ音声から生成した音声素片のうち、母音の音声素片と、素片ＤＢ８２に記憶されている全子音の音声素片のうち、ユーザの音声に類似した特徴量を持つ音声素片とを用いて音声合成をする。発話の個人的特徴は主として母音に現れるので、このような音声合成をすることによって、かなりユーザの音声に似た声質の合成音声を生成することができる。

第７の音声生成部３１２は、必須発話部分以外の台詞音声が全く収録できなかったときに採用される手法である。この手法では、声優音声ＤＢ８０に記憶されている声優音声のうち、ユーザ音声と最も声質が類似した音声が台詞音声として使用される。

第８の音声生成部３１４も、必須発話部分以外の台詞音声が全く収録できなかったときに有効な手法である。この手法では、声優音声ＤＢ８０に記憶されている声優音声のうち、ユーザ音声と最も声質が類似した音声を用い、その声優音声にさらにユーザ音声の声質を用いた声質変換を行なって台詞音声を生成する。

第９の音声生成部３１６も、必須発話部分以外の台詞音声が全く収録できなかったときに有効な手法である。この手法では、必須発話部分について収録したユーザ音声から生成した音声素片のうち、母音の音声素片と、素片ＤＢ８２に記憶されている子音の音声素片のうち、ユーザの音声に類似した特徴量を持つ音声素片とを用いて音声合成をする。前述のとおり、このような音声合成をすることによって、かなりユーザの音声に似た声質の合成音声を生成することができる。

以上の各手法の説明から明らかなように、台詞情報記憶部７２に記憶された台詞情報は第１〜第９の音声生成部３００，３０２，３０４，３０６，３０８，３１０，３１２，３１４，及び３１６の全てにより参照される。標準音声記憶部７４に記憶された標準音声は、第３の音声生成部３０４に参照される。声優音声ＤＢ８０に記憶された声優音声は、第４の音声生成部３０６、第５の音声生成部３０８、第７の音声生成部３１２、及び第８の音声生成部３１４により参照される。素片ＤＢ８２は、第６の音声生成部３１０、及び第９の音声生成部３１６により参照される。類似声優記憶部１３０は、第４の音声生成部３０６、第５の音声生成部３０８、第７の音声生成部３１２、及び第８の音声生成部３１４により参照される。モーフィング率記憶部１３２は、第５の音声生成部３０８及び第８の音声生成部３１４により参照される。

図１０は、図２に示す合成手法決定部１１６で行なわれる音声の生成手法の決定処理を、コンピュータハードウェア上で実現するコンピュータプログラムのフローチャートである。図１０を参照して、このプログラムは、ユーザ音声から得られる８種類の音響特徴量の線形和からなる複合音響特徴量と、声優音声ＤＢ８０に記憶された各声優音声から得られる同じ複合音響特徴量とを用いた距離比較により、ユーザ音声に最もよく似た３つの声優音声を特定し、これら声優音声の識別子を図９に示す類似声優記憶部１３０に記憶するステップ３３０と、ステップ３３０で特定された３つの声優音声を用いたモーフィングにより、ユーザ音声の声質に似た音声を合成する際の、モーフィング率ベクトルを算出し、図９に示すモーフィング率記憶部１３２に記憶させるステップ３３２とを含む。ステップ３３０及びステップ３３２の詳細については後述する。

このプログラムはさらに、以下の繰返しを制御するための変数ｉに０を代入するステップ３４０と、変数ｉに１を加算するステップ３４２と、変数ｉの値が台詞の数ＭＡＸを超えたか否かを判定し、超えた場合には処理を終了するステップ３４４と、ステップ３４４で変数ｉの値がＭＡＸ以下であると判定されたことに応答して実行され、台詞番号がｉの台詞（以下これを「台詞（ｉ）」と書く。）に対応する手法リストを手法リストテーブル７８から読出し、作業用のリスト変数ＷＬＩＳＴに格納するステップ３４６とを含む。

手法リストテーブル７８の詳細を図１１に示す。図１１を参照して、手法リストテーブル７８は、台詞番号ごとに、利用可能な手法の識別子をリストした手法リストを含む。通常は、この手法リストにリストされた手法のいずれかを用いれば必ず台詞を処理できるように手法リストテーブル７８は予め作成されている。ただし、手法リストの中に、利用可能なものが含まれない場合も含めて、たとえば標準音声の台詞音声を出力する、というデフォルトの手法が予め準備されている。

再び図１０を参照して、このプログラムはさらに、ステップ３４６の後に配置され、リスト変数ＷＬＩＳＴの要素数を変数ＣＭＡＸに代入するステップ３４８と、ステップ３４８に続き、以下の繰返しを制御する変数ｊに０を代入するステップ３５０とを含む。なお、一般的にリスト変数の要素のインデックスは０から始まる。

このプログラムはさらに、ステップ３５０に続き、ｊ＋１がＣＭＡＸの値を超えたか否かを判定し、判定結果にしたがって制御の流れを分岐させるステップ３５２と、ステップ３５２においてｊ＋１がＣＭＡＸ以下であると判定されたことに応答して実行され、リスト変数ＷＬＩＳＴのうち、リスト要素ＷＬＩＳＴ［ｊ］によって示される手法が、与えられたユーザ音声によって実現可能か否かを判定し、判定結果にしたがって制御を分岐させるステップ３５４とを含む。これら手法の各々について採用できるか否かは、処理対象の台詞音声の収録状況により異なる。基本的には、第１の手法と第２の手法とについては対応の台詞音声の収録がされていなければ利用できないが、それ以外の手法は対応の台詞音声の収録がされていなくても利用可能である。その理由については各手法の説明から明らかとなるであろう。

このプログラムはさらに、ステップ３５４においてリスト要素ＷＬＩＳＴ［ｊ］によって示される手法が利用可能でないと判定されたことに応答して実行され、変数ｊの値に１を加算してステップ３５２に制御を戻すステップ３５６と、ステップ３５４においてリスト要素ＷＬＩＳＴ［ｊ］によって示される手法が利用可能であると判定されたことに応答して実行され、台詞（ｉ）をＷＬＩＳＴ［ｊ］により示される手法を用いて処理し、制御をステップ３４２に戻すステップ３５８と、ステップ３５２においてｊ＋１の値がＣＭＡＸより大きいと判定されたことに応答して実行され、台詞（ｉ）をデフォルトの手法で処理し、制御をステップ３４２に戻すステップ３６０とを含む。

図１２は、図２に示すカット情報記憶部７６の構成を示す。図１２を参照して、カット情報記憶部７６は、台詞ごとに、台詞番号と、その台詞に対して適用すべき音響効果を列挙した音響効果リストとを記憶している。ある台詞について音響効果を加えようとする場合、音声信号処理部３２０は、このカット情報記憶部７６の、処理対象の台詞番号に対応する音響効果リストを調べ、それを順に先頭から実行する。

図１３は、図９に示す第１の音声生成部３００を実現するプログラムのフローチャートである。図１３を参照して、このプログラムは、ユーザ音声ＤＢから台詞音声（ｉ）を読出すステップ３８０を含む。ステップ３８０によってこの処理は終了する。読出された台詞音声（ｉ）は、音声信号処理部３２０に与えられ、処理される。音声信号処理部３２０の処理の詳細は図２３を参照して後述する。

この第１の手法は、対象となる台詞についてユーザの音声を収録することができたときの手法であり、台詞音声としてユーザの音声をそのまま使用する。

図１４は図９に示す第２の音声生成部３０２を実現するためのプログラムの制御構造を示すフローチャートである。図１４を参照して、このプログラムは、ユーザ音声ＤＢ１２０からユーザの台詞音声（ｉ）とその発話時間とを読出すステップ４１０と、ステップ４１０に続き、台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出すステップ４１２と、ステップ４１０で読出した発話時間ｔｉとステップ４１２で読出した発話時間Ｔｉとを用い、ユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉとなるように話速変換を行なって処理を終了するステップ４１４とを含む。

図１５は、図９に示す第３の音声生成部３０４を実現するためのプログラムのフローチャートである。図１５を参照して、このプログラムは、ユーザ音声ＤＢ１２０のユーザ音声テーブル２６０から録音フラグ（ｉ）を読出すステップ４４０と、ステップ４４０において読出された録音フラグの値が１か否かを判定し、その結果に応じて制御の流れを分岐させるステップ４４２とを含む。

このプログラムはさらに、ステップ４４２において録音フラグが１でない（すなわちこの台詞についてユーザ音声の収録ができなかった）と判定されたことに応答して実行され、標準音声記憶部７４から台詞（ｉ）の標準音声を読出し、台詞音声（ｉ）として出力し、処理を終了するステップ４４４と、ステップ４４２において録音フラグが１であると判定されたことに応答して実行され、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出すステップ４４６と、台詞情報記憶部７２に記憶された台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出すステップ４４８と、ステップ４４６及び４４８でそれぞれ読出された発話時間ｔｉ及びＴｉを用いて、ユーザの台詞音声（ｉ）の発話時間がＴｉとなるように、話速変換を行なって出力し、処理を終了するステップ４５０とを含む。

図１６は、図９に示す第４の音声生成部３０６を実現するためのプログラムの制御構造を示すフローチャートである。図１６を参照して、このプログラムは、ユーザ音声ＤＢ１２０のユーザ音声テーブル２６０からｉ番目の台詞音声に対する録音フラグ（ｉ）を読出すステップ４７０と、ステップ４７０で読出された録音フラグ（ｉ）の値が１か否かによって制御の流れを分岐させるステップ４７２と、ステップ４７２において録音フラグ（ｉ）の値が１でない（すなわち０である。）と判定されたことに応答して実行され、声優音声ＤＢ８０中に記憶されている台詞（ｉ）の声優音声のうち、ユーザ音声と最も声質が類似したものを読出して台詞音声（ｉ）として出力し、処理を終了するステップ４７４とを含む。声質が類似した声優音声の読出には、前述したとおり類似声優記憶部１３０（図９）に記憶された声優音声の識別子が用いられる。これは、以下に説明する図１７のステップ５０４、図１９のステップ５６０、図２０のステップ５８０でも同様である。したがってそれら個所については上記説明は繰返さない。

このプログラムはさらに、ステップ４７２において録音フラグが１であると判定されたことに応答して実行され、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出すステップ４７６と、ステップ４７６に続き、台詞情報記憶部７２の台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出すステップ４７８と、発話時間ｔｉ及びＴｉを用い、ステップ４７６で読出されたユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉとなるように、話速変換を行なって、台詞音声（ｉ）として出力し、処理を終了するステップ４８０とを含む。

図１７は、図９に示す第５の音声生成部３０８を実現するプログラムの制御構造を示すフローチャートである。図５を参照して、このプログラムは、ユーザ音声ＤＢ１２０から録音フラグ（ｉ）を読出すステップ５００と、読出された録音フラグの値が１か否かを判定し、判定結果に応じて制御の流れを分岐させるステップ５０２と、ステップ５０２において録音フラグの値が１ではないと判定されたことに応答して実行され、声優音声ＤＢ８０に格納されている台詞（ｉ）の声優音声のうち、ユーザの声質に最も類似したものを特定するステップ５０４と、ステップ５０４で特定された台詞（ｉ）の声優音声を、ユーザ音声の特徴を用いて声質変換し、台詞音声（ｉ）として出力し処理を終了するステップ５０６とを含む。

このプログラムはまた、ステップ５０２において録音フラグが１であると判定されたことに応答して実行され、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出すステップ５０８と、台詞情報記憶部７２の台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出すステップ５１０と、ユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉになるように話速変換を行なって、台詞音声（ｉ）として出力し処理を終了するステップ５１２とを含む。

図１８は、図９に示す第６の音声生成部３１０を実現するためのプログラムのフローチャートである。図１８を参照して、このプログラムは、ユーザ音声ＤＢ１２０から録音フラグ（ｉ）を読出すステップ５３０と、この録音フラグの値が１か否かを判定し、判定結果にしたがって制御の流れを分岐させるステップ５３２と、ステップ５３２において録音フラグの値が１でないと判定されたことに応答して実行され、台詞（ｉ）、ユーザ音声の特徴量、ユーザの母音の音声素片、素片ＤＢ８２の子音の音声素片を使用して音声合成を行なって台詞音声（ｉ）を生成し出力するステップ５３４とを含む。

このプログラムはさらに、ステップ５３２において録音フラグ＝１であると判定されたことに応答して実行され、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出すステップ５３６と、台詞情報記憶部７２の台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出すステップ５３８と、ユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉとなるようにユーザの台詞音声（ｉ）の話速変換を行なって台詞音声（ｉ）として出力するステップ５４０とを含む。

図１９は、図９に示す第７の音声生成部３１２を実現するプログラムの制御構造を示すフローチャートである。図１９を参照して、このプログラムは、声優音声ＤＢ８０の台詞（ｉ）の音声の中で、ユーザ音声の声質と最も類似した音声を読出し、台詞音声（ｉ）として出力し、処理を終了するステップ５６０を含む。

図２０は、図９に示す第８の音声生成部３１４を実現するプログラムの制御構造を示すフローチャートである。図２０を参照して、このプログラムは、声優音声ＤＢ８０に記憶されている、台詞（ｉ）の声優音声のうち、ユーザ音声の声質と最もよく類似した音声を特定し読出すステップ５８０と、ステップ５８０で読出された音声（ｉ）を、ユーザの発話必須部分の音声の特徴を用いて、ユーザの声質に近い声質に声質変換することにより、ユーザの台詞音声（ｉ）を生成し出力するステップ５８２とを含む。

図２１は、図９に示す第９の音声生成部３１６を実現するためのプログラムのフローチャートである。図２１を参照して、このプログラムは、台詞（ｉ）、ユーザ音声の特徴量、ユーザの母音の音声素片、及び素片ＤＢ８２に記憶された全子音の素片を用いて、台詞（ｉ）の音声合成を行ない、台詞音声（ｉ）として出力し処理を終了するステップ６００を含む。

図２２は、図９に示す音声信号処理部３２０を実現するプログラムのフローチャートである。音声信号処理部３２０は、合流部２９２の出力する台詞音声（ｉ）に対し、以下のような処理を行なう。すなわち、このプログラムは、カット情報記憶部７６から台詞（ｉ）の音響効果リストＥＬＩＳＴを読出すステップ３８２と、ステップ３８２の後、音響効果リストＥＬＩＳＴの要素数を変数ＥＭＡＸに代入するステップ３８４と、ステップ３８４の後、以後の繰返しを制御するための変数ｋに０を代入するステップ３８６と、ステップ３８６に続いて配置され、ステップ３８８に続き、ｋ＋１の値がＥＭＡＸより大きいか否かを判定し、判定結果にしたがって制御を分岐させるステップ３９０と、ステップ３９０においてｋ＋１の値がＥＭＡＸ以下であると判定されたことに応答して実行され、台詞音声（ｉ）にＥＬＩＳＴ［ｋ］の音響効果を付与するステップ３９２と、ステップ３９２の後、変数ｋの値に１を加算してステップ３９０に制御を戻すステップ３８８とを含む。

このプログラムはさらに、ステップ３９０においてｋ＋１の値がＥＭＡＸより大きいと判定されたことに応答して実行され、台詞音声（ｉ）を音声ファイルに書き出すステップ３９４と、ステップ３９４の後、台詞音声テーブル８８の台詞（ｉ）の音声ファイル名を新たなファイル名で更新して処理を終了するステップ３９６とを含む。

ステップ３９６で更新される台詞音声テーブル８８の構成を図２４に示す。図２４を参照して、台詞音声テーブル８８は、台詞番号と、台詞の再生開始時刻と、台詞の再生（発話）時間と、その台詞の音声（台詞音声）が格納された台詞音声データ８６中のファイル名と、再生フラグとを含む。台詞の再生開始時刻は、作成される映画の先頭を所定の時刻とし、その時刻を基準として台詞の再生を開始するように定められる時刻である。再生時間は台詞の再生の継続時間をさす。再生ファイル名は、すでに述べたように台詞音声データ８６中で、台詞音声を格納したファイルのファイル名である。再生フラグは、０であれば映画の再生時に音声を再生することを示し、１であれば再生しないことを示す。この再生フラグは、後述するように音声の重なり（二人以上の登場人物が同時に発話すること）を実現するために用いられる。その手法については後述する。

図２３は、本実施の形態に係るマルチメディア製作システム５０によって作成された映画を再生する再生システムのブロック図である。図２３を参照して、この再生システムは、映像データ６６から映像信号と映像・同期信号と効果音の音声信号とを出力するための映像信号再生部６２０と、映像信号再生部６２０により再生された映像信号を再生して映像を表示するための表示装置６２２と、映像信号再生部６２０が出力する効果音の音声信号を音声に変換して出力するための効果音出力装置６２４と、映像の再生に先立って、台詞音声データ８６及び台詞音声テーブル８８を入力として受け、台詞音声テーブル８８に記憶された各台詞の発話開始時刻及び発話時間に基づいて互いに同じ時間に重なって発話されるべき台詞の組合せを検出し、それらの音声ファイルの音声を合成して新たな音声ファイルを作成して、重なりが検出された台詞の内の１つの音声ファイルと入替え、さらにそれ以外の台詞音声の発話フラグを「１」に更新することによって、同時に発話する台詞音声が統合されるように台詞音声データ８６及び台詞音声テーブル８８を更新するための同時音声統合処理部６３２とを含む。

再生システムはさらに、再生時に映像信号再生部６２０からの同期信号を受け、台詞音声テーブル８８を参照して、同期信号により示される時刻と一致する発話開始時刻の台詞音声であって、かつ対応する再生フラグが「０」であるものを検出して台詞音声データ８６から読出し、再生して音声信号を出力するための同期再生部６３８と、同期再生部６３８の出力する音声信号を音声に変換して出力するための台詞音声出力装置６４０とを含む。

すなわち、この再生システムは、効果音と、台詞音声とを完全に分離して生成し、台詞音声をその発話開始時間の順番にしたがって、順に再生する。そのため、効果音を活かしながら、登場人物の音声と顔画像とをユーザのものに置換した映画を再生できる。

図２４は、前述したとおり、台詞音声テーブル８８の構成を示す。図２５は、図２４に示す台詞音声テーブル８８のうち、発話時間が重なっている台詞（台詞１，２，３）を同時音声統合処理部６３２によって統合した後の台詞音声テーブル８８の構成を示す。

図２５を参照して、台詞音声テーブル８８の構成自体は更新前と同様である。異なっているのは、台詞１の再生時間が７秒から１１秒に増加していること、台詞１の再生ファイル名が「ｗａｖｅ０００１．ｗａｖ」から「ｃｏｍｂ０００１．ｗａｖ」に変更されていること、及び台詞２及び３の再生フラグが「０」から「１」に変更されていることである。これは以下の理由による。

図２４に示す台詞音声テーブル８８において、台詞１の再生開始時刻は０時０分３秒、再生時間が７秒であるから、再生終了時刻は０時０分１０秒である。一方、台詞２の再生開始時刻は０時０分８秒、再生時間は５秒であるから再生終了時刻は０時０分１３秒となる。すると、台詞１の発話時間と台詞２の発話時間とは、一部において互いに重なっている。本実施の形態では、このように互いに発話の時間帯が重なっている台詞については、それらの音声を統合して新たな音声ファイルとし、一方の台詞の音声ファイル（通常は再生開始時間の早い方）の音声ファイルと入替え、その発話時間も新たな音声ファイルの発話時間で更新する。そして、他方の台詞の音声ファイルについては再生フラグを１とする。

図２４に示す例では、台詞１，２、及び３の再生時刻が重なっていたために、これらが統合され、最終的に図２５に示すように台詞１の再生時間が１１秒、台詞２及び台詞３の再生フラグが１（すなわち再生せず）となっている。

図２６は、この同時音声統合処理部６３２を実現するためのプログラムのフローチャートである。図２６を参照して、このプログラムは、処理中の台詞の台詞番号を表す変数Ｘに初期値として０を代入するステップ６６０と、この変数Ｘに１を加算するステップ６６２と、ステップ６６２の処理結果を受け、Ｘ番目の台詞（Ｘ）の台詞音声が存在するか否か（すなわち全ての台詞音声を処理し終わったか否か）を判定し、判定結果に応じて制御を分岐させるステップ６６４とを含む。ステップ６６４では、全ての台詞音声を処理し終わっていれば処理を終了する。

このプログラムはさらに、ステップ６６４において台詞音声（Ｘ）が存在すると判定されたことに応答して実行され、台詞音声テーブル８８のその台詞音声（Ｘ）の再生フラグの値が０か否かを判定し、判定結果に応じて制御を分岐させるステップ６６６を含む。ステップ６６６において再生フラグが０でないと判定された場合、台詞音声（Ｘ）を再生する必要はない。したがってこの場合、制御はステップ６６２に戻り、次の台詞音声の処理に移る。

このプログラムはさらに、ステップ６６６で台詞音声（Ｘ）の発話フラグの値が０であると判定されたことに応答して実行され、台詞音声（Ｘ）と音声が重なっているか否かを判定する台詞音声の台詞番号を示す変数ＹにＸの値を代入するステップ６６８と、ステップ６６８の後、この変数Ｙの値に１を加算するステップ６７０と、ステップ６７０の処理結果を受け、台詞音声（Ｙ）が存在するか否か、すなわち全ての台詞音声について台詞音声（Ｘ）との重なりを調べる処理が完了したか否かを判定し、判定結果にしたがって制御の流れを分岐させるステップ６７２とを含む。ステップ６７２においてＹ番目の台詞が存在していないと判定された場合、制御はステップ６６２に戻る。

このプログラムはさらに、ステップ６７２においてＹ番目の台詞音声が存在すると判定されたことに応答して実行され、台詞音声（Ｙ）の再生フラグの値が０か否かを判定し、判定結果に応じて制御の流れを分岐させるステップ６７４を含む。ステップ６７４で台詞音声（Ｙ）の再生フラグの値が０でないと判定されたときには、制御はステップ６７０に戻り、次の台詞音声に対して台詞音声（Ｘ）との重なりを調べる処理に移る。

このプログラムはさらに、ステップ６７４において台詞音声（Ｙ）の再生フラグの値が０であると判定されたことに応答して実行され、台詞音声テーブル８８に記憶された双方の台詞音声の発話開始時間及び発話時間の値に基づき、台詞（Ｘ）と台詞（Ｙ）との発話時間の少なくとも一部が重なっているか否かを判定し、判定結果に応じて制御を分岐させるステップ６７６を含む。ステップ６７６で発話時間が重なっていないと判定された場合には、制御はステップ６７０に戻る。

このプログラムはさらに、ステップ６７６において台詞（Ｘ）と台詞（Ｙ）との発話時間の少なくとも一部が重なっていると判定されたことに応答して実行され、台詞音声（Ｘ）と台詞音声（Ｙ）とを混合して新たな台詞音声を作成し、台詞音声（Ｘ）として台詞音声データ８６を更新するステップ６７８と、この新たな台詞音声（Ｘ）の発話時間ｔを、重複修正前の台詞音声（Ｘ）の発話時間ｔｘと台詞音声（Ｙ）の発話時間ｔｙとの間で、以下のようにして計算して求め、これを新たな台詞音声（Ｘ）の発話時間ｔｘとして台詞音声テーブル８８を更新するステップ６８０と、ステップ６８０に続き、台詞音声テーブル８８の、台詞音声（Ｙ）の再生フラグの値を「１」に更新し、制御をステップ６７０に戻すステップ６８２とを含む。

図２７は、図２３に示す同期再生部６３８を実現するためのプログラムのフローチャートである。図２７を参照して、このプログラムは、図２３に示す映像信号再生部６２０から与えられる同期信号を読込むステップ７００と、ステップ７００で読込んだ同期信号により示される時刻が、台詞音声テーブル８８に格納されたいずれかの台詞であって、かつその再生フラグが０であるものの発話開始時刻に達したか否かを判定し、判定結果にしたがって制御の流れを分岐させるステップ７０２とを含む。ステップ７０２において、同期信号により示される時刻がいずれの台詞音声の再生開始時間にもなっていないと判定されたときには、制御はステップ７００に戻り、再度、同期信号を読込む。

このプログラムはさらに、ステップ７０２において、同期信号により示される時刻がいずれかの台詞音声の発話開始時刻になったと判定されたことに応答して実行され、その台詞音声の再生を開始し、制御をステップ７００に戻すステップ７０４とを含む。

図２８は、音声信号処理部３２０が実行する音響効果処理のうち、話速変換と音量正規化処理の内容を説明するための図である。

図２８（Ａ）を参照して、話速変換処理とは、台詞の発話時間の基準となる参照音声７２０での発話時間と比較して、収録音声７２２の収録時間が図２８（Ａ）に示されるように短すぎたり、逆に長すぎたりした場合に、この収録音声７２２の話速を変換して参照音声７２０の発話時間と等しい発話時間の補正音声７２４を生成する処理のことである。話速変換には、既存の話速変換技術を使用することができる。

図２８（Ｂ）は、音量正規化を示す。参照音声７４０の平均レベルＬ０と比較して、収録音声７４２の平均レベルＬ１が図２８（Ｂ）に示すように低すぎたり、逆に高すぎたりしたときに、収録音声のレベルを補正して、ほぼ平均レベルＬ０と等しい平均レベルＬ３とするのが音量正規化処理である。このような音量正規化処理は、複数のユーザによって収録される音声の大きさにばらつきがあってはいけなかったり、逆に場面によってはユーザにより音声の大きさに差をつけたりする必要があるために行われる。この音量正規化についても、既存の技術を使用することができる。

［コンピュータによる実現］
図２９は、このマルチメディア製作システム５０においてユーザの音声を収録するための台詞音声データ作成部９０のハードウェアの外観図を示す。図２９を参照して、台詞音声データ作成部９０は、実質的にはコンピュータシステム８３０からなる。図３０は、このコンピュータシステム８３０の内部構成を示す。

図２９を参照して、コンピュータシステム８３０は、リムーバブルメモリ用のメモリポート８５２及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ８５０を有するコンピュータ８４０と、文字情報及びコマンド操作の入力を行うためのキーボード８４６と、ポインティングデバイスであるマウス８４８と、２台のモニタ８４２及び８４４と、２台のマイクロフォン８６８及び８７０と、２組のスピーカセット８７２及び８７４とを含む。これらのうち、モニタ８４４、スピーカセット８７４、及びマイクロフォン８６８は、コンピュータシステム８３０の本体部分と分離して図２９に示すようにユーザの録音用ブースに設置されており、ユーザの台詞音声の録音時にユーザとの入出力インタフェースとして用いられる。

図３０を参照して、コンピュータ８４０は、メモリポート８５２と、ＤＶＤドライブ８５０と、マイクロフォン８６８及び８７０と、スピーカセット８７２及び８７４とに加えて、ＣＰＵ（中央処理装置）８５６と、ＣＰＵ８５６、メモリポート８５２及びＤＶＤドライブ８５０に接続されたバス８６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス８６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）８６０と、バス８６６、マイクロフォン８６８及び８７０、並びにスピーカセット８７２及び８７４に接続されるサウンドボード８８４とを含む。

コンピュータ８４０はさらに、他のコンピュータと通信を行なうためのローカルエリアネットワーク（ＬＡＮ）８７６への接続を提供するネットワークインターフェイスカード（ＮＩＣ）８７８を含む。

コンピュータシステム８３０にマルチメディア製作システム５０としての動作を行なわせるための、上記した各種のコンピュータプログラムは、ＤＶＤドライブ８５０又はメモリポート８５２に挿入されるＤＶＤ８６２又はリムーバブルメモリ８６４に記憶され、さらにハードディスク８５４に転送される。又は、プログラムは図示しないネットワークを通じてコンピュータ８４０に送信されハードディスク８５４に記憶されてもよい。プログラムは実行の際にＲＡＭ８６０にロードされる。ＤＶＤ８６２から、リムーバブルメモリ８６４から、又はネットワーク８７６を介して、直接にＲＡＭ８６０にプログラムをロードしてもよい。

これらのプログラムは、コンピュータ８４０にこの実施の形態のマルチメディア製作システム５０としての動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ８４０上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ８４０にインストールされる音声処理及び統計モデル処理用の各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られる様に制御されたやり方で適切な機能又は予め準備されたコンピュータ用プログラムの集まりであるいわゆる「ツールキット」中の適切な「ツール」を呼出す事により、上記した台詞音声作成装置としての動作を実行する命令のみを含んでいればよい。コンピュータシステム８３０の動作は周知であるので、ここでは繰返さない。

なお、図１に示されるシステムのうち、台詞音声データ作成部９０はユーザごとの収録をするための、いずれもコンピュータシステム８３０と同様の構成の複数のコンピュータシステムと、音声統合部１０４を実現するための１つのコンピュータシステムとを含む。音声統合部１０４を実現するコンピュータシステムも、ハードウェア構成はコンピュータシステム８３０と同様であるが、マイクロフォン及びスピーカなどは必要ない。

また、本実施の形態では、図２３に示す映像・音声再生装置９２のうち、映像信号再生部６２０は１つのコンピュータシステムにより実現され、同時音声統合処理部６３２及び同期再生部６３８はそれとは別の１つのコンピュータシステムにより実現される。

本システムで使用されるコンピュータシステムは、いずれもネットワーク８７６を介して互いに通信を行ない、最終的に映像データ６６、台詞音声データ８６、及び台詞音声テーブル８８を映像・音声再生装置９２のハードディスクに作成し、そこから再生を行なう。

［動作］
以上に構成を説明したマルチメディア製作システム５０は以下のように動作する。なお、ユーザ音声に最も類似した声優音声を選択する際、及びモーフィング率の決定の際のマルチメディア製作システム５０の動作については後に詳述する。また、８種類の音響特徴量を線形結合して複合的音響特徴量を算出する際の、線形結合係数の算出についても後述する。以下の説明では、この線形結合係数の算出は既に行なわれて線形結合係数記憶部９４に記憶されているものとする。

図１を参照して、複数のユーザがマルチメディア製作システム５０を利用するものとして、予め各ユーザには識別情報が割当てられているものとする。また各ユーザには、映画の登場人物の誰と入替わるかが決定されているものとする。

マルチメディア製作システム５０では、予め映像素材ＤＢ７０には映像素材が、台詞情報記憶部７２には台詞情報が、標準音声記憶部７４には各台詞に対し、男性、女性、年齢に応じた標準音声が、カット情報記憶部７６には音響効果情報が、それぞれ格納されている。また、声優音声ＤＢ８０には各台詞を複数の声優がそれぞれ発話したものが台詞別、声優別に格納されているものとする。各声優の音声については、予め音響分析が行なわれており、それぞれの声質を表す８種類の音響特徴量が算出され、声優音声ＤＢ８０に記憶されている。また素片ＤＢ８２には、標準音声及び声優音声をセグメンテーションすることによって作成された音声素片が格納されている。各音声素片には、対応する音素の音素ラベルと、音響特徴量と、元の音声の識別子と、発話者の識別子とが付されている。

各ユーザのユーザ情報が、ユーザ情報入力部１００，１００Ａ，…，１００Ｎで入力され、画像処理ＰＣ６２及び複数のキャラクタ音声作成部１０２，１０２Ａ，…，１０２Ｎのうち、対応するものに送られる。

三次元スキャナ群６０は、各ユーザの顔をスキャンし、画像処理ＰＣ６２に３次元スキャンデータを送る。以下、画像処理ＰＣ６２はユーザの３次元スキャンデータを用いてユーザの三次元顔モデルを作成し、さらに任意の角度からの３次元顔画像を作成して映像生成装置６４に与える。映像生成装置６４は、登場人物の顔画像を、画像処理ＰＣ６２で作成されたユーザの顔画像で置換し、映像データ６６として出力する。なお、映像データ６６には、音声との同期をとるための同期信号再生用のデータが含まれている。

一方、複数のキャラクタ音声作成部１０２，１０２Ａ，…，１０２Ｎは、いずれも、以下のようにして対応するユーザの台詞音声を収録し、この収録音声に基づいて、第１の音声生成部３００〜第９の音声生成部３１６を用いてユーザの声を活かした映画用の音声データを作成し、出力する。このときの第１の音声生成部３００〜第９の音声生成部３１６の処理はいずれも同様である。以下では、キャラクタ音声作成部１０２の動作について説明する。

図２を参照して、音声収録部１１４は、ユーザ情報をユーザ情報入力部１００から受信し（図５のステップ１７０）、以後の処理ではこのユーザ情報を用いる。続いて、ユーザに割当てられたキャラクタに関する情報が入力される（図５のステップ１７２）。音声収録部１１４は、入力されたキャラクタの台詞に関する台詞情報を台詞情報記憶部７２から読出し、対応する標準音声を標準音声記憶部７４から、対応する映像がもしあれば映像素材ＤＢ７０から、それぞれ読出す（図５のステップ１７４）。音声収録部１１４はさらに、ユーザ音声テーブル２６０を作成し、全ての台詞情報の録音フラグを０に初期化する。

音声収録部１１４は、続いてタイマをスタートさせ（ステップ１７８）、台詞の収録を開始する。台詞の収録では、発話対象の台詞を選択し（ステップ１８０）、映像と、台詞情報の表示とを行ない（ステップ１８２）、同時に標準音声の再生を開始する。その結果、入出力装置１１２の画面（モニタ８４４の画面）に図７に示すような表示が行なわれる。この後、ユーザが標準音声をまねて、練習としてその発話を行なう（ステップ１８６）。

コンピュータシステム８３０を操作しながらユーザの発話を聞いているアテンダントが、その発話についての練習を終了してよいか否かを判断し（ステップ１８８）、もし練習をさらにする必要があれば（ステップ１８８においてＮＯ）、その発話について再度同じ処理を繰返す操作を行なう。練習を終了してよいと判定されると（ステップ１８８においてＹＥＳ）、再度選択した台詞と、対応する映像とを表示し（ステップ１９０）、プログレスバーの表示を開始し（ステップ１９２）、ユーザの音声を収録する（ステップ１９４）。

もしも収録した音声が正しい内容で、発声内容も明瞭で、発話時間も許容範囲内であれば、アテンダントは収録した音声を音声ファイルとしてユーザ音声記憶部２６２に保存し、図８に構成を示すユーザ音声テーブル２６０の処理中の台詞の行の音声ファイル名の欄にユーザ音声記憶部２６２に保存した音声ファイルの名称を代入し、発話時間の欄にユーザの台詞音声の実際の発話時間（ｔｉ）を代入する（ステップ２００）。さらに音声収録部１１４は、その行の録音フラグを１に更新し（ステップ２０１）、次の台詞を選択する（ステップ２０２）。もしも全ての台詞についてのユーザの台詞音声の収録が完了していれば（ステップ２０４でＹＥＳ）、収録されたユーザの全発話を音素にセグメンテーションして素片化し（ステップ２０６）、各音声素片の音響特徴量を算出して（ステップ２０８）、素片ＤＢ８２に追加する。

もしもステップ２０４でまだ全ての台詞についての台詞音声の収録が終わっていないと判定されると、ステップ２１２でタイマを参照し、予め収録時間として定められていた時間を超過しているか否かを判定する。もしも超過していれば、ステップ２０６に進み、以後は全ての台詞について収録を完了した場合と同様の処理が行なわれる。もしもまだ所定時間に達していなければ、図５のステップ１８２に戻り、このユーザに対応するキャラクタの次の台詞について、上述した処理を繰返す。

仮にステップ１９８で、収録された音声が好ましくないもの（たとえば内容が本来の発話テキストと著しく異なっているもの、発話が不明瞭なもの、発話時間が許容範囲外のもの）であるとアテンダントが判定したときには、ステップ２１４でその収録音声が破棄される。続いてタイマをチェックすることで、収録のための時間を超過しているか否かを判定する（ステップ２１６）。時間が超過していなければ、処理中の台詞の標準音声による発声（ステップ１８２）からやり直すか、単にユーザによる発話の収録（ステップ１９０）からやり直すかをアテンダントが判定し、判定結果にしたがって指示を入力する。音声収録部１１４は、その指示にしたがって制御を分岐させ（ステップ２２０）、その結果、ステップ１８２又はステップ１９０から処理が再開される。

一方、ステップ２１６ですでに収録に要した時間が、所定の時間を超過していると判定された場合には、ステップ２１８で現在収録中の台詞が必須部分の台詞か否かを判定する。必須部分であれば、この収録は必ずする必要があるため、制御はステップ２２０に進み、アテンダントの判定にしたがって、収録を再開する。もしも必須部分でなければ、収録作業を終了すべきであるから、制御はステップ２０６に進む。以後、全ての台詞の収録が完了したときと同様の動作がステップ２０６，２０８及び２１０で実行される。

こうして、音声収録部１１４によって、図８に示すユーザ音声記憶部２６２には、あるキャラクタの台詞についてのユーザの台詞音声の音声ファイルが格納され、ユーザ音声テーブル２６０には各台詞について、録音できたか否かを示す録音フラグと、ユーザ音声記憶部２６２中の対応する音声ファイルの名称と、ユーザによる発話時間とが記録される。

複数のキャラクタ音声作成部１０２，１０２Ａ，…，１０２Ｎの各々が上記した処理を実行する結果、これらからはそれぞれのキャラクタの台詞音声がユーザ音声ＤＢ１２０（ユーザ音声テーブル２６０とユーザ音声記憶部２６２）の形で出力される。音声統合部１０４は、これら種々のキャラクタのユーザの台詞音声を台詞情報記憶部７２に記憶された台詞情報に基づいて所定の順番で読出せるよう統合し、台詞音声データ８６及び台詞音声テーブル８８を出力する。音声収録部１１４は、このようにして、対象のユーザについての音声の収録が完了すると合成手法決定部１１６に対し、台詞音声の生成を開始するよう指示を出す。

この指示に応答して、対応の合成手法決定部１１６は以下のような処理を実行する。図１０を参照して、ステップ３３０において、ユーザ音声に最も類似した３個の声優音声を声優音声ＤＢ８０に記憶された声優音声の中から選択し、それらの識別子を類似声優記憶部１３０（図２）に記憶する。ステップ３３２において、これら３個の声優音声からユーザ音声の声質に類似した音声をモーフィングにより生成するためのモーフィング率ベクトルｒを推定し、モーフィング率記憶部１３２図２）に記憶する。ステップ３３０及びステップ３３２の処理の詳細については、他の処理部のもので行なわれるのとあわせ、後に詳述する。さらに、ステップ３４０〜ステップ３４４によって、処理すべき台詞のうち、先頭の台詞を選択する。そして、その台詞の台詞番号をキーに、手法リストテーブル７８を検索し、その台詞に対する手法リストＷＬＩＳＴを入手する。

続いてステップ３４８〜３５４の処理により、手法リストＷＬＩＳＴに記載された手法について、先頭から順番に調べ、利用可能な手法で最初に発見された手法を用い、処理対象の台詞をその手法で処理することを決定し、その手法を特定する情報を音声作成部１１８に与え、処理させる。手法リストは必ずその中に利用可能なものがあるように作成するが、仮にない場合でもデフォルトの手法を用いて台詞音声の生成ができるようにしておく。

このようにして処理対象の中の最初の台詞について、ユーザの収録音声に基づいて、音声作成部１１８の第１〜第９の音声生成部３００〜３１６中で、選択された手法に対応するものに対し、台詞音声の生成を指示する。このとき合成手法決定部１１６は、分岐部２８０を制御して、選択された音声生成部にユーザ音声を与え、その出力する台詞音声を選択して出力するように合流部２９２を制御する。こうして、先頭の台詞について台詞音声の生成を開始させると、合成手法決定部１１６は再度ステップ３４２から処理を再開し、次の台詞について台詞音声生成の手法を決定し、対応する音声生成部に台詞音声を生成させる。こうして対象となるキャラクタの台詞について全て台詞音声の生成が完了すると、合成手法決定部１１６の処理は終了である。

図９を参照して、音声作成部１１８は以下のように動作する。分岐部２８０は、合成手法決定部１１６からの指示にしたがい、指定された音声生成部を能動化し、ユーザ音声を与える。第１の音声生成部３００〜第９の音声生成部３１６のうち、能動化されたものは、与えられたユーザ音声に基づき、それぞれの手法を用いて台詞音声を生成する。出力される台詞音声は合流部２９２によって選択され、音声信号処理部３２０に与えられる。

ここで、第１の手法が選択された場合、図９に示す第１の音声生成部３００は、ユーザ音声ＤＢ１２０から台詞音声（ｉ）を読出す（ステップ３８０）。ステップ３８０によってこの処理は終了する。

第２の手法が選択された場合、図９に示す第２の音声生成部３０２は以下のように動作する。図１４を参照して、まず、第２の音声生成部３０２は、ユーザ音声ＤＢ１２０からユーザの台詞音声（ｉ）とその発話時間ｔｉとを読出す（ステップ４１０）。第２の音声生成部３０２は続いて、台詞情報テーブル台詞（ｉ）の発話時間Ｔｉを読出す（ステップ４１２）。さらに、第２の音声生成部３０２は、ステップ４１０で読出した発話時間ｔｉとステップ４１２で読出した発話時間Ｔｉとを用い、ユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉとなるように話速変換を行なう（ステップ４１４）。

第３の手法が選択された場合、図９に示す第３の音声生成部３０４は以下のように動作する。図１５を参照して、第３の音声生成部３０４は、まずユーザ音声ＤＢ１２０のユーザ音声テーブル２６０から録音フラグ（ｉ）を読出す（ステップ４４０）。次に第３の音声生成部３０４は、読出された録音フラグの値が１か否かを判定し、録音フラグが１でないときには標準音声記憶部７４から台詞（ｉ）の標準音声を読出し、台詞音声（ｉ）として出力し、処理を終了する（ステップ４４４）。ステップ４４２において録音フラグが１であると判定された場合には、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出し（ステップ４４６）、台詞情報記憶部７２に記憶された台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出す（ステップ４４８）。そして、ステップ４４６及び４４８でそれぞれ読出された発話時間ｔｉ及びＴｉを用いて、ユーザの台詞音声（ｉ）の発話時間がＴｉとなるように、話速変換を行なって出力する（ステップ４５０）。

第４の手法が選択された場合、図９に示す第４の音声生成部３０６は以下のように動作する。図１６を参照して、第４の音声生成部３０６は、ユーザ音声ＤＢ１２０のユーザ音声テーブル２６０からｉ番目の台詞音声に対する録音フラグ（ｉ）を読出す（ステップ４７０）。次に、ステップ４７０で読出された録音フラグ（ｉ）の値が１でない場合、声優音声ＤＢ８０中に記憶されている台詞（ｉ）の声優音声のうち、ユーザ音声と最も声質が類似したものを読出して台詞音声（ｉ）として出力する（ステップ４７４）。この際の声優音声の選択には、類似声優記憶部１３０に記憶された声優音声の識別子が使用される。これは後の処理でも同様であるから、後の説明では詳細を繰返すことはしない。ステップ４７２において録音フラグが１であると判定されれば、第３の音声生成部３０４は、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出す（ステップ４７６）。次に、台詞情報記憶部７２の台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出し（ステップ４７８）、発話時間ｔｉ及びＴｉを用い、読出されたユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉとなるように、話速変換を行なって、台詞音声（ｉ）として出力する（ステップ４８０）。

第５の手法が選択された場合、図９に示す第５の音声生成部３０８は以下のように動作する。図１７を参照して、第５の音声生成部３０８は、ユーザ音声ＤＢ１２０から録音フラグ（ｉ）を読出す（ステップ５００）。読出された録音フラグの値が１ではない場合、声優音声ＤＢ８０に格納されている台詞（ｉ）の声優音声のうち、ユーザの声質に最も類似したものを特定し（ステップ５０４）、その声優音声を、ユーザ音声の特徴を用いて声質変換し、台詞音声（ｉ）として出力し処理を終了する（ステップ５０６）。ステップ５０４での声優音声の選択時、及びステップ５０６での声質変換時の音声生成部３０８の動作については後述する。ステップ５０２において録音フラグが１である場合、第５の音声生成部３０８は、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出す（ステップ５０８）。次に、台詞情報記憶部７２の台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出す（ステップ５１０）。最後に、ユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉになるように話速変換を行なって、台詞音声（ｉ）として出力し処理を終了する（ステップ５１２）。

第６の手法が選択された場合、図９に示す第６の音声生成部３１０は以下のように動作する。図１８を参照して、第６の音声生成部３１０は、ユーザ音声ＤＢ１２０から録音フラグ（ｉ）を読出す（ステップ５３０）。この録音フラグの値が１でなければ、台詞（ｉ）、ユーザ音声の特徴量、ユーザの母音の音声素片、素片ＤＢ８２の子音の音声素片を使用して音声合成を行なって台詞音声（ｉ）を生成し出力する（ステップ５３４）。録音フラグ＝１であれば、第６の音声生成部３１０は、ユーザ音声ＤＢ１２０から台詞音声（ｉ）と発話時間ｔｉとを読出す（ステップ５３６）。次に、台詞情報記憶部７２の台詞情報テーブルから台詞（ｉ）の発話時間Ｔｉを読出す（ステップ５３８）。最後に、ユーザの台詞音声（ｉ）の発話時間がｔｉからＴｉとなるようにユーザの台詞音声（ｉ）の話速変換を行なって台詞音声（ｉ）として出力する（ステップ５４０）。

第７の手法が選択された場合、図９に示す第７の音声生成部３１２は以下のように動作する。図１９を参照して、第７の音声生成部３１２は、声優音声ＤＢ８０の台詞（ｉ）の音声の中で、ユーザ音声の声質と最も類似した音声を読出し、台詞音声（ｉ）として出力し、処理を終了する（ステップ５６０）。

第８の手法が選択された場合、第８の音声生成部３１４は以下のように動作する。図２０を参照して、第８の音声生成部３１４は、声優音声ＤＢ８０に記憶されている、台詞（ｉ）の声優音声のうち、ユーザ音声の声質と最もよく類似した音声を特定し読出す（ステップ５８０）。次に、ステップ５８０で読出された音声（ｉ）を、ユーザの発話必須部分の音声の特徴を用いて、ユーザの声質に近い声質に声質変換することにより、ユーザの台詞音声（ｉ）を生成し出力する（ステップ５８２）。声質変換時の音声生成部３１４の動作は、第５の手法のステップ５０６の場合と同様である。

第９の手法が選択された場合、図９に示す第９の音声生成部３１６は以下のように動作する。図２１を参照して、第９の音声生成部３１６は、台詞（ｉ）、ユーザ音声の特徴量、ユーザの母音の音声素片、及び素片ＤＢ８２に記憶された子音の素片を用いて、台詞（ｉ）の音声合成を行ない、台詞音声（ｉ）として出力し処理を終了する（ステップ６００）。

合流部２９２から出力される台詞音声には、いずれも図９に示す音声信号処理部３２０により以下のようにしてカット情報記憶部７６により指定される音響効果が追加される。すなわち、図２２を参照して、音声信号処理部３２０は、合流部２９２の出力する台詞音声（ｉ）に対し、カット情報記憶部７６から台詞（ｉ）の音響効果リストＥＬＩＳＴを読出す（ステップ３８２）。音声信号処理部３２０はさらに、音響効果リストＥＬＩＳＴの要素を順番に調べ、それらの要素により特定される音響効果を台詞音声（ｉ）に全て加え、その後、音響効果が加えられた台詞音声（ｉ）を音声ファイルに書き出す（ステップ３９４）。このとき、音量正規化処理（図２８（Ｂ））などの処理も同時に実行する。音声信号処理部３２０は、この後、台詞音声テーブル８８の台詞（ｉ）の音声ファイル名を新たなファイル名で更新して処理を終了する（ステップ３９６）。

この音声信号処理部３２０の機能により、図２４に示すような台詞音声テーブル８８と、音響効果が加えられた台詞音声データ８６とが生成される。

このようにして、全てのキャラクタの全ての台詞について台詞音声が作成され、それらに対応する台詞音声データ８６と台詞音声テーブル８８とが作成されると、映像データ６６とあわせて映像・音声再生装置９２により映画を再生することができる。このときには、図２３に示す映像信号再生部６２０、同時音声統合処理部６３２、及び同期再生部６３８は以下のように動作する。

最初に、同時音声統合処理部６３２は、図２６に示すような制御構造を持つプログラムにより、互いに重なっている台詞の音声を１つのファイルに統合し、それにあわせて台詞音声テーブル８８の音声ファイル名称を更新し、さらに統合により再生不要となった音声ファイルに対応する再生フラグを１とする処理を実行する。この処理により最終的に再生可能な台詞音声データ８６及び台詞音声テーブル８８が生成される。このときの台詞音声テーブル８８の各台詞の再生開始時刻には、各台詞の再生を開始する時刻が記録されている。

映画の再生が開始されると、映像信号再生部６２０は映像信号と背景音などの効果音を示す音声信号を再生し、表示装置６２２及び効果音出力装置６２４にそれぞれ与える。表示装置６２２はこの映像信号を再生し、映像を表示する。効果音出力装置６２４は効果音の音声信号を音声に変換する。この映画の登場人物の顔画像は、ユーザの顔画像と入替えられている。

一方、映像信号再生部６２０は、映像信号の再生と同期して映像データ中に記録されている同期データに基づいて、同期信号を生成し同期再生部６３８に与える。

同期再生部６３８は、この同期信号を常に監視し、同期信号により表される時刻が台詞音声テーブル８８に記憶されている台詞音声の再生開始時刻と一致すると、その台詞音声を再生し台詞音声出力装置６４０に与える。台詞音声出力装置６４０はこの音声を再生する。台詞音声は、上記したいずれかの手法にしたがって再生又は合成された音声である。この音声は、基本的には各ユーザの音声そのままか、それが話速変換されたものか、又はできるだけユーザの音声の声質に似るように選択され、又は合成された音声である。もちろん、中には標準音声をそのまま再生する場合もあり得るが、台詞の全体を見ると、それぞれのキャラクタの声は、対応するユーザの声質に似たものに感じられる。

なお、上の実施の形態の説明では、ユーザの音声を素片化し、素片ＤＢ８２に追加している。しかし本発明はそのような実施の形態には限定されない。例えば、ユーザの音声のうち、高品質に録音できた台詞音声は、声優音声ＤＢ８０に登録するようにしてもよい。こうすることで、多数のユーザの音声を声優音声ＤＢ８０に追加することが可能になり、さまざまな音声を効率よく収集することが可能になる。

したがって、マルチメディア製作システム５０によって、予め準備された映画の登場人物の顔画像だけでなく、その台詞まで、ユーザの音声に置換えたかのような映画を作成し、上映することができる。その結果、登場人物の台詞が分かっているマルチメディア製作物において、登場人物の音声をユーザの声で容易に短時間で置換することが可能になる。また、登場人物の音声をユーザの声に近い声質で容易に短時間で置換することが可能になる。さらに、登場人物の音声をユーザの声に近い声質で容易に短時間で置換することが可能なように、多数のユーザの声を収集し、それらを音声の置換において利用することが可能になる。

［類似音声の選択及び声質変換のための構成］
以下、図１０のステップ３３０で実行される、ユーザ音声に類似した声優音声を決定する処理と、図１７のステップ５０６及び図２０のステップ５８２で実行される、声質を変換する処理（声質変換処理）とについて説明する。以下の説明において用いられる変数及び定数（Ｉ、ｉ、Ｊ、ｊ、Ｍ、Ｎ、Ｓ、ｓ等）はいずれも、プログラム上、局所変数として用いられるものであり、他の図に出現する変数とは別個のものである。

最初に、類似音声を決定する際の原理の概略について説明する。詳細については後述する。本実施の形態では、ユーザの音声に類似した声優音声を決定する際に、特定の音響特徴量の差を単純に基準とするのではなく、できるだけ人間の知覚に近いような基準を採用する。そのために、音声について予め複数種類の音響特徴量を算出し、二つの音声の間でこれらによって算出される距離尺度の線形結合で、音声の類似度（本明細書ではこれを「知覚的距離」と呼ぶ。）を表現することにする。この知覚的距離によって、人間の知覚に近い形で類似音声の選択ができるように、予めこの線形結合の係数α_ｉを最適化しておく。この最適化を実現するための処理については後述する。

声優音声については、予め上記した複数の音響特徴量の各々を算出しておき、これらを声優音声の識別子と関連付けて記憶しておく。ユーザの音声が得られると、その音声から同様にして複数の音響特徴量を算出する。これら複数の音響特徴量と、各声優に対して算出されていた複数の音響特徴量との間で知覚的距離を算出し、知覚的距離が小さいものから順番に、ユーザの音声に類似した音声とする。

なお、以下に述べる実施の形態では、発話ごとにユーザ音声に声質が類似した声優音声を決定するものとしているが、実際には練習用発話の録音が終了した時点で、録音された発話を用いてそのユーザ音声に似た声優音声を決定しておく。こうすることで、声質変換の際に使用するモーフィング率（後述）もあらかじめ算出しておくことができる。本実施の形態では、後述する声質変換処理との関連で、類似音声を決定する処理では、３人の声優音声を、ユーザ音声に類似した音声として使用する。また、音響特徴量としては８種類を用いる。すなわち、本実施の形態では、線形結合係数αｉとして、α_１〜α_８が用いられる。

本実施の形態で使用される音響特徴量は以下の通りである。なお、前述の通り、本実施の形態では、音声分析変換合成システムＳＴＲＡＩＧＨＴをモーフィングに用いるため、ＳＴＲＡＩＧＨＴ特有の音響特徴量が含まれている。
（１）ＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）１２次元＋ΔＭＦＣＣ１２次元＋Δパワー１次元の計２５次元特徴ベクトル、
（２）声帯音源の周波数特性を表わす３５次以上の高次ＳＴＲＡＩＧＨＴケプストラム（ＣｅｐＨ）、
（３）声帯音源の周波数特性の傾斜を表わすＳＴＲＡＩＧＨＴケプストラムの１次（Ｃｅｐ１）、
（４）２．６ｋＨｚ以上の対数スペクトラム（Ｓｐｅｃｔｒｕｍ）、
（５）ＳＴＲＡＩＧＨＴの分析パラメータである非周期性指標の２．６ｋＨｚ以下（Ａｐ）、
（６）基本周波数（Ｆ０）、
（７）声質表現に重要な第１〜第４ホルマント周波数（Ｆｏｒｍａｎｔ）、及び
（８）対数スペクトルの０〜３ｋＨｚのスペクトル傾斜（ＳｐｅｃＳｌｏｐｅ）。

２つの音声の間で、これら音響特徴量の各々に関して算出される距離尺度としては、ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）距離又はＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）尤度（混合数＝１６）が用いられる。これらのいずれを使用して音響特徴量の距離を組合わせた場合も、音響特徴量を単独で用いた場合よりも好ましい結果が得られた。中でもＤＴＷはＧＭＭを用いた場合よりもよい結果をもたらした。したがって、本実施の形態ではＤＴＷを用いる。

次に、声質変換処理の原理について説明する。本実施の形態で行なう声質変換は、声優音声の中から、上記した知覚的距離が近い音声であるとして選択された複数の声優音声を混合（モーフィング）することにより、さらにユーザの声質に近い音声を合成する処理である。概念的には次のように表すことができる。

図３７に示すように、選択された声優音声が本実施の形態のように３個（第１〜第３の声優音声）の場合を考える。説明を簡単にするために、知覚的距離を算出するために使用される音響特徴量が８個ではなく３個の場合について説明する。この場合、選択された３個の声優音声は、３次元の音響特徴量空間（話者空間）の中の３つの点９９０，９９２及び９９４に対応するということができる。これら音声を混合（モーフィング）した音声は、３点９９０、９９２及び９９４を頂点とする三角形の平面内の点となる。本実施の形態では、これらモーフィング後の音声のうち、ユーザ（ターゲット話者）の音声に対応する点９９８との距離９９７が最も小さくなる点９９６に対応するものを採用する。

このような処理により、予め声優によって録音されていた台詞音声から、ユーザの声質に近い台詞音声を合成することができる。

なお、ここで選択される声優音声の数は３個に限定されるわけではなく、２個でもよいし、４個以上でもよい。選択された声優音声が２個の場合には、両者を結ぶ線分上の点でターゲット話者に最も近い点に対応する音声がモーフィングにより合成される。選択された声優音声が４個以上の場合には、平面ではなくそれら４個の声優音声に対応する点により既定される４面体の内部の点のうち、ターゲット話者の音声に最も近い位置にある音声がモーフィングにより合成される。５個以上の場合も同様である。

また、音響特徴量については、特に複数である必要はなく、１個以上であってもよい。この場合には、線形結合係数はベクトル形式ではなく単独の数となる。この場合でも、線形結合係数が人間の知覚に基づく音声の類似順位との相関が高く選ばれているため、人間が選ぶ場合と同様の声質の音声を選択できる。

以下、システムの稼動に先立って、上記した類似音声の判定に使用される音響特徴量の距離尺度の線形結合係数を算出する手順について説明する。

図３２に、これら線形結合係数を算出するための基礎データとして、人間により知覚された音声の類似の順序を示すデータを作成する手順をフローチャート形式で示す。図３２を参照して、この手順は、予め録音されたＭ人の話者音声を準備し、それらの音響特徴量を算出するステップ９２０と、これらＭ人の話者音声の各々に対し、以下のプロセス９２４を実行するステップ９２２とを含む。

プロセス９２４は、処理対象の音声をターゲット音声として、Ｍ人の話者音声がターゲット音声に類似していると思われる順位を人間の知覚により設定するステップ９２６と、このときの類似順位を、そのターゲット音声と関係付けて記憶するステップ９２８とを含む。

この順位データ作成処理を実行することにより、１つのターゲット音声に対し、１〜Ｍ番までの順位を示すデータが１セットずつ作成される。ターゲット話者として選ばれる話者は全体でＭ人なので、全体では順位データはＭセット作成される。

本実施の形態では、線形結合係数の信頼性を高めるために、上記した順位データ作成処理を少なくとも２回行なう。すなわち、最終的には１つのターゲット音声に対し、各々が１〜Ｍ番までの順位を示す順位データが２セット、全体では２Ｍセット作成される。

このように順位データが作成されると、線形結合係数を算出することができる。図３３に、線形結合係数算出処理を実現するプログラムのフローチャートを示す。

図３３を参照して、このプログラムは、順位データ作成処理で準備されたＭ人の話者の音響特徴量データをコンピュータ読取可能な形式で記憶装置内に準備するステップ９３０と、これらＭ人の話者の各々に対し、その話者をターゲット話者として選択し、以下に説明するプロセス９３４を実行するステップ９３２とを含む。

プロセス９３４は、Ｍ個の話者音声からＮ名（Ｎ≦Ｍ）の話者を選出するステップ９３５と、順位データ作成処理で作成された順位データのうち、処理中のターゲット話者に対して作成された２つの順位データセットを読出し、それぞれの順位データに基づいて、ステップ９３５で選択されたＮ名の話者がターゲット話者に類似していると知覚された相対的な順位を計算するステップ９３６とを含む。順位データセットが２組あるので、このときの相対的な順位のデータセットも２組作成される。

プロセス９３４はさらに、ステップ９３６で計算された２組の相対的な順位が一致するか否かを判定し、判定結果に応じて制御の流れを分岐させるステップ９３８を含む。ステップ９３８の判定結果がＮＯの場合には、これらＮ名の話者についての順位データの信頼性が低いということであるから、これらＮ名の話者の組に対する処理をこれ以上行なわず、プロセス９３４の終わりにジャンプする。一方、ステップ９３８の判定結果がＹＥＳの場合には次の処理が実行される。人間の知覚による類似の順位付けには、類似順位の設定者の主観が影響するため、このようにできるだけ客観性を高めることで、最終的に得られる線形結合係数の信頼性を高めることができる。

プロセス９３４はさらに、ステップ９３８における判定結果がＹＥＳのときに実行され、このターゲット話者と、ステップ９３５で選出されたＮ名の話者の組合せと、Ｎ名の話者の順位とをＲＡＭに記憶してこのプロセス９３４を終了するステップ９４０を含む。

このプログラムはさらに、線形結合係数として適当な値で準備されていた初期値α＝（ａ1，ａ２，…，ａ８）を決定するステップ９４２と、この線形結合係数αをニュートン法を用いて最適化し、知覚的距離による順位と人間により判断された音声の類似の相対順序との間の相関値が最も高くなるようにするステップ９４４と、ステップ９４４によって最適化された線形結合係数αを線形結合係数記憶部９４に保存して処理を終了するステップ９４６とを含む。知覚的距離は音響的特徴量に基づくものであるので、本明細書ではこれを音響的類似度と呼ぶ。一方、人間による類似の相対順序は、あくまで人間の知覚によるものなので、これを本明細書では知覚的類似度と呼ぶ。

図３４は、図３３のステップ９４４で実行される、ニュートン法により線形結合係数α＝（ａ1，ａ２，…，ａ８）を最適化するためのプログラムのフローチャートである。図３４を参照して、このプログラムは、ニュートン法にしたがい、αの周辺値を準備するステップ１０００を含む。本実施の形態では、αの周辺値として１６個を用いる。具体的には、α＝（ａ1，ａ２，…，ａ８）の要素ａ１について、他の要素の値は維持したまま、要素ａ１の値だけを＋１した１番目の周辺値α１と、同じく要素ａ１について、他の要素の値は維持したまま、要素ａ１の値だけを−１した２番目の周辺値α２とを含む。以後、他の要素ａ２〜ａ８の各々に対して同様の処理をし、周辺値α３〜α１６を設定する。すなわち、ステップ１０００の処理により、線形結合係数αの周辺値としてα１〜α１６の１６通りの値が得られる。

このプログラムはさらに、ステップ１０００に続いて実行され、図３３のステップ９４０で記憶した、Ｎ名の話者の組合せを全て読出すステップ１００２と、読出されたＮ名の話者の組合せの全てに対し、後述するプロセス１００６を行なうステップ１００４とを含む。

プロセス１００６は、処理対象となっているＮ名の話者の組合せに含まれる各話者に対し、線形結合係数α及びその周辺値α１〜α１６の各々について、ステップ１０１０を実行するステップ１００８を含む。ステップ１０１０では、それらを知覚的距離算出の際の線形結合係数として、ターゲット話者と処理対象の話者との間の知覚的距離を以下の式によって算出する。

ただし、Ｌ（Ｋ）は、線形結合係数αによりＫ番目の話者に対して算出された知覚的距離、Ｌ^ｊ（Ｋ）は、ｊ番目の周辺値αｊによりＫ番目の話者に対して算出された知覚的距離、Ｌ_ｉはｉ番目の音響特徴量に対してターゲット話者と距離計算対象の話者との間で算出された距離、ａ_ｉは線形結合係数αのｉ番目の要素、a_ｉｊはｊ番目の周辺値αｊのｉ番目の要素である。

ステップ１０１０を実行することにより、Ｎ名の話者の各々について１７種類の知覚的距離が算出される。

このプログラムはさらに、ステップ１００８で算出された、１７種類の知覚的距離（音響的類似度）を基準として、処理対象となっているＮ名の話者について１７種類の順位の組合せを算出するステップ１０１２と、ステップ１０１２で算出された１７種類の順位の組合せの各々と、人間により判断された類似の相対順序（知覚的類似度）との間で、Ｓｐｅａｒｍａｎの順位相関係数ρを以下の式により算出し、記憶するステップ１０１４とを含む。

ここで、ａ、ｂはそれぞれ知覚的類似度による順位、及び音響的類似度による順位である。

以上のプロセス１００６をＮ名の話者の組合せの各々に対して行なうことにより、最大で１７×_ＭＣ_Ｎ個のＳｐｅａｒｍａｎの順位相関係数ρが算出される。

このプログラムはさらに、プロセス１００６が完了した後に実行され、ステップ１０１４で記憶された、最大で１７×_ＭＣ_Ｎ個のＳｐｅａｒｍａｎの順位相関係数ρのうち、共通の線形結合係数α又はその周辺値αｊ（１≦ｊ≦１６）を用いて算出されたものをそれぞれ読出し、線形結合係数α又はその周辺値αｊごとに、その平均値を算出するステップ１０１６と、ステップ１０１６で算出された順位相関係数の平均値のうち、線形結合係数αについて算出された平均値がそれ以外の周辺値αｊの各々について算出された平均値の全てより大きいか否かを判定し、判定結果に応じて制御の流れを分岐させるステップ１０１８と、ステップ１０１８における判定結果がＮＯである場合に実行され、線形結合係数αを、周辺値αｘ（ｘ＝１〜１６）のうち、順位相関係数の平均値が最も高かったもので更新し、制御をステップ１０００に戻すステップ１０２０とを含む。ステップ１０１８の判定結果がＹＥＳの場合には、このプログラムの処理は終了し、図３３のステップ９４６に復帰する。したがって、このときの線形結合係数αが線形結合係数記憶部９４に記憶される。

このようにして得られた線形結合係数は、１人又は２人による類似順位付けのデータを用いたものではあるが、対象となる話者の数がＭ人と複数であり、かつＭ人の中からＮ人を選択する仕方は一般的に多数あるため、信頼性の高いものとなる。

以下、このようにして決定され保存された線形結合係数を用い、どのようにしてユーザに類似した声優音声が選択されるかについて説明する。この選択は、以下に説明する類似音声決定プログラムにより行なわれる。

図３１を参照して、類似音声決定プログラムは、予め算出され保存されている線形結合係数αｉ（ｉ＝１〜８）を、記憶装置から読出すステップ９００と、以下の繰返しを制御するための変数Ｊに０を代入することにより変数Ｊを初期化するステップ９０２と、この変数Ｊに１を加算するステップ９０４と、ステップ９０４に続いて実行され、変数Ｊの値が声優音声ＤＢ８０中の声優の数Ｊ_ＭＡＸよりも大きいか否かを判定し、判定結果に応じて制御の流れを分岐させるステップ９０６とを含む。

このプログラムはさらに、ステップ９０６の判定結果がＮＯであると判定されたことに応答して実行され、声優音声ＤＢ８０からＪ番目の声優音声データを読出すステップ９０８と、Ｊ番目の声優音声データとこのユーザの音声データとの知覚的距離Ｌ（Ｊ）を以下の式により算出するステップ９１０とを含む。

なおＬ_ｉはi番めの音響特徴量について算出された距離である。この後、処理はステップ９０４へ戻される。

このプログラムはさらに、ステップ９０６でＹＥＳと判定されたことに応答して実行され、声優音声ＤＢ８０に記憶された数の分だけ算出された知覚的距離を昇順にソートし、知覚的距離が最も小さいものから順番に所定個数（この数を一般的にＳとする。本実施の形態ではＳ＝３である。）の声優音声を、このユーザの音声に最も類似する音声として選択して処理を終了するステップ９１２を含む。

図３５を参照して、声質変換プログラムは、ユーザの声質に似た声質を持つとして選択されたＳ人（本実施の形態ではＳ＝３）の声優の音声について、予め算出され記憶されていた上述した８種類の音響特徴量及び予め記憶されていた線形結合係数を記憶装置から読出すステップ９５０と、モーフィング時の音韻の時間情報及びホルマント位置が一致するように、これら音響特徴量の時系列に特徴点（開始時刻、終了時刻、及び中間時刻等並びに第１〜第４ホルマント位置）を付与するステップ９５２と、選択された声優音声の音響特徴量と、ユーザ音声の音響特徴量とを用いて、声優音声を混合してユーザ音声の声質に似た音声を合成するための各声優音声のモーフィング率（混合率）を推定するステップ９５３と、推定されたモーフィング率（混合率）に基づいて、前述した特徴点のモーフィング後の位置を決定するステップ９５４と、特徴点以外の点の音響特徴量を特徴点間において区分線形補間することにより、時間軸及び周波数軸を伸縮させるステップ９５６と、各時点における各音響特徴量を各声優音声に与えられたモーフィング率に基づいて線形結合してモーフィング音声Ｘ_Ｍを算出するステップ９５８とを含む。モーフィング率の決定方法については後述する。ステップ９５２での特徴点の付与は、本実施の形態ではアテンダントにより行なわれる。

ステップ９５８では、モーフィング音声Ｘ_Ｍは以下の式により算出される。

ｒ＝［ｒ_１ ｒ_２ … ｒ_ｓ］^Ｔをモーフィング率ベクトルと呼ぶ。

図３６を参照して、図３５のステップ９５４及びステップ９５８で用いられるモーフィング率を算出するための、図３５のステップ９５３の処理を実現するプログラムについて説明する。このモーフィング率を推定するための式は、後述するとおり解析的に解くことが困難であるために、ニュートン法を用いた逐次的処理により最適解を求める。以下、この逐次的処理について説明する。

複数の話者の音声（本実施の形態においてはユーザ音声に類似した声優音声）のモーフィングでは、様々な声質をモーフィング率によって実現できる。このため、目標話者（本実施の形態においてはユーザ）の声質になるようなモーフィング率を推定する。本実施の形態においては以下の式（１）を満たすようにモーフィング率を決定する。

この手法では、この式（２）を満足するモーフィング率ベクトル＾ｒは、以下の式（３）を最小とするように推定される。

本実施の形態の音声モーフィングには、前述のように音声分析変換合成システムＳＴＲＡＩＧＨＴをモーフィングに用いる。この音声モーフィングでは、特徴量およびモーフィング後の時間周波数平面を同一のモーフィング率で制御するため、式（３）における勾配は非線形であり、解析的に解くことが困難である。そこで、次の式（５）（６）により、ニュートン法でモーフィング率を逐次的に求める。

ここで、ε’（＾ｒ_ｎ）は、式（３）に対して、時間成分及び周波数成分にかかるモーフィング率を定数として近似したものを表す。βは適切な定数であり、例えば０．１〜１の範囲の任意の数が選ばれる。また、

はｎ回目の更新で得られたモーフィング率＾ｒ_ｎにより時間周波数伸縮を行なった特徴量であり、

である。

図３６を参照して、モーフィング率推定処理のプログラムは、最初に前述したε（ｒ）を記憶する変数に、その変数が記憶し得る最大値を記憶するステップ９７０と、ステップ９７０に続き、モーフィング率ベクトルｒとして適当な初期値を設定するステップ９７２と、設定されているモーフィング率ベクトルｒを使用してε（ｒ）を式（３）を使用して算出するステップ９７４と、ステップ９７４で算出されたε（ｒ）の値が収束したか否かを判定し、判定結果に応じて制御の流れを分岐させるステップ９７６とを含む。ステップ９７６の判定では、この前に算出されたε（ｒ）の値と、ステップ９７４で算出されたε（ｒ）の値との差の絶対値が所定のしきい値より小さいか否かを基準とする。

このプログラムはさらに、ステップ９７６の判定結果がＮＯのときに実行され、式（６）によってＥｎを算出するステップ９７８と、このＥｎと現在設定されているモーフィング率ベクトルｒとを使用して、新たなモーフィング率ベクトルｒを式（５）を使用して算出して制御をステップ９７４に戻すステップ９８０とを含む。

このプログラムはさらに、ステップ９７６での判定結果がＮＯのときに実行され、そのときのモーフィング率ベクトルｒが求める値であるとして出力し処理を終了するステップ９８２を含む。

なお、図３６に示すアルゴリズムはニュートン法を実現するための一例であって、これ以外の最適化アルゴリズムを使用してもよい。多くの場合、数値計算用のプログラムキットにはニュートン法等の最適化アルゴリズムを実現するものがあり、それらを使用すると簡単にこの計算を実現できる。

［類似音声の選択及び声質変換の際のマルチメディア製作システム５０の動作］
類似音声の選択及び声質変換の際には、マルチメディア製作システム５０は以下のように動作する。最初に類似音声の選択の処理について説明し、次に声質変換の処理について説明する。なお、これに先立ち、既に説明したように類似音声を評価するための８種類の音響特徴量のための線形結合係数が求められ、記憶装置に記憶されているものとする。

最初に、声優音声ＤＢ８０中に記憶されている台詞（ｉ）の声優音声のうち、ユーザ音声と最も声質が類似したものを以下に述べるように決定し読出して台詞音声（ｉ）として出力する（ステップ４７４、ステップ５０４、ステップ５６０及びステップ５８０）。ここで、この処理は、第４の音声生成部３０６、第５の音声生成部３０８、第７の音声生成部３１２及び第８の音声生成部３１４により実行されるが、以下においては、これらの音声生成部を区別しないで、単に音声生成部と記載する。

音声生成部は、類似音声決定処理には以下のように動作する。図３１を参照して、音声生成部は、予め求められ記憶されていた線形結合係数αｉ（ｉ＝１〜８）を記憶装置から読出す（ステップ９００）。ステップ９０２〜９１０の処理により、声優音声ＤＢ８０に記憶された全ての声優音声について、ユーザの音声との知覚的距離が算出される（ステップ９１０）。声優音声ＤＢ８０に記憶されている全ての声優音声について、知覚的距離の算出が終了すると、算出された知覚的距離が最も小さい声優音声から所定個数が、ユーザ音声と最も声質が類似したものとして選択される（ステップ９１２）。

最も類似した声質を持つ声優音声として１つのみ決定する場合には、ステップ９１２では知覚的距離が最も小さな声優音声が選択される。最も類似した声質を持つ声優音声を複数個決定する場合には、ステップ９１２では知覚的距離が小さなものから順にその個数の声優音声が選択される。

図３３を参照して、声質変換をする際には、マルチメディア製作システム５０は以下のように動作する。なお、ここではユーザに類似する声優音声として３種類が選択されるものとする。これら声優音声が選択されると、処理対象の台詞の声優音声を、ユーザ音声の特徴を用いて声質変換する（ステップ５０６及びステップ５８２）。この処理は、第５の音声生成部３０８及び第８の音声生成部３１４により実行されるが、以下においては、これらの音声生成部を区別しないで、単に音声生成部と記載する。

音声生成部は、声質変換処理では以下のように動作する。なお、図３１に示す類似音声決定処理と、図３６に示すモーフィング率推定処理とは、練習用音声の収録が終わった時点で行なわれる。また、声優音声の全てに対して、モーフィングのための特徴点が予め付与されているものとする。

図３５を参照して、音声生成部は、選択された３名の声優音声の音響特徴量（８種類）を記憶装置から読出す（ステップ９５０）。ユーザ音声に対して、アテンダントにより特徴点が付与される（ステップ９５２）。続いて、３人の声優音声の音響特徴量と、ユーザ音声の音響特徴量とに基づいて算出されたモーフィング率に基づいて、モーフィング後の特徴点の位置が決定されて（ステップ９５４）、特徴点以外の点を特徴点間において音響特徴量を区分線形補間して時間軸及び周波数軸を伸縮させ（ステップ９５６）、その後、推定されたモーフィング率を用いて声優音声の音響特徴量を線形結合する（ステップ９５８）。

したがって、マルチメディア製作システム５０によって、人が知覚するのと同様に、ユーザの音声に最も類似する声優の音声を選ぶことができ、それら複数話者の音声をモーフィングしてユーザ音声の声質に類似した音声を生成することができる。その結果、登場人物の台詞が分かっているマルチメディア製作物において、ユーザの音声が少なくても、登場人物の音声を、ユーザの声に最も近いと人間が感ずるような声に的確に置換することが可能になる。

上記した実施の形態は、映画を製作するためのマルチメディア製作システムに本発明を適用したものであった。本発明が適用可能なシステムはこれには限らず、たとえばテレビジョン番組、ラジオドラマなど、一般に台詞を発話するタイミング、その長さ、などが発話者ごとに決まったシナリオにしたがって進行するものであればどのようなものにも適用することができる。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

本発明の一実施の形態に係るマルチメディア製作システム５０の機能ブロック図である。 キャラクタ音声作成部１０２の機能ブロック図である。 台詞情報記憶部７２に記憶される台詞情報テーブルの構成を示す図である。 録音終了時の台詞音声の録音状態の例を示す図である。 図２に示す音声収録部１１４で行なわれる音声収録処理を、コンピュータハードウェア上で実現するコンピュータプログラムの前半部分のフローチャートである。 図２に示す音声収録部１１４で行なわれる音声収録処理を、コンピュータハードウェア上で実現するコンピュータプログラムの後半部分のフローチャートである。 ユーザ情報入力部１００がユーザの音声収録時に入出力装置１１２の画面上に表示する表示の一例を示す図である。 ユーザ音声ＤＢ１２０の構成を示すブロック図である。 音声作成部１１８の構成を示す機能ブロック図である 図２に示す合成手法決定部１１６で行なわれる音声の生成手法の決定処理を、コンピュータハードウェア上で実現するコンピュータプログラムのフローチャートである。 手法リストテーブル７８の構成を示す図である。 カット情報記憶部７６に記憶された音響効果リストテーブルの構成を示す模式図である。 図９に示す第１の音声生成部３００を実現するプログラムのフローチャートである。 図９に示す第２の音声生成部３０２を実現するためのプログラムの制御構造を示すフローチャートである。 図９に示す第３の音声生成部３０４を実現するためのプログラムのフローチャートである。 図９に示す第４の音声生成部３０６を実現するためのプログラムの制御構造を示すフローチャートである。 図９に示す第５の音声生成部３０８を実現するプログラムの制御構造を示すフローチャートである。 図９に示す第６の音声生成部３１０を実現するためのプログラムのフローチャートである。 図９に示す第７の音声生成部３１２を実現するプログラムの制御構造を示すフローチャートである。 図９に示す第８の音声生成部３１４を実現するプログラムの制御構造を示すフローチャートである。 図９に示す第９の音声生成部３１６を実現するためのプログラムのフローチャートである。 図９に示す音声信号処理部３２０を実現するプログラムのフローチャートである。 マルチメディア製作システム５０によって作成された映画を再生する再生システムのブロック図である。 台詞音声テーブル８８の例示的構成を模式的に示す図である。 図２３に示す同時音声統合処理部６３２による同時音声統合処理後の台詞音声テーブル８８の例示的構成を示す図である。 同時音声統合処理部６３２を実現するためのプログラムのフローチャートである。 図２３に示す同期再生部６３８を実現するためのプログラムのフローチャートである。 音声信号処理部３２０が実行する音響効果処理のうち、話速変換と音量正規化処理の内容を説明するための図である。 マルチメディア製作システム５０においてユーザの音声を収録するための台詞音声データ作成部９０を実現するコンピュータ８４０のハードウェア構成の外観図である。 コンピュータ８４０の内部構成を示すブロック図である。 音声生成部で実行される類似音声決定プログラムの制御構造を示すフローチャートである。 類似音声決定処理に先立って行なわれる線形結合係数算出処理で使用される、類似音声の順位データ作成処理を実現するプログラムの制御構造を示すフローチャートである。 人の知覚とよく類似した結果を得るために使用される音響特徴量の線形結合係数を算出する線形結合係数算出プログラムの制御構造を示すフローチャートである。 図３３のステップ９４４で実行されるニュートン法を用いた線形結合係数の最適化のためのプログラムのフローチャートである。 音声生成部で実行される声質変換プログラムの制御構造を示すフローチャートである。 音声生成部で実行されるモーフィング率推定プログラムの制御構造を示すフローチャートである。 モーフィング率の推定を説明するための話者空間を概念的に示す図である。

符号の説明

５０ マルチメディア製作システム
６０ 三次元スキャナ群
６２ 画像処理ＰＣ
６４ 映像生成装置
６６ 映像データ
７０ 映像素材ＤＢ
７２ 台詞情報記憶部
７４ 標準音声記憶部
７６ カット情報記憶部
７８ 手法リストテーブル
８０ 声優音声ＤＢ
８２ 素片ＤＢ
８６ 台詞音声データ
８８ 台詞音声テーブル
９０ 台詞音声データ作成部
９２ 映像・音声再生装置
９４ 線形結合係数記憶部
１００〜１００Ｎ ユーザ情報入力部
１０２〜１０２Ｎ キャラクタ音声作成部
１０４ 音声統合部
１１２ 入出力装置
１１４ 音声収録部
１１６ 合成手法決定部
１１８ 音声作成部
１２０ ユーザ音声ＤＢ
１２２ 音声ＤＢ更新部
１２４ 素片ＤＢ更新部
１３０ 類似声優記憶部
１３２ モーフィング率記憶部
２８０ 分岐部
２９２ 合流部
３００〜３１６ 第１の音声生成部〜第９の音声生成部
３２０ 音声信号処理部
６２０ 映像信号再生部
６２２ 表示装置
６２４ 効果音出力装置
６３２ 同時音声統合処理部
６３８ 同期再生部
６４０ 台詞音声出力装置

Claims (9)

1. 複数のサンプル音声の中から、目標となる音声に類似する音声を選択するための類似音声選択装置であって、
   前記複数のサンプル音声を記憶するための手段と、
   音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度の重み付き線形和により、前記目標となる音声と、前記複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、
   前記複数のサンプル音声の中から、前記距離算出手段により算出された距離が最も小さなものを、前記目標となる音声に類似する音声として選択するための音声選択手段とを含む、類似音声選択装置。
2. 前記距離尺度は、２つの音声の同一の音響特徴量の間での動的時間軸伸縮によって算出される距離尺度である、請求項１に記載の類似音声選択装置。
3. 前記距離尺度は、２つの音声の同一の音響特徴量の間でガウス混合分布モデルによって算出される距離尺度である、請求項１に記載の類似音声選択装置。
4. 前記距離尺度の重み付き線形和の結合係数は、複数の音声について、複数の目標音声の各々との類似度の順位付けを人間によって行なった結果と、前記距離算出手段によって行なった結果との相関が最大となるように、予め決定されている、請求項１〜請求項３のいずれかに記載の類似音声選択装置。
5. コンピュータにより実行されると、当該コンピュータを、
   複数のサンプル音声を記憶するための手段と、
   音声に対する１種類以上の音響特徴量の各々について算出される距離尺度の重み付き線形和により、目標となる音声と、前記複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、
   前記複数のサンプル音声の中から、前記距離算出手段により算出された距離が最も小さなものを、前記目標となる音声に類似する音声として選択するための音声選択手段として機能させる、コンピュータプログラム。
6. 予め定められた内容の音声を、目標となる音声に類似する音声で生成するための音声生成装置であって、
   前記予め定められた内容の、複数のサンプル音声を記憶するための手段と、
   音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度の重み付き線形和により、前記目標となる音声と、前記複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、
   前記複数のサンプル音声の中から、前記距離算出手段により算出された距離が最も小さなものを、前記目標となる音声に類似する音声として選択するための音声選択手段と、
   前記音声選択手段によって選択された音声を用いて、前記予め定められた内容の音声を生成するための音声生成手段とを含む、音声生成装置。
7. 前記音声選択手段は、前記複数のサンプル音声の中から、前記距離算出手段により算出された距離が最も小さな複数のものを、前記目標となる音声に類似する音声として選択するための手段を含み、
   前記音声生成手段は、前記音声選択手段によって選択された前記複数の音声に対するモーフィングを行なって新たな音声を生成するための音声モーフィング手段を含む、請求項６に記載の音声生成装置。
8. さらに、前記選択するための手段によって選択された前記複数の話者の音声を、前記音声モーフィング手段によってモーフィングして得られたモーフィング後音声の所定の特徴量ベクトルと、前記目標となる音声の、前記所定の特徴量に対応する特徴量ベクトルとの間の距離が最小となるように、前記音声モーフィング手段によるモーフィング時の前記複数の話者のモーフィング比率を最適化するための最適化手段を含む、請求項７に記載の音声生成装置。
9. コンピュータにより実行されると、当該コンピュータを、
   予め定められた内容の、複数のサンプル音声を記憶するための手段と、
   音声に対する１種類以上の音響特徴量の各々について算出される、２つの音声の間の距離尺度の重み付き線形和により、目標となる音声と、前記複数のサンプル音声の各々との間の距離を算出するための距離算出手段と、
   前記複数のサンプル音声の中から、前記距離算出手段により算出された距離が最も小さなものを、前記目標となる音声に類似する音声として選択するための音声選択手段と、
   前記音声選択手段によって選択された音声を用いて、前記予め定められた内容の音声を生成するための音声生成手段として機能させる、コンピュータプログラム。

Images