JP7458720B2

JP7458720B2 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP7458720B2
Application number: JP2019145621A
Authority: JP
Inventors: 雅人小池
Original assignee: Koei Tecmo Games Co Ltd
Current assignee: Koei Tecmo Games Co Ltd
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2024-04-01
Anticipated expiration: 2039-08-07
Also published as: JP2021026150A

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

従来、コンピュータゲーム等において、ゲームの状況に応じて、ゲームのキャラクタのセリフを、予め録音されている音声（ボイス）により出力する技術が知られている（例えば、特許文献１を参照）。

声優や歌手等の発声者が発声した音声を録音する場合、発声者が息継ぎ（呼吸）をした際に生じる雑音（ブレスノイズ）が、発声者の口元に設置されたマイクにより集音される場合がある。この場合、録音されている音声を出力すると、ユーザにとって耳障りな雑音となる場合がある。従来、音声を修正する者が、録音されている音声をスピーカに出力させてブレスノイズを耳で聞き取り、ブレスノイズが発生した時間の音声の波形を画面に表示させ、波形を手入力により修正することが知られている。

特開２０１７－１８４８４２号公報

しかしながら、従来技術では、職人の経験と勘に基づいて手作業により周波数成分や音量等を修正するため、作業に手間がかかると共に、修正の品質にばらつきがあるという問題がある。

そこで、一側面では、より適切に音声を修正することができる技術を提供することを目的とする。

一つの案では、情報処理装置が、発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する判定部と、判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する修正部と、を有し、前記判定部は、前記音声の有音区間のうち中央部以外の部分の最大音量と、中央部の最低音量との比率に基づいて、当該有音区間がブレスノイズであるか否かを判定する。

一側面によれば、より適切に音声を修正することができる。

実施形態に係る情報処理装置のハードウェア構成例を示す図である。実施形態に係る情報処理装置の機能ブロック図である。実施形態に係る情報処理装置の処理の一例を示すフローチャートである。実施形態に係る情報処理装置の処理の一例について説明する図である。

以下、図面に基づいて本発明の実施形態を説明する。

＜ハードウェア構成＞
図１は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図１に示す情報処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。

情報処理装置１０での処理を実現するゲームプログラムは、記録媒体１０１によって提供される。ゲームプログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、ゲームプログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、ゲームプログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたゲームプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、またはＳＲＡＭ（Static Random Access Memory）等のメモリであり、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って情報処理装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７は、コントローラ等、キーボード及びマウス等、またはタッチパネル及びボタン等で構成され、様々な操作指示を入力させるために用いられる。

なお、記録媒体１０１の一例としては、ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。

＜機能構成＞
次に、図２を参照し、情報処理装置１０の機能構成について説明する。図２は、実施形態に係る情報処理装置１０の機能ブロック図である。

情報処理装置１０は、記憶部１１を有する。記憶部１１は、例えば、補助記憶装置１０２等を用いて実現される。記憶部１１は、録音されたセリフの音声データ等を記憶する。

また、情報処理装置１０は、取得部１２、判定部１３、及び修正部１４を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムが、情報処理装置１０のＣＰＵ１０４に実行させる処理により実現される。

取得部１２は、録音されたセリフ等の音声データを記憶部１１から取得する。判定部１３は、取得部１２により取得された音声データから、セリフ等が発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する。

修正部１４は、判定部１３により判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する。修正部１４は、例えば、判定された各区間の音を修正することにより、取得部１２により取得された音声データからブレスノイズの音を除去する。これにより、例えば、声優等が発声したセリフの音声データに含まれるブレスノイズを低減することができる。

＜処理＞
次に、図３、及び図４を参照して、情報処理装置１０の処理について説明する。図３は、実施形態に係る情報処理装置１０の処理の一例を示すフローチャートである。図４は、実施形態に係る情報処理装置の処理の一例について説明する図である。

ステップＳ１において、取得部１２は、録音されたセリフの音声データを取得する。続いて、判定部１３は、録音されたセリフの音声データの波形の振幅に基づいて、有音区間（音声区間）を判定する（ステップＳ２）。ここで、判定部１３は、例えば、振幅の絶対値が所定の閾値以上であり、所定時間内のゼロクロス回数（零交差数）が所定の閾値以上となった時点から、所定時間内のゼロクロス回数が所定の閾値以下になった時点までの区間を、有音区間と判定してもよい。なお、ゼロクロス回数とは、例えば、振幅の値の符号の正負が入れ替わった回数（波形が振幅０の線を交差した回数）である。図４の例では、セリフの音声データの波形４０１において、区間４１１から４１６がそれぞれ有音区間と判定される。

以下で、判定した複数の有音区間のうちの一の有音区間を、「処理対象の区間」と称する。以下の処理は、判定した複数の有音区間をそれぞれ処理対象の区間とし、各処理対象の区間に対して実行される。

なお、判定部１３は、有音区間のうち、例えば、所定時間（例えば、１０ｍｓ）当たりの振幅の絶対値の平均値が所定の閾値以上の区間を、処理対象の区間としてもよい。この場合、図４の区間４１４に対しては、区間４２１が処理対象の区間として判定される。これにより、例えば、振幅の絶対値が比較的小さいため白色ノイズ等の影響を比較的受け易い区間を、処理対象に含めないようにすることができる。

続いて、判定部１３は、処理対象の区間における波形のゼロクロス回数に基づいて、ブレスノイズらしさを示す第１指標の値を算出する（ステップＳ３）。ここで、判定部１３は、例えば、処理対象の区間のうち、所定時間内のゼロクロス回数が第１閾値未満である区間が存在する場合、処理対象の区間をブレスノイズらしさが低いと判定してもよい。これにより、例えば、処理対象の区間において、一瞬でも声が混ざっていると考えられる時間帯があれば、ブレスノイズらしくないと判定されるため、ささやき声でセリフを発話している等の区間をブレスノイズと誤判定しないようにすることができる。

この場合、判定部１３は、例えば、処理対象の区間を、所定の時間長（例えば、０．１秒）の各区間に分割し、分割した各区間におけるゼロクロス回数をそれぞれ判定してもよい。そして、判定部１３は、分割した各区間のゼロクロス回数のうち、最も値が小さいゼロクロス回数が所定の閾値（例えば、２０００回／秒）未満である場合、第１指標の値を小さな値（例えば、０）に決定してもよい。また、判定部１３は、最も値が小さいゼロクロス回数が所定の閾値未満でない場合、第１指標の値を大きな値（例えば、１）に決定してもよい。

または、判定部１３は、例えば、当該最も小さいゼロクロス回数が当該所定の閾値よりも小さいほど、第１指標の値をより小さな値に決定してもよい。

続いて、判定部１３は、処理対象の区間の時間長に基づいて、ブレスノイズらしさを示す第２指標の値を算出する（ステップＳ４）。ここで、判定部１３は、例えば、処理対象の区間のうち、所定時間当たりの振幅の絶対値の平均値が所定の閾値以上の区間の時間長に基づいて、当該処理対象の区間がブレスノイズであるか否かを判定してもよい。これにより、例えば、「チッ」、「ツッ」等のタ行の無声化する子音等が発音された場合は、ブレスノイズと誤判定しないようにすることができる。これは、発音された音がタ行の無声化する子音等の場合、その後に続く母音が発話されるまでに間が空く場合が多いため、当該子音の区間が当該所定の閾値以下の場合は、息継ぎではなく、タ行の無声化する子音等が発音されたと考えられるためである。

この場合、判定部１３は、処理対象の区間の時間長が所定の閾値（例えば、０．３秒）以下である場合、第２指標の値を小さな値（例えば、０）に決定してもよい。または、判定部１３は、当該時間長が当該所定の閾値よりも小さいほど、第２指標の値をより小さな値に決定してもよい。

続いて、判定部１３は、処理対象の区間における音の抑揚に基づいて、ブレスノイズらしさを示す第３指標の値を算出する（ステップＳ５）。ここで、判定部１３は、例えば、処理対象の区間のうち中央部以外の部分の最大音量と、中央部の最低音量との比率に基づいて、当該処理対象の区間がブレスノイズであるか否かを判定してもよい。これにより、処理対象の区間の左側部の最大音量または右側部の最大音量と中央部の最低音量との比率が所定の閾値以上である場合（抑揚が有る場合）には、ブレスノイズと誤判定しないようにすることができる。

これは、息継ぎによる音（例えば、「ハアッ」という音）は、処理対象の区間における左側部の最大音量、及び右部側の最大音量よりも、中央部の最低音量の方が大きい場合が多い。一方、ささやき声や通常の声でセリフを発話している場合、処理対象の区間における左側部の最大音量、及び右部側の最大音量は、中央部の最低音量よりも大きい場合が多い。これは、ささやき声等で発話している場合でも、セリフが発話された場合は抑揚があるためである。

この場合、判定部１３は、例えば、処理対象の区間を、左側部、中央部、右側部の３つの区間に分割する。なお、処理対象の区間の左端は、処理対象の区間の開始時点であり、処理対象の区間の右端は、処理対象の区間の終了時点である。そして、判定部１３は、処理対象の区間の左側部の最大音量または右側部の最大音量と中央部の最低音量との比率（比の値）が所定の閾値以上である場合、第３指標の値を小さな値（例えば、０）に決定してもよい。

または、判定部１３は、例えば、処理対象の区間の左側部の最大音量、及び右側部の最大音量と中央部の最低音量との比率が所定の閾値よりも大きいほど、第３指標の値をより小さな値に決定してもよい。

続いて、判定部１３は、処理対象の区間における発音に基づいて、ブレスノイズらしさを示す第４指標の値を算出する（ステップＳ６）。ここで、判定部１３は、例えば、処理対象の区間のうち、音声の振幅の値の正負が所定時間内に入れ替わった回数が第１閾値よりも大きい第２閾値以上である区間が存在する場合、当該処理対象の区間をブレスノイズらしさが低いと判定してもよい。これにより、「ｓｈ」、「ｔｈ」、「ｃｈ」等の子音が発音されている場合、例えば、「チッ」や「クウッ」等が発音された場合は、ブレスノイズと誤判定しないようにすることができる。これは、ゼロクロス回数が非常に大きくなる「ｓｈ」、「ｔｈ」、「ｃｈ」等の子音が息継ぎによって発音される場合は少ないためである。

この場合、判定部１３は、例えば、処理対象の区間における左側部を、所定の時間長（例えば、０．１秒）の各区間に分割し、分割した各区間におけるゼロクロス回数をそれぞれ判定してもよい。そして、判定部１３は、分割した各区間のゼロクロス回数のうち、最も大きいゼロクロス回数が所定の閾値（例えば、１００００回／秒）以上である場合、第４指標の値を小さな値（例えば、０）に決定してもよい。または、判定部１３は、例えば、当該最も大きいゼロクロス回数が当該所定の閾値よりも大きいほど、第４指標の値をより小さな値に決定してもよい。

続いて、判定部１３は、処理対象の区間における音の声質に基づいて、ブレスノイズらしさを示す第５指標の値を算出する（ステップＳ７）。ここで、判定部１３は、例えば、処理対象の区間の振幅の値の増減が所定時間内に入れ替わった回数が閾値以下である区間が存在する場合、当該処理対象の区間をブレスノイズらしさが低いと判定してもよい。これにより、例えば、がらがら声（だみ声）で発話された場合に、ブレスノイズと誤判定しないようにすることができる。これは、がらがら声で母音が発話された場合、所定時間内のゼロクロス回数は、息継ぎによる音の場合と同程度となる場合が多いものの、がらがら声で母音が発話された場合、振幅の波形は息継ぎによる音の場合と比較して滑らかに増減するため、振幅の波形の上がり下がりの方向転換の回数が比較的少ない場合が多いためである。

この場合、判定部１３は、例えば、処理対象の区間における振幅の値の増減が所定時間内に入れ替わった回数が所定の閾値以下である場合、第５指標の値を小さな値（例えば、０）に決定してもよい。または、判定部１３は、例えば、振幅の値の増減が所定時間内に入れ替わった回数が閾値よりも小さいほど、第５指標の値をより小さな値に決定してもよい。

続いて、判定部１３は、処理対象の区間における音の類似度に基づいて、ブレスノイズらしさを示す第６指標の値を算出する（ステップＳ８）。ここで、判定部１３は、例えば、処理対象の区間に含まれる各区間のうち、類似度が閾値以上である複数の区間が存在する場合、当該処理対象の区間をブレスノイズらしさが低いと判定してもよい。これにより、処理対象の区間における音に音程が有る場合は、ブレスノイズと誤判定しないようにすることができる。これは、発話の音声には、それぞれの音程の推移が類似する複数の区間が存在する場合は多く、息継ぎによる音には、それぞれの音程の推移が類似する複数の区間が存在しない場合が多いためである。

この場合、判定部１３は、例えば、処理対象の区間を、所定の時間長（例えば、０．１秒）の各区間に分割し、分割した各区間について、分割した各区間のうちの他の区間との類似度をそれぞれ算出してもよい。そして、判定部１３は、最も高い類似度が閾値以上の場合、第６指標の値を小さな値（例えば、０）に決定してもよい。または、判定部１３は、例えば、最も高い類似度が閾値よりも高いほど、第６指標の値をより小さな値に決定してもよい。

なお、判定部１３は、例えば、第１区間と第２区間との類似度を、第１区間の振幅と、第２区間の振幅との差分の合計値に基づいて決定してもよい。この場合、判定部１３は、例えば、第１区間の開始時点から終了時点までの各時点の波形の振幅と、第２区間の開始時点から終了時点までの各時点の波形の振幅との差分の合計値が大きい程、類似度の値が低く、当該合計値が小さい程、類似度の値が高いとしてもよい。

また、判定部１３は、第１区間と第２区間との類似度を、検索区間の振幅の波形と、第１区間の振幅の波形との相関係数に基づいて決定してもよい。この場合、判定部１３は、例えば、第１区間の開始時点から終了時点までの振幅の波形と、第２区間の開始時点から終了時点までの振幅の波形との相関係数を、類似度の値としてもよい。

続いて、判定部１３は、処理対象の区間における波形の右下がり度に基づいて、ブレスノイズらしさを示す第７指標の値を算出する（ステップＳ９）。ここで、判定部１３は、例えば、処理対象の区間の振幅の絶対値の所定時間の最大値が、当該処理対象の区間の中央部よりも前の時点から、時間の経過に伴って減少して行く場合、当該有音区間をブレスノイズらしさが低いと判定してもよい。これにより、例えば、演技の息の音の場合は、ブレスノイズと誤判定しないようにすることができる。

これは、息継ぎによる音（例えば、「ハアッ」という音）は、処理対象の区間において、左端から中央部にかけて振幅の絶対値が増加して行き、中央部から右端にかけて振幅の絶対値が減少して行く場合が多い。一方、息を飲む演技による音（例えば、「ハッ」という音）は、左端から比較的急激に振幅の絶対値が増加した後、右端にかけて振幅の絶対値が減少して行く場合が多いためである。

この場合、判定部１３は、例えば、左側部から右端にかけて振幅の絶対値が減少して行く場合は、第７指標の値を小さな値（例えば、０）に決定してもよい。または、判定部１３は、左側部から中央部にかけて振幅の絶対値が減少して行く度合いが高いほど、第７指標の値をより小さな値に決定してもよい。

続いて、判定部１３は、処理対象の区間における波形の立ち上がり度に基づいて、ブレスノイズらしさを示す第８指標の値を算出する（ステップＳ１０）。ここで、判定部１３は、例えば、処理対象の区間のうち、所定時間内の振幅の絶対値の平均値が、所定時間以内に所定の閾値以上増加した区間が存在する場合、当該処理対象の区間をブレスノイズらしさが低いと判定してもよい。これは、処理対象の区間において、波形が略垂直に立ち上がっている区間があれば、息継ぎによる音ではないと考えられるためである。

この場合、判定部１３は、例えば、処理対象の区間のうち、所定時間（例えば、１０ｍｓ）内の振幅の絶対値の平均値が、所定時間（例えば、３０ｍｓ）内に所定の閾値以上増加した場合は、第８指標の値を小さな値（例えば、０）に決定してもよい。または、判定部１３は、所定時間（例えば、１０ｍｓ）内の振幅の絶対値の平均値が、大きく増加するほど、第８指標の値をより小さな値に決定してもよい。

続いて、判定部１３は、第１指標から第８指標までの各値に基づいて、処理対象の区間がブレスノイズの区間であるか否かを判定する（ステップＳ１１）。ここで、判定部１３は、例えば、第１指標から第８指標までの各値を乗算した値が閾値以上である場合、処理対象の区間がブレスノイズの区間であると判定し、当該値が閾値以上でない場合、処理対象の区間がブレスノイズの区間でないと判定してもよい。これにより、例えば、第１指標から第８指標のうち、１つでもブレスノイズらしさが０（ブレスノイズではない）と判定された指標があれば、ブレスノイズの区間でないと判定される。

続いて、修正部１４は、ブレスノイズの区間であると判定された処理対象の区間を含む有音区間の音量を減衰させる（ステップＳ１２）。ここで、図４の区間４２１が処理対象の区間とされ、ブレスノイズの区間であると判定された場合、修正部１４は、区間４２１を含む有音区間である区間４１４の音量を減衰させる。この場合、修正部１４は、例えば、当該有音区間の平均音量が所定の閾値（例えば、予め設定された、無音と判定できる音量）まで低下する減衰率を算出し、当該有音区間の各時点の音量を、当該減衰率で減衰させてもよい。これにより、ブレスノイズの区間が全くの無音とはならないため、ユーザへの違和感を低減できる。

＜変形例＞
情報処理装置１０の各機能部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０情報処理装置
１１記憶部
１２取得部
１３判定部
１４修正部

Claims

発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する判定部と、
判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する修正部と、を有し、
前記判定部は、前記音声の有音区間のうち中央部以外の部分の最大音量と、中央部の最低音量との比率に基づいて、当該有音区間がブレスノイズであるか否かを判定する、情報処理装置。
発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する判定部と、
判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する修正部と、を有し、
前記判定部は、前記音声の有音区間の振幅の値の増減が所定時間内に入れ替わった回数が閾値以下である区間が存在する場合、当該有音区間をブレスノイズらしさが低いと判定する、情報処理装置。
発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する判定部と、
判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する修正部と、を有し、
前記判定部は、前記音声の有音区間に含まれる各区間のうち、類似度が閾値以上である複数の区間が存在する場合、当該有音区間をブレスノイズらしさが低いと判定する、情報処理装置。
発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する判定部と、
判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する修正部と、を有し、
前記判定部は、前記音声の有音区間の振幅の絶対値の所定時間の最大値が、当該有音区間の中央部よりも前の時点から、時間の経過に伴って減少して行く場合、当該有音区間をブレスノイズらしさが低いと判定する、情報処理装置。
発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する判定部と、
判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する修正部と、を有し、
前記判定部は、前記音声の有音区間のうち、所定時間内の振幅の絶対値の平均値が、所定時間以内に所定の閾値以上増加した区間が存在する場合、当該有音区間をブレスノイズらしさが低いと判定する、情報処理装置。
前記判定部は、前記音声の有音区間のうち、前記音声の振幅の値の正負が所定時間内に入れ替わった回数が第１閾値未満である区間が存在する場合、当該有音区間をブレスノイズらしさが低いと判定する、
請求項１から５のいずれか一項に記載の情報処理装置。
前記判定部は、前記音声の有音区間のうち、前記音声の振幅の値の正負が所定時間内に入れ替わった回数が前記第１閾値よりも大きい第２閾値以上である区間が存在する場合、当該有音区間をブレスノイズらしさが低いと判定する、
請求項６に記載の情報処理装置。
前記判定部は、前記音声の有音区間のうち、所定時間当たりの振幅の絶対値の平均値が所定の閾値以上の区間の時間長に基づいて、当該有音区間がブレスノイズであるか否かを判定する、
請求項１から７のいずれか一項に記載の情報処理装置。
前記判定部は、前記音声の有音区間のうち、所定時間当たりの振幅の絶対値の平均値が所定の閾値以上の区間の音声の振幅に基づいて、ブレスノイズによる音の区間を判定し、
前記修正部は、判定されたブレスノイズによる音の区間を含む前記音声の有音区間の音量を減衰させる、
請求項１から８のいずれか一項に記載の情報処理装置。
情報処理装置が、発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する処理と、判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する処理と、を実行し、
前記判定する処理は、前記音声の有音区間のうち中央部以外の部分の最大音量と、中央部の最低音量との比率に基づいて、当該有音区間がブレスノイズであるか否かを判定する処理を含む、情報処理方法。
情報処理装置に、
発話された音声の振幅に基づいて、ブレスノイズによる音の区間を判定する処理と、
判定されたブレスノイズが前記音声から除去されるように前記音声のデータを修正する処理と、を実行させ、
前記判定する処理は、前記音声の有音区間のうち中央部以外の部分の最大音量と、中央部の最低音量との比率に基づいて、当該有音区間がブレスノイズであるか否かを判定する処理を含む、プログラム。