JP2020154057A - 音声データのテキスト編集装置及び音声データのテキスト編集方法 - Google Patents

Abstract

【課題】より効率的で、編集意図に沿った編集が容易に行える音声データのテキスト編集装置及び音声データのテキスト編集方法を提供することにある。【解決手段】音声データを記憶する音声データ記憶手段と、音声データ記憶手段に保存された音声データを、テキストデータに変換する音声データテキスト化手段と、音声データテキスト化手段で生成されたテキストデータを、表示手段に表示すると共に編集するためのテキストデータ表示編集手段と、テキストデータ表示編集手段によって編集されたテキストデータの編集の結果を、音声データに反映させるテキスト音声データ化手段とを備えることを特徴とする。【選択図】図１

Description

本発明は、音声データを編集するための音声データのテキスト編集装置及び音声データのテキスト編集方法に関する。

従来より、インタビュー等で収録された音声データを、ラジオ放送等に使用するために編集する作業がなされている。この音声データの編集は、音声データの音声波形を表示手段（モニタ）に表示させて、電子計算機上で音声波形の継ぎ接ぎにより編集を行う方法がとられている。

例えば、特許文献１に示される音声編集装置では、音声編集画面において、編集対象となる音声の波形を表示するとともに、そこに含まれる各音声部分に対応づけて、認識結果表示枠をそれぞれ表示し、その中に各音声部分に対する音声認識の結果の全部又は一部を表示するものである。

特開２００２−２９７１８８号公報

しかしながら、従来の音声編集装置では、編集者が音声の波形のみならず、その波形に含まれる各音声部分の内容を目で確認できるようになり、音声編集の効率を高めるものの、単に文字面だけを見られるだけであって、より効率的な編集が求められる。

本発明は、このような事情に鑑みてなされたもので、より効率的で、編集意図に沿った編集が容易に行える音声データのテキスト編集装置及び音声データのテキスト編集方法を提供することにある。

請求項１記載の音声データのテキスト編集装置は、音声データを記憶する音声データ記憶手段と、音声データ記憶手段に保存された音声データを、テキストデータに変換する音声データテキスト化手段と、音声データテキスト化手段で生成されたテキストデータを、表示手段に表示すると共に編集するためのテキストデータ表示編集手段と、テキストデータ表示編集手段によって編集されたテキストデータの編集の結果を、音声データに反映させるテキスト音声データ化手段とを備えることを特徴とする。

請求項２記載の音声データのテキスト編集装置は、テキストデータ表示編集手段が、テキストデータの中の単語の部分は、単語のまとまりで表示することを特徴とする。

請求項３記載の音声データのテキスト編集装置は、テキストデータ表示編集手段が、所望の文字の検索ができ、検索された文字の位置を示すことを特徴とする。

請求項４記載の音声データのテキスト編集装置は、テキストデータ表示編集手段が、音声データに含まれる単語の特徴及び単語にならない音の特徴を、その特徴を区別して表示することを特徴とする。

請求項５記載の音声データのテキスト編集装置は、音声データの音声波形を表示手段に表示させる音声波形表示手段を備え、表示手段上に、テキストデータと音声波形とを共に表示できることを特徴とする。

請求項６記載の音声データのテキスト編集装置は、音声波形表示手段が、表示された音声波形を編集することで、音声データの編集ができ、音声波形が編集された音声データを、音声データテキスト化手段でテキストデータに再変換して、再変換されたテキストデータをテキストデータ表示編集手段で再表示してさらに編集できることを特徴とする。

請求項７記載の音声データのテキスト編集装置は、音声データを再生する音声データ再生手段を備え、音声波形表示手段が、音声データ再生手段で再生されている音声データの音声波形上の位置を表示すると共に、テキストデータ表示編集手段が、音声データ再生手段で再生されている音声データのテキストデータ上の位置を表示することを特徴とする。

請求項８記載の音声データのテキスト編集方法は、音声データを、テキストデータに変換し、テキストデータを表示すると共に、表示されたテキストデータを編集可能とし、編集されたテキストデータの編集の結果を、音声データに反映させることを特徴とする。

請求項９記載の音声データのテキスト編集方法は、テキストデータの表示において、テキストデータの中の単語の部分は、単語のまとまりで表示することを特徴とする。

請求項１０記載の音声データのテキスト編集方法は、テキストデータの編集において、所望の文字の検索ができ、検索された文字の位置を示すことを特徴とする。

請求項１１記載の音声データのテキスト編集方法は、テキストデータの表示において、音声データに含まれる単語の特徴及び単語にならない音の特徴を、その特徴を区別して表示することを特徴とする。

請求項１２記載の音声データのテキスト編集方法は、テキストデータと音声データの音声波形とを共に表示できることを特徴とする。

請求項１３記載の音声データのテキスト編集方法は、表示された音声波形を編集することで音声データの編集ができ、音声波形が編集された音声データを、テキストデータに再変換して、再変換されたテキストデータを再表示してさらに編集できることを特徴とする。

請求項１４記載の音声データのテキスト編集方法は、音声データを再生すると共に、テキストデータ及び音声データの音声波形が表示され、再生されている音声データの音声波形上の位置を表示すると共に、再生されている音声データのテキストデータ上の位置を表示することを特徴とする。

本願の発明によれば、より効率的で、編集意図に沿った音声データの編集が容易に行える。

本発明に係る音声データのテキスト編集装置の画面の一例を示す説明図である。 同音声データのテキスト編集装置のテキスト編集画面での検索を示す説明図である。 同音声データのテキスト編集装置のテキスト編集画面での編集メニューを示す説明図である。 同音声データのテキスト編集装置のテキスト編集画面での削除を示す説明図である。 同音声データのテキスト編集装置のテキスト編集画面での削除後を示す説明図である。 同音声データのテキスト編集装置のテキスト編集画面での音量上げを示す説明図である。 同音声データのテキスト編集装置のテキスト編集画面での表示内容を示す説明図である。 同音声データのテキスト編集装置の画面での音声波形表示を示す説明図である。

以下、本発明の形態について図面を参照しながら具体的に説明する。図１は、本発明に係る音声データのテキスト編集装置の画面の一例を示す説明図である。図２は、同音声データのテキスト編集装置のテキスト編集画面での検索を示す説明図である。図３は、同音声データのテキスト編集装置のテキスト編集画面での編集メニューを示す説明図である。図４は、同音声データのテキスト編集装置のテキスト編集画面での削除を示す説明図である。図５は、同音声データのテキスト編集装置のテキスト編集画面での削除後を示す説明図である。図６は、同音声データのテキスト編集装置のテキスト編集画面での音量上げを示す説明図である。図７は、同音声データのテキスト編集装置のテキスト編集画面での表示内容を示す説明図である。図８は、同音声データのテキスト編集装置の画面での音声波形表示を示す説明図である。

本願発明に係る音声データのテキスト編集装置は、音声データを編集するためのもので、例えば放送機器の一部に組み込まれる専用装置や、単独の電子計算機により形成されるもので、ハードウェア的な構成は任意であり、ハードウェア的な構成によって限定されるものではない。また、音声データのテキスト編集装置の動作をつかさどる部分に関しては、必ずしもソフトウェアによる制御のみに限られるものではなく、ハードウェアのみで制御されてもよい。

以下で説明する音声データのテキスト編集装置は、一例として、放送機器の一部に組み込まれる専用装置として説明する。尚、専用装置としての音声データのテキスト編集装置は、例えば、ハードウェア的には、制御手段、音声データ記憶手段、表示手段、入力手段、音声データ再生手段等から構成されており、装置全体の制御は、ソフトウェアによりなされるものとし、以降で説明する音声データのテキスト編集装置の動作は、ソフトウェアでなされるものとする。

制御手段は、例えば、中央演算装置で、音声データのテキスト編集装置全体の制御を行うものである。音声データ記憶手段は、予め録音された音声の情報のデータである音声データを記憶するためのもので、制御手段との間で音声データの授受ができるものであればよい。

音声データ記憶手段は、具体的には、音声データのテキスト編集装置の内部メモリでも良いし、音声データのテキスト編集装置に外付けされるメモリであってもよい。内部メモリの場合には、音声データのテキスト編集装置の外部の録音装置や各種記録媒体にある音声データを、音声データ記憶手段に移動させる必要があるが、音声データの移動自体を自動で行うなどの機能を組み込むことも可能である。尚、音声データの録音方式としては、アナログ方式でもデジタル方式であっても構わないが、制御手段で各種の処理を行う上では、アナログ方式であってもデジタル方式に変換して処理するようにすることになる。また、音声データ記憶手段には、音声データの他、後述するテキストデータを保存する媒体として使用してもよい。

表示手段は、後述するテキストデータを表示可能で、テキストデータの編集等の操作を行うための必要な情報が表示できる手段であり、例えば、液晶モニタ等である。入力手段は、音声データのテキスト編集装置の操作の他、後述するテキストデータの編集等の操作を行うためのキーボードやマウス等である。音声データ再生手段は、テキストデータを耳で聞こえる音声として再生するもので、スピーカ等である。尚、音声データ再生手段は、本願の音声データのテキスト編集装置においては必須ではなく、編集された音声データを、本願の音声データのテキスト編集装置で音声として再生せず、他の装置において再生するようにしてもよい。

次に、本願に係る音声データのテキスト編集装置の動作を、機能的構成（ソフトウェアで実現される構成要素）と併せて説明する。音声データのテキスト編集装置の基本構成は、上述の音声データを記憶する音声データ記憶手段と、音声データ記憶手段に保存された音声データを、テキストデータに変換する音声データテキスト化手段と、音声データテキスト化手段で生成されたテキストデータを、表示手段に表示すると共に編集するためのテキストデータ表示編集手段と、テキストデータ表示編集手段によって編集されたテキストデータの編集の結果を、音声データに反映させるテキスト音声データ化手段とからなる。そして、この構成による音声データのテキスト編集装置の基本動作は、音声データを、テキストデータに変換し、テキストデータを表示すると共に、表示されたテキストデータを編集可能とし、編集されたテキストデータの編集の結果を、音声データに反映させるものである。

具体的には、まず、音声データ記憶手段に、編集を行いたい音声データを取り込んで保存させる。次に、音声データ記憶手段に保存された音声データを、音声データテキスト化手段により、テキストデータに変換する。音声データテキスト化手段は、ハードウェアのみ又はソフトウェアのみにより変換するもので、ハードウェアとソフトウェアとが協働して変換する形態でもよい。音声データテキスト化手段は、人工知能を用いた変換エンジンが想定されるが、例えば、ディープ・ラーニング（機械学習）を用いた手法による変換等、様々な手法での変換が可能である。

本願におけるテキストデータは、単に文字情報のデータだけによる構成でも良いが、文字情報以外に、後述するような単語の特徴を示す付随の情報をセットにしたものであってもよい。テキストデータとしては、例えば、ファイルの拡張子が「txt」のようなテキスト形式やＨＴＭＬ形式のような汎用的な形式でもよいし、専用形式であってもよく、その形式により制限されるものではない。

次に、図１等に示すように、テキストデータ表示編集手段で、音声データテキスト化手段で生成されたテキストデータを、表示手段に表示すると共に編集を可能とする。具体的には、図に示すテキスト編集画面２０のテキスト表示部２２に、テキストデータが文字として表示される。尚、テキスト表示部２２に表示されるテキストデータは、文字に限られず、記号やマークのようなものであってもよい。また、テキスト編集画面２０では、編集のための各種のツールや機能を選択するための編集メニュー２４を表示させて、編集を円滑に行えるようにしてもよく、本実施の形態では、編集メニュー２４により編集の各種機能を選択する方法により、以降の説明を行う。

テキストデータ表示編集手段で表示されるテキスト編集画面２０のテキスト表示部２２に表示されるテキストデータは、単に文字を区切りなく表示してもよいが、図に示すように、テキストデータの中の単語の部分を、単語のまとまりで表示することも可能である。単語のまとまりで表示することで、テキストデータの内容の把握が迅速に行えるようになる。尚、テキストデータを単語のまとまりで表示するための単語のまとまりに関する情報は、音声データテキスト化手段が、音声データをテキストデータにする際に、テキストデータに組み込むようにすればよい。

音声データのテキスト編集装置は、テキストデータ表示編集手段で、所望の文字の検索ができ、検索された文字の位置を示すことも可能である。具体的には、図２に示すように、テキスト編集画面２０の検索ボックス２６に検索したい所望の文字を入力し（図２の場合「菌がついた」）、検索ボタン２６ａを押下することで、テキスト表示部２２の「菌がついた」の文字の部分が強調表示される。また、この検索された「菌がついた」の部分に、編集するためのカーソルを移動させることも可能である。

音声データのテキスト編集装置は、テキストデータ表示編集手段で、テキストデータに対して各種の編集を行うことができる。編集の機能としては、一般的なカットやコピーといったテキスト編集に加え、音声データの編集に独特な編集も可能になっている。編集の具体的な方法としては、例えば、入力手段であるマウスのポインタを、テキスト編集画面２０のテキスト表示部２２に移動させ、その位置で、マウスを右クリックすると、図３のように編集メニュー２４が表示され、その編集メニュー２４から編集の具体的な方法を選ぶようにする。尚、入力手段のキーボードのキーを用いて、編集の具体的な方法を指定するような方法であってもよい。さらに、マウスによるコピー・ペーストによる方法でも編集が可能である。

編集の具体的な機能としては、例えば、切り取り、コピー、貼り付け、削除、挿入、分割の他、音量を上げたり下げたりするような音声データ特有の編集も可能である。図４及び図５に示す例では、編集の機能の削除の様子を示している。図４で、上述の検索で「菌がついた」のテキストを検索し、次に、編集メニュー２４を表示させて、編集メニュー２４の中の削除２４ａを選択するようにする。すると、図５に示すように、「菌がついた」の部分が削除されることになる（削除部分２４ａａ）。

尚、編集の具体的な機能は、上述に限定されるものではなく、任意に機能を設けるようにすればよい。そして、テキスト音声データ化手段により、テキストデータ表示編集手段によって編集されたテキストデータの編集の結果を、音声データに反映させるようにする。これにより、編集後の音声データを、音声データ再生手段で再生することが可能になる。尚、実際のテキストデータの編集では、編集と同時に、テキスト音声データ化手段により、テキストデータの編集の結果を音声データに反映させるようにする。

音声データの編集に独特な編集としては、例えば、音量を上げたり下げたりするようなものであるが、図６の例では、上述の検索で「菌がついた」のテキストを検索し、次に、編集メニュー２４を表示させて、編集メニュー２４の中の音量を上げる２４ｂを選択するようにする。すると、「菌がついた」の部分が音声データとして音量が上げられた設定になる。そして、テキスト音声データ化手段により、編集後の音声データを音声データ再生手段で再生する際に、編集の結果に基づき、編集前の音声データよりも音量が上がった状態で再生されることになる。

一般的なテキストデータの編集の場合には、コピー、貼り付け、置換等は、単純にテキストデータの処理を行えば良いが、本願の音声データのテキスト編集装置の場合、まったく他の人の音声を創り出し嵌め込む等を行うと、編集された音声データとしては不自然なものになってしまう。このため、テキストデータ表示編集手段とテキスト音声データ化手段とが連携し、音声データとして保有しているテキストデータの編集対象の部分を用いて、貼り付けや置換を行うようにすることで、音声データとして自然な編集が可能となる。

音声データのテキスト編集装置は、テキストデータ表示編集手段が、音声データに含まれる単語の特徴及び単語にならない音の特徴を、その特徴を区別して表示するようにしてもよい。ここで、単語の特徴とは、主に単語の意味内容による特徴や単語の発音された音声的な特徴であるが、これら以外の特徴（例えば、単語にならない音の特徴等）であってもよい。単語の意味内容の特徴とは、例えば、差別用語や放送禁止用語等のＮＧワードや放送事故の恐れのある表現等がある。また、単語の発音された音声的な特徴とは、例えば、音声の大きさ（ｄＢ値）や音声の高さ（Ｈｚ）等がある。単語にならない音の特徴とは、例えば、長すぎる無音、破裂音、リップノイズ、息を吸い込む音、手を叩く音等である。

特徴を区別して表示するとは、特徴を有さない単語との区別や、他の特徴を有する単語と区別して識別できる表示方法であればよく、例えば、文字の色や大きさ等の文字自体の装飾の他、下線の有無、背景色の有無や背景色の違いや文字の近隣等に記号を表示させる等の方法による表示上の装飾等の各種の方法がある。尚、これら区別して識別できる表現の方法の組み合わせであってもよい。

特徴を有さない単語との区別や、他の特徴を有する単語と区別して識別できる表示方法の具体的な画面の例では、例えば、図７のようなものがある。図７で、「皆さん おはよう ございます」「一番効果が」「手洗い なんだそうです」「菌がついた」「うがい」「マスク」「モーニングサプリ」等は、文字の大きさが他の文字よりも大きくなっているが、これらは、音声の大きさが大きいことを示しており、「おはよう」や「菌がついた」等は、特に音が大きいことを示している。

また、図７の「本当ですね」「そうなんですか」「まずは お知らせを 挟んで 気になる 交通情報 です」「モーニングサプリ」等は、他の文字と色が異なっているが、これは、音声の高さ（Ｈｚ）の違いを示し、「本当ですね」「そうなんですか」「まずは お知らせを 挟んで 気になる 交通情報 です」は、同一の色で、周波数の低めの音を示し、「モーニングサプリ」は、周波数の高めの音を示している。記号の例としては、図７の三角の記号や波形の記号等である。

音声データのテキスト編集装置は、図１や図８に示すように、音声波形表示手段により、音声波形表示画面で音声データの音声波形を、表示手段上に、テキストデータと音声波形とを共に表示させることも可能である。そして、音声波形表示手段が、表示された音声波形を編集することで、音声データの編集ができ、音声波形が編集された音声データを、音声データテキスト化手段でテキストデータに再変換して、再変換されたテキストデータをテキストデータ表示編集手段で再表示してさらに編集できるようにしてもよい。

尚、音声データのテキスト編集装置に、上述の音声データを再生する音声データ再生手段を備えるようにして、音声波形表示手段が、音声データ再生手段で再生されている音声データの音声波形上の位置を表示すると共に、テキストデータ表示編集手段が、音声データ再生手段で再生されている音声データのテキストデータ上の位置を表示するようにしてもよい。

音声波形上の位置を表示すると共に、再生されている音声データのテキストデータ上の位置を表示する具体的な様子を示すのが図８である。上述の通り、音声データとテキストデータとは、絶えず関係づけられており、音声波形表示画面１０の表示波形１２の再生している位置を示す再生波形位置１４が帯状に示され、またテキスト編集画面２０のテキスト表示部２２の再生している位置を示す再生テキスト位置２８が示される。

以上のような構成と動作の音声データのテキスト編集装置によれば、より効率的で、編集意図に沿った編集が容易に行える。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

以上のように、本発明によれば、より効率的で、編集意図に沿った編集が容易に行える音声データのテキスト編集装置及び音声データのテキスト編集方法を提供することができる。

１０・・・・・音声波形表示画面
１２・・・・・表示波形
１４・・・・・再生波形位置
２０・・・・・テキスト編集画面
２２・・・・・テキスト表示部
２４・・・・・編集メニュー
２４ａ・・・・削除
２４ａａ・・・削除部分
２４ｂ・・・・音量を上げる
２６・・・・・検索ボックス
２６ａ・・・・検索ボタン
２８・・・・・再生テキスト位置

Claims (14)

1. 音声データを編集するための音声データのテキスト編集装置において、
   該音声データを記憶する音声データ記憶手段と、
   該音声データ記憶手段に保存された該音声データを、テキストデータに変換する音声データテキスト化手段と、
   該音声データテキスト化手段で生成された該テキストデータを、表示手段に表示すると共に編集するためのテキストデータ表示編集手段と、
   該テキストデータ表示編集手段によって編集された該テキストデータの編集の結果を、該音声データに反映させるテキスト音声データ化手段とを備えることを特徴とする音声データのテキスト編集装置。
2. 前記テキストデータ表示編集手段が、前記テキストデータの中の単語の部分は、該単語のまとまりで表示することを特徴とする請求項１記載の音声データのテキスト編集装置。
3. 前記テキストデータ表示編集手段が、所望の文字の検索ができ、検索された文字の位置を示すことを特徴とする請求項１又は請求項２記載の音声データのテキスト編集装置。
4. 前記テキストデータ表示編集手段が、前記音声データに含まれる単語の特徴及び単語にならない音の特徴を、その特徴を区別して表示することを特徴とする請求項１〜請求項３のいずれかに記載の音声データのテキスト編集装置。
5. 前記音声データの音声波形を前記表示手段に表示させる音声波形表示手段を備え、
   該表示手段上に、前記テキストデータと該音声波形とを共に表示できることを特徴とする請求項１〜請求項４のいずれかに記載の音声データのテキスト編集装置。
6. 前記音声波形表示手段が、表示された前記音声波形を編集することで、前記音声データの編集ができ、
   該音声波形が編集された該音声データを、前記音声データテキスト化手段で前記テキストデータに再変換して、再変換された該テキストデータを前記テキストデータ表示編集手段で再表示してさらに編集できることを特徴とする請求項１〜請求項５のいずれかに記載の音声データのテキスト編集装置。
7. 前記音声データを再生する音声データ再生手段を備え、
   前記音声波形表示手段が、該音声データ再生手段で再生されている該音声データの前記音声波形上の位置を表示すると共に、
   前記テキストデータ表示編集手段が、該音声データ再生手段で再生されている該音声データの前記テキストデータ上の位置を表示することを特徴とする請求項５又は請求項６記載の音声データのテキスト編集装置。
8. 音声データを編集するための音声データのテキスト編集方法において、
   音声データを、テキストデータに変換し、
   該テキストデータを表示すると共に、表示された該テキストデータを編集可能とし、
   編集された該テキストデータの編集の結果を、該音声データに反映させることを特徴とする音声データのテキスト編集方法。
9. 前記テキストデータの表示において、該テキストデータの中の単語の部分は、該単語のまとまりで表示することを特徴とする請求項８記載の音声データのテキスト編集方法。
10. 前記テキストデータの編集において、所望の文字の検索ができ、検索された文字の位置を示すことを特徴とする請求項８又は請求項９記載の音声データのテキスト編集方法。
11. 前記テキストデータの表示において、該音声データに含まれる単語の特徴及び単語にならない音の特徴を、その特徴を区別して表示することを特徴とする請求項８〜請求項１０のいずれかに記載の音声データのテキスト編集方法。
12. 前記テキストデータと前記音声データの音声波形とを共に表示できることを特徴とする請求項８〜請求項１１のいずれかに記載の音声データのテキスト編集方法。
13. 表示された前記音声波形を編集することで前記音声データの編集ができ、
    該音声波形が編集された該音声データを、前記テキストデータに再変換して、再変換された該テキストデータを再表示してさらに編集できることを特徴とする請求項８〜請求項１２のいずれかに記載の音声データのテキスト編集方法。
14. 前記音声データを再生すると共に、前記テキストデータ及び該音声データの音声波形が表示され、
    再生されている該音声データの前記音声波形上の位置を表示すると共に、再生されている該音声データの該テキストデータ上の位置を表示することを特徴とする請求項１２又は請求項１３記載の音声データのテキスト編集装置。