JP4512286B2 - 番組送出システム及びこれに用いる番組送出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、自動化されたニュース番組制作に関し、特に、文字音声変換システムにより合成された音声と、ＣＧ技術により合成されたキャラクタ画像を用いることにより制作コストが低減された番組送出システム及びこれに用いる番組送出装置に関する。
【０００２】
【従来の技術】
従来より、ニュース番組は、放送局に所属する編集員により事前に作成されたニュース原稿を、ニューススタジオのキャスター席に着席したアナウンサーが読み上げ、これをテレビカメラで撮影して音声付映像を作成し、これに、事前に作成されたニュース資料映像を必要に応じてキーイング合成することにより、制作されていた。
【０００３】
【発明が解決しようとする課題】
しかし、アナウンサーには、適正なスピードをもって明確な発音でニュース原稿を読み上げるスキルを有することが求められ、そのようなスキルを有するアナウンサーを養成するために放送局は相当の期間と費用を負担する必要があるばかりでなく、ニュース内容が多岐のジャンルにわたることから、ニュース内容に応じた表情や抑揚など、適切な表現をもってニュースの伝達を行うためには、アナウンサーは、担当する各ニュース内容を適正に理解していなければならないなど、一定水準以上の知識、教養を有していることが求められる。更に、ニュース番組の視聴率は、視聴者のアナウンサーに対する嗜好に左右される部分もあるために、アナウンサーには、一般視聴者から高い好感度を受けることができる容姿や声調を有していることが求められる場合もあり、放送局やニュース番組制作サイドからすれば、上記のような資質を備えるアナウンサーを採用、養成し、各ニュース番組に常時配置できる体制を整えることは必ずしも容易なことではない。
【０００４】
更に、将来、チャンネル数の増加や、地域密着型番組などニュース番組の多様化などにより、ニュース番組数が増加することが見込まれており、十分な資質を備えるアナウンサーを必要人数確保することが現在よりも更に困難になり、また、各ニュース番組の制作コストを現在よりも一層縮小させることが必要となることが予測されている。
【０００５】
したがって、ニュース番組の制作コストを低減させるとともに、十分な資質などを備えるアナウンサー人材不足に対応できる新たなニュース番組の制作システムが必要とされている。
【０００６】
本発明は上記従来の不具合ないしは問題に鑑みてなされたもので、その目的は、放送番組の制作コストを低減させるとともに、十分な資質を備えるアナウンサーなどの出演者の人材不足に対応できる新たな番組送出システム及びこれに用いる番組送出装置を提供することである。
【０００７】
【課題を解決するための手段】
本発明は、上記問題に鑑みてなされたもので、番組送出システムとして、放送番組の原稿データを基に該放送番組ごとのベース音声、声調、高低および速度を指定することにより該放送番組ごとの音声を生成する音声合成手段と、番組の出演者の映像を生成するキャラクタ画像生成手段と、前記音声合成手段から出力される音声に応じて前記キャラクタ画像の口元の表情を調整するための口元表情データ及びキャラクタ画像データと、前記原稿データに合わせて前記キャラクタ画像データに口元表情データに基づくモディフィケーションを加えたキャラクタ画像を合成するキャラクタ画像合成手段と、前記音声合成手段から出力される音声と前記キャラクタ画像合成手段から出力されるキャラクタ画像を同期して合成する画像音声合成手段と前記画像音声合成手段から出力される音声およびキャラクタ画像をテレビ信号に変換して放送する放送電波発信手段を備え、取材した映像データが格納される映像データ記憶手段と、映像データの出力を切り替える映像切替手段とを更に備え、前記キャラクタ画像合成手段が出力するキャラクタ画像と映像データ記憶手段からの取材映像とを映像切替手段により選択切り替えることを特徴とするものである。また本発明は、番組送出装置として、前記キャラクタ画像生成手段が複数のキャラクタ画像データを備え、前記放送番組内容に応じて１のキャラクタ画像を選択するものである。
【０００８】
本発明における原稿データは、本発明においてアナウンサーの役割を果たすキャラクタにより読み上げられるニュース内容を構成するテキスト形式などの文書データに、必要により出力される音声の声調、高低、速度などの音声タイプやキャラクタ画像が示す喜怒哀楽などの表情タイプを指定する制御データが付加されて構成されている。原稿データを構成する文書データは、ニュース記者がニュースソースとコンタクトするなどして得た情報から作成する記事データを、ニュース番組として放送するに適した形に編集することにより作成されるものであり、制御データは、編集時にニュース内容に応じて付加されるものである。
【０００９】
音声合成手段は、原稿データを構成する文書データから人が発する音声を合成するものであり、好ましくは、音声タイプを指定する制御データに応じて、声調、高低、速度などを調整する機能を備えている。
【００１０】
また、キャラクタ画像合成手段は、例えば、実在の人物の撮影像やアニメーションなどを元に作成されるキャラクタ画像データと、発音される音声毎にキャラクタ画像の口周辺部をＣＧ技術に基づいてモディフィケーションするための口元表情データを備え、キャラクタ画像に音声毎のモディフィケーションを加え、あるいは必要により、上記した喜怒哀楽などの表情タイプに応じたモディフィケーションを更に加えたキャラクタ画像を出力する機能を有している。
【００１１】
音声変換手段から出力される音声とキャラクタ画像合成手段から出力されるキャラクタ画像は、画像音声合成手段により同期合成され、テレビ信号に変換されて一般視聴者に放送される。
【００１２】
本発明によれば、原稿データは、音声合成手段により音声に変換されて出力され、また、同時に画像としてＣＧ合成されたキャラクタ画像が提供されるため、現実のアナウンサーによりニュース原稿が読み上げるニュース番組と同様の視聴感を視聴者に与えることができ、これにより、放送局は、一定水準以上のスキルや資質を要求されるアナウンサーを各番組に対応して常に配置しておく必要性が解消ないし軽減され、人件費や人材教育費などのコストの低減を達成することができる。
【００１３】
また、本発明における原稿データは、記者が携帯する現地パソコンから通信ネットワークを介して送信された記事データを、局内編集システムが編集することにより作成することも可能である。
【００１４】
記事データは、ニュースソースなどの記事内容が存在する日本各地、あるいは、海外に記者が取材に赴いて作成されることが通常であるが、取材を行った記者が、ニュースソース地において、携帯可能な現地パソコンに取材した記事データを入力し、これを通信ネットワークを介して放送局に送信することにより、ニュース記事伝達の効率を向上させることができ、また、局内に設置された、例えば、文語体の記事データを、その番組の放送に適した口語体に変換する機能を有する局内編集システムが、機械的に記事データから原稿データを作成することにより、人件費などのコストを更に低減することも可能である。
【００１５】
また、本発明の番組送出システムは、映像データを格納するＶＴＲやＣＤなどの映像・音声記憶手段、及び、複数の画像の合成を行うビデオスイッチャ−を更に備え、前記画像音声合成手段が合成した音声及びキャラクタ画像にＶＴＲ手段からのニュース映像を前記ビデオスイッチャによりキーイング合成してテレビ信号に変換することにより、臨場感の高いニュース番組を提供することが可能となる。
【００１６】
更に、本発明のキャラクタ画像合成手段は、複数のキャラクタ画像を備え、ニュース内容に応じたキャラクタ画像を選択してキャラクタ画像を出力するよう構成することが可能であり、これにより、ニュース内容に応じたイメージを有するキャラクタ画像を選択することができ、視聴者が受ける好感度を更に向上させることができる。
【００１７】
更に、双方向通信機能をベースとした番組送出システムの場合は、視聴者側が希望するキャラクタの選択信号を双方向通信機能を有する受信機から受信し、視聴者の希望に応じたキャラクタ画像を用いて放送番組を構成することも可能であり、これにより、視聴者個々人の感性に適合したイメージのキャラクタ画像により提供される放送番組の実現が可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明の番組送出システムの一実施の形態であるニュース放送システムの例を示すブロック図である。
【００１９】
図１において１は、ニュース現場で取材する現地記者が携帯する現地パソコンであり、現地記者が取材した記事内容を文章化して記録するワードプロセッサー機能と、移動体通信、公衆電話回線、インターネットなどの通信ネットワーク２に接続するモデム機能を有しており、記者がニュースソース地などにおいて現地パソコン上で作成した記事データは、現地パソコン１が直接に或いは携帯電話３などの通信機器に接続することにより、前記通信ネットワーク２を介して放送局に送信される。
【００２０】
放送局内の放送装置は、通信ネットワーク２との間における通信動作をコントロールする通信制御部４と、現地パソコン１から発信された記事データを受領しまたニュースなどの放送原稿を編集する局内編集システム５と、コンピュータグラフィック機能によりアナウンサーなどの番組登場者の映像を生成するキャラクタ画像生成手段としてのＣＧアナウンサー発生装置６と、そのニュース番組に応じた背景映像を生成する背景映像発生装置７と、上記ＣＧアナウンサー映像と背景映像とを合成する映像合成部８と、ＣＧアナウンサーの音声を生成するための音声合成部９とを備えている。また、放送装置は、現地パソコン１から送信された映像データおよび音声データを格納する映像・音声記憶部１０と、放送中の映像に挿入されるテロップを生成するテロップ発生部１１と、映像合成部８において合成された映像に対して映像・音声記憶部１０からの映像データおよび音声データまたはテロップ発生部１１からのテロップを切り替えるビデオスイッチャ１２と、音声合成部９において合成された音声に対して映像・音声記憶部１０からの音声データを挿入する音声ミキサー１３と、ビデオスイッチャ１２からの映像出力と音声ミキサー１３からの音声出力とを同期してテレビ放送用電波として送信するマスターシステム１４とを備えている。なお、図１において、符号１５はテレビカメラであり、通常のテレビ放送用の撮像操作を行ない、その撮像された映像を映像合成部８において合成できるようにもなっている。さらに符号１８は放送局内の放送装置の全体動作をコントロールするシステム制御部である。
【００２１】
局内編集システム５は、局内に配置された編集担当者や、編集機能を有するコンピュータが、現地パソコン１から送信され記事データを、適宜取捨選択したり、データの分類などを行った後、文体や文章量（文字数）などをニュース番組での読み上げに適した形式に編集するものである。この局内編集システム５は、好ましくは更に、ニュースの種類内容に応じて、音声合成部９が出力する音声のベース音声を指定するベース音声選択データ、音声の声調、高低、速度を選択特定する音声モディフィケーションプログラムをソフトウェアとして有しており、また、ＣＧアナウンサー発生装置６が出力するキャラクタ画像の種類を指定するキャラクタ選択データ、および、キャラクタ画像の口元の表情や身振り、手振りを選択特定するキャラクタモディフィケーションプログラムをソフトウェアとして有しており、それぞれのモディフィケーションプログラムにより生成或いは加工された制御データを映像データおよび音声データに付加してニュース原稿データを作成し、映像合成部８、及び、音声合成部９に送付する。
【００２２】
ＣＧアナウンサー発生装置６および背景発生装置７は、それぞれの動作に必要な画像データを格納する画像データベース６ａを備えている。この画像データベース６ａは、ＣＧアナウンサー発生装置６用に、モデルとなる人物の映像、あるいは、アニメーションを元に作成したキャラクタ画像データと、出力される音声に応じてキャラクタ画像の口元の表情を調整するための口元表情データとを格納し、また背景発生装置７用に、各種背景映像を生成するための画像データを格納している。ここで、口元表情データは、ＣＧ技術により、日本語を構成する各音声を発音する際の典型的な口元の動きをキャラクタ画像上で再現させるよう、キャラクタ画像データに改変を加えるためのパラメータなどより構成されている。
【００２３】
ＣＧアナウンサー発生装置６は、基本となるキャラクタ画像データに加えて、局内編集システム５から受け取ったニュース原稿データのテキスト情報に応じて、随時必要な口元表情データを画像データベース５ａから読み込み、当該口元表情データに基づいてキャラクタ画像データを調整して出力することにより、音声合成部９から出力される音声を、キャラクタが自然に発音しているように見えるキャラクタ画像を出力するものである。
【００２４】
また、ＣＧアナウンサー発生装置６は、局内編集システム５から受け取ったキャラクタモディフィケーションプログラムに基づいて、キャラクタが、より自然な表情や身振り、手振りなどの動作を行うように、更に改変を加えたキャラクタ画像データを出力するよう構成することもできる。
【００２５】
更に、画像データベース６ａは、複数のキャラクタ画像データ、及び、それぞれのキャラクタ画像データに対応した口元表情データを備えることができ、ＣＧアナウンサー発生装置６は、局内編集システム５から受け取った、あるいは、双方向受信システムの場合は、双方向通信機能を有する受信機から受信した、キャラクタ選択データに基づいて選択したキャラクタ画像データを用いて、これを改変したキャラクタ画像データを出力するよう構成することも可能である。
【００２６】
音声合成部９は、複数の男性、女性からサンプリングした複数のベース音声に対して、それぞれ、「あいうえお．．．」のいわゆる５０音に濁音などを加えた日本語を構成する全ての音声がベース音声毎にファイル化されて蓄積された音声データベース９ａを備えている。そして、音声合成部９は、ニュース原稿データのテキスト情報に基づいて、ベース音声指定データが指定するベース音声が蓄積される音声データベース９ａ中のファイルから、必要な音声を順次取り出して音声信号を合成することにより、ニュース原稿データを音声に変換する機能を有する。この際、音声モディフィケーションプログラムに基づいて、前記合成された音声信号の声調、高低、速度などをコンピュータ上で調整することにより、より自然で、表現力に富むニュース音声を得ることができる。
【００２７】
映像・音声記憶部１０は映像データおよび音声データを蓄積する外部補助記憶装置としての機能、役割を有しており、例えばＶＴＲ１６やＣＤ１７といった記憶媒体により構成される。この他にもハードディスクやＤＶＤといったより大容量の記憶媒体を用いることもできる。
【００２８】
かかる構成を有する放送システムにおいて、ニュース番組を放送するときの動作について説明する。
【００２９】
まず、記者がニュースソース地などにおいて現地パソコン１上で作成した記事データは、現地パソコン１が直接に或いは携帯電話３などの通信機器に接続することにより、通信ネットワーク２を介して放送局に送信される。また、上記記者或いはカメラマンにより撮影された現場の映像も通信ネットワーク２を介して放送局に送信される。放送局では、システム制御部１８のコントロールの下に、受信した記事データを、前記局内編集システム５に取り込む一方、映像は映像・音声記憶部１０のＶＴＲ１６或いはＣＤ１７に蓄積される。
【００３０】
その後、放送局の番組作成者が上記記事データを前記局内編集システム５を使って編集することによりニュース原稿データが作成される。このときに、ニュース原稿データと、映像・音声記憶部１０に蓄積されそのニュース原稿に対応（或いは関係）する映像（撮影した映像）とがリンクされる。また、この編集作業では、ニュース番組においてニュース原稿を読み上げる人物を現実のアナウンサーにするかＣＧアナウンサーにするかの決定、およびＣＧアナウンサーにする場合はどのＣＧアナウンサーを使用するかの選択が行なわれ、ＣＧアナウンサーを使用する場合はそのＣＧアナウンサーに関するキャラクタ画像および音声のデータもニュース原稿データに組み込まれる。
【００３１】
ＣＧアナウンサーを使用する場合において、ニュース番組の放送が始まると、システム制御部１８から放送を遂行するための各種制御信号が出力され、また、局内編集システム５からニュース原稿データが送出される。そしてＣＧアナウンサーのデータはＣＧアナウンサー発生装置６に送られ、また音声データは音声合成部９へ送付される。また、背景映像を生成するための制御信号が背景発生装置７へ送付される。
【００３２】
ＣＧアナウンサー発生装置６は、画像データベース６ａから指定された人物（ＣＧアナウンサー）の映像あるいは、キャラクタ画像データと、出力される音声に応じてＣＧアナウンサーの口元の表情を調整するための口元表情データとを読み出し、所定の処理を施して映像データを出力する。ここで、所定の処理とは、ＣＧ技術により、日本語を構成する各音声を発音する際の典型的な口元の動きをキャラクタ画像上で再現させ、あたかもＣＧアナウンサーが原稿を読んでいるかまたはニュースの解説を行なっているるよう、キャラクタ画像データに改変を加える処理である。また、ＣＧアナウンサー発生装置６は、その処理の一貫として、局内編集システム５から受け取ったキャラクタモディフィケーションプログラムに基づいて、キャラクタが、より自然な表情や身振り、手振りなどの動作を行うように、更に改変を加えたキャラクタ画像データを出力することもできる。背景発生装置７は、ニュース番組の映像としてＣＧアナウンサーの背景に適した背景映像を生成する。
【００３３】
音声合成部９は、音声データベース９ａから指定された音声データを読み出し、所定の音声合成処理を施してＣＧアナウンサーの音声を生成し、その音声データを出力する。そして、音声合成部９は、上記音声合成処理に際して、ニュース原稿データのテキスト情報に基づいて、ニュース原稿データを音声に変換する。この際、音声モディフィケーションプログラムに基づいて、前記合成された音声信号の声調、高低、速度などをコンピュータ上で調整することにより、より自然で、表現力に富むニュース音声を得る。この音声合成部９からの出力は、音声ミキサー１３に送られ、他の音声、例えば効果音やバックグラウンドミュージックなどとミキシングされ全体的な音声データとして出力される。
【００３４】
映像合成部８からの出力はビデオスイッチャ１２に送られる。ビデオスイッチャ１２では、放送するべき映像としてＣＧアナウンサーの映像を送るべきか、映像・音声記憶部１０からのニュース現場の撮像映像を送るべきか、それともテロップ発生装置１１からのテロップ映像を送るべきかをシステム制御部からの制御信号により判別し、出力映像信号の選択処理を行なう。
【００３５】
これらの処理動作を行なった後、音声合成部９、ＣＧアナウンサー発生装置６および背景発生装置７からの出力信号は、マスターシステム１４に送られ、この放マスターシステム１４よりテレビ放送用電波として送信される。
【００３６】
これにより、局内に常時配備することが困難であったり、或いは番組製作費用を削減したいといったような場合、現実のアナウンサーを用いることなく、音声合成部９及びＣＧアナウンサー発生装置６により作成されたバーチャルなアナウンサーが映像として表示されるとともに、このバーチャルなアナウンサーが現実のアナウンサーと異なることのない自然な声調、動作表情をもってニュースを配信するニュース番組の放送システムを構築することができる。
【００３７】
なお、本番組送出システムは、予め撮影されたニュース映像データを格納するＶＴＲ１６やＣＤ１７、及び、複数の画像の切り替えを行うビデオスイッチャ−１２を備えているから、映像合成部８が合成した映像信号とＶＴＲ１６などに格納されたニュース映像を、適宜ビデオスイッチャ７を用いて切り替え出力することにより、実際のニュース映像を放送できるようにし、より臨場感の高い番組送出システムを提供することができる。
【００３８】
また、前記した画像データベース６ａに、更に、スタジオ内のセットを再生したスタジオ画像データを格納しておき、映像合成部８が、キャラクタ画像の背景として、スタジオ画像データを重ね合わせたキャラクタ画像データを出力することも可能であり、これにより、ニュース番組に特有の雰囲気を視聴者に伝達することが可能となる。
【００３９】
なお、この実施の形態において、ＣＧアナウンサーを使わない場合は、テレビカメラ１５の前に本物のアナウンサーを登場させてこのアナウンサーが原稿を読むかまたはニュースを解説している様子を撮影しつつニュース番組の放送を遂行する。
【００４０】
また、上記実施の形態においては放送番組としてニュース番組を取り上げて説明したが、その他にニュース解説番組、ドキュメント番組、対談形式の番組、或いは政見放送など各種の放送番組に適用することができる。特に、本発明による番組送出システムは、その番組に登場する人間を減らして経費を削減できるという利点があるが、それに限らず、テレビ番組に登場したい（或いはさせたい）が何らかの理由で出演できないといった人々について上記ＣＧアナウンサーに相当するＣＧ出演者を生成して放映することができ、現代のような多忙な社会における不具合や問題点を解決することができる。
【００４１】
また、ＣＧアナウンサー発生装置６におけるＣＧアナウンサーを複数持たせ、また音声合成部７における音声もまた複数種類の音声データを生成できるようにしておくとともに、放送局と視聴者側の受信装置とを双方向通信可能とし、視聴者がＣＧアナウンサーと音声を自己の好みに合わせて選択できるようにすることもできる。
【００４２】
【発明の効果】
以上説明した通り、本発明によれば、局内に常時配備することが困難な現実の出演者を用いたニュースなどの番組の全部あるいは一部を、音声合成部及びキャラクタ画像合成手段により作成されたバーチャルな人物映像が、現実の出演者と異なることのない自然な動作表情をもって番組を配信する番組送出システムとすることができ、放送番組の制作コストが低減できるとともに、より視聴者に好感度を与えることができるキャラクタや音声を用いた放送が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示す説明図。
【符号の説明】
１ 現地パソコン
２ 通信ネットワーク
３ 携帯電話（通信機器）
４ 通信制御部
５ 局内編集システム
６ ＣＧアナウンサー発生装置
６ａ 音声データベース
７ 背景発生装置
８ 映像合成部
９ 音声合成部
９ａ 音声データベース
１０ 映像・音声記憶部
１１ テロップ発生装置
１２ ビデオスイッチャ
１３ 音声ミキサー
１４ マスターシステム
１５ テレビカメラ
１６ ＶＴＲ
１７ ＣＤ
１８ システム制御部

Claims (2)

1. 放送番組の原稿データを基に該放送番組ごとのベース音声、声調、高低および速度を指定することにより該放送番組ごとの音声を生成する音声合成手段と、
   番組の出演者の映像を生成するキャラクタ画像生成手段と、
   前記音声合成手段から出力される音声に応じて前記キャラクタ画像の口元の表情を調整するための口元表情データ及びキャラクタ画像データと、
   前記原稿データに合わせて前記キャラクタ画像データに口元表情データに基づくモディフィケーションを加えたキャラクタ画像を合成するキャラクタ画像合成手段と、
   前記音声合成手段から出力される音声と前記キャラクタ画像合成手段から出力されるキャラクタ画像を同期して合成する画像音声合成手段と
   前記画像音声合成手段から出力される音声およびキャラクタ画像をテレビ信号に変換して放送する放送電波発信手段を備え、
   取材した映像データが格納される映像データ記憶手段と、映像データの出力を切り替える映像切替手段とを更に備え、前記キャラクタ画像合成手段が出力するキャラクタ画像と映像データ記憶手段からの取材映像とを映像切替手段により選択切り替えることを特徴とする番組送出システム。
2. 前記キャラクタ画像生成手段が複数のキャラクタ画像データを備え、前記放送番組内容に応じて１のキャラクタ画像を選択することを特徴とする請求項１に記載の番組送出システム。

Images