JP2006157669A

JP2006157669A - 画像生成装置、画像生成方法、及び画像生成用プログラム

Info

Publication number: JP2006157669A
Application number: JP2004347140A
Authority: JP
Inventors: Arata Nakajo; 新中條
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-11-30
Filing date: 2004-11-30
Publication date: 2006-06-15

Abstract

【課題】より印象深いワンシーン画像を簡単に生成することができる画像生成装置、画像生成方法、及び画像生成用プログラムを提供する。
【解決手段】デジタル放送受信テレビ１０２は、テレビジョンデータ受信部２０１と、チューナ部２０２と、ユーザインターフェース部２０３と、キャプチャ画像生成部２０７と、字幕データ取得部２０９と、画像字幕表示処理部２１１と、合成画像生成部２１２と、表示部２１９と、制御部２２０とを備える。制御部２２０は、キャプチャ指示があり、合成用字幕表示指示があるときは、表示中のキャプチャ画像に、キャプチャした時刻又は当該時刻から所定時間前若しくは後の時刻の字幕をさらに重ねて表示部２１９に表示させ、合成画像生成部２１２が、表示中のキャプチャ画像と字幕を用いて合成画像データを作成する。
【選択図】図５

Description

本発明は、映像のキャプチャ画面印刷を行う画像生成装置、画像生成方法、及び画像生成用プログラムに関し、特に、キャプチャ画面の編集及び表示を行う画像生成装置、画像生成方法、及び画像生成用プログラムに関する。

従来よりテレビ放送によってテレビモニタに映し出される映像のワンシーンを切り取り、画像に変換する画像生成装置はよく知られている。ユーザは、この装置によってテレビ番組のワンシーンを印刷して楽しむことができる（例えば、特許文献１参照）。
特開平０９−１２１３１３号公報

しかしながら、テレビ番組中のワンシーンをただ印刷するだけでは物足りないというユーザも少なくない。特に、当該ワンシーンを印刷しただけではそのテレビ番組に出演している出演者が話している内容を理解できないため、ユーザに印象深いワンシーン画像を提供することができないおそれがある。

本発明の目的は、より印象深いワンシーン画像を簡単に生成することができる画像生成装置、画像生成方法、及び画像生成用プログラムを提供することにある。

上記目的を達成するために、請求項１の画像生成装置は、テレビジョン信号を入力するテレビジョン信号入力手段と、前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成手段と、前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得手段と、前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示手段と、前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成手段とを備えることを特徴とする。

上記目的を達成するために、請求項９の画像生成方法は、テレビジョン信号を入力するテレビジョン信号入力ステップと、前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成ステップと、前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得ステップと、前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示ステップと、前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成ステップとを備えることを特徴とする。

上記目的を達成するために、請求項１０の画像生成用プログラムは、テレビジョン信号を入力するテレビジョン信号入力モジュールと、前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成モジュールと、前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得モジュールと、前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示モジュールと、前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成モジュールとを備えることを特徴とする。

請求項１記載の画像生成装置、請求項９記載の画像生成方法、及び請求項１０記載の画像生成用プログラムによれば、入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により取得されたテレビ映像をキャプチャしてキャプチャ画像を生成し、入力されたテレビジョン信号から字幕データを取得し、キャプチャ画像と、取得された字幕データのうちキャプチャ画像に関連するものとを表示部に表示し、表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成するので、より印象深いワンシーン画像を簡単に生成することができる。

以下、本発明の実施の形態を図面を用いて詳述する。

図１は、本発明の実施の形態に係る画像生成装置が適用される放送システムの構成を概略的に示す図である。

図１において、放送システム１００は、映像信号、音声信号、及び音声データを文字で表現した字幕信号の３種の信号を混合してデジタルテレビジョンデータとして送信する放送局１０１と、送信されたデジタルテレビジョンデータを受信する画像生成装置としてのデジタル放送受信テレビ１０２と、デジタル放送受信テレビ１０２に接続されたプリンタ１０３とを備える。

デジタル放送受信テレビ１０２は、プリンタ１０３に接続されることによって、出力する画像を印刷することができる。

図２は、図１におけるデジタル放送受信テレビ１０２の構成を概略的に示すブロック図である。

図２において、デジタル放送受信テレビ１０２は、テレビジョンデータ受信部２０１と、チューナ部２０２と、ユーザインターフェース部２０３と、復号部２０４と、分離部２０５と、デコード部２０６と、キャプチャ画像生成部２０７と、キャプチャ画像記憶部２０８と、字幕データ取得部２０９と、字幕データ記憶部２１０と、画像字幕表示処理部２１１と、合成画像生成部２１２と、合成画像記憶部２１３と、合成画像出力部２１４と、音声出力処理部２１５と、映像出力処理部２１６と、スピーカ部２１７，２１８と、表示部２１９と、制御部２２０とを備える。

テレビジョンデータ受信部２０１は、放送局１０１から送信されるデジタルテレビジョンデータを受信すると共に受信したデジタルテレビジョンデータをチューナ部２０２に入力する手段を備え、ユーザインターフェース部２０３は、ユーザが視聴希望するチャンネルを入力するチャンネル指示入力、テレビ映像をキャプチャするキャプチャ指示入力、合成する字幕を表示する合成用字幕表示指示入力、キャプチャ画像と合成用字幕データを選択する字幕選択指示入力、合成画像を保存する合成画像保存指示入力、合成画像を検索する合成画像検索指示入力、及びプリンタ１０３から出力させるプリンタ出力指示入力等の指示を入力する指示入力手段を備える。

チューナ部２０２は、チャンネルを選択する手段であり、１キャリアに含まれる複数のチャンネルデータからユーザインターフェース部２０３で入力されたユーザ視聴希望チャンネルに対応するパケットデータを取り出し、復号部２０４は、チューナ２０２によって取り出されたパケットデータを受け取ると共に受け取ったパケットデータを復号化（デスクランブル）し、分離部２０５は、復号部２０４によって復号化されたパケットデータから、映像パケットデータ、音声パケットデータ、及び字幕パケットデータのように、パケットデータのコンテンツごとに分離を行う。

デコード部２０６は、分離部２０５によって分離された映像パケットデータ、音声パケットデータ、及び字幕パケットデータを繋ぎ合わせて、映像データ、音声データ、及び字幕データを復元すると共に映像パケットデータ、音声パケットデータ、及び字幕パケットデータに付加されている時刻情報に基づいて映像データ、音声データ、及び字幕データの同期化を行い、音声出力処理部２１５は、デコード部２０６によって復元された音声データを元のアナログ信号に変換して、音声信号として後述するスピーカ部２１７，２１８へ出力する手段を備え、映像出力処理部２１６は、デコード部２０６によって復元された映像データを元のアナログ信号に変換して、表示部２１９に表示させる。映像出力処理部２１６は、また、ユーザインターフェース部２０３からのテレビ映像のキャプチャ指示があるときは、画像字幕表示処理部２１１が示すキャプチャ画像と字幕データを表示部２１９に表示する映像データに重ねる。

キャプチャ画像生成部２０７は、ユーザインターフェース部２０３からのテレビ映像のキャプチャ指示があるときは、デコード部２０６から出力される映像データに基づいてキャプチャ画像を生成すると共に、生成されたキャプチャ画像に時刻情報を付加してキャプチャ画像記憶部２０８に保存し、字幕データ取得部２０９は、ユーザインターフェース部２０３からのテレビ映像のキャプチャ指示の有無に関わらず常にデコード部２０６から出力される字幕データを受け取ると共に、受け取った字幕データに変化があり字幕内容が変わるときは、新しい字幕データに時刻情報を付加して字幕データ記憶部２１０に保存する。このとき、字幕データに映像中の誰又は何が発したセリフに対応する字幕なのかを示す字幕発生元情報が付加されているときは、字幕発生元情報も共に字幕データ記憶部２１０に保存し、また、字幕が存在しないとき（無声の場合）は、字幕データ記憶部２１０に何も保存しない。

画像字幕表示処理部２１１は、ユーザの指示によりキャプチャ画像と字幕データの合成画像データを表示するための処理を行い、ユーザインターフェース部２０３からのテレビ映像のキャプチャ指示があるときは、キャプチャ画像記憶部２０８に保存されているキャプチャ画像を映像出力処理部２１６に出力し、キャプチャ指示と合成用字幕表示指示があるときは、表示中のキャプチャ画像に付加された時刻情報を参照して、その時刻情報又は当該時刻情報から所定時間前若しくは後の時刻を示す時刻情報が付加された字幕データを字幕データ記憶部２１０から複数選び映像出力処理部２１６に出力し、合成画像生成部２１２は、画像字幕表示処理部２１１によって出力されたキャプチャ画像と字幕データを用いて合成画像データを生成すると共に生成された合成画像データをビットマップ等の汎用的画像フォーマットへ変換する。

合成画像出力部２１３は、プリンタ１０３等の外部接続機へ合成画像を出力する一般的なインターフェース部であり、ユーザインターフェース部２０３からの合成画像保存指示があるときは、合成画像生成部２１２によって生成された合成画像データを合成画像記憶部２１３に保存し、合成画像データ中に字幕データが含まれているときは、その字幕データを合成画像データのインデックスとして合成画像データと共に保存する。

制御部２２０は、デジタル放送受信テレビ１０２における全てのブロックに接続され、当該全てのブロックを制御する。

図３は、図２における表示部２１９に表示される画面の一例を示す図である。

図３において、ユーザインターフェース部２０３からのテレビ映像３０１のキャプチャ指示及び合成用字幕表示指示があるときは、表示部２１９は、現在表示中のテレビ映像３０１の上に、キャプチャ画像３０２と文字選択画面３０３を重ねて表示する。

キャプチャ画像３０２は、ユーザインターフェース部２０３からのキャプチャ指示があったときの映像が、男性Ａと女性Ｂが挨拶するシーンであることを示す。

キャプチャ画像３０２に対応する字幕は、その字幕発生元情報が男性Ａと女性Ｂの２種類存在するので、字幕選択画面３０３は、男性Ａ及び女性Ｂに対応する字幕を分けて表示しており、キャプチャ指示のあった瞬間の音声に対応する字幕は、夫々字幕３０４，３０７、その瞬間の直前の音声に対応する字幕は、夫々字幕３０５，３０８、及びその瞬間の直後の音声に対応する字幕は、夫々字幕３０６，３０９であることを示している。

ユーザは、字幕選択画面３０３に表示されている字幕の中に所望の字幕がないときは、ポインタ３１０を操作して字幕をスクロールし、字幕選択画面３０３に、始めに表示した字幕に対応する時刻から所定時間前又は後の時刻の字幕を表示させる。ここで、所定時間とは１００分の１秒刻みで設定可能な任意の時間である。例えば、０．０１秒、１秒、１分などである。以下「所定時間」は、全てこれと同様である。

ユーザは、また、キャプチャ画像と字幕の合成画像を作成するときは、ポインタ３１０を操作して所望の字幕３１１，３１２をキャプチャ画像３０２上に配置して、合成画像生成部２１２に合成画像データを作成させ（図４）、作成された合成画像データをユーザインターフェース部２０３からの合成画像保存指示によって合成画像記憶部２１３に保存させる。

ユーザは、さらに、キャプチャ画像と字幕の合成画像データを印刷するときは、合成画像生成部２１２で合成画像データを作成させ、ユーザインターフェース部２０３からのプリンタ出力指示によって作成された合成画像データを合成画像出力部２１３から出力させ、プリンタ１０３に印刷させる。また、ユーザインターフェース部２０３からの合成画像検索指示があるときは、複数の合成画像データと共に合成画像記憶部２１３に保存されたインデックスを参照することによって合成画像記憶部２１３内を検索し、その結果を表示する。

図５は、図２のデジタル放送受信テレビ１０２によって実行される合成画像印刷処理の手順を示すフローチャートである。

図５において、テレビジョンデータ受信部２０１は、放送局１０１から送信されるデジタルテレビジョンデータを受信し（ステップＳ５０１）（テレビジョン信号入力手段）、制御部２２０が、受信したデジタルテレビジョンデータに基づいてユーザ視聴希望チャンネルの映像を表示部２１９に表示させ（ステップＳ５０２）、ユーザインターフェース部２０３からのキャプチャ指示があるか否かを判別する（ステップＳ５０３）。この判別の結果、キャプチャ指示がないときは、ステップＳ５０２の処理に戻り、制御部２２０は、ユーザ視聴希望チャンネルの映像を表示部２１９に表示させ続け、キャプチャ指示があるときは、表示中のユーザ視聴希望チャンネルの映像にキャプチャ画像を重ねて表示部２１９に表示させる（ステップＳ５０４）（キャプチャ画像生成手段）。

続くステップＳ５０５では、制御部２２０は、ユーザインターフェース部２０３から合成用字幕表示指示があるか否かを判別し、合成用字幕表示指示がないときは後述するステップＳ５０７の処理に進み、合成用字幕表示指示があるときは、表示中のキャプチャ画像がキャプチャされた時刻又は当該時刻から所定時間前若しくは後の時刻の字幕をさらに重ねて表示部２１９に表示させ（ステップＳ５０６）（字幕データ取得手段、画像字幕表示手段）、合成画像生成部２１２が、表示中のキャプチャ画像と字幕を用いて合成画像データを作成する（ステップＳ５０７）（合成画像生成手段）。このとき、ステップＳ５０５で字幕表示指示がなかったときは、キャプチャ画像を合成画像データとする。

続くステップＳ５０８では、制御部２２０は、ユーザインターフェース部２０３からの合成画像保存指示があるか否かを判別し、合成画像保存指示があるときは、ステップＳ５０７で作成した合成画像データを合成画像記憶部２１３に保存し（ステップＳ５０９）、ユーザインターフェース部２０３からの印刷指示によって、合成画像を生成して合成画像出力部２１４からプリンタへ出力し、プリンタは、当該出力された合成画像を印刷する（ステップＳ５１０）。

ステップＳ５０９において、合成画像データに字幕データが含まれているときは、その字幕データを合成画像データのインデックスとして合成画像データと共に合成画像記憶部２１３に保存する。

図５の処理によれば、制御部２２０は、キャプチャ指示があり（ステップＳ５０３でＹＥＳ）、合成用字幕表示指示があるときは（ステップＳ５０５でＹＥＳ）、表示中のキャプチャ画像に、キャプチャした時刻又は当該時刻から所定時間前若しくは後の時刻の字幕をさらに重ねて表示部２１９に表示させ（ステップＳ５０６）、表示中のキャプチャ画像と字幕を用いて合成画像データを作成する（ステップＳ５０７）ので、より印象深い合成画像データを簡単に生成することができる。

また、本発明の実施の形態に係る画像生成装置は、デジタル放送受信テレビであったが、アナログ放送受信テレビであってもよい。この場合、図２において、文字データ取得部２０９及びキャプチャ画像記憶部２０８を以下のように変更すればよい。

文字データ取得部２０９は、音声認識技術を用いて音声データを字幕データに変換すると共に、アナログ放送受信テレビが備える時計の時刻に基づいて変換された字幕データに変換時刻を付加して保存し、キャプチャ画像記憶部２０８は、ユーザからのキャプチャ指示があるときは、キャプチャ画像にキャプチャ時刻を付加して保存する。

これにより、アナログ放送受信テレビであっても、本発明である画像生成装置を実施可能である。

さらに、受信する放送は文字放送であってもよく、本発明の実施の形態に係る画像生成装置は、テレビに限らず、テレビチューナを内蔵するビデオやプリンタであってもよい。

上記実施の形態では、放送システム１００は、映像信号、音声信号、及び字幕信号の３種の信号を混合してデジタルテレビジョンデータとして放送し、画像生成装置としてのデジタル放送受信テレビ１０２がこのデジタルテレビジョンデータを受信するが、このデジタルテレビジョンデータに文字放送信号を含め、デジタル放送受信テレビ１０２がこの文字放送信号を受信し、字幕データ取得部２０９が該文字放送信号から字幕データを取得するようにしてもよい。

また、デジタルテレビジョンデータにデジタル放送信号を含め、デジタル放送受信テレビ１０２がこのデジタル放送信号を受信し、字幕データ取得部２０９が該デジタル放送信号のビットストリームから字幕データを取得するようにしてもよい。

画像字幕表示処理部２１１は、字幕データに対応する話者ごとに、字幕データの文字の大きさ、書体及び色の少なくともいずれか１つを変更する処理を実行するようにしてもよい。この結果、表示部２１９では、テレビ音声の話者ごとに、字幕データの文字の大きさ、書体及び色の少なくともいずれか１つが変更されて表示され、テレビ映像に複数の出演者（話者）が表示されていても、いずれの出演者が話した内容であるかを容易に理解することができる。

また、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明の実施の形態に係る画像生成装置が適用される放送システムの構成を概略的に示す図である。図１におけるデジタル放送受信テレビの構成を概略的に示すブロック図である。図２における表示部に表示される画面の一例を示す図である。図２における表示部に表示される合成画像の一例を示す図である。図２のデジタル放送受信テレビによって実行される合成画像印刷処理の手順を示すフローチャートである。

符号の説明

１０１放送局
１０２デジタル放送受信テレビ
１０３プリンタ
２０１テレビジョンデータ受信部
２０２チューナ部
２０３ユーザインターフェース部
２０７キャプチャ画像生成部
２０９字幕データ取得部
２１１画像字幕表示処理部
２１２合成画像生成部
２１７，２１８スピーカ部
２１９表示部
２２０制御部

Claims

テレビジョン信号を入力するテレビジョン信号入力手段と、
前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成手段と、
前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得手段と、
前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示手段と、
前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成手段とを備えることを特徴とする画像生成装置。
前記入力されたテレビジョン信号からテレビ音声を取得する音声取得手段を備え、前記字幕データ取得手段は、音声認識によって前記取得されたテレビ音声から前記字幕データを取得することを特徴とする請求項１記載の画像生成装置。
前記テレビジョン信号入力手段は、文字放送信号を入力し、前記字幕データ取得手段は、前記入力された文字放送信号から字幕データを取得することを特徴とする請求項１記載の画像生成装置。
前記テレビジョン信号入力手段は、デジタル放送信号を入力し、前記字幕データ取得手段は、前記入力されたデジタル放送信号のビットストリームから前記字幕データを取得することを特徴とする請求項１記載の画像生成装置。
前記画像字幕表示手段は、前記テレビ画像をキャプチャした時刻、又は当該時刻から所定時間前若しくは後の時刻に対応する前記字幕データを表示部に表示することを特徴とする請求項１乃至４のいずれか１項に記載の画像生成装置。
前記画像字幕表示手段は、前記取得した字幕データに対応する話者ごとに、前記取得した字幕データの文字の大きさ、書体、及び色の少なくともいずれか１つを変えて表示することを特徴とする請求項１乃至５のいずれか１項に記載の画像生成装置。
前記合成された字幕データを前記合成画像に対応するインデックスとして記憶する合成画像記憶手段と、前記記憶されたインデックスを参照することによって前記合成画像を検索する合成画像検索手段とを備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像生成装置。
前記合成画像を印刷する印刷手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像生成装置。
テレビジョン信号を入力するテレビジョン信号入力ステップと、
前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成ステップと、
前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得ステップと、
前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示ステップと、
前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成ステップとを備えることを特徴とする画像生成方法。
テレビジョン信号を入力するテレビジョン信号入力モジュールと、
前記入力されたテレビジョン信号からテレビ映像を取得すると共にキャプチャ指示により前記取得されたテレビ映像をキャプチャしてキャプチャ画像を生成するキャプチャ画像生成モジュールと、
前記入力されたテレビジョン信号から字幕データを取得する字幕データ取得モジュールと、
前記キャプチャ画像と、前記取得された字幕データのうち前記キャプチャ画像に関連するものとを表示部に表示する画像字幕表示モジュールと、
前記表示されたキャプチャ画像及び字幕データから所望のものを合成して合成画像を生成する合成画像生成モジュールとを備えることを特徴とする画像生成用プログラム。