JP2014123855A - 合成画像生成装置、合成画像生成方法、および放送受信装置 - Google Patents

Abstract

【課題】動画コンテンツに利用者によって入力される描画データを合成した合成画像を生成することができる合成画像生成装置等を提供する。
【解決手段】合成画像生成装置１００は、動画コンテンツを表示部１０３に表示する表示制御部１０２と、入力装置１５０から描画データを受け付けるデータ受付部１０４と、表示部１０３に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、データ受付部１０４によって受け付けられる描画データとを用いて合成画像を生成する合成部１０５とを備える。
【選択図】図２

Description

本開示は、合成画像を生成する合成画像生成装置および合成画像生成方法に関する。

従来、利用者を撮影した画像に、画像例が表示されたパレット領域から利用者の入力操作によって選択された所定の落書き画像を合成した合成画像を生成し、装置外部の端末装置へ送信する自動写真作成装置がある（例えば、特許文献１参照）。

特開２００８−１０３８７３号公報

本開示は、動画コンテンツに利用者によって入力される描画データを合成した合成画像を生成することができる合成画像生成装置等を提供する。

本開示における合成画像生成装置は、動画コンテンツを表示装置に表示する表示制御部と、入力装置から描画データを受け付けるデータ受付部と、表示装置に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、データ受付部によって受け付けられる描画データとを用いて合成画像を生成する合成部とを備える。

本開示における合成画像生成装置によれば、動画コンテンツに利用者によって入力される描画データを合成した合成画像を生成することができる。

図１は、実施の形態１における合成画像生成装置が用いられる合成画像生成システムの構成を示す外観図である。 図２は、実施の形態１における合成画像生成装置の構成を示すブロック図である。 図３は、実施の形態１における合成画像生成装置の描画モードの動作の流れを示すフローチャートである。 図４は、実施の形態１における合成画像生成装置の表示画面の一例を示す図である。 図５は、実施の形態１における合成画像生成装置の表示画面の一例を示す図である。 図６は、実施の形態１における合成画像生成装置の表示画面の一例を示す図である。 図７は、実施の形態１における合成画像生成装置の表示画面の一例を示す図である。 図８は、実施の形態１における合成画像生成装置の表示画面に表示される、２つの入力装置に対応する選択領域の一例を示す図である。 図９は、実施の形態１における合成画像生成装置の表示画面に表示される選択領域の一例を示す図である。 図１０は、実施の形態２における合成画像生成装置が用いられる合成画像生成システムの構成を示す外観図である。 図１１は、実施の形態２における合成画像生成装置の構成を示すブロック図である。 図１２は、実施の形態２における合成画像生成装置の描画モードの動作の流れを示すフローチャートである。 図１３は、実施の形態２における合成画像生成装置の表示画面および端末装置の表示画面の一例を示す図である。 図１４は、実施の形態２における合成画像生成装置の表示画面および端末装置の表示画面の一例を示す図である。 図１５は、実施の形態２における合成画像生成装置の表示画面および端末装置の表示画面の一例を示す図である。 図１６は、実施の形態２における合成画像生成装置の表示画面および端末装置の表示画面の一例を示す図である。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した自動写真作成装置に関し、以下の問題が生じることを見出した。

上記特許文献１記載の自動写真作成装置では、落書きの対象は、あくまで装置自身で撮影した静止画像であって、例えば、リアルタイムコンテンツなどの動画像や、装置外部の端末装置から取得したコンテンツに対して落書きできないという課題がある。

このような問題を解決するために、本開示の一態様に係る合成画像生成装置は、動画コンテンツを表示装置に表示する表示制御部と、入力装置から描画データを受け付けるデータ受付部と、表示装置に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、データ受付部によって受け付けられる描画データとを用いて合成画像を生成する合成部とを備える。

これにより、動画コンテンツに描画データを合成した合成画像を生成することができる。

また、データ受付部は、さらに、入力装置から第１操作を受け付け、合成部は、データ受付部によって第１操作が受け付けられた場合、表示装置に表示中の動画コンテンツをキャプチャして合成対象画像を生成し、合成対象画像と、データ受付部によって受け付けられる描画データとを合成することで、合成画像を生成し、表示制御部は、合成部によって生成された合成画像を表示装置に表示してもよい。

これにより、合成対象画像を生成することができる。

また、データ受付部は、さらに、入力装置から第２操作を受け付け、表示制御部は、データ受付部によって第２操作が受け付けられた場合、表示装置に表示中の合成画像のうち描画データを表示した状態で、動画コンテンツの表示を再開してもよい。

これにより、動画コンテンツの表示を再開することができる。

また、合成部は、動画コンテンツに対して、データ受付部によって受け付けられる描画データを時系列に合成することで、合成画像を生成し、表示制御部は、合成部によって生成された合成画像を表示装置に表示してもよい。

これにより、動画コンテンツを動画（動画データ）のまま扱い、動画データに描画データを合成することができる。

また、合成画像生成装置は、さらに、合成部によって生成された合成画像を記憶する記憶部を備えてもよい。

これにより、合成画像を記憶することができる。

また、合成部は、さらに、データ受付部によって受け付けられる描画データを時系列に記録することで描画動画データを生成するとともに、生成した描画動画データと動画コンテンツとを合成することで合成画像を生成し、表示制御部は、合成部によって生成された合成画像を表示装置に表示してもよい。

これにより、動画コンテンツを動画（動画データ）のまま扱い、動画データに描画データを合成することができる。

また、合成画像生成装置は、さらに、ネットワークを介して外部の端末装置から動画コンテンツを取得する取得部を備え、合成部は、表示装置に表示中の取得部によって取得された動画コンテンツに含まれる少なくとも１つの静止画と、データ受付部によって受け付けられる描画データとを用いて合成画像を生成してもよい。

これにより、外部の端末装置の動画コンテンツに描画データを合成した合成画像を生成することができる。

また、合成部は、さらに、生成した合成画像を端末装置へ出力してもよい。

これにより、合成画像を端末装置へ出力することができる。

また、データ受付部は、さらに、入力装置から第３操作を受け付けるとともに、第３操作を受け付けた以降に、表示装置の画面上の入力装置の位置に応じて描画データを受け付け、表示制御部は、データ受付部によって第３操作が受け付けられた場合、描画モード表示として、描画データとして描画するための情報を選択する選択領域と、動画コンテンツを表示する表示領域とを表示装置に表示してもよい。

これにより、描画モード表示として、選択領域と表示領域とを表示することができる。

また、選択領域は、描画データとして描画される線、色、およびサンプル画像のうち少なくとも一つを選択するための領域であり、データ受付部は、さらに、入力装置から選択領域を用いて選択された、線、色、およびサンプル画像のうち少なくとも一つに応じて、描画データを受け付けてもよい。

これにより、利用者の希望に沿った各種の描画データを受け付けることができる。

また、表示制御部は、表示装置の画面上の入力装置の位置に応じて、表示装置の画面上の所定の位置に選択領域を表示してもよい。

これにより、入力装置の位置に応じて、表示装置の画面上の選択領域を移動することができる。

また、データ受付部は、さらに、複数の入力装置から描画データを受け付け、合成部は、表示装置に表示中の動画コンテンツに含まれる少なくとも１つの静止画と、データ受付部によって受け付けられる複数の入力装置からのそれぞれの描画データとを用いて合成画像を生成してもよい。

これにより、複数の入力装置から描画データを受け付けることができる。

また、合成画像生成装置は、さらに、入力装置を備えてもよい。

また、合成画像生成装置は、さらに、表示装置を備えてもよい。

また、本開示の一態様に係る放送受信装置は、動画コンテンツを表示装置に表示する表示制御部と、入力装置から描画データを受け付けるデータ受付部と、表示装置に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、データ受付部によって受け付けられる描画データとを用いて合成画像を生成する合成部と、表示装置とを備える合成画像生成装置と、デジタルテレビ放送信号を受信し、受信したデジタルテレビ放送信号を復調するチューナとを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
図１は、実施の形態１における合成画像生成装置が用いられる合成画像生成システムの構成を示す外観図である。

合成画像生成システムは、図１に示すように合成画像生成装置１００および入力装置１５０を備えている。合成画像生成システムは、利用者が入力装置１５０を用いて入力する描画データを動画コンテンツに合成した合成画像を生成する。合成画像生成装置１００は、例えばプラズマテレビ、液晶テレビ等の放送受信装置として実現される。入力装置１５０は、例えばタッチペン等であり、利用者によって合成画像生成装置１００の表示画面１２０上での操作に用いられる。また、入力装置１５０は、利用者によって操作された合成画像生成装置１００の表示画面１２０上の位置および操作を検出し、検出した位置情報および操作情報等を、例えばブルートゥース等の短距離無線通信を用いて、合成画像生成装置１００に送信する。ここで、合成画像生成装置１００の表示画面１２０上の操作としては、例えば入力装置１５０であるタッチペンのペン先を表示画面１２０に付けて、すぐ離す「タップ」、ペン先を表示画面１２０に付けたままにする／その後離す「ホールド／リリース」、およびペン先を表示画面１２０に付けたまま移動／その後離す「ドラッグ／ドロップ」等がある。また、入力装置１５０における表示画面１２０上の位置の検出では、表示画面１２０を発光させることでスタート信号（例えば３０ｍｓごとに４回点滅）を送る。その後、Ｘ方向およびＹ方向を１ラインずつスキャンし、入力装置１５０が検出したＸ方向およびＹ方向のそれぞれの検出時間に基づいて、位置を検出することができる。

図２は、実施の形態１における合成画像生成装置１００の構成を示すブロック図である。

合成画像生成装置１００は、合成画像を生成する装置であり、図２に示すように、放送受信部１０１、表示制御部１０２、表示部１０３、データ受付部１０４、合成部１０５、入力装置識別部１０６、通信部１０７、および記憶部１０８を備えている。

放送受信部１０１は、アンテナ１６０を介してデジタルテレビ放送信号を受信し、受信したデジタルテレビ放送信号を復調する。また、放送受信部１０１は、復調したデジタルテレビ放送信号を動画コンテンツとして出力する。

表示制御部１０２は、例えば現在放送されているデジタルテレビ放送の動画コンテンツ等を表示する通常モードと、利用者が入力装置１５０を用いて描画することができる描画モードとを切り替える。通常モードでは、表示制御部１０２は、放送受信部１０１より出力された動画コンテンツまたは記憶部１０８に記憶されている動画コンテンツ等を表示部１０３に表示する。一方、描画モードでは、表示制御部１０２は、通常モードで表示している動画コンテンツに加えて、描画モード表示として、描画データとして描画するための情報を選択する選択領域を表示部１０３に表示する。また、表示制御部１０２は、合成部１０５によって生成された合成画像を表示部１０３に表示する。

表示部１０３は、例えば、プラズマディスプレイ、または液晶ディスプレイ等の表示装置である。

データ受付部１０４は、例えば入力装置１５０であるタッチペンのペン先が数秒押下された（第３操作）ことを受け付けると、描画モードを起動するように表示制御部１０２および合成部１０５へ通知する。また、データ受付部１０４は、描画モードにおいて、利用者によって表示部１０３の表示画面１２０上で入力装置１５０を用いて描画された絵（画像）の描画データを、選択領域を用いて選択されている線の種別および色で入力装置１５０から受け付ける。さらに、データ受付部１０４は、選択領域を用いて選択されているサンプル画像を入力装置１５０から描画データとして受け付ける。また、データ受付部１０４は、描画モードにおいて、入力装置１５０から画像のキャプチャ（第１操作）またはキャプチャ解除（第２操作）を受け付けると、その旨を表示制御部１０２および合成部１０５へ通知する。

合成部１０５は、データ受付部１０４から描画モードの起動が通知される、または描画モードにおいてデータ受付部１０４から画像のキャプチャ（第１操作）が通知されると、表示部１０３に表示中の動画コンテンツをキャプチャして合成対象画像を生成する。また、合成部１０５は、合成対象画像と、データ受付部１０４によって受け付けられる描画データとを合成することで、合成画像を生成する。さらに、合成部１０５は、描画モードにおいて、データ受付部１０４からキャプチャ解除（第２操作）が通知されると、キャプチャしていた画像を合成対象画像から解除する。すなわち、合成部１０５は、表示部１０３に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、データ受付部１０４によって受け付けられる描画データとを用いて合成画像を生成する。

入力装置識別部１０６は、データ受付部１０４において描画データを受け付ける入力装置１５０を登録する。また、入力装置識別部１０６は、通信部１０７で受信された描画データが登録している入力装置１５０から発信されているか否かを確認し、登録している入力装置１５０から受信した場合にだけ通信部１０７で受信された描画データをデータ受付部１０４に出力するように制御する。

通信部１０７は、例えばブルートゥース等の短距離無線通信を用いて、入力装置１５０と通信を行う。

記憶部１０８は、例えばメモリ、ハードディスク、またはメモリカード等であり、動画コンテンツ、および合成部１０５によって生成される合成画像等を記憶するために用いられる。

次に、上記のように構成された合成画像生成装置１００における描画モードの動作について説明する。

図３は、実施の形態１における合成画像生成装置１００の描画モードの動作の流れを示すフローチャートである。また、図４〜図７は、実施の形態１における合成画像生成装置１００の表示画面１２０の一例を示す図である。なお、以下では、入力装置識別部１０６において事前に登録されている入力装置１５０で操作されるものとして説明する。また、ここでは、最初、現在放送されているデジタルテレビ放送の動画コンテンツが通常モードで表示部１０３に表示されているものとする。

データ受付部１０４は、例えば入力装置１５０であるタッチペンのペン先が数秒押下されたか否かを判定する（ステップＳ１０１）。この判定の結果、ペン先が数秒押下されていない場合（ステップＳ１０１でＮＯ）、データ受付部１０４は、特に何もしない。すなわち、通常モードでデジタルテレビ放送の動画コンテンツが表示部１０３に表示されている状態のままである。

一方、図４に示すようにペン先が数秒押下された場合（ステップＳ１０１でＹＥＳ）、データ受付部１０４は、描画モードを起動するように表示制御部１０２および合成部１０５へ通知する。表示制御部１０２は、データ受付部１０４から描画モードの起動が通知されると、通常モードから描画モードに切り替える（ステップＳ１０２）。すなわち、表示制御部１０２は、通常モードで表示していた動画コンテンツを図５に示すように表示領域１２１に表示する。また、表示制御部１０２は、描画データとして描画するための情報を選択する選択領域を表示部１０３の表示画面１２０に表示する。ここでは、表示制御部１０２は、図５に示すように、選択領域として、線の種別、色、およびサンプル画像等を選択するパレット１２２と、コピー、切り取り、貼り付け、キャプチャ、キャプチャ解除、保存、および終了等の編集操作を行うためのツールバー１２３とを表示部１０３の表示画面１２０に表示する。

合成部１０５は、データ受付部１０４から描画モードの起動が通知されると、表示部１０３に表示中の動画コンテンツをキャプチャして合成対象画像を生成する（ステップＳ１０３）。このとき、表示制御部１０２は、合成部１０５によってキャプチャされた合成対象画像（静止画）を表示領域１２１に表示する。すなわち、描画モードに切り替わった時点で表示領域１２１に表示されるのは、本実施の形態では、動画ではなく、静止画である。

データ受付部１０４は、描画モードに切り替わると、利用者が表示部１０３の表示画面１２０上で入力装置１５０を用いて描画した絵（画像）の描画データを、パレット１２２を用いて選択されている線の種別および色で入力装置１５０から受け付ける（ステップＳ１０４）。表示制御部１０２は、例えば図６に示すようにデータ受付部１０４によって受け付けられた描画データ（図６に示す例では「Ｈｅｌｌｏ」）を表示領域１２１に表示されている合成対象画像上に表示する（ステップＳ１０５）。

データ受付部１０４は、ツールバー１２３上の「保存」が入力装置１５０でタップされることにより、保存を受け付けたか否かを判定する（ステップＳ１０６）。この判定の結果、保存を受け付けていない場合（ステップＳ１０６でＮＯ）、データ受付部１０４は、特に何もしない。一方、保存を受け付けた場合（ステップＳ１０６でＹＥＳ）、データ受付部１０４は、保存の受け付けを表示制御部１０２へ通知する。表示制御部１０２は、データ受付部１０４から保存が通知されると、図７に示すように保存の確認表示を行う。ここで、保存が確認されると、合成部１０５は、合成対象画像と、データ受付部１０４によって受け付けられた描画データとを合成することで、合成画像を生成し、記憶部１０８に保存する（ステップＳ１０７）。

次に、データ受付部１０４は、ツールバー１２３上の「終了」が入力装置１５０でタップされることにより、終了を受け付けたか否かを判定する（ステップＳ１０８）。この判定の結果、終了を受け付けた場合（ステップＳ１０８でＹＥＳ）、データ受付部１０４は、終了の受け付けを表示制御部１０２へ通知する。表示制御部１０２は、データ受付部１０４から終了が通知されると、描画モードから通常モードに切り替える（ステップＳ１０９）。すなわち、表示制御部１０２は、図４に示すように通常モードで、現在放送されているデジタルテレビ放送の動画コンテンツを表示部１０３に表示する。

一方、終了を受け付けていない場合（ステップＳ１０８でＮＯ）、データ受付部１０４は、ツールバー１２３上の「キャプチャ解除」が入力装置１５０でタップされることにより、キャプチャ解除を受け付けたか否かを判定する（ステップＳ１１０）。この判定の結果、キャプチャ解除を受け付けていない場合（ステップＳ１１０でＮＯ）、データ受付部１０４は、特に何もせず描画データの受け付け処理（ステップＳ１０４）へ戻る。すなわち、描画モードで描画データを入力装置１５０から受け付ける状態のままである。

一方、キャプチャ解除を受け付けた場合（ステップＳ１１０でＹＥＳ）、データ受付部１０４は、キャプチャ解除の受け付けを表示制御部１０２および合成部１０５へ通知する。表示制御部１０２は、描画モードに切り替わる前の通常モードで表示していた動画コンテンツを表示領域１２１に表示する（ステップＳ１１１）。このとき、合成部１０５は、キャプチャしていた画像を合成対象画像から解除する（ステップＳ１１２）。例えば、利用者が、描画モードの起動時にキャプチャされていた合成対象画像を他の画像に変更したい場合等に、キャプチャ解除を選択することになる。そして、利用者は、表示領域１２１に表示されている動画コンテンツがキャプチャしたい画像となったときに、ツールバー１２３上の「キャプチャ」を入力装置１５０でタップすることにより、再度、画像をキャプチャすることになる。

次に、データ受付部１０４は、ツールバー１２３上の「キャプチャ」が入力装置１５０でタップされることにより、キャプチャを受け付けたか否かを判定する（ステップＳ１１３）。この判定の結果、キャプチャを受け付けていない場合（ステップＳ１１０でＮＯ）、データ受付部１０４は、特に何もしない。すなわち、描画モードでキャプチャ操作を入力装置１５０から受け付ける状態のままである。なお、図３に示すフローチャートでは、再度、画像がキャプチャされるまで、描画データを受け付けない動作になっているが、これに限られるものではない。例えば、キャプチャを受け付けていない場合に、データ受付部１０４が、描画モードで描画データおよびキャプチャ操作を入力装置１５０から受け付ける構成としても構わない。

一方、キャプチャを受け付けた場合（ステップＳ１１３でＹＥＳ）、データ受付部１０４は、キャプチャの受け付けを表示制御部１０２および合成部１０５へ通知する。合成部１０５は、キャプチャの受け付けが通知された時点で表示部１０３に表示中の動画コンテンツをキャプチャして合成対象画像を生成し（ステップＳ１１４）、描画データの受け付け処理（ステップＳ１０４）へ戻る。このとき、表示制御部１０２は、合成部１０５によってキャプチャされた合成対象画像（静止画）を表示領域１２１に表示する。

以上のように、現在放送されているデジタルテレビ放送の動画コンテンツまたは記憶部１０８に記憶されている動画コンテンツ等をキャプチャして合成対象画像を生成し、生成した合成対象画像に、データ受付部１０４によって受け付けられた描画データを合成することで合成画像を生成しているので、動画コンテンツに描画データを合成した合成画像を生成することができる。

なお、本実施の形態では、入力装置１５０が１つの場合について説明しているが、これに限られるものではない。例えば、入力装置１５０が２つ以上であっても構わない。これにより、同時に２人以上の利用者で描画することができる。この場合、入力装置識別部１０６において、データ受付部１０４において描画データを受け付ける入力装置１５０を２つ以上登録する。そして、入力装置識別部１０６が、登録している入力装置１５０をそれぞれ識別し、通信部１０７で受信された描画データを入力装置１５０ごとにデータ受付部１０４に出力するように制御すればよい。

図８は、表示画面１２０に表示される、２つの入力装置に対応する選択領域の一例を示す図である。

例えば２つの入力装置から入力を受け付ける場合、表示制御部１０２は、図８に示すように、選択領域として、線の種別、色、およびサンプル画像等を選択するパレットと、コピー、切り取り、貼り付け、キャプチャ、キャプチャ解除、保存、および終了等の編集操作を行うためのツールバーとに、２つの入力装置の状態を示すステータスを合わせたパレット１３０を表示部１０３の表示画面１２０に表示する。なお、パレット１３０の表示形態は一例であって、図５に示すパレット１２２およびツールバー１２３に、２つの入力装置の状態を示すステータスを付加しても構わない。さらに、１つの入力装置だけを使用する場合であっても、パレット１３０に示すような形態で表示部１０３の表示画面１２０に表示しても構わない。

また、本実施の形態では、パレット１２２およびツールバー１２３は表示部１０３の表示画面１２０の固定した位置に表示しているが、これに限られるものではない。例えば、図９（ａ）に示すようなパレット１３０を、図９（ｂ）に示すように２つの入力装置の状態を示すステータスを表示するステータスバー１３１とて表示しても構わない。この場合、必要に応じてステータスバー１３１をタップすることで、図９（ａ）に示すようなパレット１３０を表示させればよい。また、パレット１３０およびステータスバー１３１の表示画面１２０上の表示位置についても、図９（ａ）および図９（ｂ）に示すような表示画面１２０上の下部位置だけでなく、図９（ｃ）に示すように表示画面１２０上の上部位置に表示しても構わない。また、表示画面１２０上の右横位置または左横位置に表示しても構わない。さらに、パレット１３０およびステータスバー１３１の表示画面１２０上の表示位置を、入力装置の位置に応じて移動させても構わない。

また、本実施の形態では、動画コンテンツをキャプチャして合成対象画像を生成し、生成した合成対象画像に描画データを合成しているが、これに限られるものではない。例えば、動画コンテンツを動画（動画データ）のまま扱い、動画データに描画データを合成しても構わない。この場合、合成部１０５は、データ受付部１０４によって受け付けられた描画データを時系列に記録することで描画動画データを生成し、対象の動画コンテンツおよび描画動画データを対応付けて記憶部１０８に保存する。利用者によって合成画像の再生が指示された場合に、合成部１０５は、描画動画データと動画コンテンツとを合成することで合成画像を生成する。そして、表示制御部１０２は、合成部１０５によって生成された合成画像を表示部１０３に表示する。また、このように動画コンテンツおよび描画動画データを別データとすることなく、動画コンテンツにデータ受付部１０４によって受け付けられた描画データを時系列に合成することで合成画像を生成し、記憶部１０８に保存しても構わない。

（実施の形態２）
実施の形態１では、現在放送されているデジタルテレビ放送の動画コンテンツまたは記憶部に記憶されている動画コンテンツ等に対して、描画データを合成する場合について説明したが、本実施の形態２では、外部の端末装置から取得した動画コンテンツに対して描画データを合成する場合について説明する。

図１０は、実施の形態２における合成画像生成装置が用いられる合成画像生成システムの構成を示す外観図である。

合成画像生成システムは、図１０に示すように合成画像生成装置２００、入力装置１５０、端末装置３００を備えている。合成画像生成システムは、利用者が入力装置１５０を用いて入力する描画データを動画コンテンツに合成した合成画像を生成する。合成画像生成装置２００は、例えばプラズマテレビ、液晶テレビ等として実現される。入力装置１５０は、例えばタッチペン等であり、利用者によって合成画像生成装置２００の表示画面１２０上での操作に用いられる。また、入力装置１５０は、利用者によって操作された合成画像生成装置２００の表示画面１２０上の位置および操作を検出し、検出した位置情報および操作情報等を、例えばブルートゥース等の短距離無線通信を用いて、合成画像生成装置２００に送信する。端末装置３００は、例えばスマートフォン、タブレット端末等の端末装置であり、動画コンテンツを記憶している。

図１１は、実施の形態２おける合成画像生成装置２００の構成を示すブロック図である。なお、実施の形態１と同様の構成については、同じ符号を付し、説明を省略する。

合成画像生成装置２００は、合成画像を生成する装置であり、図１１に示すように、放送受信部１０１、取得部２０１、表示制御部２０２、表示部１０３、データ受付部１０４、合成部２０３、入力装置識別部１０６、通信部１０７、通信部２０４、および記憶部１０８を備えている。

取得部２０１は、通信部２０４を介して外部の端末装置３００から動画コンテンツを取得する。また、取得部２０１は、通信部２０４を介して外部の端末装置３００から合成画像の転送要求を受け付ける。

表示制御部２０２は、例えば現在放送されているデジタルテレビ放送の動画コンテンツ等を表示する通常モードと、利用者が入力装置１５０を用いて描画することができる描画モードとを切り替える。通常モードでは、表示制御部２０２は、端末装置３００から取得された動画コンテンツ、放送受信部１０１より出力された動画コンテンツ、または記憶部１０８に記憶されている動画コンテンツ等を表示部１０３に表示する。また、表示制御部２０２は、取得部２０１によって端末装置３００から動画コンテンツが取得された場合、端末装置３００から取得された動画コンテンツを表示部１０３に表示する。一方、描画モードでは、表示制御部２０２は、通常モードで表示している動画コンテンツに加えて、描画モード表示として、描画データとして描画するための情報を選択する選択領域を表示部１０３に表示する。また、表示制御部２０２は、合成部２０３によって生成された合成画像を表示部１０３に表示する。

合成部２０３は、データ受付部１０４から描画モードの起動が通知される、または描画モードにおいてデータ受付部１０４から画像のキャプチャ（第１操作）が通知されると、表示部１０３に表示中の動画コンテンツをキャプチャして合成対象画像を生成する。また、合成部２０３は、合成対象画像と、データ受付部１０４によって受け付けられる描画データとを合成することで、合成画像を生成する。さらに、合成部２０３は、描画モードにおいて、データ受付部１０４からキャプチャ解除（第２操作）が通知されると、キャプチャしていた画像を合成対象画像から解除する。すなわち、合成部２０３は、表示部１０３に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、データ受付部１０４によって受け付けられる描画データとを用いて合成画像を生成する。

通信部２０４は、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信を用いて、端末装置３００と通信を行う。

次に、上記のように構成された合成画像生成装置２００における描画モードの動作について説明する。

図１２は、実施の形態２における合成画像生成装置２００の描画モードの動作の流れを示すフローチャートである。また、図１３〜図１６は、実施の形態２における合成画像生成装置２００の表示画面１２０および端末装置３００の表示画面の一例を示す図である。なお、以下では、入力装置識別部１０６において事前に登録されている入力装置１５０で操作されるものとして説明する。

最初に、取得部２０１は、通信部２０４を介して外部の端末装置３００から動画コンテンツを取得する（ステップＳ２０１）。例えば、端末装置３００で表示中の動画コンテンツを利用者が送信操作することによって、取得部２０１が端末装置３００から動画コンテンツを取得することになる。取得部２０１によって端末装置３００から動画コンテンツが取得されると、表示制御部２０２は、図１３に示すように端末装置３００から取得された動画コンテンツを表示部１０３に表示する。

次に、データ受付部１０４は、例えば入力装置１５０であるタッチペンのペン先が数秒押下されたか否かを判定する（ステップＳ１０１）。この判定の結果、ペン先が数秒押下されていない場合（ステップＳ１０１でＮＯ）、データ受付部１０４は、特に何もしない。すなわち、通常モードで端末装置３００から取得した動画コンテンツが表示部１０３に表示されている状態のままである。

一方、図１３に示すようにペン先が数秒押下された場合（ステップＳ１０１でＹＥＳ）、データ受付部１０４は、描画モードを起動するように表示制御部２０２および合成部２０３へ通知する。表示制御部２０２は、データ受付部１０４から描画モードの起動が通知されると、通常モードから描画モードに切り替える（ステップＳ１０２）。すなわち、表示制御部２０２は、通常モードで表示していた動画コンテンツを図１４に示すように表示領域１２１に表示する。また、表示制御部２０２は、描画データとして描画するための情報を選択する選択領域を表示部１０３の表示画面１２０に表示する。ここでは、表示制御部２０２は、図１４に示すように、選択領域として、線の種別、色、およびサンプル画像等を選択するパレット１２２と、コピー、切り取り、貼り付け、キャプチャ、キャプチャ解除、保存、および終了等の編集操作を行うためのツールバー１２３とを表示部１０３の表示画面１２０に表示する。

合成部２０３は、データ受付部１０４から描画モードの起動が通知されると、表示部１０３に表示中の動画コンテンツをキャプチャして合成対象画像を生成する（ステップＳ１０３）。このとき、表示制御部１０２は、合成部１０５によってキャプチャされた合成対象画像（静止画）を表示領域１２１に表示する。すなわち、描画モードに切り替わった時点で表示領域１２１に表示されるのは、本実施の形態では、動画ではなく、静止画である。

次に、合成部２０３は、描画モードに切り替わったこと、すなわち合成画像生成装置２００において描画中であることを、通信部２０４を介して端末装置３００に通知する（ステップＳ２０２）。合成画像生成装置２００において描画中であることが通知された端末装置３００の表示画面には、例えば図１４に示すように、合成画像生成装置２００において描画中であること示す「Ｐａｉｎｔ」アイコンが表示される。

データ受付部１０４は、描画モードに切り替わると、利用者が表示部１０３の表示画面１２０上で入力装置１５０を用いて描画した絵（画像）の描画データを、パレット１２２を用いて選択されている線の種別および色で入力装置１５０から受け付ける（ステップＳ１０４）。表示制御部２０２は、例えば図１５に示すようにデータ受付部１０４によって受け付けられた描画データ（図１５に示す例では「Ｈｅｌｌｏ」）を表示領域１２１に表示されている合成対象画像上に表示する（ステップＳ１０５）。

取得部２０１は、通信部２０４を介して外部の端末装置３００から合成画像の転送要求を受け付けたか否かを判定する（ステップＳ２０３）。この判定の結果、転送要求を受け付けていない場合（ステップＳ２０３でＮＯ）、取得部２０１は、特に何もしない。一方、転送要求を受け付けた場合（ステップＳ２０３でＹＥＳ）、取得部２０１は、転送要求の受け付けを合成部２０３へ通知する。合成部２０３は、合成対象画像と、データ受付部１０４によって受け付けられた描画データとを合成することで、合成画像を生成し、端末装置３００へ転送する（ステップＳ２０４）。

次に、データ受付部１０４は、ツールバー１２３上の「終了」が入力装置１５０でタップされることにより、終了を受け付けたか否かを判定する（ステップＳ１０８）。この判定の結果、終了を受け付けた場合（ステップＳ１０８でＹＥＳ）、データ受付部１０４は、終了の受け付けを表示制御部２０２へ通知する。表示制御部２０２は、データ受付部１０４から終了が通知されると、描画モードから通常モードに切り替える（ステップＳ１０９）。すなわち、表示制御部１０２は、図１３に示すように通常モードで、端末装置３００から取得した動画コンテンツを表示部１０３に表示する。

一方、終了を受け付けていない場合（ステップＳ１０８でＮＯ）、データ受付部１０４は、特に何もせず描画データの受け付け処理（ステップＳ１０４）へ戻る。すなわち、描画モードで描画データを入力装置１５０から受け付ける状態のままである。

以上のように、端末装置３００に記憶されている動画コンテンツを取得し、取得した動画コンテンツから合成対象画像を生成し、生成した合成対象画像に、データ受付部１０４によって受け付けられた描画データを合成することで合成画像を生成しているので、動画コンテンツに描画データを合成した合成画像を生成することができる。

なお、上記各実施の形態では、デジタルテレビ放送の動画コンテンツ、記憶部に記憶されている動画コンテンツ、または、外部の端末装置から取得された動画コンテンツ等に対して、描画データを合成し、合成画像を生成しているが、合成画像を保存、または転送することができるコンテンツは、コンテンツ保護がかかっていないコンテンツである。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の合成画像生成装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、動画コンテンツを表示装置に表示する表示制御ステップと、入力装置から描画データを受け付けるデータ受付ステップと、前記表示装置に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、前記データ受付ステップにおいて受け付けられる描画データとを用いて合成画像を生成する合成ステップとを実行させる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、動画コンテンツに利用者によって入力される描画データを合成した合成画像を生成する合成画像生成装置に適用可能である。具体的には、プラズマテレビ、液晶テレビなどに、本開示は適用可能である。

１００、２００ 合成画像生成装置
１０１ 放送受信部
１０２、２０２ 表示制御部
１０３ 表示部
１０４ データ受付部
１０５、２０３ 合成部
１０６ 入力装置識別部
１０７、２０４ 通信部
１０８ 記憶部
１２０ 表示画面
１５０ 入力装置
１６０ アンテナ
２０１ 取得部
３００ 端末装置

Claims (16)

1. 動画コンテンツを表示装置に表示する表示制御部と、
   入力装置から描画データを受け付けるデータ受付部と、
   前記表示装置に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、前記データ受付部によって受け付けられる描画データとを用いて合成画像を生成する合成部とを備える
   合成画像生成装置。
2. 前記データ受付部は、さらに、前記入力装置から第１操作を受け付け、
   前記合成部は、前記データ受付部によって前記第１操作が受け付けられた場合、前記表示装置に表示中の動画コンテンツをキャプチャして合成対象画像を生成し、当該合成対象画像と、前記データ受付部によって受け付けられる描画データとを合成することで、前記合成画像を生成し、
   前記表示制御部は、前記合成部によって生成された前記合成画像を前記表示装置に表示する
   請求項１に記載の合成画像生成装置。
3. 前記データ受付部は、さらに、前記入力装置から第２操作を受け付け、
   前記表示制御部は、前記データ受付部によって前記第２操作が受け付けられた場合、前記表示装置に表示中の前記合成画像のうち前記描画データを表示した状態で、前記動画コンテンツの表示を再開する
   請求項２に記載の合成画像生成装置。
4. 前記合成部は、前記動画コンテンツに対して、前記データ受付部によって受け付けられる描画データを時系列に合成することで、前記合成画像を生成し、
   前記表示制御部は、前記合成部によって生成された前記合成画像を前記表示装置に表示する
   請求項１に記載の合成画像生成装置。
5. 前記合成画像生成装置は、さらに、
   前記合成部によって生成された前記合成画像を記憶する記憶部を備える
   請求項１〜請求項４のいずれか１項に記載の合成画像生成装置。
6. 前記合成部は、さらに、前記データ受付部によって受け付けられる描画データを時系列に記録することで描画動画データを生成するとともに、生成した前記描画動画データと前記動画コンテンツとを合成することで前記合成画像を生成し、
   前記表示制御部は、前記合成部によって生成された前記合成画像を前記表示装置に表示する
   請求項４に記載の合成画像生成装置。
7. 前記合成画像生成装置は、さらに、
   ネットワークを介して外部の端末装置から前記動画コンテンツを取得する取得部を備え、
   前記合成部は、前記表示装置に表示中の前記取得部によって取得された前記動画コンテンツに含まれる少なくとも１つの静止画と、前記データ受付部によって受け付けられる描画データとを用いて合成画像を生成する
   請求項１に記載の合成画像生成装置。
8. 前記合成部は、さらに、生成した前記合成画像を前記端末装置へ出力する
   請求項７に記載の合成画像生成装置。
9. 前記データ受付部は、さらに、前記入力装置から第３操作を受け付けるとともに、前記第３操作を受け付けた以降に、前記表示装置の画面上の前記入力装置の位置に応じて前記描画データを受け付け、
   前記表示制御部は、前記データ受付部によって前記第３操作が受け付けられた場合、描画モード表示として、前記描画データとして描画するための情報を選択する選択領域と、前記動画コンテンツを表示する表示領域とを前記表示装置に表示する
   請求項１に記載の合成画像生成装置。
10. 前記選択領域は、前記描画データとして描画される線、色、およびサンプル画像のうち少なくとも一つを選択するための領域であり、
    前記データ受付部は、さらに、前記入力装置から前記選択領域を用いて選択された、前記線、色、およびサンプル画像のうち少なくとも一つに応じて、前記描画データを受け付ける
    請求項９に記載の合成画像生成装置。
11. 前記表示制御部は、前記表示装置の画面上の前記入力装置の位置に応じて、前記表示装置の画面上の所定の位置に前記選択領域を表示する
    請求項９に記載の合成画像生成装置。
12. 前記データ受付部は、さらに、複数の入力装置から描画データを受け付け、
    前記合成部は、前記表示装置に表示中の動画コンテンツに含まれる少なくとも１つの静止画と、前記データ受付部によって受け付けられる前記複数の入力装置からのそれぞれの描画データとを用いて合成画像を生成する
    請求項１に記載の合成画像生成装置。
13. 前記合成画像生成装置は、さらに、
    前記入力装置を備える
    請求項１に記載の合成画像生成装置。
14. 前記合成画像生成装置は、さらに、
    前記表示装置を備える
    請求項１に記載の合成画像生成装置。
15. 請求項１４に記載の合成画像生成装置と、
    デジタルテレビ放送信号を受信し、受信したデジタルテレビ放送信号を復調するチューナとを備える
    放送受信装置。
16. 動画コンテンツを表示装置に表示する表示制御ステップと、
    入力装置から描画データを受け付けるデータ受付ステップと、
    前記表示装置に表示中の動画コンテンツに含まれる少なくとも１枚の静止画と、前記データ受付ステップにおいて受け付けられる描画データとを用いて合成画像を生成する合成ステップとを含む
    合成画像生成方法。

Images