JP2012019517A - ディスプレイ方法および装置 - Google Patents

Abstract

【課題】
本発明の目的は、人間の眼への疲労感を軽減させる字幕を生成できるディスプレイ方法および装置を提供することを技術的課題とする。
【解決手段】
視聴者の眼への疲労感を緩和できる本発明の一側面に係るディスプレイ方法は、３Ｄ映像のメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）予測領域の深さ情報を用いて字幕情報を生成するステップと、前記生成された字幕情報によって字幕を前記３Ｄ映像と合成して表示するステップとを含む。従って、画面の主要物体の深さに応じて字幕の属性（Ｐｒｏｐｅｒｔｙ）を調節することにより、視聴者の眼への疲労感を緩和させる効果がある。
【選択図】図３

Description

本発明は、ディスプレイ方法および装置に関し、より詳細には、字幕表示方法に関するディスプレイ方法および装置に関する。

ステレオスコピック（Ｓｔｅｒｅｏｓｃｏｐｉｃ）方式のシアター用の３Ｄプロジェクターまたは３Ｄフラットパネルディスプレイなどのような３Ｄディスプレイでは、字幕が映像の奥行きとは関係なく、一定の深さで表示される。従って、字幕は視聴者が眺める画面の主要物体であるメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）の深さ変化に関係なく、一定の高さに浮いて見えたり、凹んで見えたりする。これにより、視聴者は映像と字幕を交互に見る過程で多くの輻輳（Ｖｅｒｇｅｎｃｅ）の変化を余儀なくされ、これは調節（Ａｃｃｏｍｍｏｄａｔｉｏｎ）と輻輳の不一致の激しい変化をもたらし、疲労感を増幅させる要因となる。

ここで、ステレオスコピック方式では字幕を立体的に左右眼に異なる映像を表示するため、図１の（ａ）に示されたように、輻輳は立体の内径位置を正しく知覚するが、眼の焦点はディスプレイのスクリーン上にあって、図１の（ａ）に示されたように調節機能が正常に動作しなくなってしまう。

一方、輻輳性調節作用という用語は、輻輳で知覚した内径位置に調節を合わせようとする人間の視覚機能として、既存の字幕立体表示方法では調節と輻輳が一致せず、調節が輻輳性調節に従うことができない。このような調節と輻輳の矛盾は、実世界においては有り得ないことであるため、人間の眼に疲労感を与えかねないという問題がある。

なお、視聴者が映像と字幕を交互に見る過程で、図１の（ｂ）に示されたように、一つの物体を見ていて物体を眺める位置が変わると、実際に人間の知覚する物体の映像は違ってくるため、このような場合、運動時差の欠如が生じて、人間の眼に疲労感を与えるという問題がある。

韓国特開第２００９−００６６３２０号広報 日本特開第２００４−２１９４７２号広報 日本特開第１９９８−２３４０５８号広報 日本特開第１９９７−１０２０５２号広報

そこで、本発明は、上記問題に鑑みてなされたものであり、人間の眼への疲労感を軽減させる字幕を生成できるディスプレイ方法および装置を提供することを技術的課題とする。

上述の目的を達成するための本発明の一側面に係るディスプレイ方法は、３Ｄ映像のメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）予測領域の深さ情報を用いて字幕情報を生成するステップと、前記生成された字幕情報によって字幕を前記３Ｄ映像と合成して表示するステップとを含む。

ここで、前記字幕情報は、前記字幕の深さ、位置、大きさ、色相のうち少なくとも一つを含み、前記字幕の深さ、位置、大きさ、色相のうち少なくとも一つは、前記３Ｄ映像の毎フレームごとに異なる値を有してよい。

なお、前記字幕の色相は、前記メインオブジェクト予測領域の色相に応じて変わってよい。

一実施形態において、前記ディスプレイ方法は、前記３Ｄ映像から前記メインオブジェクトの位置する領域を予測して前記メインオブジェクト予測領域を抽出するステップと、前記抽出されたメインオブジェクト予測領域の深さ情報を算出するステップとを更に含んでよい。

ここで、前記メインオブジェクト予測領域の深さ情報は、前記メインオブジェクト予測領域に該当する前記３Ｄ映像の左眼映像および右眼映像の領域を抽出し、前記抽出された領域の深さ情報の差異を算出することで決定されてよい。

なお、前記メインオブジェクト予測領域の深さ情報は、前記３Ｄ映像に対する輝度分析によって決定されてよい。

一実施形態において、前記ディスプレイ方法は、前記３Ｄ映像の平均深さ情報を算出するステップを更に含み、前記字幕情報を生成するステップは、前記メインオブジェクト予測領域の深さ情報および前記算出された平均深さ情報を用いて前記字幕情報を生成してよい。

ここで、前記平均深さ情報は、前記３Ｄ映像の左眼映像および右眼映像の全体的な差異を用いて算出されてよい。

一実施形態において、前記ディスプレイ方法は、２Ｄ映像を前記３Ｄ映像に変換するステップを更に含んでよい。

一実施形態において、前記ディスプレイ方法は、前記３Ｄ映像の字幕ファイルから前記字幕を抽出するステップを更に含んでよい。

別の実施形態において、前記ディスプレイ方法は、前記３Ｄ映像から前記字幕を抽出するステップを更に含んでよい。

上述の目的を達成するための本発明の他側面に係るディスプレイ装置は、３Ｄ映像のメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）予測領域の深さ情報を用いて字幕情報を生成する字幕情報生成部と、前記生成された字幕情報によって字幕を前記３Ｄ映像と合成する字幕合成部と、前記字幕の合成された前記３Ｄ映像を表示する映像出力部とを含む。

ここで、前記字幕情報は、前記字幕の深さ、位置、大きさ、色相のうち少なくとも一つを含み、前記字幕の深さ、位置、大きさ、色相のうち少なくとも一つは、前記３Ｄ映像の毎フレームごとに異なる値を有してよい。

なお、前記字幕の色相は、前記メインオブジェクト予測領域の色相に応じて変わってよい。

一実施形態において、前記ディスプレイ装置は、前記３Ｄ映像から前記メインオブジェクトの位置する領域を予測して前記メインオブジェクト予測領域を抽出するメインオブジェクト抽出部と、前記抽出されたメインオブジェクト予測領域の深さ情報を算出するメインオブジェクト深さ情報算出部とを更に含んでよい。

ここで、前記メインオブジェクト深さ情報算出部は、前記メインオブジェクト予測領域に該当する前記３Ｄ映像の左眼映像および右眼映像の領域を抽出し、前記抽出された領域の深さ情報の差異を算出することにより、前記メインオブジェクト予測領域の深さ情報を決定してよい。

なお、前記メインオブジェクト深さ情報算出部は、前記メインオブジェクト予測領域の深さ情報を前記３Ｄ映像に対する輝度分析によって決定してよい。

一実施形態において、前記ディスプレイ装置は、前記３Ｄ映像の平均深さ情報を算出する平均深さ情報算出部を更に含み、前記字幕情報生成部は、前記メインオブジェクト予測領域の深さ情報および前記算出された平均深さ情報を用いて前記字幕情報を生成してよい。

ここで、前記平均深さ情報算出部は、前記平均深さ情報を前記３Ｄ映像の左眼映像および右眼映像の全体的な差異を用いて算出してよい。

一実施形態において、前記ディスプレイ装置は、２Ｄ映像を前記３Ｄ映像に変換する３Ｄ映像変換部を更に含んでよい。

一実施形態において、前記ディスプレイ装置は、前記３Ｄ映像の字幕ファイルから前記字幕を抽出する字幕テキスト抽出部を更に含んでよい。

別の実施形態において、前記ディスプレイ装置は、前記３Ｄ映像から前記字幕を抽出する字幕映像抽出部を更に含んでよい。

本発明の多様な実施形態によると、画面の主要物体であるメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）の深さに応じて字幕の属性を調節することにより、視聴者の眼への疲労感を緩和させる効果がある。

従来の３Ｄ字幕表示方法の問題点を説明するための図である。 本発明の一実施形態に係る３Ｄ映像提供システムを示す図である。 図１に示されたディスプレイ装置の一実施形態に係る概略的なブロック図である。 図１に示されたディスプレイ装置の別の実施形態に係る概略的なブロック図である。 本発明の一実施形態に係る字幕情報を生成する一例を説明するための図である。 本発明の一実施形態に係るディスプレイ方法を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。

図２は、本発明の一実施形態に係る３Ｄ映像提供システムを示す図である。図２に示すように、３Ｄ映像提供システム２００は、３Ｄ映像を画面に表示するためのディスプレイ装置２１０および３Ｄ映像を視聴するための３Ｄグラス２２０を含む。

ディスプレイ装置２１０は、３Ｄ映像を表示したり、２Ｄ映像および３Ｄ映像の両方を表示するように実現できる。

ディスプレイ装置２１０が２Ｄ映像を表示する場合、既存の２Ｄディスプレイ装置と同様の方法を用いることができ、３Ｄ映像を表示する場合、カメラなどの撮影装置から受信された３Ｄ映像またはカメラによって撮影されて放送局で編集／加工された後、放送局から送出された３Ｄ映像を受信し、受信された３Ｄ映像を処理した後にそれを画面に表示することができる。特に、ディスプレイ装置２１０は３Ｄ映像のフォーマットを参照し、左眼映像と右眼映像とを加工し、加工された左眼映像と右眼映像とが時分割されて交互に表示されるようにすることができる。

３Ｄグラス２２０は、左眼および右眼が互いに異なる偏光を持つパッシブタイプの偏光グラス、またはアクティブタイプのシャッターグラス（Ｓｈｕｔｔｅｒ ｇｌａｓｓ）で実現できる。

一方、本発明の一実施形態に係る映像提供システムは、３Ｄ映像を生成するためのカメラ（図示せず）を更に含んでよい。

カメラ（図示せず）は３Ｄ映像を生成するための撮影装置の一種として、視聴者の左眼に提供することを目的として撮影された左眼映像と、視聴者の右眼に提供することを目的として撮影された右眼映像を生成する。即ち、３Ｄ映像は左眼映像と右眼映像とで構成され、このような左眼映像と右眼映像とが視聴者の左眼と右眼にそれぞれ交互に提供され、両眼時差による立体感が生じるようになる。

これのために、カメラ（図示せず）は左眼映像を生成するための左眼カメラと、右眼映像を生成するための右眼カメラとで構成され、左眼カメラと右眼カメラとの間隔は、人間の両目間の離間間隔から考慮されるようになる。

カメラ（図示せず）は、撮影された左眼映像と右眼映像とをディスプレイ装置２１０に伝達する。特に、カメラ（図示せず）がディスプレイ装置２１０に伝達する左眼映像と右眼映像は、一つのフレームに左眼映像および右眼映像のうち一方の映像のみで構成されたフォーマットで伝達されたり、一つのフレームに左眼映像と右眼映像とが両方含まれるように構成されたフォーマットで伝達されることができる。

カメラ（図示せず）は多様な３Ｄ映像のフォーマットのうち一つのフォーマットを予め決定し、決定されたフォーマットにより３Ｄ映像を生成してディスプレイ装置２１０に伝達することができる。

一方、上述の説明では、３Ｄグラス２２０が必須構成であると説明したが、３Ｄグラス２２０無しに３Ｄ映像を視聴することのできるディスプレイ装置にも本発明が適用できることがいうまでもない。

図３は、図１に示されたディスプレイ装置の一実施形態に係る概略的なブロック図である。図３に示すように、ディスプレイ装置３００は、３Ｄ映像変換部３１０、メインオブジェクト抽出部３２０、メインオブジェクト深さ情報算出部３３０と、平均深さ情報算出部３４０、字幕テキスト抽出部３５０、字幕情報生成部３６０、字幕合成部３７０および映像出力部３８０を含む。一方、図３に示されたディスプレイ装置３００は、３Ｄ映像と別途に字幕ファイルが存在する実施形態に該当し得る。

３Ｄ映像変換部３１０は、２Ｄ映像を３Ｄ映像に変換した後、３Ｄ映像のフォーマットを参照し、左眼映像と右眼映像を加工し、加工された左眼映像と右眼映像とが時分割されて交互に表示されるように、３Ｄ映像に変換する役割を担う。

従って、本発明の一実施形態に係るディスプレイ装置は、２Ｄ映像が入力される場合にも、３Ｄ映像に変換し、後述の字幕情報生成部３６０では３Ｄ映像に適した字幕情報により字幕を生成することができる。

メインオブジェクト抽出部３２０は、３Ｄ映像からメインオブジェクトの位置する領域を予測してメインオブジェクト予測領域を抽出する。ここで、メインオブジェクトとは、映像で視聴者が主に凝視する注視領域を意味するものとして、例えば、画面上の全体のオブジェクトのうち、最も大きいサイズのオブジェクトまたは立体感の最も大きいオブジェクトなどがこれに該当する。任意のメインオブジェクト予測領域抽出アルゴリズムを用いてメインオブジェクト領域を含む領域の抽出が可能である。

例えば、動画でメインオブジェクト予測領域の検出は、映像内から複数の客体の動きを検出し、各客体の動き方向に基づいて後続の動きを予測することにより、独立した動きの客体（Ｏｂｊｅｃｔ）を分離し、分離された客体のうちからメインオブジェクトの予測領域を検出することができる。

一方、本発明の一実施形態に係るディスプレイ装置では、メインオブジェクト抽出部３２０が３Ｄ映像からメインオブジェクト予測領域を抽出するものとして例示しているが、本発明はこれに限らずに、３Ｄ映像内のメインオブジェクト予測領域に対する情報が３Ｄ映像に予め含まれたり、別の外部装置によって提供されてよい。この場合、メインオブジェクト抽出部３２０がその機能をしないこともある。

メインオブジェクト深さ情報算出部３３０は、メインオブジェクト抽出部３２０から抽出されたメインオブジェクト予測領域の深さ情報を算出し、具体的にメインオブジェクト予測領域に該当する３Ｄ映像の左眼映像および右眼映像の領域を抽出し、抽出された領域の深さ情報の差異を算出することにより、メインオブジェクト予測領域の深さ情報を決定することができ、これを数式で表現すると以下のようになる。

一方、以下の数式は実質的な計算式を意味するものでなく、本発明の理解を促すために、メインオブジェクト予測領域の深さ情報（Ｄｍ）、平均深さ情報（Ｄａ）、字幕の深さ（Ｄ）、字幕の位置、大きさ、色相などを算出するためのアルゴリズム言語を意味する。なお、以下の数式は字幕情報を生成するための一つの例示に過ぎず、別のアルゴリズム言語または別の数式によって字幕情報を生成することができる。

ここで、Ｄｍとはメインオブジェクト予測領域の深さ情報を意味し、Ｄｍは注視領域であるメインオブジェクト予測領域の左眼映像および右眼映像間のｘ軸上の位置差を計算する“ｃａｌｃｕｌａｔｅ＿ｄｅｐｔｈ＿ｏｆ＿ｍａｉｎ＿ｏｂｊｅｃｔ（）”関数を用いて算出されてよい。

一実施形態において、メインオブジェクト深さ情報算出部３３０は、メインオブジェクト予測領域の深さ情報を３Ｄ映像に対する輝度分析により決定することができる。

一方、本発明の一実施形態に係るディスプレイ装置では、メインオブジェクト深さ情報算出部３３０の抽出されたメインオブジェクト予測領域の深さ情報を算出するものとして例示しているが、本発明はこれに限らずに、３Ｄ映像内にメインオブジェクト予測領域の深さ情報が３Ｄ映像に予め含まれたり、別の外部装置によって提供されてよい。この場合、メインオブジェクト深さ情報算出部３３０がその機能をしないこともある。

平均深さ情報算出部３４０は、３Ｄ映像の平均深さ情報を算出し、具体的に３Ｄ映像の平均深さ情報を３Ｄ映像の左眼映像および右眼映像の全体的な差異を用いて算出することができ、これを数式で表現すると以下のようになる。

ここで、Ｄａとは３Ｄ映像の平均深さ情報を意味し、Ｄａは３Ｄ映像の左／右映像間のｘ軸上の位置差を計算する“Ｃａｌｃｕｌａｔｅ＿ａｖｅｒａｇｅ＿ｄｅｐｔｈ＿ｏｆ＿ｓｃｅｎｅ（）”関数を用いて算出されてよい。

一方、本発明の一実施形態に係るディスプレ装置では、平均深さ情報算出部３４０が３Ｄ映像の平均深さ情報を算出するものとして例示しているが、本発明はこれに限らずに、３Ｄ映像内に映像の平均深さ情報が３Ｄ映像に予め含まれたり、別の外部装置によって提供されてよい。この場合、平均深さ情報算出部３４０がその機能をしないこともある。

字幕テキスト抽出部３５０は、３Ｄ映像と別途に字幕ファイルが存在する場合、３Ｄ映像の字幕ファイルから字幕テキストを抽出する。

字幕情報生成部３６０は、メインオブジェクト深さ情報算出部３３０から算出された３Ｄ映像のメインオブジェクト予測領域の深さ情報を用いて字幕情報を生成し、字幕テキスト抽出部３５０により抽出された字幕テキストを生成した字幕情報により、左眼映像の字幕および右眼映像の字幕を区分して生成する。

ここで、字幕情報は字幕が３Ｄ映像に合成されて表示される字幕の深さ、位置、大きさ、色相のうち少なくとも一つを含んでよい。

ここで、字幕の深さ、位置、大きさ、色相のうち少なくとも一つは、３Ｄ映像の毎フレームごとに異なる値を有してよい。これは、字幕の深さ、位置、大きさ、色相などがメインオブジェクト予測領域の位置および深さ情報、映像の平均深さ情報などによって決定されるためである。

なお、字幕の色相は、メインオブジェクト予測領域の色相に応じて変わってよい。即ち、メインオブジェクト予測領域の色相が変わることにより、字幕そのものの色相が変わってもよく、このとき、字幕の色相はメインオブジェクト予測領域の色相と同様に変わったり、映像との識別性のためにメインオブジェクト予測領域と異なる色に変わってよい。

そして、字幕の位置は映像の上部、下部、側面、映像の外部などでよく、映像の内部でもよい。なお、一定の位置ではなく、メインオブジェクト予測領域が動くことで、字幕またはメインオブジェクト予測領域の周囲を移動しつつ位置することもできる。

一方、本発明の字幕情報は上述の情報に限らず、字幕の陰影度、特殊効果の有無、字幕のフォントなどの多様な情報を含んでよい。なお、字幕情報は本発明の一実施形態に係る字幕情報生成部３６０で生成することができるが、３Ｄ入力情報として外部装置から提供されたり、３Ｄ映像に含まれていることもできる。この場合、字幕情報生成部３６０はその機能をしないこともある。

一実施形態において、字幕情報生成部３６０はメインオブジェクト予測領域の深さ情報に加えて平均深さ情報算出部３４０から算出された平均深さ情報を用いて字幕情報を生成することができ、これを数式で表現すると以下のようになる。

ここで、Ｄとは字幕の深さを意味し、ｗは０から１の間の重み付け値を意味する。即ち、字幕の深さＤはメインオブジェクト予測領域の深さ情報Ｄｍ及び映像の平均深さ情報Ｄａを用いて算出されることができる。

なお、例えば、字幕情報生成部３６０は、字幕情報として字幕のｘ軸上の位置を左眼映像と右眼映像とを区分して生成することができ、これを数式で表現すると以下のようになる。

ここで、Ｐｏｓ＿Ｌｅｆｔとは字幕の左眼映像のｘ軸上の位置を意味し、Ｐｏｓ＿Ｒｉｇｈｔとは字幕の右眼映像のｘ軸上の位置を意味する。なお、ｘは字幕が初めに位置する任意の位置でもよく、例えば、メインオブジェクト抽出部により３Ｄ映像から抽出されたメインオブジェクト予測領域の境界線を用いて計算された字幕の初めの位置であってよい。

字幕合成部３７０は、字幕情報生成部３６０によって生成された字幕情報により字幕を３Ｄ映像と合成する。即ち、字幕合成部３７０は字幕情報生成部３６０によって生成された字幕情報により字幕の深さ、位置、大きさ、色相などを調節して３Ｄ映像の左眼映像には左眼映像に該当する字幕を、右眼映像には右眼映像に該当する字幕を合成する。

なお、例えば、字幕合成部３７０は字幕情報である字幕の位置、大きさ、色相などに３Ｄ映像の左眼映像と右眼映像とを区分して合成することができ、これを数式に表現すると以下のようになる。

ここで、Ｃａｐｔｉｏｎとは、数式４から算出された左眼映像のｘ軸上の字幕位置であるＰｏｓ＿Ｌｅｆｔと、右眼映像のｘ軸上の字幕位置であるＰｏｓ＿Ｒｉｇｈｔ、ｙ軸上の字幕位置、字幕の大きさＳ、字幕の色相Ｃによって字幕と３Ｄ映像を合成する命令語を意味する。

従って、本発明の一実施形態に係るディスプレイ装置の字幕合成部３７０は、３Ｄ映像のメインオブジェクト予測領域の深さ情報および平均深さ情報に応じて算出された字幕情報である字幕の深さ、位置、大きさ、色相などによって合成される字幕の深さ、位置、大きさ、色相などを調節して３Ｄ映像と字幕を合成することができる。

映像出力部３８０は、字幕合成部３７０によって字幕の合成された３Ｄ映像を表示する。即ち、映像出力部３８０は字幕合成部３７０から出力される字幕の合成された３Ｄ映像の左眼映像と右眼映像とを交互に出力して視聴者に提供する。

図４は、図１に示されたディスプレイ装置の別の実施形態に係る概略的なブロック図である。図４に示すように、ディスプレイ装置４００は、３Ｄ映像変換部４１０、メインオブジェクト抽出部４２０、メインオブジェクト深さ情報算出部４３０と、平均深さ情報算出部４４０、字幕映像抽出部４５０、字幕情報生成部４６０、字幕合成部４７０および映像出力部４８０を含む。一方、図４に示されたディスプレイ装置４００は、３Ｄ映像に字幕が含まれている実施形態に該当し得る。

上述の図４に示された構成要素のうち字幕映像抽出部４５０を除いて残りの構成要素は図３で既に説明したため、以下では残りの構成要素について簡単に説明する。

３Ｄ映像変換部４１０は、２Ｄ映像を３Ｄ映像に変換した後、３Ｄ映像のフォーマットを参照し、左眼映像と右眼映像を加工し、加工された左眼映像と右眼映像とが時分割されて交互に表示されるように、３Ｄ映像に変換する役割を担う。

従って、本発明の別の実施形態に係るディスプレイ装置は、２Ｄ映像が入力される場合にも、３Ｄ映像に変換し、後述の字幕情報生成部４６０では３Ｄ映像に適した字幕情報により字幕を生成することができる。

メインオブジェクト抽出部４２０は、３Ｄ映像からメインオブジェクトの位置する領域を予測してメインオブジェクト予測領域を抽出する。

一方、本発明の別の実施形態に係るディスプレイ装置では、メインオブジェクト抽出部４２０が３Ｄ映像からメインオブジェクト予測領域を抽出するものとして例示しているが、本発明はこれに限らずに、３Ｄ映像内のメインオブジェクト予測領域に対する情報が３Ｄ映像に予め含まれたり、別の外部装置によって提供されてよい。この場合、メインオブジェクト抽出部４２０がその機能をしないこともある。

メインオブジェクト深さ情報算出部４３０は、メインオブジェクト抽出部４２０から抽出されたメインオブジェクト予測領域の深さ情報を算出し、具体的にメインオブジェクト予測領域に該当する３Ｄ映像の左眼映像および右眼映像の領域を抽出する。

別の実施形態において、メインオブジェクト深さ情報算出部４３０は、メインオブジェクト予測領域の深さ情報を３Ｄ映像に対する輝度分析により決定することができる。

一方、本発明の別の実施形態に係るディスプレイ装置では、メインオブジェクト深さ情報算出部４３０の抽出されたメインオブジェクト予測領域の深さ情報を算出するものとして例示しているが、本発明はこれに限らずに、３Ｄ映像内にメインオブジェクト予測領域の深さ情報が３Ｄ映像に予め含まれたり、別の外部装置によって提供されてよい。この場合、メインオブジェクト深さ情報算出部４３０がその機能をしないこともある。

平均深さ情報算出部４４０は、３Ｄ映像の平均深さ情報を算出し、具体的に３Ｄ映像の平均深さ情報を３Ｄ映像の左眼映像および右眼映像の全体的な差異を用いて算出することができる。

一方、本発明の別の実施形態に係るディスプレ装置では、平均深さ情報算出部４４０が３Ｄ映像の平均深さ情報を算出するものとして例示しているが、本発明はこれに限らずに、３Ｄ映像内に映像の平均深さ情報が３Ｄ映像に予め含まれたり、別の外部装置によって提供されてよい。この場合、平均深さ情報算出部４４０がその機能をしないこともある。

字幕映像抽出部４５０は、３Ｄ映像に字幕が含まれている場合、３Ｄ映像から字幕映像を抽出する。

字幕情報生成部４６０は、メインオブジェクト深さ情報算出部４３０から算出された３Ｄ映像のメインオブジェクト予測領域の深さ情報を用いて字幕情報を生成し、字幕映像抽出部４５０により抽出された字幕映像を生成した字幕情報により、左眼映像の字幕および右眼映像の字幕を区分して生成する。

ここで、字幕情報は字幕が３Ｄ映像に合成されて表示される字幕の深さ、位置、大きさ、色相のうち少なくとも一つを含んでよい。

なお、字幕の色相は、メインオブジェクト予測領域の色相に応じて変わってよい。即ち、メインオブジェクト予測領域の色相が変わることにより、字幕そのものの色相が変わってもよく、このとき、字幕の色相はメインオブジェクト予測領域の色相と同様に変わったり、映像との識別性のためにメインオブジェクト予測領域と異なる色に変わってよい。

一方、本発明の字幕情報は上述の情報に限らず、字幕の陰影度、特殊効果の有無、字幕のフォントなどの多様な情報を含んでよい。なお、字幕情報は本発明の別の実施形態に係る字幕情報生成部４６０で生成することができるが、３Ｄ入力情報として外部装置から提供されたり、３Ｄ映像に含まれていることもできる。この場合、字幕情報生成部４６０はその機能をしないこともある。

なお、字幕の深さ、位置、大きさ、色相のうち少なくとも一つは、３Ｄ映像の毎フレームごとに異なる値を有してよい。これは、字幕の深さ、位置、大きさ、色相などがメインオブジェクト予測領域の位置および深さ情報、映像の平均深さ情報などによって決定されるためである。

別の実施形態において、字幕情報生成部４６０はメインオブジェクト予測領域の深さ情報に加えて平均深さ情報算出部４４０から算出された平均深さ情報を用いて字幕情報を生成することができる。

字幕合成部４７０は、字幕情報生成部４６０によって生成された字幕情報により字幕を３Ｄ映像と合成する。即ち、字幕合成部４７０は字幕情報生成部４６０によって生成された字幕情報により字幕の深さ、位置、大きさ、色相などを調節して３Ｄ映像の左眼映像には左眼映像に該当する字幕を、右眼映像には右眼映像に該当する字幕を合成する。

なお、例えば、字幕合成部４７０は字幕情報である字幕の位置、大きさ、色相などに３Ｄ映像の左眼映像と右眼映像とを区分して合成することができる。

従って、本発明の別の実施形態に係るディスプレイ装置の字幕合成部４７０は、３Ｄ映像のメインオブジェクト予測領域の深さ情報および平均深さ情報に応じて算出された字幕情報である字幕の深さ、位置、大きさ、色相などによって合成される字幕の深さ、位置、大きさ、色相などを調節して３Ｄ映像と字幕を合成することができる。

映像出力部４８０は、字幕合成部４７０によって字幕の合成された３Ｄ映像を表示する。即ち、映像出力部４８０は字幕合成部４７０から出力される字幕の合成された３Ｄ映像の左眼映像と右眼映像とを交互に出力して視聴者に提供する。

図５は、本発明の一実施形態に係る字幕情報を生成する一例を説明するための図である。

図５に示すように、本発明の多様な実施形態に係るディスプレイ装置は、３Ｄ映像からメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）予測領域を抽出し、抽出されたメインオブジェクト予測領域の深さ情報（ｄｍ）と映像の平均深さ情報（ｄａ）を用いて、字幕の位置（ｘ、ｙ）、大きさ（ｓ）、深さ（ｄ）を決定することができる。即ち、図５のように、３Ｄ映像の画面で視聴者が主に凝視する対象である剣を持つ人がメインオブジェクト予測領域に該当するのである。

従って、本発明の多様な実施形態に係るディスプレイ装置は、字幕が必要な３Ｄコンテンツにおいて動的に変化するメインオブジェクト予測領域の深さ情報に応じて字幕の深さを動的に変えることにより、眼の調節輻輳の不一致の変化を最小限化するため、視聴者の眼の疲労感を緩和することができる。なお、３Ｄ入力情報として、字幕情報である字幕の深さ、大きさ、位置、色相などを変えることにより視聴者への情報伝達を効果的に行なうことができる。

図６は、本発明の一実施形態に係るディスプレイ方法を示すフローチャートである。

まず、３Ｄ映像からメインオブジェクトの位置する領域を予測するメインオブジェクト予測領域を抽出する（Ｓ６１０）。

一実施形態において、メインオブジェクト予測領域を抽出するステップ以前に、入力映像が３Ｄ映像である場合、２Ｄ映像を３Ｄ映像に変換するステップを更に含んでよい。具体的に、３Ｄ映像のフォーマットを参照し、左眼映像と右眼映像を加工し、加工された左眼映像と右眼映像とが時分割されて交互に表示されるように３Ｄ映像に変換することができる。

従って、本発明の一実施形態に係るディスプレイ方法は、２Ｄ映像が入力される場合にも３Ｄ映像に変換することにより、３Ｄ映像に適した字幕情報により字幕を生成することができる。

次いで、抽出されたメインオブジェクト予測領域の深さ情報を算出する（Ｓ６２０）。ここで、メインオブジェクト予測領域の深さ情報はメインオブジェクト予測領域に該当する３Ｄ映像の左眼映像および右眼映像の領域を抽出し、抽出された複数領域の深さ情報の差異を算出することで決定されることができる。

なお、メインオブジェクト予測領域の深さ情報は、３Ｄ映像に対する輝度分析によって決定されることもできる。

一実施形態において、本発明の一実施形態に係るディスプレイ方法は、３Ｄ映像の平均深さ情報を算出するステップを更に含んでよい。

ここで、平均深さ情報は、３Ｄ映像の左眼映像および右眼映像の全体的な差異を用いて算出されてよい。

次いで、メインオブジェクト予測領域の深さ情報を用いて字幕情報を生成する（Ｓ６３０）。

一実施形態において、字幕情報を生成するステップは、メインオブジェクト予測領域の深さ情報および算出された３Ｄ映像の平均深さ情報を用いて字幕情報を生成することができる。

次に、生成された字幕情報により字幕を３Ｄ映像と合成する（Ｓ６４０）。

一実施形態において、本発明の一実施形態に係るディスプレイ方法は、３Ｄ映像の字幕ファイルから字幕を抽出するステップを更に含んでよい。即ち、３Ｄ映像と別途に字幕ファイルが存在する場合、３Ｄ映像の字幕ファイルから字幕テキストを抽出することができる。

別の実施形態において、本発明の一実施形態に係るディスプレイ方法は、３Ｄ映像から字幕を抽出するステップを更に含んでよい。即ち、３Ｄ映像に字幕が含まれている場合、３Ｄ映像から字幕映像を抽出することができる。

ここで、字幕情報は字幕が３Ｄ映像に合成されて表示される字幕の深さ、位置、大きさ、色相のうち少なくとも一つを含んでよい。

ここで、字幕の深さ、位置、大きさ、色相のうち少なくとも一つは３Ｄ映像の毎フレームごとに異なる値を有してよい。これは、字幕の深さ、位置、大きさ、色相などがメインオブジェクト予測領域の位置および深さ情報、映像の平均深さ情報などによって決定されるためである。

なお、字幕の色相は、メインオブジェクト予測領域の色相に応じて変わってよい。即ち、メインオブジェクト予測領域の色相が変わることにより、字幕そのものの色相が変わってもよく、このとき、字幕の色相はメインオブジェクト予測領域の色相と同様に変わったり、映像との識別性のためにメインオブジェクト予測領域と異なる色に変わってよい。

そして、字幕の位置は映像の上部、下部、側面、映像の外部などでよく、映像の内部でもよい。なお、一定の位置ではなく、メインオブジェクト予測領域が動くことで、字幕またはメインオブジェクト予測領域の周囲を移動しつつ位置することもできる。

即ち、本発明の一実施形態に係るディスプレイ方法は、生成された字幕情報により字幕の深さ、位置、大きさ、色相などを調節して３Ｄ映像の左眼映像には左眼映像に該当する字幕を、右眼映像には右眼映像に該当する字幕を合成する。

従って、本発明の一実施形態に係るディスプレイ方法は、３Ｄ映像のメインオブジェクト予測領域の深さ情報および平均深さ情報に応じて算出された字幕情報である字幕の深さ、位置、大きさ、色相などによって字幕の深さ、位置、大きさ、色相などを調節して３Ｄ映像と字幕を合成することができる。

最後に、字幕の合成された３Ｄ映像を表示する（Ｓ６５０）。即ち、本発明の一実施形態に係るディスプレイ方法は、字幕の合成された３Ｄ映像を左眼映像と右眼映像とに交互に出力して視聴者に提供する。

従って、本発明の多様な実施形態に係るディスプレイ方法は、字幕が必要な３Ｄコンテンツにおいて動的に変化するメインオブジェクト予測領域の深さ情報に応じて字幕の深さを動的に変えることにより、眼の調節輻輳の不一致の変化を最小限化するため、視聴者の眼の疲労感を緩和することができる。なお、３Ｄ入力情報として、字幕情報である字幕の深さ、大きさ、位置、色相などを変えることにより視聴者への情報伝達を効果的に行なうことができる。

一方、上述のディスプレイ方法は、多様なコンピュータ手段を通じて行なうことのできるプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に記録されることができる。このとき、コンピュータで読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。一方、記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェアの当業者に公知されて使用可能なものあってよい。

コンピュータで読み取り可能な記録媒体には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｉｃ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、およびロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム命令を保存して行なうように特別に構成されたハードウェア装置が含まれる。一方、このような記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する搬送波を含む光または金属線、導波管などの伝送媒体であってよい。

なお、プログラム命令には、コンパイラにより作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行なうために、一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆でもよい。

一方、本発明の属する技術分野の当業者は、本発明がその技術的思想や必須の特徴を変更せずに別の具体的な形態で実施され得ることを理解するだろう。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. ３Ｄ映像のメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）予測領域の深さ情報を用いて字幕情報を生成するステップと、
   前記生成された字幕情報によって字幕を前記３Ｄ映像と合成して表示するステップと、
   を含むディスプレイ方法。
2. 前記字幕情報は、
   前記字幕の深さ、位置、大きさ、色相のうち少なくとも一つを含むことを特徴とする請求項１に記載のディスプレイ方法。
3. 前記字幕の色相は、
   前記メインオブジェクト予測領域の色相に応じて変わることを特徴とする請求項１に記載のディスプレイ方法。
4. 前記３Ｄ映像から前記メインオブジェクトの位置する領域を予測して前記メインオブジェクト予測領域を抽出するステップと、
   前記抽出されたメインオブジェクト予測領域の深さ情報を算出するステップと、
   を更に含むことを特徴とする請求項１に記載のディスプレイ方法。
5. 前記メインオブジェクト予測領域の深さ情報は、
   前記メインオブジェクト予測領域に該当する前記３Ｄ映像の左眼映像および右眼映像の領域を抽出し、前記抽出された領域の深さ情報の差異を算出することで決定されることを特徴とする請求項１に記載のディスプレイ方法。
6. 前記メインオブジェクト予測領域の深さ情報は、
   前記３Ｄ映像に対する輝度分析によって決定されることを特徴とする請求項１に記載のディスプレイ方法。
7. 前記３Ｄ映像の平均深さ情報を算出するステップを更に含み、
   前記字幕情報を生成するステップは、
   前記メインオブジェクト予測領域の深さ情報および前記算出された平均深さ情報を用いて前記字幕情報を生成することを特徴とする請求項１に記載のディスプレイ方法。
8. 前記３Ｄ映像の字幕ファイルから前記字幕を抽出するステップを更に含むことを特徴とする請求項１に記載のディスプレイ方法。
9. 前記３Ｄ映像から前記字幕を抽出するステップを更に含むことを特徴とする請求項１に記載のディスプレイ方法。
10. ３Ｄ映像のメインオブジェクト（Ｍａｉｎ Ｏｂｊｅｃｔ）予測領域の深さ情報を用いて字幕情報を生成する字幕情報生成部と、
    前記生成された字幕情報によって字幕を前記３Ｄ映像と合成する字幕合成部と、
    前記字幕の合成された前記３Ｄ映像を表示する映像出力部と、
    を含むディスプレイ装置。
11. 前記字幕情報は、
    前記字幕の深さ、位置、大きさ、色相のうち少なくとも一つを含むことを特徴とする請求項１０に記載のディスプレイ装置。
12. 前記字幕の色相は、
    前記メインオブジェクト予測領域の色相に応じて変わることを特徴とする請求項１０に記載のディスプレイ装置。
13. 前記３Ｄ映像から前記メインオブジェクトの位置する領域を予測して前記メインオブジェクト予測領域を抽出するメインオブジェクト抽出部と、
    前記抽出されたメインオブジェクト予測領域の深さ情報を算出するメインオブジェクト深さ情報算出部と、
    を更に含むことを特徴とする請求項１０に記載のディスプレイ装置。
14. 前記メインオブジェクト深さ情報算出部は、
    前記メインオブジェクト予測領域に該当する前記３Ｄ映像の左眼映像および右眼映像の領域を抽出し、前記抽出された領域の深さ情報の差異を算出することにより、前記メインオブジェクト予測領域の深さ情報を決定することを特徴とする請求項１３に記載のディスプレイ装置。
15. 前記３Ｄ映像の平均深さ情報を算出する平均深さ情報算出部を更に含み、
    前記字幕情報生成部は、
    前記メインオブジェクト予測領域の深さ情報および前記算出された平均深さ情報を用いて前記字幕情報を生成することを特徴とする請求項１３に記載のディスプレイ装置。

Images