JP2012253768A - ３ｄ映像変換装置、その深さ情報の調整方法及びその保存媒体 - Google Patents

Abstract

【課題】 ２次元映像を３次元映像に変換する場合、視聴者の視聴疲れを最小化することができる３Ｄ映像変換装置、その深さ情報調整方法、及びその保存媒体を提供する。
【解決手段】 さらに詳しくは、本発明による３Ｄ映像変換装置は、入力映像に対して深さ情報を生成する深さ情報生成部と；前記生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像から既に設定された範囲を超過する視差を有するオブジェクトを検出するオブジェクト検出部と；前記検出されたオブジェクトの視差を既に設定された範囲で調整することによって前記オブジェクトの深さ情報を調整する深さ情報調整部と；前記調整された深さ情報に従って前記入力映像をレンダリングするレンダリング部と；を含む。
【選択図】 図１

Description

本発明は、３Ｄ映像変換装置、その深さ情報調整方法、及びその保存媒体に係り、さらに詳しくは、２次元映像を３次元映像に変換できる３Ｄ映像変換装置、その深さ情報調整方法及びその保存媒体に関する。

２次元映像を３次元映像に変換する時、立体感を向上するために過度な深さ値を適用すれば、過度な陰視差（Ｎｅｇａｔｉｖｅ ｐａｒａｌｌａｘ）又は陽視差（Ｐｏｓｉｔｉｖｅ ｐａｒａｌｌａｘ）によって目の疲れがひどくなって視聴者に不便を加重させる問題がある。

従って、本発明の目的は、目の疲れを最小化して、３次元映像視聴の便宜を提供できる３Ｄ映像変換装置、その深さ情報調整方法、及びその保存媒体を提供することである。

前記目的は、本発明に従って、３Ｄ映像変換装置において、入力映像に対して深さ情報を生成する深さ情報生成部と；前記生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像から既に設定された範囲を超過する視差を有するオブジェクトを検出するオブジェクト検出部と；前記検出されたオブジェクトの視差を既に設定された範囲で調整することによって前記オブジェクトの深さ情報を調整する深さ情報調整部と；前記調整された深さ情報に従って前記入力映像をレンダリングするレンダリング部と；を含むことを特徴とする３Ｄ映像変換装置によって達成されることができる。

前記装置は、前記検出されたオブジェクトを指示する第１ＵＩと、前記検出されたオブジェクトの視差調整範囲を設定できる第２ＵＩと、を生成するＵＩ生成部をさらに含むことができる。

前記装置は、ディスプレイ部とユーザ入力部をさらに含み、前記深さ情報調整部は、前記第２ＵＩを通じて入力されたユーザ選択による特定の視差調整範囲に従って前記オブジェクトの視差を調整することができる。

前記深さ情報調整部は、前記入力映像に対するメタデータを利用して前記生成された深さ情報を所定の範囲で調整することができる。

前記メタデータは、前記入力映像に対応するコンテンツのジャンル情報及び視聴年齢情報の中で少なくともいずれか一つを含むことができる。

また、前記目的は、本発明によって、３Ｄ映像変換装置において、複数のフレームを含む入力映像に対して深さ情報を生成する深さ情報生成部と；前記生成された深さ情報に基づいて前記複数のフレームの中で第１フレーム内のオブジェクトに対する深さ情報と第２フレーム内のオブジェクトに対する深さ情報の差を計算する深さ情報差計算部と；前記深さ情報差計算部によって計算された結果が既に設定された臨界値を超過すれば前記第２フレーム内のオブジェクトに対する深さ情報を既に設定された範囲で調整する深さ情報調整部と；前記調整された深さ情報に従って前記入力映像をレンダリングするレンダリング部と；を含むことを特徴とする３Ｄ映像変換装置によって達成されることができる。

前記第１フレームのオブジェクトと第２フレームのオブジェクトは、ユーザによって同一オブジェクトと認識されることができる。

前記第１フレームのオブジェクトと前記第２フレームのオブジェクトは同一であり、前記第１フレームと前記第２フレームの間で動きが最も大きいオブジェクトを含むことができる。

前記装置は、前記深さ情報差計算部によって計算された、前記第１フレームのオブジェクト及び第２フレームのオブジェクトの深さ情報差を示す第３ＵＩを生成するＵＩ生成部をさらに含むことができる。

前記第３ＵＩは、前記第２フレームのオブジェクトに対する深さ情報調整範囲を設定できる第４ＵＩをさらに含むことができる。

前記装置は、ディスプレイ部とユーザ入力部をさらに含み、前記深さ情報調整部は、前記第４ＵＩを通じて入力されたユーザ選択による特定の深さ情報調整範囲に従って前記第２フレームのオブジェクトの深さ情報を調整することができる。

また、前記目的は、本発明に従って、３Ｄ映像変換装置の深さ情報調整方法において、入力映像に対して深さ情報を生成する段階と；前記生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像から既に設定された範囲を超過する視差を有するオブジェクトを検出する段階と；前記検出されたオブジェクトの視差を既に設定された範囲で調整することによって前記オブジェクトの深さ情報を調整する段階と；前記調整された深さ情報に従って前記入力映像をレンダリングする段階と；を含むことを特徴とする３Ｄ映像変換装置の深さ情報調整方法によって達成されることができる。

前記方法は、前記検出されたオブジェクトを指示する第１ＵＩ及び前記検出されたオブジェクトの視差調整範囲を設定できる第２ＵＩを生成及び表示する段階をさらに含むことができる。

前記方法は、前記第２ＵＩを通じてユーザ選択による特定の視差調整範囲が入力される段階をさらに含み、前記深さ情報調整段階は、前記入力された特定の視差調整範囲に従って前記オブジェクトの視差を調整する段階であることができる。

前記深さ情報調整段階は、前記入力映像に対するメタデータを利用して前記生成された深さ情報を所定の範囲で調整する段階をさらに含むことができる。

前記メタデータは、前記入力映像に対応するコンテンツのジャンル情報及び視聴年齢情報の中で少なくともいずれか一つを含むことができる。

また、前記目的は、本発明に従って、３Ｄ映像変換装置の深さ情報調整方法において、複数のフレームを含む入力映像に対して深さ情報を生成する段階と；前記生成された深さ情報に基づいて前記複数のフレームの中で第１フレーム内のオブジェクトに対する深さ情報と第２フレーム内のオブジェクトに対する深さ情報の差を計算する段階と；前記深さ情報差計算部によって計算された結果が既に設定された臨界値を超過すれば前記第２フレーム内のオブジェクトに対する深さ情報を既に設定された範囲で調整する段階と；前記調整された深さ情報に従って前記入力映像をレンダリングする段階と；を含むことを特徴とする３Ｄ映像変換装置の深さ情報調整方法によって達成されることができる。

前記第１フレームのオブジェクトと第２フレームのオブジェクトは、ユーザによって同一オブジェクトと認識されることができる。

前記第１フレームのオブジェクトと前記第２フレームのオブジェクトは同一で、前記第１フレームと前記第２フレームの間で動きが最も大きいオブジェクトであることができる。

前記方法は、前記深さ情報差計算部によって計算された第１フレームのオブジェクト及び第２フレームのオブジェクトの深さ情報差を示す第３ＵＩを生成及び表示する段階をさらに含むことができる。

前記第３ＵＩは、前記第２フレームのオブジェクトに対する深さ情報調整範囲を設定できる第４ＵＩをさらに含むことができる。

前記方法は、前記第４ＵＩを通じてユーザ選択による特定の深さ情報調整範囲が入力される段階をさらに含み、前記深さ情報調整段階は、前記入力された特定の深さ情報調整範囲に従って前記第２フレームのオブジェクトの深さ情報を調整することができる。

また、前記目的は、本発明に従って、前記記載された方法を行なうプログラムを記録したコンピュータ判読可能な記録媒体によって達成されることができる。

以上、説明したように、本発明によれば、ユーザの目の疲れを最小限で減少させることができる３Ｄ映像変換装置、その深さ情報の調整方法及びその保存媒体が提供される。

本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。 本発明の他の実施形態による３Ｄ映像変換装置の制御ブロック図である。 陰視差と陽視差を示す図である。 図２の３Ｄ映像変換装置の深さ情報調整方法の一例を示す図である。 図１の３Ｄ映像変換装置の深さ情報調整方法のフローチャートである。 図２の３Ｄ映像変換装置の深さ情報調整方法のフローチャートである。

以下、添付図面を参考して、本発明の実施形態に対して本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように詳細に説明する。本発明は、多様な形態で具現されることができるし、ここで説明する実施形態に限定されない。本発明を明確に説明するために説明に係らない部分は省略し、明細書において、同一又は類似の構成要素に対しては同じ参照符号を付けるようにする。

図１及び図２は、本発明の一実施形態による３Ｄ映像変換装置の制御ブロック図である。３Ｄ映像変換装置１００、２００は、外部のソース提供装置（図示せず）から２次元映像又は単眼映像を受信して３次元映像又は両眼映像に変換できる電子装置として、例えば、ディスプレイ装置、特に一般ＰＣなどを含むことができる。３Ｄ映像変換装置１００、２００は、受信された入力映像に対して所定のプロセッサーによって生成された深さ情報をユーザの選択が反映されるように調整し、前記調整された深さ情報を利用して３次元映像を生成する。３Ｄ映像変換装置１００、２００は、ソース提供装置（図示せず）から提供された２次元映像を３次元映像に変換して、３Ｄ映像変換装置１００，２００で前記変換した３次元映像を立体的に表示したり、外部の３次元映像を再生できるコンテンツ再生装置（図示せず）、例えば、ＴＶ、ＰＣ、スマートフォン、スマートパッド、ＰＭＰ、ＭＰ３プレーヤーなどで前記変換した３次元映像を伝達することができる。

本実施形態によるネットワークにおいて、２次元映像及び/又は３次元映像の送信のためのデータ通信は、有線及び/又は無線通信方式などネットワークの通信方式には何の制限がなくて、知られた通信方式を全部含む。

図１に示すように、３Ｄ映像変換装置１００は、第１受信部１１０、第１深さ情報生成部１２０、オブジェクト検出部１３０、第１深さ情報調整部１４０、第１レンダリング部１５０、第１ディスプレイ部１６０、第１ＵＩ生成部１７０及び第１ユーザ入力部１８０を含む。図２に示すように、３Ｄ映像変換装置２００は、第２受信部２１０、第２深さ情報生成部２２０、深さ情報差計算部２３０、第２深さ情報調整部２４０、第２レンダリング部２５０、第２ディスプレイ部２６０、第２ＵＩ生成部２７０及び第２ユーザ入力部２８０を含む。

第１受信部１１０及び第２受信部は、外部のソース提供装置（図示せず）から入力映像を受信することができる。入力映像は、２次元映像または単眼映像を含むことができる。３次元映像は、視聴者の両眼視差を利用することとして、複数の左眼フレーム及び複数の右眼フレームを含むことができる。複数の左眼フレーム及び複数の右眼フレームの中で、一組の左眼フレームと右眼フレームは、入力映像の複数のフレームの中で対応する少なくともいずれか一つから各々変換されることができる。

第１受信部１１０及び第２受信部２１０は、所定のネットワーク（図示せず）を通じて、外部のソース提供装置（図示せず）から複数のフレームを含む２次元映像が提供されることができる。前記ソース提供装置は、例えば、ネットワークサーバーとして、２次元映像を保存し３Ｄ映像変換装置１００、２００の要請に従って２次元映像を３Ｄ映像変換装置１００、２００に送信することができる。

他の実施形態として、第１受信部１１０及び第２受信部２１０は、ネットワークでない他のデータ送信手段を通じてソース提供装置(図示せず）から２次元映像を受信することができる。例えば、ソース提供装置(図示せず）は、２次元映像を保存するハードディスク、フラッシュメモリー等のような保存手段を備える装置として、３Ｄ映像変換装置１００、２００にローカル装置として連結されて３Ｄ映像変換装置１００、２００の要請に従って２次元映像を３Ｄ映像変換装置１００、２００に送信することができる。この場合、２次元映像のデータ送信のためには、第１受信部１１０及び第２受信部２１０と、ソース提供装置(図示せず）とのローカル連結方式には制限がなくて、例えば、ＵＳＢ等を含む。

第１深さ情報生成部１２０及び第２深さ情報生成部２２０は、複数のフレームを含む入力映像に対する深さ情報を生成する。一実施形態によれば、第１深さ情報生成部１２０及び第２深さ情報生成部２２０は、一般的に知られた深さ推定アルゴリズムによって生成されることもできる。他の実施形態によれば、外部から深さ設定情報を受信し、前記深さ設定情報に基づいて入力映像に対する深さ情報を生成することもできる。この時、深さ設定情報は、複数のフレームを含む入力映像に対してフレーム選択情報、オブジェクト選択情報及び深さ値範囲情報の中で少なくともいずれか一つを含む。

オブジェクト検出部１３０は、前記第１深さ情報生成部１２０によって生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像内の既に設定された範囲を超過する視差を有するオブジェクトを検出することができる。

第１深さ情報調整部１４０は、前記オブジェクト検出部１３０によって検出されたオブジェクトの視差を既に設定された範囲で調整することによって前記オブジェクトの深さ情報を調整することができる。オブジェクト検出部１３０及び第１深さ情報調整部１４０に対てしは、図３で一層詳細に説明する。

深さ情報差計算部２３０は、前記第２深さ情報生成部２２０によって生成された深さ情報に基づいて前記複数のフレームの中で第１フレーム内のオブジェクトに対する深さ情報と第２フレーム内のオブジェクトに対する深さ情報との差を計算する。

第２深さ情報調整部２４０は、前記深さ情報差計算部によって計算された結果が既に設定された臨界値を超過すれば前記第２フレーム内のオブジェクトに対する深さ情報を既に設定された範囲で調整する。これに対しては、図４でさらに詳しく説明する。

第１レンダリング部１５０は、第１深さ情報調整部１４０によって調整された深さ情報を利用して入力映像に対してレンダリングを行い、第２レンダリング部２５０は、第２深さ情報調整部２４０によって調整された深さ情報を利用して入力映像に対してレンダリングを行なって結果的に３次元映像を生成する。

第１ディスプレイ部１６０及び第２ディスプレイ部２６０は、後述する第１ＵＩ生成部１７０及び第２ＵＩ生成部２７０によって生成されたＵＩを各々表示する。また、入力映像が３次元映像に変換が進行中である入力映像を前記ＵＩと共に表示することができる。また、３次元映像に変換が完了された立体映像を表示することができる。第１ディスプレイ部１６０及び第２ディスプレイ部２６０の具現方式は、限定されず、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃 （Ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）等の多様なディスプレイ方式で具現されることができる。

第１ＵＩ生成部１７０は、オブジェクト検出部１３０によって検出されたオブジェクトを指示する第１ＵＩと、前記検出されたオブジェクトの視差調整範囲を設定できる第２ＵＩと、を生成することができる。

第２ＵＩ生成部２７０は、深さ情報差計算部２３０によって計算された、第１フレームのオブジェクト及び第２フレームのオブジェクトの深さ情報差を示す第３ＵＩを生成し、前記第３ＵＩは、前記第２フレームのオブジェクトに対する深さ情報調整範囲を設定できる第４ＵＩをさらに含むことができる。

第１ユーザ入力部１８０及び第２ユーザ入力部２８０は、ユーザの入力を受信するユーザーインターフェースとして、３Ｄ映像変換装置１００、２００の機能又は作動に関するユーザの選択が入力される。第１ユーザ入力部１８０及び第２ユーザ入力部２８０は、少なくとも一つのキーボタンを備えることができるし、３Ｄ映像変換装置１００、２００に設けられる操作パネル又はタッチパネルで具現されることができる。また、３Ｄ映像変換装置１００、２００に有無線で連結されたリモートコントロール、キーボード、マウス等の形態で具現されることができる。

図３は、陰視差と陽視差を示す図面として、これを利用して、３Ｄ映像変換装置１００の深さ情報調整方法に対して記載する。図３に示すように、スクリーンを基準として入力映像のオブジェクトがスクリーンの後方に結ばれたように見えることが陽視差Ａ、スクリーンに結ばれたように見えることがゼロ視差Ｂ、スクリーンから飛び出してくるように見えることが陰視差Ｃである。入力映像のオブジェクトが適切な大きさの陽視差又は陰視差を有する場合に、視聴者は立体映像の立体感を享有することができる。しかし、既に設定された範囲を超過する陽視差又は既に設定された範囲を超過する陰視差を有するオブジェクトの場合、過度な立体感によって、ユーザの両眼の疲れは急激に増加し、激しい場合には嘔吐又はめまいが引き起こされることもできる。

また、過度な陽視差又は過度な陰視差を有するオブジェクトの場合、スクリーンの画面で一部分が切られると見える現象が発生することもできる。従って、このような場合、前記オブジェクトの陽視差又は陰視差を調整しなければならない。

従って、オブジェクト検出部１３０は、深さ情報生成部１２０によって生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像内の既に設定された範囲を超過する視差を有するオブジェクトを検出する。この時、第１ＵＩ生成部１７０によって前記オブジェクト検出部１３０によって検出されたオブジェクトを指示する第１ＵＩを生成し、また前記検出されたオブジェクトの視差調整範囲を設定できる第２ＵＩを生成し、このように生成された第１ＵＩ及び第２ＵＩは第１ディスプレイ部１６０に表示される。前記第２ＵＩは、前記オブジェクトの適切な視差調整範囲のガイドラインを共に表示することができる。従って、前記表示されたガイドラインを参考して、ユーザは適切な視差調整範囲を選択することができる。第２ＵＩを通じて第１ユーザ入力部１８０から前記検出されたオブジェクトの視差調整範囲に対するユーザ選択が入力される。第１深さ情報調整部１４０は、前記ユーザ選択による視差調整範囲に基づいて前記オブジェクトの視差を調整することによって、第１深さ情報調整部１４０は前記第１深さ情報生成部１２０によって生成された深さ情報を調整する。第１レンダリング部１５０は、前記第１深さ情報調整部１４０によって調整された深さ情報を利用して、入力映像に対してレンダリングを行なうことになって結果的に３次元映像が生成される。

また、他の一実施形態によれば、第１深さ情報調整部１４０は、前記入力映像に対するメタデータを利用して前記第１深さ調整生成部１２０によって生成された深さ情報を所定範囲で調整することができる。前記メタデータは、前記入力映像に対応するコンテンツのジャンル情報及び視聴年齢情報の中で少なくともいずれか一つを含むことができる。このようなメタデータは、前記入力映像に含まれていたり、別途に外部のソース提供装置(図示せず）から受信することができる。コンテンツジャンル情報は、入力映像に対応するコンテンツが、アクション、スポーツ、ドラマの中でいずれか一つを指示する情報として、コンテンツのジャンルに従って第１深さ情報生成部１２０で生成された深さ情報を加減してコンテンツジャンルに対応される深さ情報を生成することによって、視聴者は、コンテンツジャンルに対応する立体感を享有できる効果を有する。また、コンテンツ視聴年齢情報は、入力映像の視聴適正年齢情報を含んでいる。即ち、幼児期から成人に達するまで、物理的な人間の両眼視差が異なり、また、乳児又は児童の場合に過度な立体感を有する立体映像を視聴する場合、成人よりさらに大きい視聴疲れを感じるだろう。従って、コンテンツの視聴年齢情報に対応して、第１深さ情報生成部１２０で生成された深さ情報を加減して、コンテンツ視聴年齢に対応される深さ情報を生成することによって、視聴者はコンテンツ視聴年齢に対応する立体感を享有できる効果を有する。

図４は、本発明の他の実施形態による３Ｄ映像変換装置２００の深さ情報調整方法を示している。

前後フレームの深さ情報の差が大きい場合、視聴者は、それだけ視聴疲れを感じることになって、めまい、嘔吐のような症状が伴うこともできる。従って、本実施形態によれば、第２深さ情報生成部２２０によって複数のフレームを含む入力映像に対して深さ情報を生成する場合、前記生成された深さ情報に基づいて第１フレーム内のオブジェクトに対する深さ情報と第２フレーム内のオブジェクトに対する深さ情報との差を計算し、前記差が既に設定された臨界値を超過すれば、第２オブジェクトに対する深さ情報を既に設定された範囲で調整することによってユーザの疲れを最小化する。この時、深さ情報の調整は、ユーザの選択が入力されることによって可能になる。

図４に示すように、第１フレームは、第１オブジェクトａ−１、第２オブジェクトｂ−１及び第３オブジェクトｃ−１を含む。第２フレームは、第４オブジェクトａ−２、第５オブジェクトｂ−２及び第６オブジェクトｃ−２を含む。第３フレームは、第７オブジェクトａ−３、第８オブジェクトｂ−３及び第９オブジェクトｃ−３を含む。第４フレームは、第１０オブジェクトａ−４、第１１オブジェクトｂ−４及び第１２オブジェクトｃ−４を含む。ここで、第１オブジェクトａ−１、第４オブジェクトａ−２、第７オブジェクトａ−３及び第１０オブジェクトａ−４は、視聴者に同一オブジェクトと認識される。また、第２オブジェクトｂ−１、第５オブジェクトｂ−２、第８オブジェクトｂ−３及び第１１オブジェクトｂ−４は、視聴者に同一オブジェクトと認識される。また、第３オブジェクトｃ−１、第６オブジェクトｃ−２、第９オブジェクトｃ−３及び第１２オブジェクトｃ−４は、視聴者に同一オブジェクトと認識される。

図４のグラフのＹ軸は深さ値の水準を示し、Ｘ軸はフレームの変化を示す。従って、Ｙ軸の大きさに従って、第１オブジェクト乃至第１２オブジェクトそれぞれの深さレベルが決まり、これは第２深さ情報生成部２２０によって生成された値と言える。

深さ情報差計算部２３０は、第１オブジェクトａ−１と第４オブジェクトａ−２の深さ情報差Ｄａ−１を計算し、第４オブジェクトａ−２と第７オブジェクトａ−３の間の深さ情報差Ｄａ−２を計算し、第７オブジェクトａ−３と第１０オブジェクトａ−４の間の深さ情報差Ｄａ−３を計算する。

また、深さ情報差計算部２３０は、前記のような方法で、第２オブジェクトｂ−１、第５オブジェクトｂ−２、第８オブジェクトｂ−３及び第１１オブジェクトｂ−４の間の深さ情報Ｄｂ−１、Ｄｂ−２、Ｄｂ−３を計算し、第３オブジェクトｃ−１、第６オブジェクトｃ−２、第９オブジェクトｃ−３及び第１２オブジェクトｃ−４の間の深さ情報Ｄｃ−１、Ｄｃ−２、Ｄｃ−３を計算する。

その結果、差値Ｄａ−１、Ｄａ−２、Ｄｂ−２、Ｄｂ−３は、既に設定された臨界値を超過する差であり、残りの差値Ｄａ−３、Ｄｂ−１、Ｄｃ−１、Ｄｃ−２、Ｄｃ−３は、既に設定された臨界値を超過しない差と判断される。前記深さ情報差計算部２３０の結果に従って、前記既に設定された臨界値を超過する差値Ｄａ−１、Ｄａ−２、Ｄｂ−２、Ｄｂ−３を示す第３ＵＩが生成されて表示され、前記表示された差値Ｄａ−１、Ｄａ−２、Ｄｂ−２、Ｄｂ−３を調整するために、第４オブジェクトａ−２、第７オブジェクトａ−３、第８オブジェクトｂ−３及び第１１オブジェクトｂ−４の深さ情報の調整範囲を設定できる第４ＵＩが生成されて表示される。従って、前記第４ＵＩを通じて第２ユーザ入力部２８０によってユーザ選択による深さ情報調整範囲が入力されれば、第２深さ情報調整部２４０は、前記ユーザ選択による深さ情報調整範囲に従って前記第４オブジェクトａ−２、第７オブジェクトａ−３、第８オブジェクトｂ−３及び第１１オブジェクトｂ−４の深さ情報を調整することになる。この時、第４ＵＩは、深さ情報調整範囲のガイドラインを提示する情報を共に表示することができる。従って、ユーザは前記表示されたガイドラインを参照して深さ情報調整範囲を選択入力することができる。

このように調整された深さ情報を利用して、第２レンダリング部２５０は、前記入力映像に対してレンダリングを行なうことになって、結果的に３次元映像が生成されることができる。

図５は、本発明の一実施形態による３Ｄ映像変換装置の深さ情報調整方法を示すフローチャートである。図５に示すように、入力映像を外部のソース提供装置(図示せず）から受信すれば、３Ｄ映像変換装置は、前記受信した入力映像に対して深さ情報を生成する（Ｓ１１）。前記生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像内の既に設定された範囲を超過する視差を有するオブジェクトを検出し（Ｓ１２）、前記検出されたオブジェクトを指示する第１ＵＩ及び検出されたオブジェクトの視差調整範囲を設定できる第２ＵＩを生成及び表示する（Ｓ１３）。前記第２ＵＩを通じてユーザ選択による特定の視差調整範囲が入力されれば（Ｓ１４）、オブジェクトの視差を特定の視差調整範囲で調整することによって前記オブジェクトの深さ情報が調整される（Ｓ１５）。前記調整された深さ情報に従って前記入力映像をレンダリング（Ｓ１６）を遂行して、結果的に入力映像に対する３次元映像が生成される。前記生成された３次元映像を３Ｄ映像変換装置１００で表示する段階をさらに含むことができる。又は、前記生成された３次元映像を外部のコンテンツ再生装置(図示せず）に送信する段階をさらに含むことができる。

図６は、本発明の一実施形態による３Ｄ映像変換装置の深さ情報調整方法のフローチャートである。図６に示すように、複数のフレームを含む入力映像を受信し、前記受信された入力映像に対して深さ情報を生成する（Ｓ２１）。生成された深さ情報に基づいて、前記複数のフレームの中で第１フレーム内のオブジェクトに対する深さ情報と第２フレーム内のオブジェクトに対する深さ情報との差を計算し（Ｓ２２）、前記計算された第１フレームのオブジェクト及び第２フレームのオブジェクトの深さ情報差を表示する第３ＵＩ及び深さ情報調整範囲を設定できる第４ＵＩを生成及び表示する（Ｓ２３）。第４ＵＩを通じて、ユーザ選択による特定の深さ情報調整範囲が入力されれば（Ｓ２４）、前記入力された特定の深さ情報調整範囲に従って第２フレームのオブジェクトの深さ情報を調整する（Ｓ２５）。前記調整された深さ情報に従って前記入力映像をレンダリング（Ｓ２６）を遂行し、結果的に入力映像に対する３次元映像が生成される。前記生成された３次元映像を３Ｄ映像変換装置２００で表示する段階をさらに含むことができる。又は、前記生成された３次元映像を外部のコンテンツ再生装置(図示せず）に送信する段階をさらに含むことができる。

本発明による３Ｄ映像変換装置１００，２００によって具現される方法は、多様なコンピュータ手段を通じて行なわれることができるプログラム命令形態で具現されてコンピュータ判読可能な非一時的保存媒体に記録されることができる。前記コンピュータ判読可能な非一時的保存媒体は、プログラム命令、データ
ファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記非一時的保存媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたことや、コンピュータソフトウェア当業者に公知されて使用可能なことでありうる。コンピュータ判読可能な記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ-ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、プルロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム命令を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令は、例えば、コンパイラーによって作られるような機械語コードだけでなく、インタープリターなどを使ってコンピュータによって実行されることができる高級言語コードを含む。前記ハードウェア装置は、本発明の動作を行うるために、一つ以上のソフトウェアモジュールとして作動するように構成され、その反対も同じである。

以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、本発明の属する技術分野の通常の知識を有する人なら本発明の原則や精神に外れなく本発明の一実施形態を変形し得ることを分かることができる。発明の範囲は、特許請求の範囲とその均等物によって定められる。

１００、２００ ３Ｄ映像変換装置
１１０、２１０ 受信部
１２０、２２０ 深さ情報生成部
１３０ オブジェクト検出部
２３０ 深さ情報差計算部
１４０、２４０ 深さ情報調整部
１５０、２５０ レンダリング部
１６０、２６０ ディスプレイ部
１７０、２７０ ＵＩ生成部
１８０、２８０ ユーザ入力部

Claims (20)

1. ３Ｄ映像変換装置において、
   入力映像に対して深さ情報を生成する深さ情報生成部と；
   前記生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像から既に設定された範囲を超過する視差を有するオブジェクトを検出するオブジェクト検出部と；
   前記検出されたオブジェクトの視差を既に設定された範囲で調整することによって前記オブジェクトの深さ情報を調整する深さ情報調整部と；
   前記調整された深さ情報に従って前記入力映像をレンダリングするレンダリング部と；
   を含むことを特徴とする３Ｄ映像変換装置。
2. 前記検出されたオブジェクトを指示する第１ＵＩと、
   前記検出されたオブジェクトの視差調整範囲を設定できる第２ＵＩと、
   を生成するＵＩ生成部をさらに含むことを特徴とする請求項１に記載の３Ｄ映像変換装置。
3. ディスプレイ部と；
   ユーザ入力部をさらに含み、
   前記深さ情報調整部は、前記第２ＵＩを通じて入力されたユーザ選択により特定の視差調整範囲に従って前記オブジェクトの視差を調整することを特徴とする請求項２に記載の３Ｄ映像変換装置。
4. 前記深さ情報調整部は、
   前記入力映像に対するメタデータを利用して前記生成された深さ情報を所定の範囲で調整することを特徴とする請求項３に記載の３Ｄ映像変換装置。
5. 前記メタデータは、前記入力映像に対応するコンテンツのジャンル情報及び視聴年齢情報の中で少なくともいずれか一つを含むことを特徴とする請求項４に記載の３Ｄ映像変換装置。
6. ３Ｄ映像変換装置において、
   複数のフレームを含む入力映像に対して深さ情報を生成する深さ情報生成部と；
   前記生成された深さ情報に基づいて前記複数のフレームの中で第１フレーム内のオブジェクトに対する深さ情報と第２フレーム内のオブジェクトに対する深さ情報との差を計算する深さ情報差計算部と；
   前記深さ情報差計算部によって計算された結果が既に設定された臨界値を超過すれば前記第２フレーム内のオブジェクトに対する深さ情報を既に設定された範囲で調整する深さ情報調整部と；
   前記調整された深さ情報に従って前記入力映像をレンダリングするレンダリング部と；
   を含むことを特徴とする３Ｄ映像変換装置。
7. 前記第１フレームのオブジェクトと第２フレームのオブジェクトは、ユーザによって同一オブジェクトと認識されることを特徴とする請求項６に記載の３Ｄ映像変換装置。
8. 前記深さ情報差計算部によって計算された、前記第１フレームのオブジェクト及び第２フレームのオブジェクトの深さ情報差を示す第３ＵＩを生成するＵＩ生成部をさらに含むことを特徴とする請求項６に記載の３Ｄ映像変換装置。
9. 前記第３ＵＩは、
   前記第２フレームのオブジェクトに対する深さ情報調整範囲を設定できる第４ＵＩをさらに含むことを特徴とする請求項８に記載の３Ｄ映像変換装置。
10. ディスプレイ部と；
    ユーザ入力部をさらに含み、
    前記深さ情報調整部は、
    前記第４ＵＩを通じて入力されたユーザ選択による特定の深さ情報調整範囲に従って前記第２フレームのオブジェクトの深さ情報を調整することを特徴とする請求項９に記載の３Ｄ映像変換装置。
11. ３Ｄ映像変換装置の深さ情報調整方法において、
    入力映像に対して深さ情報を生成する段階と；
    前記生成された深さ情報に基づいて前記入力映像に対応する左眼映像及び右眼映像から既に設定された範囲を超過する視差を有するオブジェクトを検出する段階と；
    前記検出されたオブジェクトの視差を既に設定された範囲で調整することによって前記オブジェクトの深さ情報を調整する段階と；
    前記調整された深さ情報に従って前記入力映像をレンダリングする段階と；
    を含むことを特徴とする３Ｄ映像変換装置の深さ情報調整方法。
12. 前記検出されたオブジェクトを指示する第１ＵＩ及び前記検出されたオブジェクトの視差調整範囲を設定できる第２ＵＩを生成及び表示する段階をさらに含むことを特徴とする請求項１１に記載の３Ｄ映像変換装置の深さ情報調整方法。
13. 前記第２ＵＩを通じてユーザ選択による特定の視差調整範囲が入力される段階をさらに含み、
    前記深さ情報調整段階は、前記入力された特定の視差調整範囲に従って前記オブジェクトの視差を調整する段階であることを特徴とする請求項１２に記載の３Ｄ映像変換装置の深さ情報調整方法。
14. 前記深さ情報調整段階は、
    前記入力映像に対するメタデータを利用して前記生成された深さ情報を所定の範囲で調整する段階をさらに含むことを特徴とする請求項１３に記載の３Ｄ映像変換装置の深さ情報調整方法。
15. 前記メタデータは、前記入力映像に対応するコンテンツのジャンル情報及び視聴年齢情報の中で少なくともいずれか一つを含むことを特徴とする請求項１４に記載の３Ｄ映像変換装置の深さ情報調整方法。
16. ３Ｄ映像変換装置の深さ情報調整方法において、
    複数のフレームを含む入力映像に対して深さ情報を生成する段階と；
    前記生成された深さ情報に基づいて前記複数のフレームの中で第１フレーム内のオブジェクトに対する深さ情報と第２フレーム内のオブジェクトに対する深さ情報との差を計算する段階と；
    前記深さ情報差計算部によって計算された結果が既に設定された臨界値を超過すれば前記第２フレーム内のオブジェクトに対する深さ情報を既に設定された範囲で調整する段階と；
    前記調整された深さ情報に従って前記入力映像をレンダリングする段階と；
    を含むことを特徴とする３Ｄ映像変換装置の深さ情報調整方法。
17. 前記第１フレームのオブジェクトと第２フレームのオブジェクトは、ユーザによって同一オブジェクトと認識されることを特徴とする請求項１６に記載の３Ｄ映像変換装置の深さ情報調整方法。
18. 前記深さ情報差計算部によって計算された、前記第１フレームのオブジェクト及び第２フレームのオブジェクトの深さ情報差を示す第３ＵＩを生成及び表示する段階をさらに含むことを特徴とする請求項１６に記載の３Ｄ映像変換装置の深さ情報調整方法。
19. 前記第３ＵＩは、
    前記第２フレームのオブジェクトに対する深さ情報調整範囲を設定できる第４ＵＩをさらに含むことを特徴とする請求項１８に記載の３Ｄ映像変換装置の深さ情報調整方法。
20. 前記第４ＵＩを通じて、ユーザ選択による特定の深さ情報調整範囲が入力される段階をさらに含み、
    前記深さ情報調整段階は、前記入力された特定の深さ情報調整範囲に従って前記第２フレームのオブジェクトの深さ情報を調整することを特徴とする請求項１９に記載の３Ｄ映像変換装置の深さ情報調整方法。

Images