JP4436762B2 - 立体映像生成装置及び立体映像配信方法 - Google Patents

Description

この発明は、立体映像生成装置及び立体映像配信方法に関する。

２次元映像信号から抽出された奥行き情報と２次元映像信号とに基づいて立体映像を生成する立体映像受信装置及び立体映像システムが提案されている（特開２０００−７８６１１号参照）。
上記従来技術によれば、実写の２次元映像から視差情報を持たせた立体視用映像を生成することができる。ところで、いきなり強い立体感の立体映像を見せられると、観者が不快に感じてしまうことが考えられる。その一方、立体映像作品の作成者側では、その作品としての性質上、強い立体感で立体映像を視聴させたいという要求もある。

この発明は、上記の事情に鑑み、観者が立体映像作品に対して不快にならず且つ作成者が見せたいとする立体映像作品の視聴も可能にする立体映像生成装置及び立体映像配信方法を提供することを目的とする。
この発明の立体映像生成装置は、上記の課題を解決するために、表示しようとする立体映像に付加されているその立体感強度を示す情報を検出する手段と、前記立体映像の立体感強度を示す情報に基づいてその本来の大きさよりも縮小して表示すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像表示を実行する手段と、を備えたことを特徴とする。
上記の構成であれば、立体映像は当初はその本来の大きさよりも縮小されて表示されるので、たとえ立体感が強い立体映像作品でもその立体感は弱められることになり、観者が不快になるのを回避できる。観者が許容を示す操作を行なうことにより、本来の大きさの立体映像が表示されるので、作成者が見せたいとする立体映像作品の視聴も可能になる。
また、この発明の立体映像生成装置は、表示しようとする立体映像に付加されているその立体感強度を示す情報を検出する手段と、前記立体映像の立体感強度を示す情報に基づいてその本来の立体感よりも立体感を小さくして表示すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像表示を実行する手段と、を備えたことを特徴とする。
上記の構成であれば、立体映像は当初はその本来の立体感よりも立体感を小さくされて表示されるので、たとえ立体感が強い立体映像作品でもその立体感は弱められることになり、観者が不快になるのを回避できる。観者が許容を示す操作を行なうことにより、本来の立体感の立体映像が表示されるので、作成者が見せたいとする立体映像作品の視聴も可能になる。
また、この発明の立体映像生成装置は、表示しようとする立体映像の立体感強度を判定する手段と、前記判定した立体感強度に基づいてその本来の大きさよりも縮小して表示すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像表示を実行する手段と、を備えたことを特徴とする。
また、この発明の立体映像生成装置は、表示しようとする立体映像の立体感強度を判定する手段と、前記判定した立体感強度に基づいてその本来の立体感よりも立体感を小さくして表示すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像表示を実行する手段と、を備えたことを特徴とする。
これらの構成であれば、立体映像に立体感強度を示す情報が無くても上述したのと同様の作用を発揮することができる。
また、この発明の立体映像生成装置は、表示しようとする立体映像をその本来の大きさよりも縮小して表示すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像表示を実行する手段と、を備えたことを特徴とする。
また、この発明の立体映像生成装置は、表示しようとする立体映像をその本来の立体感よりも立体感を小さくして表示すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像表示を実行する手段と、を備えたことを特徴とする。
これらの構成であれば、立体映像に立体感強度を示す情報が無く、しかも判定手段がない場合でも、上述したのと同様の作用を発揮することができる。
また、上述したいずれかの立体映像生成装置において、縮小表示状態又は立体感を弱めた表示状態で画面に警告を示す表示を行なうのがよい。
また、この発明の立体映像配信方法は、立体映像をその本来の大きさよりも縮小して送信すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求め、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像を送信することを特徴とする。
また、この発明の立体映像配信方法は、立体映像をその本来の立体感よりも立体感を小さくして送信すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求め、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像を送信することを特徴とする。
これらの構成であれば、例えば、インターネット閲覧でＨＴＭＬファイルの画像として立体画像が存在する場合に、当初はその本来の大きさよりも小さくされた画像、或いは、本来の立体感よりも立体感を小さくされた画像として表示されるので、たとえ立体感が強い立体映像作品でもその立体感は弱められることになり、観者が不快になるのを回避できる。観者が許容を示す操作を行なうことにより、本来の立体感の立体映像が表示されるので、作成者が見せたいとする立体映像作品の視聴も可能になる。また、インターネット閲覧を実行するコンピュータや携帯電話などの受信側装置においては、立体感強度を示す情報を検出する手段や判定手段は不要であり、また、立体画像の縮小処理や立体感変更処理を行なうことも不要となる。

図１（ａ）（ｂ）（ｃ）はこの発明の実施形態の立体映像の配信及び受信側装置の構成を示した説明図である。図２は受信側装置の処理内容を説明する説明図である。図３は受信側装置の処理内容を説明する説明図である。図４は受信側装置の処理内容を説明する説明図である。図５は受信側装置の処理内容を説明する説明図である。

以下、この発明の立体映像再生装置を図１乃至図５に基づいて説明する。
図１に基づいて２次元映像とデプスマップ（奥行き情報）とによる立体映像の生成について説明していく。なお、この図においては、放送局やインターネット上のサーバなどとして構成される送信側装置１と、放送受信装置やネット接続環境を備えたパーソナルコンピュータや携帯電話などの受信側装置２とからなるシステムとして説明する。
同図（ａ）は実写の２次元映像１００を示している。送信側装置１では、２次元映像１００に対して画像分析を行い、同図（ｂ）に示すように、背景映像１０１、ビルの映像１０２、自動車の映像１０３を抽出する。これら抽出された映像がオブジェクト（例えば、エッジ情報）として扱われる。また、画素単位で奥行き値を与え、デプスマップを生成する。なお、オブジェクト単位で奥行き値を与えることもできる。奥行き値は自動的（推定的）に与えるようにしてもよいし、手作業的に与えることとしてもよい。
このように、送信側装置１では、映像を提供（送信，放送）する際に、デプスマップを前記映像の付属情報として送信する。更に、この実施形態では、立体感タグも前記映像の付属情報として送信する。立体感タグは、立体感の強度を示すものであり、例えば、０，１，２，３，…といった数値によって表される。ディジタル放送の場合、映像データと各種の付属情報を一つのトランスポートストリームに多重して放送することができる。コンピュータネットワークを用いた配信においても、映像データと各種の付属情報を一つのトランスポートストリームに多重して放送することができる。
図１（ｃ）に示すように、受信側装置２は、背景映像１０１、ビルの映像１０２、自動車の映像１０３の各データ、デプスマップ、立体感タグを受信する。これらデータがマルチプレクスされているのであればデマルチプレクス（ＤＥＭＵＸ）処理を行なう。映像データに対するデコード処理は、基本的には例えばＭＰＥＧに基づいた処理などが採用される。そして、受信側装置２では、背景映像１０１、ビルの映像１０２、自動車の映像１０３の各映像データとデプスマップとに基づいて視差を与えた右眼映像１０４Ｒ及び左眼映像１０４Ｌを生成する。従って、受信側装置２には、データを受信するための受信部２１（モデム、チューナ等）、デマルチプレクサ２２（ＤＥＭＵＸ）、デコード部２３、２次元映像のデータとデプスマップとに基づいて視差視映像を生成する映像生成部２４、モニタ２５などが備えられる。勿論、これらを制御するＣＰＵ２６やユーザが操作を行なうための操作部２７（放送受信機であればリモコン送信機、パーソナルコンピュータであれば、マウスやキーボード等）が設けられる。なお、視差映像の生成では、奥行き値が小さいオブジェクトほど水平移動量（移動画素数）を大きくする処理を行なう。
受信側装置２は、例えばモニタ手前位置に液晶バリアを備えることにより、平面視映像の表示及び立体視映像の表示の両方が行なえるようになっている。立体視映像が、例えば、右眼映像と左眼映像とを交互に縦ストライプ状に配置したものであれば、ＣＰＵ２６の制御により、液晶バリアにおいて、縦ストライプ状の遮光領域が形成される。また、画面上の一部領城（ファイル再生のウィンドウ部分、或いは、ＨＴＭＬファイルのなかの一部映像部分）において立体視映像を表示することとなるのであれば、ＣＰＵ２６により、前記ウィンドウや一部映像部分の表示座標及び大きさに基づいて前記縦ストライプ状の遮光領域の大きさ及び形成位置が制御される。なお、右眼映像と左眼映像とを交互に縦ストライプ状に配置した立体視映像に限らず、例えば、右眼映像と左眼映像とを斜め配置配置した立体視映像としてもよく（特許第３０９６６１３号公報参照）、この場合には、液晶バリアにおいて斜めバリアを形成する。
受信側装置２のＣＰＵ２６は、表示しようとする立体映像に付加されている立体感タグをデマルチプレクサ２２から受け取り、この立体感タグに基づいた映像表示制御処理を実行する。以下、この映像表示制御処理について説明する。
図２に示すように、立体感の強度が最も低いことを示す”０”が立体感タグとして与えられている場合、そのまま立体映像を表示させる。その一方、”１，２，３”が立体感タグとして与えられている場合、ＣＰＵ２６は立体感タグの値に応じて縮小率を決定する（１／２，１／３等）。なお、或る固定の縮小率を設定することとしてもよい。そして、この縮小率を映像生成部２４に与える。映像生成部２４は表示映像の大きさを制御するスケーラ機能を備えており、この機能によって縮小画像を表示する。また、ＣＰＵ２６によって図示しないＯＳＤ（オンスクリーンディスプレイ）回路には「警告」の文字を生成するように指令が出され、ＯＳＤ回路によって生成された「警告」の文字をなすビットマップデータが映像生成部２４によって映像データに合成される。これにより、図２に示しているように、モニタ２５上には縮小立体映像と「警告」の文字が表示される。ユーザは、作成者側の意図そのままの立体映像を希望するのか、縮小立体映像を維持するのかを選択する。この選択は、例えば、画面に「オリジナル選択（ＯＫ）は”１”、縮小維持選択（ＮＧ）は”２”を操作」といった説明のＯＳＤ表示がなされているのであれば、この説明に従って操作部２７を操作する。なお、かかる処理は右眼映像と左眼映像とからなる立体映像にも適用できる。
また、図３に示すように、立体感の強度が最も低いことを示す”０”が立体感タグとして与えられている場合、そのまま立体映像を表示させる。その一方、”１，２，３”が立体感タグとして与えられている場合、ＣＰＵ２６は立体感タグの値に応じてデプスマップデータを変更（圧縮）する（１／２，１／３等）。そして、この弱立体化デプスマップデータを映像生成部２４に与える。映像生成部２４は弱立体化デプスマップデータに基づいて視差映像を生成する。また、ＯＳＤ回路によって画面には「警告」の文字が表示される。これにより、図３に示しているように、モニタ２５上には弱立体感映像と「警告」の文字が表示される。ユーザは、作成者側の意図そのままの立体映像を希望するのか、弱立体感映像を維持するのかを選択する。この選択は、例えば、画面に「オリジナル選択（ＯＫ）は”１”、弱立体感維持選択（ＮＧ）は”２”を操作」といった説明のＯＳＤ表示がなされているのであれば、この説明に従って操作部２７を操作する。
また、図４に示すように、立体感タグが無く、デプスマップのみ受け取った場合には、このデプスマップに基づいて立体感を判定する。映像を構成する各画素やオブジェクトについて与えられているデプスマップ値の最大値と最小値の差に基づくなどして立体感を判定することができる。予め設定してある閾値よりも前記差がが大であるとき、立体感は強であると判断し、閾値よりも前記差が小であるとき、立体感は弱であると判断する。立体感は弱であると判断したとき、そのまま立体映像を表示させる。その一方、立体感は強であると判断したとき、その程度（デプスマップ値）に応じてデプスマップデータを変更（圧縮）する（１／２，１／３等）。そして、この弱立体化デプスマップデータを映像生成部２４に与える。映像生成部２４は、弱立体化デプスマップデータに基づいて視差映像を生成する。また、ＯＳＤ回路によって画面には「警告」の文字が表示される。これにより、図４に示しているように、モニタ２５上には弱立体感映像と「警告」の文字が表示される。ユーザは、作成者側の意図そのままの立体映像を希望するのか、弱立体感映像を維持するのかを選択する。この選択は、例えば、画面に「オリジナル選択（ＯＫ）は”１”、弱立体感維持選択（ＮＧ）は”２”を操作」といった説明のＯＳＤ表示がなされているのであれば、この説明に従って操作部２７を操作する。
また、図５に示すように、静止画については、パターンマッチングによって立体感強度を判定する。例えば、右眼映像と左眼映像を受け取ったとき、これら映像の対応する画素やオブジェクトのずれ量（シフト量）を検出し、このずれ量に基づいて立体感強度を判定する。ＣＰＵ２６は判定した立体感強度に応じて縮小率を決定する（１／２，１／３等）。なお、或る固定の縮小率を設定することとしてもよい。そして、この縮小率を映像生成部２４に与える。映像生成部２４は縮小画像を表示する。また、ＯＳＤ回路によって画面には「警告」の文字が表示される。これにより、図５に示しているように、モニタ２５上には縮小立体映像と「警告」の文字が表示される。ユーザは、作成者側の意図そのままの立体映像を希望するのか、縮小立体映像を維持するのかを選択する。この選択は、例えば、画面に「オリジナル選択（ＯＫ）は”１”、縮小維持選択（ＮＧ）は”２”を操作」といった説明のＯＳＤ表示がなされているのであれば、この説明に従って操作部２７を操作する。
以上の説明において、モニタ２５上に表示される画像の大きさは、画像の画素数とモニタ２５のディスプレイ解像度（ピクセル・パー・インチ、ドット・パー・インチ）とディスプレイ解像度の設定値（画面モード、表示画素数）により決定され、このような決定による大きさの表示画像は本来の大きさの表示画像である。更には、画像が画面サイズよりも大きい場合に縮小を行って画面の大きさに合わせる処理が画面設定に基づいて自動で行われるのであれば、当該処理がなされた画像は本来の大きさの表示画像である。また、同様に、テレビジョンセットにおいて、例えばオートワイドが設定されていて、その設定に従って拡大表示された画像も本来の大きさの表示画像といえる。本願発明は、上記のごとく拡大縮小表示がなされることは本来の大きさでの表示の範疇とし、このような拡大縮小表示とは別のものとして画像の縮小表示処理を行う。更に述べると、ディスプレイ解像度の設定値等に基づく縮小表示は、立体映像表示と平面映像表示の区別無く実行されるのに対し、本願発明で言う画像の縮小表示処理は、立体映像表示においてなされる。また、前記ディスプレイ解像度の設定値等によって立体感は変化するが、このように変化した表示画像も本来の立体感の映像となる。本願発明は、上記のごとく立体感が変動することは本来の立体感での表示の範疇とし、このような立体感変動とは別のものとして画像の弱立体感表示を行う。
なお、以上の説明では、受信側装置２の処理による縮小表示や弱立体感表示を行なうこととしたが、送信側の処理で行なうことも可能である。例えば、インターネット上のサーバとして存在する送信側装置１は、ＨＴＭＬファイル上の映像として立体映像をその本来の大きさよりも縮小して送信すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力をユーザに対して要求する。このとき、受信側装置２のモニタ２５には、縮小立体映像が表示されると共に、例えば、画面に「オリジナル選択（ＯＫ）と縮小維持選択（ＮＧ）のどちらかをクリックして下さい」といった表示がなされる。この説明に従って（ＯＫ）をユーザが選択すると、送信側装置１からオリジナルの立体映像が送信される。
また、例えば、インターネット上のサーバとして存在する送信側装置１は、ＨＴＭＬファイル上の映像として立体映像をその本来の立体感よりも立体感を小さくして送信すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力をユーザに対して要求する。このとき、受信側装置２のモニタ２５には、弱立体感映像が表示されると共に、例えば、画面に「オリジナル選択（ＯＫ）と弱立体感維持選択（ＮＧ）のどちらかをクリックして下さい」といった表示がなされる。この説明に従って（ＯＫ）をユーザが選択すると、その情報が送信側装置１に伝送され、送信側装置１はオリジナル立体映像の送信が許可された（要求された）と判断し、オリジナル立体映像を受信側装置１に宛てて送信する。
これらの構成であれば、インターネット閲覧でＨＴＭＬファイルの画像として立体画像が存在する場合に、当初はその本来の大きさよりも小さくされた画像、或いは、本来の立体感よりも立体感を小さくされた画像として表示されるので、たとえ立体感が強い立体映像作品でもその立体感は弱められることになり、観者が不快になるのを回避できる。観者が許容を示す操作を行なうことにより、本来の立体感の立体映像が表示されるので、作成者が見せたいとする立体映像作品の視聴も可能になる。また、インターネット閲覧を実行するコンピュータや携帯電話などの受信側装置１においては、立体感タグを検出する手段や立体感判定手段は不要であり、また、立体画像の縮小処理や立体感変更処理を行なうことも不要となる。
以上説明したように、この発明によれば、観者が立体映像作品に対して不快にならず且つ作成者が見せたいとする立体映像作品の視聴も可能になる。

Claims (9)

1. 表示しようとする立体映像に付加されているその立体感強度を示す情報を検出する手段と、前記立体映像の立体感強度を示す情報に基づいてその本来の大きさよりも縮小して表示すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像表示を実行する手段と、を備えたことを特徴とする立体映像生成装置。
2. 表示しようとする立体映像に付加されているその立体感強度を示す情報を検出する手段と、前記立体映像の立体感強度を示す情報に基づいてその本来の立体感よりも立体感を小さくして表示すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像表示を実行する手段と、を備えたことを特徴とする立体映像生成装置。
3. 表示しようとする立体映像の立体感強度を判定する手段と、前記判定した立体感強度に基づいてその本来の大きさよりも縮小して表示すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像表示を実行する手段と、を備えたことを特徴とする立体映像生成装置。
4. 表示しようとする立体映像の立体感強度を判定する手段と、前記判定した立体感強度に基づいてその本来の立体感よりも立体感を小さくして表示すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像表示を実行する手段と、を備えたことを特徴とする立体映像生成装置。
5. 表示しようとする立体映像をその本来の大きさよりも縮小して表示すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像表示を実行する手段と、を備えたことを特徴とする立体映像生成装置。
6. 表示しようとする立体映像をその本来の立体感よりも立体感を小さくして表示すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求める手段と、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像表示を実行する手段と、を備えたことを特徴とする立体映像生成装置。
7. 請求項１乃至請求項６のいずれかに記載の立体映像生成装置において、縮小表示状態又は立体感を弱めた表示状態で画面に警告を示す表示を行なうことを特徴とする立体映像生成装置。
8. 立体映像をその本来の大きさよりも縮小して送信すると共に本来の大きさの立体映像とすることを許容するか否かを示す入力を求め、ユーザ側から許容することを示す情報を受け取った場合に本来の大きさの立体映像を送信することを特徴とする立体映像配信方法。
9. 立体映像をその本来の立体感よりも立体感を小さくして送信すると共に本来の立体感の立体映像とすることを許容するか否かを示す入力を求め、ユーザ側から許容することを示す情報を受け取った場合に本来の立体感の立体映像を送信することを特徴とする立体映像配信方法。

Images