JP2012100015A - 三次元映像再生装置 - Google Patents

Abstract

【課題】視聴者の視点が移動する場合の3D 映像に対して3D 酔いの対策を行うことにより、効果的な3D酔い防止策を実現する。
【解決手段】三次元動画の映像にその映像を捕えたカメラ位置の移動速度が付加された記録映像を取得し再生する映像取得部と、カメラ位置の移動速度に係る閾値を予め格納する記憶部と、取得された記録映像の再生中に前記カメラ位置の移動速度と前記閾値とを比較し、移動速度が閾値を超える時間帯と閾値以下の時間帯とに前記映像を分離する映像分離部と、閾値を超える時間帯に再生する映像を補正する映像補正部と、閾値を超える時間帯は前記映像補正部により補正された映像を表示し閾値以下の時間帯は前記映像補正部による補正がされない映像を表示するように制御する表示制御部とを備えることを特徴とする三次元映像再生装置。
【選択図】図２

Description

この発明は、三次元動画の映像にその映像を捕えた撮影装置の時間に伴う位置の変化量が付加されてなる三次元映像の再生装置に関する。

一般に立体映像(3D 映像)を観察する場合、通常の二次元映像(2D 映像)を観察する場合に比べて、目が疲労しやすいといわれている。加えて、表示されている対象物に激しい動きがあったり、あるいは映像を撮影するカメラの側に激しい動きがあったりした場合に、視聴者が頭痛や吐き気を伴うことがある。いわゆる「3D 酔い」といわれる症状である。この症状に対する根本的な対応策は無く、3D 映像を提供する装置や施設は、視聴者に長時間の使用を避けるよう注意勧告するといったような対策に留まらざるを得なかった。

しかし、例えば、DVD、BlueRayプレーヤー等の再生機や映画メディアのマニュアルなどに、長時間の視聴を避けるように注意事項を記述したとしても、視聴者がコンテンツ視聴中にそれを思い出し、注意事項に従うとは限らない。視聴者が意識せずとも、3D映像を見るのを避ける、あるいは移動速度の大きい3D映像を表示しないといったような仕組が実効ある対策として望まれている。

このような「3D 酔い」を考慮した発明として、立体映像視聴用眼鏡に額の皮膚温を検出するセンサと鼻の皮膚温を検出するセンサとを設け、さらに、立体映像視聴用眼鏡に瞬きを検出するセンサを設けたものが提案されている。額と鼻の皮膚温の検出結果は、興奮度データ変喚器に導かれて興奮度が得られる。瞬きの検出結果は疲労度データ変換器に導かれて疲労度が得られる。このようにして取得された興奮度と疲労度に基づいて、3D 映像の立体強調度を調整するものである。より具体的には、この立体強調度に応じて２次元３次元変換をする立体テレビジョン受像機のフィールドメモリの遅延量を制御する（例えば、特許文献１参照）。

さらに、入力された映像信号から観察者に与える影響度を評価し、その影響度の評価結果に基づいて立体映像の立体度を調整しあるいは立体映像を２次元映像へ切り替える映像システムが提案されている（例えば、特許文献２参照）。前記映像システムは、３次元映像信号を送出する3D 映像再生機と、該3D 映像再生機からの3D 映像信号の視差量を検出する視差量検出部と、検出された視差量に基づいて疲労度を評価し、疲労度評価量に対応して映像切り替え信号を出力する疲労度評価部と、映像切り替え信号に基づいて３次元映像と２次元映像とを切り替え出力する3D 映像／2D 映像切り替え部と、３次元映像又は２次元映像を表示する映像表示部とで構成される。
この映像システムによれば、観察者の生理的な計測を行わずに映像の調整や切換えを行い観察者に過度の疲労を与えないようにできる。

特開平９−２３４５１号公報 特開平１１−３５５８０８号公報

前記特許文献１のように、観察者の生理的な計測値に基づいて立体強度を制御する手法では、得られる計測値と疲労度の関係に計測誤差や個人差があり全ての観測者にとって適切な度合いに立体度を調整し、観察者の疲労度を適切に制御することは容易でない。さらに、各観察者について個別に計測値を得るのは処理が煩雑である。

また、前記特許文献２のように、映像データ上の立体度や移動速度を元に疲労度への影響度を評価する手法は、次の点で評価の精度が十分とはいえない。酔いの一因として、視聴者が想定する移動ベクトルと、実際の画面上の3D映像の差異があげられる。すなわち、映像データ上は同一の立体度や移動速度が同じであっても、視聴者の視点が固定され視界内の一部の対象物が移動する場合と、視聴者の視点そのものが移動することにより視界内のすべての対象物が移動する場合とで、観察者が受ける3D 酔いの影響に差異がある。当然後者の方が、3D 酔いの影響が大きいと考えられる。よって、画面内の対象物の立体度や移動速度よりも、むしろ視聴者の視点の移動に基づく評価が好ましいといえる。
この発明は、以上のような事情を考慮してなされたものであって、視聴者の視点そのものが移動する場合の3D 映像に対して3D 酔いの対策を行い、効果的な3D酔い防止策を実現する手法を提供するものである。

この発明は、三次元動画の映像にその映像を捕えたカメラ位置の移動速度が付加された記録映像を取得し再生する映像取得部と、カメラ位置の移動速度に係る閾値を予め格納する記憶部と、取得された記録映像の再生中に前記カメラ位置の移動速度と前記閾値とを比較し、移動速度が閾値を超える時間帯と閾値以下の時間帯とに前記映像を分離する映像分離部と、閾値を超える時間帯に再生する映像を補正する映像補正部と、閾値を超える時間帯は前記映像補正部により補正された映像を表示し閾値以下の時間帯は前記映像補正部による補正がされない映像を表示するように制御する表示制御部とを備えることを特徴とする三次元映像再生装置を提供する。

即ち、前述の課題を解決するために、3D 映像作成時にその映像をとらえたカメラの移動量（移動、回転など）を記録しておく。作成された3D 映像を再生するとき、カメラの移動は視聴者の視点の移動に相当する。再生装置には、移動の速さに係る閾値を取得しておく。前記閾値は視聴者ごとに設定可能とすることが好ましい。再生される3D 映像のうち記録された移動量が前記閾値を超える部分については、画面の表示を消す、3D 映像の再生速度を落とす、あるいは2D 映像に切り替えるなどの処理を行う。

この発明の再生装置は、三次元動画の映像にその映像を捕えたカメラ位置の移動速度が付加された記録映像を取得し再生する映像取得部と、閾値を超える時間帯に再生する映像を補正する映像補正部と、閾値を超える時間帯は前記映像補正部により補正された映像を表示し閾値以下の時間帯は前記映像補正部による補正がされない映像を表示するように制御する表示制御部とを備えるので、視聴者の視点そのものが移動する場合の3D 映像に対して3D 酔いの対策を行い、効果的な3D酔い防止策を実現することができる。
すなわち、視聴者が意識せずとも、3D酔いの発生を防ぎ、視聴者の健康への影響を抑えることが可能である。
この発明において、三次元動画は、視聴者の左眼と右目に視差の分だけ互いに異なる映像をみせることによって視聴者が平面状の表示装置に表示される映像に奥行き、あるいは立体感を感じるようにした映像である。
このような三次元動画を再生する装置には、いわゆる3D テレビとしてすでに市販されているものが含まれる。従来と異なるこの発明の特徴的な一側面は、3D 映像作成時にその映像をとらえたカメラの位置の移動（直線移動や回転など）の速さが付加されて提供されることを前提とし、付加された移動速度に基づいて3D酔い防止の対策を行うことにある。
この発明の映像取得部は、前述のようにカメラ位置の移動速度が付加された三次元映像を取得して再生するものである。前記三次元映像は、DVD、ブルーレイディスクあるいはメモリーカードといったような記録媒体に記録されて提供されてもよい。あるいは、インターネット等の通信手段を介してアクセス可能な状態で提供されてもよい。前者の場合、映像取得部は、例えばブルーレイディスクドライブのような、記録媒体に格納された映像を読み出すものであり、後者の場合はオンデマンドであるいはダウンロードして映像を再生する装置に相当する。
記憶部は、設定された閾値を少なくとも格納する不揮発性のメモリである。さらに、再生する映像データの全部または一部を格納してもよい。その具体的態様としては、ハードディスク装置やフラッシュメモリなどのハードウェアに相当する。
映像分離部は、取得された記録映像に含まれる各時点のカメラ位置の移動速度の情報と記憶部に格納された閾値とを比較し、閾値を超える移動速度の映像をそうでない映像とを分離する処理をおこなうものである。具体的な態様としては、コンピュータ、デジタル・シグナル・プロセッサあるいは専用の処理回路により実現される。映像の分離は、例えばカメラ位置の移動速度が閾値を超える時間帯の映像を少なくとも一つのパケットとし、閾値以下の時間帯の映像を他のパケットとし、それぞれのパケットに閾値を超えるものか否かの属性を付加する処理をおこなうようにしてもよい。
映像補正部は、カメラ位置の移動速度が閾値を超える映像の表示を補正する処理を行う。映像補正部の具体的な態様としては、コンピュータ、デジタル・シグナル・プロセッサあるいは専用の処理回路により実現される。後述する実施例において、この映像補正部は、2D 化映像生成部、メッセージ表示生成部および低速映像生成部に相当する。
表示制御部は、表示装置の動作を制御しかつ表示装置に表示させる内容を制御するものである。その具体的な態様は、例えば、液晶表示装置の駆動回路、ビデオRAM等の回路を含む表示制御回路、その前段にあってビデオRAMに入力する映像データを切換える回路、および、それらの回路を制御するＣＰＵなどである。

この発明に係る3D 映像撮影装置の構成例を示すブロック図である。 この発明に係る3D 映像の再生装置の構成例を示すブロック図である。 この発明に係る撮影装置が撮影対象に対し撮影位置を変化させる例を示す説明図である。 図３の（ａ）〜（ｄ）の移動に対応する映像を示す説明図である。 この発明に係る3D 映像に3D 酔い対応を行う例を示す説明図である。 この発明に係る速度データ生成部が映像データ捕捉の際に実行する処理の手順を示すフローチャートである。 この発明に係る閾値データを設定する際に、再生装置のメニュー制御部が実行する処理の手順を示すフローチャートである。 この発明に係る再生装置のＣＰＵが再生時に行う処理の手順を示す第１のフローチャートである。 この発明に係る再生装置のＣＰＵが再生時に行う処理の手順を示す第２のフローチャートである。

以下、この発明の好ましい態様について説明する。
あるいはまた、前記映像補正部は、取得された映像の再生速度を遅くするものであってもよい。このようにすれば、映像の再生速度を遅くすることにより視点の移動速度が閾値を超えないように補正することにより視聴者の3D 酔いを防ぐことができる。

さらにまた前記映像補正部は、前記映像のフレームを間引いてコマ送りに補正するものであってもよい。このようにすれば、映像をコマ送りすることにより視点の移動の現実感を弱めるような補正することにより視聴者の3D 酔いを防ぐことができる。

また、前記映像補正部は、閾値を超える時間帯は視聴者に取得された映像をみせないように補正するものであってもよい。このようにすれば、閾値を超えた速度で視点が移動するときは視聴者が三次元映像をみないように補正することにより視聴者の3D 酔いを防ぐことができる。

さらに、前記映像補正部は、所定のメッセージを表示するように補正するものであってもよい。このようにすれば、意図的に三次元映像をみないようにしていることを視聴者に知らせて、例えば再生装置の故障と視聴者が勘違いしないようにできる。

前記映像補正部は、三次元の映像を二次元の映像に補正するものであってもよい。このようにすれば、閾値を超えた速度で視点が移動するときは三次元映像から立体感をなくす補正を行うことにより視聴者の3D 酔いを防ぐことができる。

さらに、前記三次元動画の映像は、視差分だけ互いに異なる右眼用映像と左眼用映像とを含んでなり、前記映像補正部は、視聴者の両眼に右眼用映像のみを観せるかまたは左眼用映像データのみを観せるように補正するものであってもよい。このようにすれば、例えば、左眼用の映像と右眼用の映像を合成するといったような複雑な処理を伴わず、単純な処理で三次元映像から立体感をなくす補正を行うことができる。

前記記憶部は、前記閾値の設定をユーザーが行うために、カメラ位置の移動速度が変化する閾値設定用映像を予め格納してもよい。このようにすれば、移動速度が変化する閾値設定用映像を視聴者にみせてどの移動速度で3D 酔いを感じるかを個別に設定させることができる。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
≪3D 映像作成と速度データの対応付け≫
この発明に係る3D 映像を作成するときの処理について説明する。

図１は、この発明に係る3D 映像撮影装置の構成例を示すブロック図である。図１に示すように、撮影装置１１は、撮像部１３、映像データ生成部１５、補助記憶部１７、加速度センサ２１、角速度センサ２３、距離検出デバイス２５、角速度→速度変換部２７、速度データ生成部２９を含んでなる。

3D映像撮像部１３は、映像を捕捉する。3D 映像は複数の視点から捕らえた映像から生成されるので、撮像部１３は位置の異なる複数のレンズあるいは複数のカメラである。映像データ生成部１５は、各カメラで捕捉された映像を統合して3D映像を生成する。補助記憶部１７は、映像データ生成部１５で生成された映像データを格納する（映像データ４１）。さらに、後述する速度データを速度テーブル４３として格納する。

加速度センサ２１、角速度センサ２３および距離検出デバイス２５は、3D 映像を撮影するときの撮影装置１１の移動情報を検出する。加速度センサ２１は直線方向の移動を、角速度センサ２３は回転を、距離検出デバイス２５は、レンズ焦点距離の変化をそれぞれ検出する。撮影された3D 映像を視聴者が観る段階で、これらのセンサにより検出された移動情報は、視聴者の視点の移動情報を提供することになる。

角速度→速度変換部２７は、角速度センサ２３と距離検出デバイス２５の検出結果に基づいて撮影対象の移動速度の情報を生成する。速度データ生成部２９は、加速度センサ２１で検出された直線方向の移動と角速度→速度変換部２７で生成された速度情報、即ち、回転に伴う移動の速度情報とを合成して撮影対象についての速度データを生成する。この速度データは、視聴者の視点が移動することによって3D 映像の撮影対象が相対的に移動するときの速度データである。
なお、変形例として3D 映像撮像部１３が独立した複数のカメラからなりシステムとして構成される態様も考えられる。この場合、各カメラに加速度センサ２１、角速度センサ２３および距離検出デバイス２５を装着してもよいが、視点を代表するカメラにのみ装着してもよい。

速度データ生成部２９は、映像データ４１の各時刻に対応する速度データを生成し、補助記憶部１７中の速度テーブル４３に、各時刻の速度データを格納する。速度データ生成部２９が処理する速度データのサンプリングの間隔は、予め定められた一定の間隔であってもよいが、撮影者が間隔を設定してもよい。あるいは、速度データに閾値を超える変化があった場合にサンプリングを行うようにしてもよい。そのサンプリング間隔は一定でもよいが、速度データの変化の大きさに応じてサンプリングの間隔が変化してもよい。
なお、速度データ生成部２９の機能は、ＣＰＵあるいはマイクロコンピュータが制御プログラムを実行することにより実現されてもよい。

この実施形態において速度データ生成部２９は、Ｘ、ＹおよびＺ方向の直交する３次元の座標成分として速度データを生成する。これらは、例えば、視聴者を基準とした左右、上下および前後（即ち奥行き）方向である。勿論、速度データの態様はこれに限定されるものではない。例えば、左右、上下方向の情報に変えて極座標形式の情報を用いてもよい。原則的に、視聴者が移動に敏感な成分に対応させることが好ましい。速度データの単位としては、所定の画面サイズの画素ピッチを移動距離の単位とし、時間の単位を秒とした「画素／秒」で速度データを表してもよい。例えば、フルハイビジョン動画は、１フレームの映像が縦1080×横1920の画素から構成され、４０インチの画面サイズにおける画素ピッチは0.648mmである。これを距離の単位とする。あるいは画面の左端から右端までを移動距離の単位とし、時間の単位をミリ秒とした「／ミリ秒」で速度データを表してもよい。勿論、これらの例に限定されるものではなく他の方法で表現してもよい。
以上のようにして、3D の映像データ４１が、各時刻における視聴者の視点の移動を表す速度データと対応づけられて生成され、補助記憶部１７に格納される。

≪3D 映像データ再生時の処理≫
続いて、この発明に係る3D 映像を再生するときの処理について説明する。
図２は、この発明に係る3D 映像の再生装置の構成例を示すブロック図である。図２に示すように、再生装置５１は、映像取得部５３、映像分離部５５、映像バッファ５７、記憶部６１、表示制御部７５、表示部７７、2D 化映像生成部８１、メッセージ表示生成部８３、低速映像生成部８５、制御部８７、メニュー制御部８９、リモコン受光部９１および3D メガネ通信部９５を含んでなる。図２では、3D メガネ９７およびリモコン９３を除いた各部は、一つの装置として構成されている。ただし、これは一例であり、変形例として表示部７７がさらに別体である態様や、映像バッファ５７までの各ブロックとそれ以降の各ブロックとが別体のシステムとしての態様も考えられる。

映像取得部５３は、図１の撮影装置で作成された映像データ４１とそれに対応する速度テーブル４３とを取得する。具体的には、映像データ４１および速度テーブル４３の内容がDVDなどの記録メディアに記録されて配布され、映像取得部５３は前記記録メディアに記録された映像データおよび速度テーブルを取得する。あるいは、異なる態様として、映像データ４１および速度テーブル４３の内容がインターネット等の通信手段を介してアクセス可能な状態で公開される。そして、映像取得部５３は、通信手段を介して公開された映像データおよび速度テーブルにアクセスしオンデマンドであるいはダウンロードによりその映像データを取得してもよい。

映像分離部５５は、後述する2D 化映像生成部８１、メッセージ表示生成部８３や低速映像生成部８５が取得した映像データを処理できるように時系列に分離する。即ち、3D 酔いに対する処理を行う部分とそれ以外の部分とを識別して分離する。映像バッファ５７は、映像分離部５５で処理された映像データを格納するバッファである。

記憶部６１は、映像データの再生に関するデータを格納するメモリである。記憶部６１は、速度テーブル６３、閾値データ６５、解像度データ６７、補正方法指定６９、サンプル映像データ７１およびサンプル映像速度テーブル７３を格納する。映像データをダウンロードする場合は、さらにダウンロードした映像データを格納する。

速度テーブル６３は、再生すべき映像データに対応する速度テーブルであって、図１の速度テーブル４３の内容が映像取得部５３により取得されて記憶部６１に格納される。
閾値データ６５は、映像データに対して3D 酔いの対応を行うか否かを判断する閾値である。図２の例では、ユーザー（視聴者）ごとの閾値データを格納している。
解像度データ６７は、映像データの解像度を示すデータである。奥行き方向すなわち立体度についても奥行き表現の細かさを仮想的な解像度として表している。

補正方法指定６９は、映像データの立体度が閾値を超える場合に3D 酔いの対応をどのように行うかの指定を保持している。図２の場合、当該補正は、2D 化、メッセージ表示あるいは低速映像の生成のいずれかである。ユーザーは設定メニューを用いていずれかの補正方法を指定する。指定された補正方法に基づいて、2D 化映像生成部８１、メッセージ表示生成部８３または低速映像生成部８５のいずれかが3D 酔いの対応の処理を行う。なお、図２では、補正方法指定６９は一つだけで各ユーザーに共通の設定であるかのように表記しているが、ユーザーごとに個別に指定できるようにしてもよい。

サンプル映像データ７１は、閾値データ６５をユーザーごとに設定する際に表示部７７に表示させる映像データである。例えば、視点の移動速度が次第に加速する3D 映像データである。ユーザーは、設定メニューを用いてこのサンプル映像データ７１を表示部７７に表示させる。ユーザーがその映像を視聴して不快に感じた時点でリモコン９３を用いて所定の操作を行い、そのときの速度データを閾値として閾値データ６５に記録する。サンプル映像速度テーブル７３は、サンプル映像データ７１に対応する速度テーブルである。その対応関係は、映像データ４１と速度テーブル４３との対応関係に相当するものである。

表示制御部７５は、表示部７７の画面表示を制御する回路である。表示部７７は、3D 映像が表示可能な液晶表示装置である。ただし、表示部７７は液晶表示装置に限定されるものでない。異なる動作原理のプラズマディスプレイ表示装置や有機ＥＬ表示装置であってもよく、また、方式の異なる投影型の表示装置であってもよい。
2D 化映像生成部８１は、3D 酔いの対応処理として、映像データを3D 表示から2D 表示に切換える処理を行う。

メッセージ表示生成部８３は、3D 酔いの対応処理として、3D 映像データの表示を一時的にやめ断りのメッセージを表示する処理を行う。具体的な例としては、「ただ今体調に悪影響を与えかねない、激しい動きのため、画面をオフにしています」といったメッセージを3D 映像に代えて表示部７７に表示する。

低速映像生成部８５は、3D 酔いの対応処理として、3D 映像データの再生速度を落とす処理を行う。この場合、音声も連動させる。あるいは、映像データの表示コマを間引いていわば紙芝居のような再生にしてもよい。単位時間あたりの画面変化を減らして目の負担を少なくする手法である。

制御部８７は、映像データの再生に係る各ブロックの制御を行う。なお、制御部８７はＣＰＵあるいはマイクロコンピュータが処理プログラムを実行することによりその機能が実現されてもよい。さらにそのＣＰＵあるいはマイクロコンピュータは、制御部用処理プログラムとは別のプログラムを実行することにより、他のブロックの機能を実現してもよい。例えば、映像分離部５５、2D 化映像生成部８１、メッセージ表示生成部８３低速映像生成部８５やメニュー制御部８９などの機能である。

メニュー制御部８９は、閾値データ６５の設定や補正方法指定６９の指定をユーザーが行うために用いる設定メニューを表示部７７に表示させる制御を行う。
リモコン受光部９１は、外部のリモコン９３からの信号を受信する回路である。リモコン９３は、視聴者がこの再生装置５１に対する指示を行う際の操作に用いる。その指示には、前述の設定メニューを用いた閾値データ６５の設定や補正方法指定６９の設定が含まれる。
3D メガネ通信部９５は、視聴者が3D 映像を視聴する際に装着する3D メガネ９７との間で無前通信を行う。通信は3D メガネ９７が有するシャッターの制御に関する。

≪3D 酔い対応の具体例≫
次に、撮影装置の移動、即ち、視聴者の視点の移動と3D 映像表示を対応させつつ、この発明に係る3D 酔い対応の具体例を説明する。
図３は、この発明に係る撮影装置１１に対応するカメラが撮影対象３１に対し撮影位置を変化させる例を示す説明図である。図３に示すように、撮影装置１１は、初期の（ａ）撮影開始位置から、1000画素／秒の移動速度で（ｂ）の矢印に沿って直線状に左斜め前方へ移動し撮影対象３１に接近する。続いて、（ｃ）の矢印に示すように右方へ回転する。回転は、擬似的に微少な直線運動の連続に換算する。換算された移動速度は、4000画素／秒である。次いで撮影装置１１は、（ｄ）の矢印に沿って500画素／秒の速度で直線状に移動する。

図４は、図３の（ａ）〜（ｄ）の移動に対応する映像を示す説明図である。ただし、図４は、3D 酔い対応を行う前の映像を示している。図４（ａ）は、撮影開始時の映像であり、画面中央付近の遠方に撮影対象３１が写っている。図４（ｂ）は、図３の矢印（ｂ）に沿った移動の前後における撮影対象３１の変化を示している。なお、矢印は時間の流れを示すために付したものであり、矢印が画面に写っている訳ではない。移動の初めは矢印の始点側のように写っている対象物が移動の終わりには矢印の先端側のように写っていることを示している。即ち、図３の矢印（ｂ）の移動の前後で、撮影対象３１は画面中央付近から次第に画面右方へ移動しかつクローズアップされる。

図４（ｃ）は、図３の矢印（ｃ）に示す回転の前後を示す。図４（ｃ）に示すように、撮影対象３１は、大きさをほぼ維持しつつ画面の右端部から左端部へ移動する。図４（ｄ）は、図３の矢印（ｄ）の移動の前後を示す。撮影対象３１は、画面左端部からさらに左方へかつ遠方へさらに移動しやがて画面の外へ去っていく。

図４の映像に対して、3D 酔い対応を行う具体例を説明する。この実施形態において、3D 酔い対応を行うか否かの閾値は、3000画素／秒に設定されているものとする。そうすると、図４の（ａ）撮影開始から（ｄ）移動までの映像のうち、視聴者の視点の移動速度が前述の閾値を超える映像は（ｃ）回転の段階の映像である。
映像分離部５５は、図４（ａ）、（ｂ）の映像のパケットと図４（ｃ）の映像を分離し、図４（ｃ）の映像と（ｄ）の映像のパケットを分離する。そして、図４（ｃ）の映像データに対し3D 酔い対応を行うべき旨の属性を付加する。

2D 化映像生成部８１、メッセージ表示生成部８３および低速映像生成部８５は、映像分離部５５により映像データに付加された前記属性と、補正方法指定６９とを監視している。補正方法指定６９による指定がなされた2D 化映像生成部８１、メッセージ表示生成部８３または低速映像生成部８５は、映像バッファ５７から取り出した映像データのパケットに前記属性が付加されている場合、そのパケットの映像データに対して処理を行う。なお、補正方法指定６９による指定がされていないものは、処理を行わない。
図５は、この発明に係る3D 映像に3D 酔い対応を行う例を示す説明図である。図５で、（ｃ）入力映像は、図４（ｃ）の映像と同一のものであり、2D 化映像生成部８１、メッセージ表示生成部８３および低速映像生成部８５がそれぞれ3D 酔い対応を行う対象の映像である。

図５（ｃ−１）は、図５（ｃ）の入力映像に対する2D 化映像生成部８１の出力映像を示している。2D 化映像生成部８１は、入力映像から視差をなくした映像を生成して出力する。即ち、図５（ｃ）の入力映像には、右眼用映像と左眼用映像が含まれるが、それらの映像は異なる視点から同じ撮影対象３１を観たものである。これを2D 映像化する最も単純な手法は、左眼用映像を右眼用映像で置換しあるいは右眼用映像を左眼用映像で置換して右眼用映像と左眼用映像を同一にするものである。

図５（ｃ−２）は、図５（ｃ）の入力映像に対するメッセージ表示生成部８３の出力映像を示している。メッセージ表示生成部８３は、入力映像に代えて「ただ今、激しい動きのため、画面をオフしています」のメッセージを出力する。なお、このとき入力映像を完全にオフするのではなく、縮小した映像を画面の一部に表示したり、輝度を落とした映像をメッセージの背景に表示したりして視聴者がストーリーの進行を把握できるようにしてもよい。

図５（ｃ−３）は、図５（ｃ）の入力映像に対する低速映像生成部８５の出力映像を示している。低速映像生成部８５は、視聴者の視点の移動が閾値以下になるように再生速度を落として映像を表示する。あるいは、入力映像のフレームを間引いてコマ送りのように再生する。なお、このときに低速再生あるいはフレームの間引きをしている旨のメッセージを表示してもよい。

≪映像データ作成の処理手順≫
以下、映像データの捕捉を行う場合に速度データ生成部２９が行う処理の手順を説明する。
図６は、この発明に係る速度データ生成部２９が映像データ捕捉の際に実行する処理の手順を示すフローチャートである。図６に示すように、映像データの捕捉が開始されると、速度データ生成部２９は、距離検出デバイス２５が検出するレンズ焦点距離の情報を読取る（ステップＳ１１）。レンズ焦点距離は、撮影対象までの奥行き方向の距離を提供する。さらに速度データ生成部２９は、角速度センサ２３が検出する角速度の情報を読取る（ステップＳ１３）。これは、視聴者が視点の向きを変える回転の速さを与える。

速度データ生成部２９は、焦点距離あるいは角速度に変化があったか否かを判断する（ステップＳ１５）。変化があった場合、角速度→速度変換部２７を用いて焦点距離と角速度の情報をｘｙｚ方向の移動速度の情報に変換し（ステップＳ１７）、変換された移動速度を検出の時刻ｔと共に補助記憶部１７の速度テーブル４３に書き込む（ステップＳ１９）。前記ステップＳ１５で変化がない場合、ルーチンはステップＳ２１へ進む。

速度データ生成部２９は、加速度センサ２１が検出する加速度の情報を読取る（ステップＳ２１）。そして、加速度に変化があったか否かを判断し（ステップＳ２３）、変化があった場合は、検出された加速度情報をｘｙｚ方向の速度情報に変換し（ステップＳ２５）、変換された移動速度を検出の時刻ｔと共に補助記憶部１７の速度テーブル４３に書き込む。前記ステップＳ１９で速度テーブル４３に既にデータが書き込まれている場合は、そのデータを補正する（ステップＳ２７）。前記ステップＳ２３で変化がない場合、ルーチンはステップＳ２９へ進む。

速度データ生成部２９は、次のサンプリング時刻として現在時刻ｔを更新する（ステップＳ２９）。そして、映像データの捕捉が続いるか否かを判断する（ステップＳ３１）。捕捉が続いている場合（ステップＳ３１のNO）、ルーチンはステップＳ１１へ進み、サンプリングを繰り返す。捕捉が終了した場合（ステップＳ３１のYES）、捕捉されて補助記憶部１７に格納された映像データ４１と速度テーブル４３とを対応づけておく。
以上が撮影時に速度データ生成部２９が行う処理である。

≪閾値設定および補正方法指定の処理手順≫
次に、図２の閾値データ６５を設定する際に、再生装置のメニュー制御部８７が実行する処理の手順を説明する。この実施形態において、メニュー制御部８９の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

図７は、この発明に係る閾値データ６５を設定する際に、再生装置のメニュー制御部８９が実行する処理の手順を示すフローチャートである。図７に示すように、メニュー制御部８９としてのＣＰＵは、ユーザーがリモコン９３を操作したことにより発せられた光信号をリモコン受光部９１が検出したことに応答し、表示部７７に閾値設定用のメニューを表示させる。最初に表示させるメニューは、ユーザーの新規登録または選択、および、閾値をユーザーが直接設定するか（直接入力）、サンプル映像を用いた簡易な設定を行うかの選択メニューである（ステップＳ４１）。この選択メニューの表示に対してユーザーがリモコン９３を操作して指示を行うと、前記ＣＰＵは、指示の内容を判断する（ステップＳ４３）。閾値を直接設定する旨の指示を受けた場合（ステップＳ４３のYES）、前記ＣＰＵは、ユーザーがリモコン９３を操作して入力するｘｙｚ方向の速度の閾値を受付ける（ステップＳ４５）。そして、そのユーザーの閾値データ６５の値を更新する（ステップＳ４７）。その後、ルーチンは補正方法の指定を受付けるステップＳ６１へ進む。

前記ステップＳ４３で、サンプル映像を用いた簡易な設定が選択された場合（ステップＳ４３のNO）、前記ＣＰＵは、表示部７７に設定方法の説明を表示した後設定用のサンプル映像データ７１を表示させる（ステップＳ５１）。サンプル映像は、例えば、視点の移動速度が次第に速くなる3D 映像データである。ユーザーがその映像を視聴して不快に感じた時点でリモコン９３を用いて所定の操作を行う。サンプル映像は、複数あってもよい。例えば、ｘｙｚ方向にそれぞれ移動する映像であってもよい。あるいは、移動方向を同じくするが撮影対象が異なる複数の映像であってもよい。この場合、ユーザーは各映像について所定の操作を行う。

前記ＣＰＵは、ユーザーが所定の操作を行ったか否かを監視し（ステップＳ５３）。入力があった場合は（ステップＳ５３のYES）、その時刻のサンプル映像速度テーブル７３の値を取得する（ステップＳ５５）。そして、そのユーザーの閾値データ６５の値を更新する（ステップＳ５７）。サンプル映像が終了するまで、処理を繰り返す（ステップＳ５９のNOのループ）。
サンプル映像を用いた設定が終了したら（ステップＳ５９のYES）、ルーチンはステップＳ６１へ進む。

続いて、前記ＣＰＵは、補正方法指定６９の設定メニューを表示部７７に表示させる（ステップＳ６１）。この実施形態では、映像の2D 化、メッセージ表示あるいは低速再生の３つの選択肢の何れかの選択を求めるものである。ユーザーがリモコン９３を用いて何れか一つを選択する操作を行うと、前記ＣＰＵはその操作に応答して、選択された設定を補正方法指定６９に格納する（ステップＳ６３）。
以上が、閾値設定および補正方法指定の処理である。
なお、この実施形態では、閾値設定と補正方法の指定を一連のものとしているが、それらを個別の設定メニューとして受付けるようにしてもよい。

≪3D 映像再生時の処理−通常の映像データ再生≫
続いて、映像を再生する際に、前記ＣＰＵが制御部８７、映像分離部５５、2D 化映像生成部８１、メッセージ表示生成部８３低速映像生成部８５やメニュー制御部８９として実行する処理を説明する。
図８および図９は、この発明に係る再生装置５１の前記ＣＰＵが再生時に行う処理の手順を示すフローチャートである。フローチャートに沿って処理の手順を説明する。なお、フローチャートには示していないが、制御部８７として前記ＣＰＵは、映像データを再生する指示を受けたときまずユーザーを特定する処理を行ってもよい。この処理は、閾値データ６５や補正方法指定６９に係るユーザーを特定するためである。具体的には、識別コードの入力を求める等するメニューを表示し、入力された内容に基づいてユーザーを特定するようにしてもよい。

まず、図８に沿って、映像データの再生を説明する。3D 酔い対応については、図９で後述する。ユーザーがリモコン９３を操作して再生の指示を行うと、前記ＣＰＵは、制御部８７としてその指示を受付け、映像取得部５３に再生すべき映像データと速度テーブルを取得させる。取得した速度テーブルは速度テーブル６３として記憶部６１に格納しておく。そして、映像データと速度テーブルの同期に使用する時刻データｔの値を初期化する（ステップＳ７１）。時刻データｔは、映像データの再生が進むにつれて更新される。即ち、時刻データｔは、映像データのどの時刻のフレームが再生されているかを表す。また、速度テーブル６３の参照に用いるインデックスｉの値を初期化する（ステップＳ７３）。

次に、映像分離部５５として前記ＣＰＵは、インデックスｉで参照される速度テーブルの時刻ｔ（ｉ）を取得する（ステップＳ７５）。そして、映像データの再生が進み、時刻データｔがｔ（ｉ）に達するのを待つ（ステップＳ７７）。時刻データｔがｔ（ｉ）に達する前の段階では、前記ＣＰＵはステップＳ７７で「ＮＯ」と判定し、ルーチンはステップＳ８９へ進む。ここで前記ＣＰＵは、映像取得部５３が取得した映像データを映像バッファ５７に入力して映像の再生を進行させる（ステップＳ８９）。このときの映像データには、3D 対応すべき旨の属性を付加しない。そして、再生の進行に対応して時刻データｔを更新する（ステップＳ９１）。映像データが終了しない限り（ステップＳ９３のNO）、ルーチンはステップＳ７７へ戻るループを辿る。なお、理解しやすいようにフローチャート上はループ処理にしているが、繰り返し処理は時分割のマルチタスク処理として実行される。

やがて、時刻データｔがｔ（ｉ）に達すると、前記ＣＰＵは前記ステップＳ７７で「ＹＥＳ」と判定し、ルーチンはステップＳ７９へ進む。そして、前記ＣＰＵは、速度テーブル６３のうちインデックスｉが示す速度データを参照する。そして、その速度データと閾値データ６５との大小関係を比較する（ステップＳ８３）。なお、速度テーブルの速度データと閾値データ６５とで異なる単位を使用する装置の場合は、前述した比較に先立ち単位をそろえるための換算を行う（ステップＳ８１）。

前記ステップＳ８３の比較において、速度テーブルから得られた速度データが閾値データ６５を超えていない場合（ステップＳ８３のNO）、前記ＣＰＵは、3D 酔い対応を行う必要がないと判断し、ルーチンをステップＳ８５へ進める。このルーチンは、取得した映像データを映像バッファ５７に入力して再生を進行させるステップＳ８９へと続く。しかし、その前に、インデックスｉを更新して（ステップＳ８５）、速度テーブル６３の次のデータを参照するようにし、更新されたインデックスを用いて時刻データｔがｔ（ｉ）を取得する（ステップＳ８７）。その後、ルーチンはステップＳ８９、Ｓ９１、Ｓ９３、Ｓ７７のルートを辿り、時刻データｔが新たに取得された時刻ｔ（ｉ）に達するまで映像の再生を続ける。
なお、映像データが終了した場合は、ステップＳ９３で前記ＣＰＵは「ＹＥＳ」と判定し、再生処理を終了する。

一方、前記ステップＳ８３において、速度データが閾値データ６５を超えていると判断した場合（ステップＳ８３のYES）、前記ＣＰＵは、その映像データをそれ以前の映像データと分離する。そして、分離した映像データに3D 酔い対応を行うべきことを示す属性を付加した後に映像バッファ５７に入力する（ステップＳ９５）。そして、ルーチンはステップＳ９１へ進む。

≪3D 映像再生時の処理−3D 酔い対応の処理≫
さらに図９に基づいて、3D 酔い対応の処理について説明する。図９は、前記ＣＰＵが2D 化映像生成部８１、メッセージ表示生成部８３低速映像生成部８５として行う処理を主として示すフローチャートである。
前記ＣＰＵは、映像バッファ５７から出力されて表示制御部７５に渡される映像データに3D 酔い対応をすべき属性が付加されているか否かを監視する（ステップＳ１００）。前記属性が付加されていない場合、即ち、前述のステップＳ８９の処理を経て映像バッファ５７に入力された映像データの場合（ステップＳ１００のNO）、前記ＣＰＵは、補正処理を施すことなくその映像データを表示制御部７５に渡す（ステップＳ１３３）。表示制御部７５は、渡された映像データを表示部７７に表示する。映像データが終了しない限り（ステップＳ１３５のNO）、ルーチンはステップＳ１０３へ戻り処理を繰り返す。なお、理解しやすいようにフローチャート上はループ処理にしているが、繰り返し処理は時分割のマルチタスク処理として実効される。

前述のステップＳ９５で3D 酔い対応をすべき旨の属性が付加されている場合、即ち、前述のステップＳ９５の処理を経て映像バッファ５７に入力された映像データの場合（ステップＳ１００のYES）、前記ＣＰＵは、補正方法指定６９の設定を取得する（ステップＳ１０１）。ユーザーごとに設定されている場合は、ユーザーに応じた補正方法を取得する。

そして、補正方法に応じた処理を行う。まず、取得した補正方法が、低速再生であるか否かを判断する（ステップＳ１０３）。低速再生であれば（ステップＳ１０３のYES）、ルーチンはステップＳ１２１へ進む。一方、低速再生でなければ（ステップＳ１０３のNO）、ルーチンはステップＳ１０５へ進み、補正方法がメッセージ表示であるか否かを判断する。メッセージ表示であれば（ステップＳ１０５のYES）、ルーチンはステップＳ１１１へ進む。一方、メッセージ表示でなければ（ステップＳ１０５のNO）、ルーチンはステップＳ１０７へ進み2D 化の処理を行う。

具体的には、2D 化映像生成部８１として前記ＣＰＵは、左眼用の映像データを右眼用の映像データに置換して、両方の眼が右眼用の映像データを観るようにする。このようにすれば、右眼用の映像データと左眼用の映像データの視差がなくなり、視聴者は立体感を感じなくなる。勿論、右眼用の映像データを左眼用のデータに置換して両方の眼が左眼用の映像データを観るようにしてもよい。
また、映像データを置換するのではなく、3D メガネ９７の両眼のシャッター制御を変更してもよい。

通常の3D 映像再生時は、左眼用の映像データと右眼用の映像データを１フレームずつ交互に表示部７７に表示し、それに同期して3D メガネ９７のシャッターを交互にオン／オフしている。即ち、表示部７７に右眼用の映像データを表示しているときは3D メガネ９７の右眼のシャッターを開き左眼のシャッターを閉じるように制御している。次のフレームで表示部７７に左眼用の映像データを表示しているときは3D メガネ９７の右眼のシャッターを閉じ左眼のシャッターを開くように制御している。これを交互に繰り返している。これに対し映像を2D 化するときは、表示部７７に右眼用の映像データを表示しているときに3D メガネ９７の右眼と左眼の両方のシャッターとを開く。そして、次のフレームで表示部７７に左眼用の映像データを表示しているときは3D メガネ９７の右眼と左眼の両方のシャッターを閉じる。このようにして、両眼が右眼用の映像のみを観るようにするのである。あるいは、逆に表示部７７に左眼用の映像データを表示しているときに両眼のシャッターを開き、右眼用の映像データを表示しているときは両眼のシャッターを閉じるようにして、両眼が左眼用の映像のみを観るようにしてもよい。
そして前記ＣＰＵは、映像データを表示制御部７５に渡す（ステップＳ１３３）。映像データを渡された表示制御部７５は、この補正された映像データを表示部７７に表示する。映像データが終了するまでＳ１００からＳ１３３の処理を繰り返す（ステップＳ１３５）。

一方、前記ステップＳ１０５で補正方法がメッセージ表示である場合、メッセージ表示生成部８３として前記ＣＰＵは、映像バッファ５７から出力される映像データに代えて表示すべきメッセージの映像データを生成する（ステップＳ１１１）。そして、前記映像データを生成したメッセージに代えて（ステップＳ１１３）表示制御部７５に渡す（ステップＳ１３３）。映像データが終了するまでＳ１００からＳ１３３の処理を繰り返す（ステップＳ１３５）。

また、一方、前記ステップＳ１０３で補正方法がメッセージ表示である場合（ステップＳ１０３のYES）、低速映像生成部８５として前記ＣＰＵは、映像バッファ５７から出力される映像データの一連のフレームをｎ個（ｎは２以上の整数）の時系列順のグループに分割する（ステップＳ１２１）。そして、各グループの映像再生の間にウェイト処理を挿入し（ステップＳ１２３〜Ｓ１３１）、映像をスロー再生する。なお、挿入するウェイト時間は、前記ＣＰＵが速度テーブル６３の速度データと閾値データ６５とに基づいて決定することが好ましい。即ち、スロー再生される映像の視点の移動速度が、閾値データ６５の設定を超えない程度に宇税と時間を決定することが好ましい。

前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。

１１：撮影装置
１３：撮像部
１５：映像データ生成部
１７：補助記憶部
２１：加速度センサ
２３：角速度センサ
２５：距離検出デバイス
２７：角速度→速度変換部
２９：速度データ生成部
３１：撮影対象
４１：映像データ
４３：速度テーブル
５１：再生装置
５３：映像取得部
５５：映像分離部
５７：映像バッファ
６１：記憶部
６３：速度テーブル
６５：閾値データ
６７：解像度データ
６９：補正方法指定
７１：サンプル映像データ
７３：サンプル映像速度テーブル
７５：表示制御部
７７：表示部
８１：2D 化映像生成部
８３：メッセージ表示生成部
８５：低速映像生成部
８７：制御部
８９：メニュー制御部
９１：リモコン受光部
９３：リモコン
９５：3D メガネ通信部
９７：3D メガネ

Claims (8)

1. 三次元動画の映像にその映像を捕えたカメラ位置の移動速度が付加された記録映像を取得し再生する映像取得部と、
   カメラ位置の移動速度に係る閾値を予め格納する記憶部と、
   取得された記録映像の再生中に前記カメラ位置の移動速度と前記閾値とを比較し、移動速度が閾値を超える時間帯と閾値以下の時間帯とに前記映像を分離する映像分離部と、
   閾値を超える時間帯に再生する映像を補正する映像補正部と、
   閾値を超える時間帯は前記映像補正部により補正された映像を表示し閾値以下の時間帯は前記映像補正部による補正がされない映像を表示するように制御する表示制御部とを備えることを特徴とする三次元映像再生装置。
2. 前記映像補正部は、取得された映像の再生速度を遅くするものである請求項１に記載の再生装置。
3. 前記映像補正部は、前記映像のフレームを間引いてコマ送りに補正するものである請求項１に記載の再生装置。
4. 前記映像補正部は、閾値を超える時間帯は視聴者に取得された映像をみせないように補正するものである請求項１に記載の再生装置。
5. 前記映像補正部は、所定のメッセージを表示するように補正するものである請求項４に記載の再生装置。
6. 前記映像補正部は、三次元の映像を二次元の映像に補正するものである請求項１に記載の再生装置。
7. 前記三次元動画の映像は、視差分だけ互いに異なる右眼用映像と左眼用映像とを含んでなり、
   前記映像補正部は、視聴者の両眼に右眼用映像のみを観せるかまたは左眼用映像データのみを観せるように補正する請求項６に記載の再生装置。
8. 前記記憶部は、前記閾値の設定をユーザーが行うために、カメラ位置の移動速度が変化する閾値設定用映像を予め格納する請求項１に記載の再生装置。