JP5988113B2 - ステレオビジョンシステムの映像処理方法及びその装置 - Google Patents

Description

本発明は、ステレオビジョンシステムの映像処理方法及びその装置に係り、より詳細には、ステレオビジョンシステムにおいて、複数のカメラを用いて交互に映像をグラブ（ｇｒａｂ）することによって、性能が低いカメラを用いて性能が高いカメラの効果を得ることができるステレオビジョンシステムの映像処理方法及びその装置に関する。

また、本発明は、ステレオビジョンシステムにおいて、被写体の物理的特性に関する情報を獲得するために、複数のカメラを用いて交互に映像をグラブして獲得した映像情報に基づいて予測映像情報を獲得することによって、性能が低いカメラを用いて効率的に映像を撮影することができるステレオビジョンシステムの映像処理方法及びその装置に関する。

また、本発明は、ステレオビジョンシステムにおいて、被写体の状態に応じて撮影モードを変換することによって、システムの負荷を低減し、効率的に映像を撮影することができるステレオビジョンシステムの映像処理方法及びその装置に関する。

また、本発明は、ステレオビジョンシステムにおいて、複数のカメラを用いて交互に映像をグラブすることによって、性能が低いカメラを用いて高速で動く被写体を近接撮影することができるステレオビジョンシステムの映像処理方法及びその装置に関する。

静止していたり動いている被写体を撮影することによって獲得された映像情報を用いて、被写体の物理的情報（例えば、被写体の速度、方向、回転など）を獲得する映像処理装置が多数紹介されている。

特に、最近は、ＤＳＬＲ（Ｄｉｇｉｔａｌ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｒｅｆｌｅｘ）などのデジタルカメラを含んだ映像処理装置が大多数の消費者に広く使用されており、関連技術の発達により、性能に優れ、かつ低価格の映像処理装置が広く普及している。

映像処理装置の目的の一つは、獲得された映像情報から被写体を見つけるか、または認識することであるといえる。これは、一つのカメラを使用しては具現することができず、少なくとも２つ以上のカメラが必要であり、これを具現するために利用される技術がステレオビジョンシステム（ＳＶＳ；Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ）である。

ステレオビジョンシステムは、人間の視覚体系を具現するためのコンピュータビジョンの適用分野であり、左・右側で構成された２台のカメラにより得られる映像システムを意味し、これは、産業分野において自動車の自動駐車及び無人走行システムに利用できるだけでなく、運動競技では選手の動き及び速度などを確認するか、またはボール（ｂａｌｌ）を用いる野球、ゴルフ、サッカーなどの競技では獲得された映像情報に基づいて被写体であるボールの移動速度、方向などを確認するのに利用することができる。

従来のステレオビジョンシステムの映像処理方法は、被写体が非常に速い速度で移動したり、または被写体と非常に近接した距離で映像を撮影する場合には、フィルムがカメラの露出装置を通過して撮影される速度を示すカメラ速度（ｃａｍｅｒａ ｓｐｅｅｄ）が非常に高くなければならないが、カメラ速度が高い場合、価格が非常に高くなるため、このようなカメラを用いてステレオビジョンシステムを具現することは非常に難しい。したがって、性能が低い低価のカメラを用いて、性能が良いカメラと同一のステレオビジョンシステムを具現することができる方法が要求されている。

また、静止していた被写体が移動する場面を撮影する場合、例えば、ゴルフ選手がフィールド上に静止しているボールを打撃する場合や、野球競技で投手がグローブの中のボールを捕手に投げる場合などのような場面を撮影する場合において、持続的に高いカメラ速度で映像を撮影する場合、不必要な映像を分析、格納するようになるため、システムの負荷を増加させることがある。したがって、被写体の状態に応じて映像処理装置の撮影モードを変換することができる方法が要求されている。

また、ステレオビジョンシステムを用いて被写体の物理的特性に関する情報を獲得するためには、複数のカメラが時間同期化して被写体の映像をグラブしなければならないため、超高速で移動する被写体を近接撮影して被写体の物理的特性に関する情報を獲得することは非常に難しい。したがって、ステレオビジョンシステムを構成する複数のカメラが時間同期化して被写体の映像をグラブしなくても、被写体の物理的特性に関する情報を獲得することができる方法が要求されている。

本発明の解決課題は、以上で言及したものに限定されず、言及していない他の解決課題は、下記の記載から、当業者に明確に理解されるであろう。

本発明は、上記のような問題点を解決するために創案されたもので、ステレオビジョンシステムに用いられる２つのカメラが、時間同期化されずに、所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得することによって、比較的低価格の、カメラ速度が低いカメラを用いて、性能が良いカメラと類似のステレオビジョンシステムを具現することができるステレオビジョンシステムの映像処理方法及び装置を提供することをその目的とする。

本発明の他の目的は、被写体の状態に応じて撮影モードを変換することによって、システムの負荷を低減し、効率的に映像を撮影することができるステレオビジョンシステムの映像処理方法及び装置を提供することをその目的とする。

本発明の更に他の目的は、ステレオビジョンシステムに含まれた複数のカメラから獲得した映像情報に基づいて予測映像情報を獲得し、これを通じて被写体の物理的特性などを確認することができるステレオビジョンシステムの映像処理方法及び装置を提供することをその目的とする。

本発明は、次のような効果及び利点を提供する。

まず、ステレオビジョンシステムに用いられる２つのカメラが、時間同期化されずに、所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得することによって、比較的低価格の、カメラ速度が低いカメラを用いて、性能が良いカメラと同一のステレオビジョンシステムを具現することができる。

第一に、被写体の状態に応じて撮影モードを変換することによって、システムの負荷を低減し、効率的に映像を撮影できるステレオビジョンシステムを具現することができる。

第三に、ステレオビジョンシステムに含まれた複数のカメラから獲得した映像情報に基づいて予測映像情報を獲得し、これを通じて被写体の物理的特性などを確認するので、予測映像情報の正確性を高めることができる。

本発明の効果は、以上で言及したものに限定されず、言及していない他の効果は、下記の記載から、当業者に明確に理解されるであろう。

ステレオビジョンシステムを説明するための図である。 ステレオビジョンシステムを説明するための図である。 ステレオビジョンシステムにおいてカメラを設置する方法を示す図である。 一般的なステレオビジョンシステムにおいてカメラにより映像がグラブされるシーケンスを示す図である。 本発明の一実施例に係るステレオビジョン用映像処理装置の構成を示すブロック図である。 図４に示された映像処理装置の具体的な構成及び追加的な構成と各構成要素の機能に関して示すブロック図である。 本発明の実施例に係る映像処理装置においてカメラにより映像がグラブされるシーケンスを示す図である。 本発明の一実施例に係る撮影モードの変換が可能なステレオビジョンシステムの映像処理装置の構成を示すブロック図である。 図７に示された映像処理装置の具体的な構成及び追加的な構成と各構成要素の機能に関して示すブロック図である。 本発明の一実施例に係る第２モードで作動するステレオビジョンシステムの映像処理装置の構成を示すブロック図である。 本発明の実施例に係る映像処理装置においてカメラにより映像がグラブされるシーケンスを示す図である。 本発明の実施例に係る映像処理装置を用いて第２モードで撮影された映像を示す図である。 本発明の実施例に係る映像処理装置を用いて第２モードで撮影された映像を用いて映像を推定する方法を示す図である。 本発明の一実施例に係る映像処理装置を用いて映像情報を獲得する過程を示すフローチャートである。 本発明の一実施例に係る映像処理装置を含んだ仮想ゴルフシミュレーションのためのセンシング装置を示す図である。 図１４に示された仮想ゴルフシミュレーションのためのセンシング装置の構成を示すブロック図である。 本発明の一実施例に係るセンシング装置の打撃感知部によって、ユーザが被写体であるボールを打撃したか否かを感知する過程を示す図である。

上記目的を達成するために、本発明に係るステレオビジョンシステムの映像処理装置は、被写体を撮影して映像情報を獲得する第１カメラ及び第２カメラと、撮影時に閃光を発する照明部とを含む映像撮影部と；前記第１カメラと第２カメラが、時間同期化されずに、所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得するように制御するカメラ制御部と；を含むことを特徴とする。

本発明は、前記照明部が前記第１カメラ及び第２カメラによる映像のグラブと時間同期化して動作するように制御する照明制御部をさらに含むことを特徴とする。

本発明は、前記獲得された映像情報に基づいて、被写体が静止しているか否かを判断する映像分析部と；被写体が静止していると判断された場合、前記映像撮影部の撮影モードを第２モードに変換するモード変換部と；を含み、前記第１モードは、前記第１カメラと第２カメラが時間同期化して被写体の映像をグラブして映像情報を獲得し、前記第２モードは、前記第１カメラと第２カメラが所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得することを特徴とする。

本発明は、前記第１カメラ及び第２カメラは、前記カメラ制御部から送信された信号に応じて、第２モードで映像情報を獲得することを特徴とする。

本発明は、前記第１モードは、低速で映像をグラブし、前記第２モードは、高速で映像をグラブすることを特徴とする。

本発明は、前記映像分析部は、前記第２モードで獲得された映像情報に基づいて、被写体がユーザによって打撃が行われたか否かを感知する打撃感知部をさらに含むことを特徴とする。

本発明は、前記第１カメラ及び第２カメラから前記第２モードを通じて獲得した映像情報を格納するデータベースをさらに含むことを特徴とする。

本発明は、被写体がユーザによって打撃が行われたものと感知された場合、打撃時点を確認して、打撃時点前／後の映像情報を前記データベースから抽出し、前記抽出された映像情報に基づいて予測映像情報を獲得する映像推定部をさらに含むことを特徴とする。

本発明は、前記映像推定部は、前記第１カメラから獲得した第１映像情報及び第２映像情報と、前記第２カメラから獲得した第３映像情報とを用いて、第１予測映像情報を獲得することを特徴とする。

本発明は、前記第１映像情報及び第２映像情報は、前記第１カメラから獲得した連続したフレームの映像を示し、前記第３映像情報は、第２カメラから前記第１映像情報と第２映像情報との間に獲得したフレームの映像を示すことを特徴とする。

本発明は、前記打撃時点前／後の映像情報及び前記予測映像情報に基づいて被写体の物理的特性を獲得する映像処理部をさらに含むことを特徴とする。

上記のような目的を達成するために、本発明に係るステレオビジョンシステムの映像処理方法は、第１カメラ及び第２カメラと、撮影時に閃光を発する照明部とを含む映像撮影部を用いて、第１モードで被写体の映像情報を獲得するステップと；前記獲得された映像情報に基づいて、被写体が静止しているか否かを判断するステップと；被写体が静止していると判断された場合、前記映像撮影部の撮影モードを第２モードに変換するステップと；を含み、前記第１モードは、前記第１カメラと第２カメラが時間同期化して被写体の映像をグラブして映像情報を獲得し、前記第２モードは、前記第１カメラと第２カメラが所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得することを特徴とする。

本発明は、前記第１カメラ及び第２カメラは、変換された第２モードで映像情報を獲得するステップをさらに含むことを特徴とする。

本発明は、前記第２モードで獲得された映像情報に基づいて、被写体がユーザによって打撃が行われたか否かを感知するステップを含むことを特徴とする。

本発明は、前記第２モードで獲得した映像情報をデータベースに格納するステップをさらに含むことを特徴とする。

本発明は、被写体がユーザによって打撃が行われたものと感知された場合、打撃時点を確認して、打撃時点前／後の映像情報を前記データベースから抽出し、前記抽出された打撃時点前／後の映像情報に基づいて予測映像情報を獲得するステップをさらに含むことを特徴とする。

本発明は、前記予測映像情報は、前記第１カメラから獲得した第１映像情報及び第２映像情報と、前記第２カメラから獲得した第３映像情報とを用いて獲得されることを特徴とする。

本発明は、前記第１映像情報及び第２映像情報は、前記第１カメラから獲得した連続したフレームの映像を示し、前記第３映像情報は、第２カメラから前記第１映像情報と第２映像情報との間に獲得したフレームを示すことを特徴とする。

本発明は、前記打撃時点前／後の映像情報及び前記予測映像情報に基づいて被写体の物理的特性を獲得するステップをさらに含むことを特徴とする。

本発明は、前記第１モードは、低速で映像をグラブし、前記第２モードは、高速で映像をグラブすることを特徴とする。
［発明の実施のための形態］

以下、添付の図面を参照して、本発明の好ましい実施例を詳細に説明する。先ず、本明細書及び特許請求の範囲で用いられた用語や単語は、通常または辞書的な意味に限定して解釈されてはならず、発明者は自分の発明を最善の方法を用いて説明するために用語の概念を適切に定義できるという原則に基づき、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示す構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想をすべて代弁するものではないため、本出願が行われた時点においてこれらを代替できる様々な均等物と変形例があり得るということを理解しなければならない。

特に、本明細書において情報（ｉｎｆｏｒｍａｔｉｏｎ）とは、値（ｖａｌｕｅｓ）、パラメーター（ｐａｒａｍｅｔｅｒｓ）、係数（ｃｏｅｆｆｉｃｉｅｎｔｓ）、成分（ｅｌｅｍｅｎｔｓ）などをすべて含む用語であって、場合によって、その意味は異なる意味に解釈可能であり、本発明はこれに限定されない。

図１は、ステレオビジョンシステムを説明するための図である。

図１Ａを参照すると、人が物体を立体的に認識できるのは、右眼と左眼がそれぞれ異なる映像を認識するからである。両眼により得られた網膜の映像が脳１００で互いに合成されることによって得られ、これは、両眼により取得された映像の微細な差によって得られる。このような微細な差から取得された映像が、網膜の視神経を介して脳の処理部分に伝達され、伝達された電気的信号は、脳の種々の処理過程を通じて特徴を見つけ、脳に記憶されている情報と比較して対象物体を認識するようになる。

図１Ｂを参照すると、人が両眼を介して対象物体を認識する過程をコンピュータビジョンに導入したものが、ステレオビジョンシステム（ｓｔｅｒｅｏｖｉｓｉｏｎ ｓｙｓｔｅｍ）である。したがって、ステレオビジョンシステムは、人の目に該当するカメラ１１０及び人の視覚体系に該当するコンピュータ１２０を含む。

図２は、ステレオビジョンシステムにおいてカメラを設置する方法を示す図である。

図２を参照すると、ステレオビジョンシステムにおいてカメラを設置する方法は、順次式と同時式とに大別される。順次式は、カメラを同時に設置せずに、一つのカメラを用いて順序によって映像を入力する方式である。

一方、同時式は、２つのカメラをすべて設置し、同時に映像を取得する方式で、現在、ステレオビジョンシステムにおいて一般的に使用している方法である。同時式は、カメラの構成によって、（ａ）平行式（Ｐａｒａｌｌｅｌ Ｃａｍｅｒａ Ｓｅｔｕｐ）と（ｂ）交差式（Ｃｒｏｓｓｉｎｇ Ｃａｍｅｒａ Ｓｅｔｕｐ）とに分かれる。これは、カメラの光軸をどのように構成するかによる分類である。平行式は、垂直または水平に平行な場合をいい、交差式は、カメラの光軸が一致する所を作る方法で、人の目の構造と近い。

平行式設置法は、距離測定が容易であるという長所があるが、立体映像の時差調節機能がないため良質の立体映像を作ることができないという短所があり、交差式設置法は、平行式に比べて、高速の動きを有する物体の距離測定が可能であるという長所を有する。

図３は、一般的なステレオビジョンシステムにおいてカメラにより映像がグラブされるシーケンスを示す図である。

図３に示すように、４個のフレーム（ｆｒａｍｅ）を基準に、一般的なステレオビジョンシステムでの映像のグラブは、２台の異なるカメラで撮影した時間同期化された映像の共通集合部分で行われ、被写体の状態と関係なく、一定の速度でカメラにより映像がグラブされる。

例えば、図３に示すように、４５０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の撮影速度を有する２台のカメラで映像を撮影する場合、各カメラを通じて１秒当たり４５０フレームの映像を一定に獲得することができ、各カメラを通じて獲得した時間同期化された映像を用いて、撮影された被写体の距離、方向などを確認することができる。

しかし、静止していた被写体が動く場面を撮影する場合などにおいて、被写体の状態を考慮しないで常に一定に同一の撮影モード（例えば、撮影速度、グラブシーケンスなど）で映像を撮影すれば、不必要な映像を撮影することによって、システムの負荷を増加させることがある。例えば、静止しているゴルフボールをユーザが打撃する場合において、インパクト時点以降には、高速で動く被写体を撮影しなければならないので高い撮影速度が要求されるが、インパクト時点以前の静止状態においても高い撮影速度で映像を撮影する場合には、不必要な映像を撮影することによってシステムの負荷を増加させることがある。

また、もし、高速の動きを有する被写体を非常に近接して撮影するためには、より高い性能を有するカメラが必ず必要であり、例えば、９００ｆｐｓの性能を有する２台のカメラを用いて被写体を撮影しなければならない場合であれば、カメラの価格などが非常に高いため、ステレオビジョンシステムを構成することが難しくならざるを得ない。

したがって、被写体の状態に応じて撮影モードを調節することができるステレオビジョンシステムが要求され、高速の動きを有する被写体を近接撮影するために、高価のカメラを使用せずに低価格のカメラを用いてステレオビジョンシステムを構成することができる方法が要求される。

図４は、本発明の一実施例に係るステレオビジョン用映像処理装置の構成を示すブロック図であり、図５は、図４に示された映像処理装置の具体的な構成及び追加的な構成と各構成要素の機能に関して示すブロック図である。

図４に示すように、本発明に係るステレオビジョン用映像処理装置４００は、映像撮影部４１０及び制御部４２０を含んで構成される。また、前記映像撮影部４１０は、ステレオビジョンシステムを構成するために、複数のカメラ４３０と、撮影時に閃光を発する少なくとも一つ以上の照明を含む照明部４４０とを含む。

図３を参照して上述したように、一般的なステレオビジョン用映像処理装置は、一つ以上のフレーム単位で時間同期化して、連続的に被写体の映像を撮影するように構成されているが、本発明に係る映像処理装置４００は、各カメラが交互に被写体の映像を撮影することを特徴とする。

例えば、４５０ｆｐｓの速度を有する２台のカメラからなる映像処理装置の場合、１番目のカメラ（Ｃａｍｅｒａ ＃１）を用いた映像のグラブが行われ、１／９００秒後に２番目のカメラ（Ｃａｍｅｒａ ＃２）を用いた映像のグラブが行われるように構成すれば、４５０ｆｐｓの速度を有する２台のカメラを用いて、９００ｆｐｓの速度を有するカメラで撮影した効果を得ることができる。もちろん、この場合には、互いに異なる位置で被写体を撮影するため、撮影された映像から３Ｄ情報を抽出するためには、各カメラの前／後映像を抽出して中間の空き映像を推定する過程がさらに要求される。

制御部４２０は、映像撮影部４１０の複数のカメラ４３０が所定の時間差をおいて映像をグラブするように制御する一方、複数のカメラ４３０が映像をグラブする時に照明部４４０が動作できるように制御する役割を果たす。

図５を参照して、図４に示された映像処理装置４００に関する具体的な構成、及び各構成要素の機能について説明する。

図４及び図５に示すように、本発明に係る映像処理装置４００における情報の流れは、映像撮影部４１０→映像推定部４７０→映像処理部４８０の順に行われ、制御部４２０は、カメラ制御部４５０及び照明制御部４６０を含むことで、複数のカメラ４３０及び照明部４４０を制御する。

映像撮影部４１０は、カメラ制御部４５０の信号に応じて、複数のカメラが所定の時間差をおいて映像をグラブし、照明部４４０は、照明制御部４６０の信号に応じて、複数のカメラ４３０が映像をグラブする速度に合せて照明を提供する。

例えば、カメラ制御部４５０は、４５０ｆｐｓの速度を有する２台のカメラにおいて、１番目のカメラ（Ｃａｍｅｒａ ＃１）を用いた映像のグラブが行われ、１／９００秒後に２番目のカメラ（Ｃａｍｅｒａ ＃２）を用いた映像のグラブが行われるように制御し、照明制御部４６０は、９００ｆｐｓの速度でカメラが映像を撮影できる光学的環境が提供されるように照明部を制御することができる。

カメラ制御部４５０の信号に応じて、映像撮影部４１０の第１カメラ（例えば、左側に位置したカメラ）及び第２カメラ（例えば、右側に位置したカメラ）は、所定の時間差をおいて交互に映像を撮影して映像情報を獲得する。しかし、上述したように、前記獲得された映像情報は、時間同期化して撮影された映像に関する情報ではないので（すなわち、前記第１カメラ及び第２カメラを通じて獲得された映像情報は共通集合が発生しない）、該当映像情報に基づいて３Ｄ情報のような被写体の物理的特性に関する情報を獲得することができない。

映像推定部４７０は、前記第１カメラ及び第２カメラから獲得した映像情報に基づいて、予測映像情報を獲得する。具体的には、前記第１カメラから獲得した第１映像情報及び第２映像情報と前記第２カメラから獲得した第３映像情報とを用いて第１予測映像情報を獲得する。

一方、前記第１映像情報と第２映像情報は、前記第１カメラから獲得した連続したフレームの映像を示し、前記第３映像情報は、第２カメラから前記第１映像情報と第２映像情報との間に獲得したフレームの映像を示す。映像推定部４７０が予測映像情報を獲得する過程に関する詳細な説明は、図１２を参照して後述する。

本発明に係る映像処理装置は、映像撮影部４１０によって撮影された電気的な映像信号をデジタル化するグラバー（図示せず）、及び映像撮影部４１０から獲得した映像情報及び映像推定部４７０から獲得した予測映像情報を格納するデータベース（図示せず）をさらに含むことができる。

映像処理部４８０は、映像撮影部４１０から獲得した映像情報、映像推定部４７０から獲得した予測映像情報またはデータベースに格納された情報を用いて、被写体の物理的特性に関する情報などを獲得する。例えば、映像撮影部４１０を用いて動く被写体を撮影した場合、映像処理部４８０は、前記情報を用いて、該当被写体までの距離、被写体の速度及び方向などに関する情報を獲得することができる。

図３に示すように、各フレームにおいて１番目のカメラ（Ｃａｍｅｒａ ＃１）と２番目のカメラ（Ｃａｍｅｒａ ＃２）とが時間同期化して映像を撮影する場合、高速の動きを有する被写体を近接撮影するためには、高性能を有する高価のカメラが必要である。

本発明は、映像を交互に撮影することによって、すなわち、グラブシーケンス（ｇｒａｂ ｓｅｑｕｅｎｃｅ）を調整して、低性能のカメラを用いて高性能のカメラで映像を撮影した効果を得ることができる方法を提案する。

以下、図６を参照して、本発明の実施例に係る映像処理装置の動作について説明する。一方、本発明の属する技術分野における通常の知識を有する者は、映像をグラブする動作以外の映像処理装置に対して理解できるはずなので、以下の説明では、映像をグラブする動作を中心に説明する。

図６は、本発明の実施例に係る映像処理装置においてカメラにより映像がグラブされるシーケンスを示す図である。

図６に示すように、本発明の実施例に係る映像処理装置４００は、２台のカメラが交互に映像をグラブすることを特徴とする。

すなわち、Ｎ ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）（Ｎ＞０、ここで、Ｎは、カメラ速度を意味する）の性能を有する２台のカメラを用いて映像を撮影する場合、１番目のカメラ（Ｃａｍｅｒａ ＃１）が作動した後、１／２Ｎ秒後に２番目のカメラ（Ｃａｍｅｒａ ＃２）が作動するように構成する。この場合、２Ｎ ｆｐｓの性能を有するカメラを用いて映像を撮影する効果を得ることができる。

例えば、図６に示すように、４５０ｆｐｓの性能を有する２台のカメラを用いて映像を撮影する場合に、１番目のカメラ（Ｃａｍｅｒａ ＃１）のグラブ開始後、１／９００秒後に２番目のカメラ（Ｃａｍｅｒａ ＃２）が映像をグラブする場合、９００ｆｐｓの性能を有するカメラで映像をグラブする効果を得ることができる。

このような本発明の原理は、図５を参照して上述したように、カメラ制御部４５０が複数のカメラを制御するようにすることによって具現することができる。すなわち、カメラ制御部４５０は、１番目のカメラ（Ｃａｍｅｒａ ＃１）が映像をグラブし、所定の時間後（例えば、図６では１／９００秒後）に２番目のカメラ（Ｃａｍｅｒａ ＃２）が映像をグラブするように制御する。

図７は、本発明の一実施例に係る撮影モードの変換が可能なステレオビジョンシステムの映像処理装置の構成を示すブロック図であり、図８は、図７に示された映像処理装置の具体的な構成及び追加的な構成と各構成要素の機能に関して示すブロック図である。

図７に示すように、本発明に係るステレオビジョン用映像処理装置７００は、映像撮影部７１０、映像分析部７２０、モード変換部７５０、制御部７６０及び映像処理部７７０を含んで構成される。

図３を参照して上述したように、一般的なステレオビジョン用映像処理装置は、被写体の状態と関係なく、一定の撮影速度で一つ以上のフレーム単位で時間同期化して連続的に被写体の映像を撮影するように構成されているが、本発明に係る映像処理装置７００は、被写体の状態に応じて、撮影モードを第１モードから第２モードに変換し、特に第２モードでは、各カメラが交互に被写体の映像を撮影することを特徴とする。

ここで、第１モードと第２モードは、撮影速度、グラブシーケンスなどで区別される。すなわち、第１モードは、撮影速度が低く、ステレオビジョンシステムを構成する複数のカメラ７３０が時間同期化して被写体の映像をグラブし、第２モードは、撮影速度が高く、前記複数のカメラ７３０が所定の時間差をおいて交互に被写体の映像をグラブする。

もし、静止していた被写体が動く場面を近接して撮影する場合、被写体が静止状態から動き始めた時点から（以下、"プレー（ＰＬＡＹ）区間"という）は、高い撮影速度で映像を撮影する必要があるが、前記被写体が動き始める前の時点（すなわち、静止状態の時点）まで（以下、"レディー（ＲＥＡＤＹ）区間"という）は、低い撮影速度で映像を撮影しても関係ない。

したがって、例えば、４５０ｆｐｓの速度を有する２台のカメラからなる映像処理装置で被写体の動きを撮影する場合、レディー区間では、第１モード（例えば、３０ｆｐｓのような低い速度で時間同期化して被写体の映像をグラブ）で映像を撮影し、プレー区間では、第２モード（例えば、１番目のカメラ（Ｃａｍｅｒａ ＃１）を用いた映像のグラブが行われ、１／９００秒後に２番目のカメラ（Ｃａｍｅｒａ ＃２）を用いて映像をグラブ）で映像を撮影すれば、高速で映像を撮影する必要があるプレー区間では、４５０ｆｐｓの速度を有する２台のカメラを用いて９００ｆｐｓの速度を有するカメラで撮影したような効果を得ることができるだけでなく、低い速度で映像を撮影してもよいレディー区間では、不必要に多くの映像を撮影することによって発生するシステムの負荷を低減することができる。

勿論、上述したように、前記第２モードで映像を撮影する場合には、互いに異なる位置で被写体を撮影するので、撮影された映像から３Ｄ情報を抽出するためには、各カメラの前／後映像を抽出して中間の空き映像を推定する過程がさらに要求される。

映像分析部７２０は、映像撮影部７１０から獲得した映像に基づいて、被写体が静止しているか否かを判断し、モード変換部７５０は、被写体が静止したものと判断された場合、前記映像撮影部７１０の撮影モードを第２モードに変換する。

制御部７６０は、前記モード変換部７５０の信号に応じて、第１モードでは、映像撮影部７１０の複数のカメラ７３０が低い速度で時間同期化して被写体の映像をグラブするようにし、第２モードでは、前記カメラ７３０が速い速度で所定の時間差をおいて交互に被写体の映像をグラブするように制御する一方、前記カメラ７３０が映像をグラブする時に照明部７４０が動作できるように制御する役割を果たす。

図８を参照して、図７に示された映像処理装置７００に関する具体的な構成、及び各構成要素の機能に関して説明する。

図７及び図８に示すように、本発明に係る映像処理装置７００における情報の流れは、映像撮影部７１０→映像分析部７２０→モード変換部７５０→制御部７６０の順に行われ、制御部７６０は、カメラ制御部７６５及び照明制御部７７５を含むことで、複数のカメラ７３０及び照明部７４０を制御する。

映像撮影部７１０は、カメラ制御部７６５の信号に応じて、第１モードまたは第２モードで映像をグラブし、照明部７４０は、照明制御部７７５の信号に応じて、複数のカメラ７３０が映像をグラブする速度に合せて照明を提供する。

映像分析部７２０は、映像撮影部７１０が第１モードで獲得した映像情報に基づいて、被写体が静止しているか否かを判断し、具体的には、図８に示すように、映像分析部７２０内の動き感知部７８５を通じて、被写体が静止しているか否かを判断する。

前記判断の結果、被写体が静止していると判断された場合、モード変換部７５０は、映像撮影部７１０の撮影モードを第１モードから第２モードに変換し、カメラ制御部７６５は、モード変換部７５０の信号に応じて、映像撮影部７１０が第２モードで映像を撮影するように制御する。

例えば、撮影モードが第２モードに変換された場合、カメラ制御部７６５は、４５０ｆｐｓの速度を有する２台のカメラにおいて、１番目のカメラ（Ｃａｍｅｒａ ＃１）を用いた映像のグラブが行われ、１／９００秒後に２番目のカメラ（Ｃａｍｅｒａ ＃２）を用いた映像のグラブが行われるように制御し、照明制御部７７５は、９００ｆｐｓの速度でカメラが映像を撮影できる光学的環境が提供されるように照明部を制御することができる。

また、カメラ制御部７６５の信号に応じて、映像撮影部７１０の第１カメラ（例えば、左側に位置したカメラ）及び第２カメラ（例えば、右側に位置したカメラ）は、所定の時間差をおいて交互に映像を撮影して映像情報を獲得し、映像推定部７８０は、第２モードで前記第１カメラ及び第２カメラが獲得して伝送した映像情報に基づいて、予測映像情報を獲得する。

図９は、本発明の一実施例に係る第２モードで作動するステレオビジョンシステムの映像処理装置の構成を示すブロック図である。

図９に示すように、本発明に係る映像処理装置９００における情報の流れは、第１モードでは、映像撮影部９１０→映像分析部９２０→モード変換部９５０→制御部９６０の順に行われ、第２モードでは、映像撮影部９１０→映像分析部９２０→映像推定部９７０→映像処理部９８０の順に行われる。

映像撮影部９１０及び制御部９６０は、上記で説明したのと同一の機能を行うので、以下では、説明を省略する。一方、本発明に係る映像処理装置において、映像分析部９２０は、映像撮影部９１０が第１モードで獲得した映像情報に基づいて、被写体が静止しているか否かを判断する動き感知部９８５と、映像撮影部９１０が第２モードで獲得した映像情報に基づいて、被写体がユーザによって打撃が行われたか否かを感知する打撃感知部９９０とを含む。動き感知部９９０が被写体が静止しているか否かを判断して、モード変換部９５０が映像撮影部９１０の撮影モードを変換する機能は、上述したのと同一である。

打撃感知部９９０は、前記第２モードで獲得された映像情報に基づいて、被写体がユーザによって打撃が行われたか否かを感知し、映像推定部９８０は、被写体がユーザによって打撃が行われた場合、打撃時点を確認し、打撃時点前／後の映像情報を映像撮影部９１０またはデータベース（図示せず）から獲得して、前記映像情報に基づいて予測映像情報を獲得する。

図１０は、本発明の実施例に係る映像処理装置においてカメラにより映像がグラブされるシーケンスを示す図である。

図１０に示すように、本発明の実施例に係る映像処理装置９００は、被写体が静止しているか否かを基準にレディー区間とプレー区間とに分けて、レディー区間では第１モードで映像を撮影し、プレー区間では第２モードで映像を撮影することを特徴とする。

すなわち、レディー区間では、低速（例えば、３０ｆｐｓの撮影速度）で時間同期化して映像をグラブし、プレー区間では、高速（例えば、４５０ｆｐｓの撮影速度）で複数のカメラが所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得する。

Ｎ ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）（Ｎ＞０、ここで、Ｎは、カメラ速度を意味する）の性能を有する２台のカメラを用いて映像を撮影する場合、レディー区間では、低い速度で一定に映像をグラブし、プレー区間では、１番目のカメラ（Ｃａｍｅｒａ ＃１）が作動した後、１／２秒後に２番目のカメラ（Ｃａｍｅｒａ ＃２）が作動するように構成する。この場合、２Ｎ ｆｐｓの性能を有するカメラを用いて映像を撮影する効果を得ることができる。

また、図１０に示すように、レディー区間とプレー区間において、撮影モードを第１モードと第２モードとに分けて映像を撮影する場合、不必要な映像を撮影することによりシステムの負荷が増加することを防止または低減することができる。

図１１は、本発明の実施例に係る映像処理装置を用いて第２モードで撮影された映像を示す図である。

図１１に示すように、本発明の実施例に係る映像処理装置７００，９００を用いて上述した第２モードで撮影された映像は、１番目のカメラ（Ｃａｍｅｒａ ＃１）と２番目のカメラ（Ｃａｍｅｒａ ＃２）が交互に映像を獲得する。

この場合、２台のカメラの映像の共通集合部分が発生しないため、被写体の３Ｄ情報などを獲得することが不可能である。したがって、交互に獲得された映像を用いて、各カメラにより獲得された映像間の映像を獲得する過程が必要である。

図１２は、本発明の実施例に係る映像処理装置を用いて第２モードで撮影された映像を用いて映像を推定する方法を示す図である。

本発明の実施例に係る映像処理装置７００，９００を用いて第２モードで撮影された映像は、２台のカメラを用いて交互に映像をグラブするため、直接的に時間同期化された映像を獲得することができない。

したがって、図１２に示すように、１番目のカメラ（Ｃａｍｅｒａ ＃１）の１番目のフレームで獲得した映像（ｆｒａｍｅ ＃１_１）と２番目のフレームで獲得した映像（ｆｒａｍｅ ＃１_２）を用いて、１番目の予測（Ｐｒｅｄｉｃｔｅｄ）映像（Ｐ_ｆｒａｍｅ ＃１_１）を獲得することができ、同様の方式で、１番目のカメラ（Ｃａｍｅｒａ ＃１）の２番目のフレームで獲得した映像（ｆｒａｍｅ ＃１_２）と３番目のフレームで獲得した映像（ｆｒａｍｅ ＃１_３）を用いて、２番目の予測映像（Ｐ_ｆｒａｍｅ ＃１_２）を獲得することができる。

一方、上述した方法を用いて、高速で動く被写体（例えば、ゴルフ競技でゴルフボールの動き、野球競技で野球ボールの動きなど）の映像を推定する場合には、ゴルフボールまたは野球ボールの速度、方向、回転などを予測することが非常に難しく、その正確性が非常に低いことは当然である。

したがって、本発明の一実施例に係る映像処理装置７００，９００は、予測映像の正確性を高めるために、１番目のカメラ（Ｃａｍｅｒａ ＃１）の１番目のフレームで獲得した映像（ｆｒａｍｅ ＃１_１）と２番目のフレームで獲得した映像（ｆｒａｍｅ ＃１_２）だけでなく、２番目のカメラ（Ｃａｍｅｒａ ＃２）の１番目のフレームで獲得した映像（ｆｒａｍｅ ＃２_１）を含んだ３個の映像を用いて１番目の予測映像（Ｐ_ｆｒａｍｅ ＃１_１）を獲得する。

すなわち、図２（ａ）の平行式ステレオカメラの場合、１番目のカメラ（Ｃａｍｅｒａ ＃１）を用いて撮影した映像と２番目のカメラ（Ｃａｍｅｒａ ＃２）を用いて撮影した映像は、ｘ、ｙ、ｚ座標上で２つの座標値が同一であり、図２（ｂ）の交差式ステレオカメラの場合、一つの座標値が同一である。したがって、上述したように、２つの映像（ｆｒａｍｅ ＃１_１、ｆｒａｍｅ ＃１_２）を用いることよりは、３つの映像（ｆｒａｍｅ ＃１_１、ｆｒａｍｅ ＃１_２、ｆｒａｍｅ ＃２_１）を用いることが予測映像（Ｐ_ｆｒａｍｅ ＃１_１）の正確性を高めることができる。

本発明の一実施例に係る映像処理装置７００，９００において、３つの映像を用いて映像を予測することは、様々な方法を用いて具現可能である。例えば、以前の映像と現在の映像との差を用いてもよく、一つの映像をブロックに分けて被写体の動きを通じて映像を推定する方法などを用いてもよい。本発明の属する技術分野における通常の知識を有する者は、上述した方法以外に、映像を推定する本発明の映像処理装置に対して理解できるはずである。

図１３は、本発明の一実施例に係る映像処理装置を用いて映像情報を獲得する過程を示すフローチャートである。

図１３を参照すると、まず、第１モードで被写体を撮影して映像情報Ｘを獲得し（Ｓ１３００）、前記映像情報Ｘに基づいて、被写体が静止しているか否かを判断する（Ｓ１３０５）。

判断の結果、被写体が静止していると判断された場合（Ｓ１３１０）、撮影モードを第２モードに変換し（Ｓ１３１５）、被写体が静止していないと判断された場合（Ｓ１３１０）、前記映像情報Ｘに基づいて、被写体が静止しているか否かを再び判断する（Ｓ１３０５）。

次に、第２モードで被写体を撮影して映像情報Ｙを獲得し（Ｓ１３２０）、前記映像情報Ｙに基づいて、被写体がユーザによって打撃が行われたか否かを判断する（Ｓ１３２５）。

判断の結果、被写体がユーザによって打撃が行われた場合（Ｓ１３３０）、打撃時点を確認して打撃時点前／後の映像情報Ｚを獲得し（Ｓ１３３５）、被写体がユーザによって打撃が行われなかった場合（Ｓ１３３０）、前記映像情報Ｙに基づいて、被写体がユーザによって打撃が行われたか否かを再び判断する（Ｓ１３２５）。

次いで、前記映像情報Ｚに基づいて予測映像情報を獲得し（Ｓ１３４０）、前記映像情報Ｚ及び予測映像情報に基づいて被写体の物理的特性に関する情報を獲得する（Ｓ１３４５）。

前述したように、本発明に係る映像処理装置は、様々な産業分野及びスポーツ分野などに用いることができる。以下では、本発明に係る映像処理装置を用いて、仮想ゴルフシミュレーションのためのセンシング装置を具現した本発明の一実施例を説明する。

図１４は、本発明の一実施例に係る映像処理装置を含んだ仮想ゴルフシミュレーションのためのセンシング装置を示す図であり、図１５は、図１４に示された仮想ゴルフシミュレーションのためのセンシング装置の構成を示すブロック図である。

一般に、仮想ゴルフシミュレーションのためには、ユーザがボールを打撃することをセンシングするためのセンシング装置１４００と、仮想のゴルフコースに関する映像を具現し、前記センシング装置１４００のセンシング結果に応じて仮想のゴルフコースでボールの軌跡に対するシミュレーション映像を提供するようにして仮想ゴルフシミュレーションを進行するシミュレータ（図示せず）とを含むように構成される。

図１４に示すように、仮想ゴルフシミュレーション装置は、所定の大きさの空間を提供するゴルフブースの床にユーザがゴルフスイングを行うことができる打席１４２０が設けられ、前記打席１４２０の一側には打撃マット１４２５が設けられて、ユーザが打席１４２０で打撃マット１４２５に置かれたボールをゴルフスイングによって打撃できるようにし、前方にはスクリーンが設けられて、シミュレータから映像情報を受信した映像出力のための装置が、スクリーン上に映像を投影させるように構成することができる。

図１４及び図１５に示すように、本発明の一実施例に係るセンシング装置１４００は、複数個のカメラ１４０５，１４１０及び照明部１４１５を含む映像撮影部１４３０と、前記映像撮影部１４３０から撮影した映像を処理して、動くボールの物理的特性を抽出するセンシング処理部１４３５と、センシング処理部１４３５からセンシング結果による情報及び映像情報を受信して、仮想のゴルフコースに関する映像や仮想のゴルフコースでのボールの軌跡に対するシミュレーション映像などを具現するための所定の映像処理を行う映像処理部１４８５と、前記映像処理部１４８５から伝達された映像情報をスクリーン上に出力して、ユーザが見ることができるようにする映像出力部１４９０と、映像撮影部１４３０から獲得した映像情報などを格納するデータベース１４９５と、前記映像処理部１４８５、映像出力部１４９０及びデータベース１４９５などの動作を制御する映像制御部１４８０とを含む。

映像撮影部１４３０は、時間同期化された２つのカメラを含んでステレオビジョンシステムを構成してもよいが、低価格のカメラを用いて、高速で動くゴルフボールを近くで撮影してボールの物理的特性（例えば、ボールの速度、ボールの移動方向、ボールの回転など）を抽出するためには、上述したように、交互に２つのカメラを用いて映像をグラブするように構成してもよい。

センシング処理部１４３５は、前記映像撮影部１４３０を通じて獲得した映像を、フレーム単位で順次入手して収集するグラバー１４５５と、前記グラバー１４５５から伝送される映像を受信して、被写体が静止しているか否かを判断する映像分析部１４００と、被写体が静止していると判断された場合、前記映像撮影部１４３０の撮影モードを第２モードに変換するモード変換部１４１０と、前記グラバー１４５５から伝送される映像を受信して処理することによって、打撃準備が完了したか否か、及びユーザによって打撃が行われたか否かを感知する打撃感知部１４６０と、前記打撃感知部１４６０によって打撃が感知された場合、打撃時点を確認して、打撃時点前／後の映像情報を前記データベース１４９５から抽出し、前記映像情報に基づいて予測映像情報を獲得する映像推定部１４６５と、前記打撃時点前／後の映像情報及び前記予測映像情報に基づいて、被写体であるボールの物理的特性を抽出するボール映像処理部１４７０と、前記映像撮影部１４３０から獲得した映像情報及び映像推定部１４６５から獲得した予測映像情報を互いにマッチングして、映像撮影部１４３０内のそれぞれのカメラに対する２次元情報を３次元情報に変換したり、逆に、複数個のカメラに対する情報を互いにマッチングして抽出した３次元情報を２次元情報に逆変換する変換部１４７５と、を含んで構成される。

映像処理部１４８５は、仮想のゴルフコースに関する映像や、仮想のゴルフコースでのボールの軌跡に対するシミュレーション映像などを具現するための所定の映像処理を行い、映像出力部１４９０は、前記映像処理部１４８５から伝達された映像情報をスクリーン上に出力して、ユーザが視覚的に認識できるようにし、データベース１４９５は、センシング装置１４００と関連するすべてのデータを格納する。

図１６は、本発明の一実施例に係るセンシング装置の打撃感知部によって、ユーザが被写体であるボールを打撃したか否かを感知する過程を示す図である。

図１６（ａ）に示すように、打撃感知部１４６０は、複数のフレームのソース映像において打撃領域を設定して分離した後、その打撃領域からボールを探しており、一般的には、打撃マット１４２５に該当する領域を打撃領域として設定する。このように、打撃領域を分離してその領域内でのみボールを探すことによって、ソース映像全体においてボールを探す場合よりは遥かに迅速かつ正確にボールを探すことができる。

打撃感知部１４６０がボールを探す過程は、様々な方法により行われてもよく、例えば、ボールに対する基準イメージとして予め設定されて格納されたボールテンプレートと、打撃領域内に存在する特定の客体とが互いに似ている程度を分析して、一定水準以上に似ている場合には、前記特定の客体をボールと判断することができる。

図１６（ｂ）に示すように、感知されたボールを中心に、約１個のボールが含まれ得る程度の所定の大きさの感知領域１６００を設定し、前記感知領域１６００内にボールが存在するか否かを通じて、ユーザが打撃を行ったか否かを判断することができる。

すなわち、図１６（ｂ）に示された状態で、図１６（ｃ）に示すように感知領域１６００内にボールが存在しなくなったことを感知することによって、ユーザが打撃を行ったか否かを判断することができる。打撃感知部１４６０が、被写体であるボールがユーザによって打撃が行われたものと感知した場合、打撃感知部１４６０は、感知された時点以前に入手した複数のフレームの映像を調べて、ボールが動き始めた正確な時点、すなわち、インパクト時点を把握し、インパクト時点前／後の複数のフレームの映像情報をデータベース１４９５に格納する一方、映像推定部１４６５に伝送し、映像推定部１４６５は、前記映像情報に基づいて予測映像情報を獲得する。

ボール映像処理部１４７０は、打撃感知部１４６０から伝送されたインパクト時点前／後の映像情報及び映像推定部１４６５から伝送された予測映像情報に基づいて、運動するボールの速度、方向、回転などを含むボールの物理的特性情報を算出する。

前記ボール映像処理部１４７０を通じて獲得されたボールの物理的特性情報は、シミュレータ（図示せず）に伝達され、シミュレータは、これに基づいて、仮想のゴルフコースでボールが移動するシミュレーション映像を映像出力部１４９０を通じて出力することによって、仮想ゴルフシミュレーションが進行する。

上述したように、本発明は、ステレオビジョンシステムに用いられる２つのカメラが、時間同期化されずに、所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得することによって、比較的低価格の、カメラ速度が低いカメラを用いて、性能が良いカメラと類似のステレオビジョンシステムを具現することができるステレオビジョンシステムの映像処理方法及び装置を提供できる。

また、本発明は、被写体の状態に応じて撮影モードを変換することによって、システムの負荷を低減し、効率的に映像を撮影することができるステレオビジョンシステムの映像処理方法及び装置を提供できる。

また、本発明は、ステレオビジョンシステムに含まれた複数のカメラから獲得した映像情報に基づいて予測映像情報を獲得し、これを通じて被写体の物理的特性などを確認することができるステレオビジョンシステムの映像処理方法及び装置を提供できる。

以上のように、本発明は、たとえ限定された実施例と図面によって説明されたが、本発明はこれによって限定されず、本発明の属する技術分野における通常の知識を有する者によって、本発明の技術思想と下記に記載される特許請求の範囲の均等範囲内で様々な修正及び変形が可能であることはもちろんである。

本発明は、ステレオビジョンシステムにおいて、被写体の状態に応じて撮影モードを変換するのに適用することができる。

Claims (19)

1. 被写体を撮影して映像情報を獲得する第１カメラ及び第２カメラと、撮影時に閃光を発する照明部とを含む映像撮影部と、
   前記第１カメラと前記第２カメラが、時間同期化されずに、所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得するように制御するカメラ制御部と、
   前記獲得された映像情報に基づいて、被写体が静止しているか否かを判断する映像分析部と、
   被写体が静止していると判断された場合、前記映像撮影部の撮影モードを第１モードから第２モードに変換するモード変換部と
   を含み、
   前記第１モードは、前記第１カメラと前記第２カメラが時間同期化して被写体の映像をグラブして映像情報を獲得し、前記第２モードは、前記第１カメラと前記第２カメラが所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得することを特徴とする、ステレオビジョンシステムの映像処理装置。
2. 前記照明部が前記第１カメラ及び前記第２カメラによる映像のグラブと時間同期化して動作するように制御する照明制御部をさらに含むことを特徴とする、請求項１に記載のステレオビジョンシステムの映像処理装置。
3. 前記第１カメラ及び前記第２カメラは、前記カメラ制御部から送信された信号に応じて、前記第２モードで映像情報を獲得することを特徴とする、請求項１に記載のステレオビジョンシステムの映像処理装置。
4. 前記第１モードは、低速で映像をグラブし、前記第２モードは、高速で映像をグラブすることを特徴とする、請求項３に記載のステレオビジョンシステムの映像処理装置。
5. 前記映像分析部は、前記第２モードで獲得された映像情報に基づいて、被写体がユーザによって打撃が行われたか否かを感知する打撃感知部をさらに含むことを特徴とする、請求項３または４に記載のステレオビジョンシステムの映像処理装置。
6. 前記第１カメラ及び前記第２カメラから前記第２モードを通じて獲得した映像情報を格納するデータベースをさらに含むことを特徴とする、請求項５に記載のステレオビジョンシステムの映像処理装置。
7. 被写体がユーザによって打撃が行われたものと感知された場合、打撃時点を確認して、打撃時点前及び後の映像情報を前記データベースから抽出し、前記抽出された映像情報に基づいて予測映像情報を獲得する映像推定部をさらに含むことを特徴とする、請求項６に記載のステレオビジョンシステムの映像処理装置。
8. 前記映像推定部は、前記第１カメラから獲得した第１映像情報及び第２映像情報と、前記第２カメラから獲得した第３映像情報とを用いて、第１予測映像情報を獲得することを特徴とする、請求項７に記載のステレオビジョンシステムの映像処理装置。
9. 前記第１映像情報及び前記第２映像情報は、前記第１カメラから獲得した連続したフレームの映像を示し、前記第３映像情報は、第２カメラから前記第１映像情報と前記第２映像情報との間に獲得したフレームの映像を示すことを特徴とする、請求項８に記載のステレオビジョンシステムの映像処理装置。
10. 前記打撃時点前及び後の映像情報及び前記予測映像情報に基づいて被写体の物理的特性を獲得する映像処理部をさらに含むことを特徴とする、請求項７から９の何れか１項に記載のステレオビジョンシステムの映像処理装置。
11. 第１カメラ及び第２カメラと、撮影時に閃光を発する照明部とを含む映像撮影部を用いて、第１モードで被写体の映像情報を獲得するステップと、
    前記獲得された映像情報に基づいて、被写体が静止しているか否かを判断するステップと、
    被写体が静止していると判断された場合、前記映像撮影部の撮影モードを第２モードに変換するステップとを含み、
    前記第１モードは、前記第１カメラと前記第２カメラが時間同期化して被写体の映像をグラブして映像情報を獲得し、前記第２モードは、前記第１カメラと前記第２カメラが所定の時間差をおいて交互に被写体の映像をグラブして映像情報を獲得することを特徴とする、ステレオビジョンシステムの映像処理方法。
12. 前記第１カメラ及び前記第２カメラは、変換された前記第２モードで映像情報を獲得するステップをさらに含むことを特徴とする、請求項１１に記載のステレオビジョンシステムの映像処理方法。
13. 前記第２モードで獲得された映像情報に基づいて、被写体がユーザによって打撃が行われたか否かを感知するステップを含むことを特徴とする、請求項１２に記載のステレオビジョンシステムの映像処理方法。
14. 前記第２モードで獲得した映像情報をデータベースに格納するステップをさらに含むことを特徴とする、請求項１３に記載のステレオビジョンシステムの映像処理方法。
15. 被写体がユーザによって打撃が行われたものと感知された場合、打撃時点を確認して、打撃時点前及び後の映像情報を前記データベースから抽出し、前記抽出された打撃時点前及び後の映像情報に基づいて予測映像情報を獲得するステップをさらに含むことを特徴とする、請求項１４に記載のステレオビジョンシステムの映像処理方法。
16. 前記予測映像情報は、前記第１カメラから獲得した第１映像情報及び第２映像情報と、前記第２カメラから獲得した第３映像情報とを用いて獲得されることを特徴とする、請求項１５に記載のステレオビジョンシステムの映像処理方法。
17. 前記第１映像情報及び前記第２映像情報は、前記第１カメラから獲得した連続したフレームの映像を示し、前記第３映像情報は、前記第２カメラから前記第１映像情報と第２映像情報との間に獲得したフレームを示すことを特徴とする、請求項１６に記載のステレオビジョンシステムの映像処理方法。
18. 前記打撃時点前及び後の映像情報及び前記予測映像情報に基づいて被写体の物理的特性を獲得するステップをさらに含むことを特徴とする、請求項１５から１７の何れか１項に記載のステレオビジョンシステムの映像処理方法。
19. 前記第１モードは、低速で映像をグラブし、前記第２モードは、高速で映像をグラブすることを特徴とする、請求項１１から１８の何れか１項に記載のステレオビジョンシステムの映像処理方法。

Images