JP2012523788A - 動画の撮影及び投影方法及びその装置 - Google Patents
動画の撮影及び投影方法及びその装置 Download PDFInfo
- Publication number
- JP2012523788A JP2012523788A JP2012505879A JP2012505879A JP2012523788A JP 2012523788 A JP2012523788 A JP 2012523788A JP 2012505879 A JP2012505879 A JP 2012505879A JP 2012505879 A JP2012505879 A JP 2012505879A JP 2012523788 A JP2012523788 A JP 2012523788A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- frames per
- projecting
- frame rate
- capturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】速い運動の知覚インパクトを増加させながら、映画内の動きに合わせて像ブレを除去するために被写体の運動を自動的に調節する、デジタルの映画の撮影投影方法。
【解決手段】この方法は、静的部分と運動部分を持っている要素を第1のフレームレートで撮像し、その像の中の速い運動部分を検知するために運動/速度成分を分析し、静的な要素については、第1のフレームレートより遅い第2のフレームレートに減少させ、速い運動部分については第1のフレームレートを維持する。
【選択図】図11
【解決手段】この方法は、静的部分と運動部分を持っている要素を第1のフレームレートで撮像し、その像の中の速い運動部分を検知するために運動/速度成分を分析し、静的な要素については、第1のフレームレートより遅い第2のフレームレートに減少させ、速い運動部分については第1のフレームレートを維持する。
【選択図】図11
Description
本発明は、動画(映画)の撮影技術に関し、より詳しくは、像の動きとブレを除去したデジタルの動画撮影技術に関する。
動画の撮影と投影(映写)は従来、セルロイド製でスプロケット穴を有する細長いフィルム上に一連のスチル写真を撮影して行われてきた。このようなカメラにおいて、動画撮影は毎秒24コマの標準フレームレートで行われ、最も一般的には、回転シャッタを用いてその360゜の回転中に撮影していた。つまり、フィルムがカメラのアパーチャに固定されている状態において露光時間の半分(1秒の1/48)の時間だけシャッタが開き、残りの半分の時間は、フィルムを機械的に次のコマに送るために、シャッタが閉じる。フィルムのパーフォレーションは、該パーフォレーションをスプロケットまたは爪に噛み合わせてフィルム送りをし、また各コマ(フレーム)の露光の間フィルムを位置させ保持させるために用いられる。
投影についても同じ24フレームレートが用いられるが、シャッタスピードは、フィルムの各コマが次のコマに送られる前に2度投影されるように、2倍に設定される(ダブルシャッタ)。このようなシャッタは、「バタフライ」と呼ばれており、90゜当たり2つの開口(透光部分)と2つ非透光部分を有していて、1コマ当たり360゜回転する。シャッタが閉じている間、フィルムは、ゼネバ機構を用いてあるいは低慣性のステップモータを用いて、次のコマに送られる。毎秒48サイクルとなるダブルシャッタを用いる理由は、スクリーン上に投影される像に、好ましくないフリッカー(点滅)が生じるのを減らすためである。フリッカーは、16フットランバートの明るさを超えないように制限されている。16フットランバートより明るい投影は、好ましくないフリッカーを再び生じさせる。
このダブルシャッタの問題は、各コマの像が、人の網膜によるストロボ効果により、各フラッシュ上の新しい運動位置を含んでいないという運動の連続性が失われる点にある。
映画の撮影技師、監督及び編集者の間では、像ブレやストロービングを防ぐために、被写体や像のフレーム間の動きをかなり制限しなければならないことが、よく知られている。像ブレは、48分の1秒シャッタが開いている間に、被写体/像が動くことによって生じる。ストロービングは、一つのコマから次のコマに移るときの像の変位が大きく、その結果、人の目が一連のフレームの像をスムーズな動きとして認識できなくなることに起因する。フレーム間の像の変位はフレームの速い動きの角変位に依存するので、大きいスクリーン上のフレーム間の像の変位がかなり目立つ。従って、スクリーンの大きさは一つの制限となると考えられている。IMAX(アイマックス、登録商標)はこの現象のよい例であり、IMAXの映画は、像ブレ及びストロービングを回避するために、カメラと被写体の動きを慣例的に遅くしている。
24フレーム標準の別の欠点は、左右の目に同時に2つの像を投影する3D映画を投影する場合、フレーム間の変位または像ブレが左右の目収束角度間の変位を超過すると、像ブレ及びストロービングにより3D効果が失われて克服されることにある。
ショースキャン・システムのための初期の発明及び特許は、米国特許第4,477,160号に示されているように、毎秒60フレームで動画を撮影し投影することを開示している。このショースキャン・システムは従来の映画の上記の欠点を解決し、「活発さ」の感覚と視聴者刺激を明らかに増加させた。各フレームは1回だけ示され、ダブルブレードのシャッタは用いられず、1/120秒間だけ開いているシャッタにより、像ブレは実質的に減少された。毎秒60フレームの投影では、スクリーンの明るさがどんなに増加しても明白なフリッカーは生ぜず、また、運動が不連続となることはなかった。ショースキャン・システムで撮影され投影された3D映画は、3D幻覚に悪影響を及ぼすような被写体/像の運動制限がなかった。
それにも拘わらず、世界中の映画の視聴者は毎秒24フレームに慣れており、TVが毎秒60フレームを用いているため、ショースキャン・システムは、ニュースまたはスポーツの生放送に似ていると考えられている。このため、毎秒60フレームのシステムは、「テレビ仕様」と呼ばれるのに対し、毎秒24フレームのシステムは、「映画仕様」と認められている。
本発明は、電子映画撮影法及びデジタル投影のデジタル技術を利用し、もはや古い映画フィルムに基づく制限がないようにすることを目的とする。実際、個々のスチル写真を高速で連続して投影する"フレーム"という概念は、全体的な画像の流れという新しい概念に改めることができる。撮影され投影された像は、実際、様々な解像力の"ピクセル"のマトリックスであるので、フレームごとによりも、基礎ピクセル単位で画像の取り込みと投影のより流動的な方法を検討することが可能となった。例えば、一つのシーンは、カメラのいかなる動きもなしにデジタルに撮影することができ、その結果、全体の背景はまったくあるいは殆ど全体的な動きがない。しかしながら、前景には、映画の中でよくある、人の戦いを配することができる。その人の部分は、モーション/速度パラメータに応じて、像ブレすることがある。スクリーン上を非常に高速で動く拳は、多数のフレームに対する認識を越えて像ブレして見える場合があり、顔もまた、想定された衝撃(その衝撃が認識されないことによって像の鮮明さが全体的に失われる)の後急に向きを変えるため、同様に認識を越えて像ブレして見える場合がある。重要な視覚情報は永久に失われてしまう。カメラは、例えばエキサイティングなカーチェイスのシーケンスのときに、しばしば動いており、フレーム内の事実上すべてのものは、シーケンス内の多くのフレームのために頻繁に、ある程度ぼやけて見える場合がある。その結果、映画制作者と映画ファンが体験することを望んでいるインパクトが失われてしまう。
実際、映画製作者は、視聴者に参加意識を持たせ興奮させるために映画にできるだけアクションを含ませることを望んでいる。しかし、莫大な量のアクションは像ブレで失われてしまう。また、3Dでは、像ブレとストロービングの両方により、像から、立体的な感覚が全て失われてしまうかも知れない。
以上を考慮すると、世界標準の24フレームの映画仕様を維持しながら、速い動きのシーンの各要素の明瞭さとインパクトを増加させる装置及び方法が望まれていることが分かる。
本発明は、以上の点を考慮して、動画を撮影し投影する方法と装置を提供することを目的とする。
本発明は、また、重大な視覚情報を保持して動画を撮影し投影する方法及び装置を提供することを別の目的とする。
本発明は、さらに、記録された像の像ブレを最小化して動画を撮影し投影する方法及び装置を提供することを別の目的とする。
本発明は、さらに、世界標準の毎秒24フレームの映画仕様を維持しながら、速い動作要素の明瞭さ及びインパクトを増加させる、動画を撮影し投影する方法及び装置を提供することを別の目的とする。
本発明は、さらに、フレーム間の運動変位及び像ブレを縮小する、動画を撮影し投影する方法及び装置を提供することを別の目的とする。
本発明は、ストロービングが本質的に縮小されるか除去される、動画を撮影し投影する方法と装置を提供することを別の目的とする。
本発明は、そのようなイメージ中の立体次元の感覚が保持される、動画を撮影し投影する方法と装置を提供することを別の目的とする。
本発明は、速い運動の知覚インパクトを増加させながら、映画内の動きに合わせて像ブレを除去するために被写体の運動を自動的に調節する、デジタルの映画と投影プロセスを供給することをさらに別の目的とする。
本発明は、視聴者の興奮及び刺激が増加する、デジタルの映画と投影プロセスを供給することを別の目的とする。
本発明による動画を撮影し投影する方法と装置では、フレームの他の領域では毎秒24フレームの従来レートを維持しながら、被写体/像の動きを検知し修正する手段を介して、そのような像に関連したピクセルの更新レートを増加させることにより、被写体/像の動き及び像ブレを修正する。
本発明は、以下の図面を参照して行う好ましい(しかしこれに限定されない)実施形態の説明によって理解される。図面において、
1秒間のフィルムを24回のシャッタ閉鎖を伴う24のフレームに分割したタイムラインを示す図である。
シャッタ閉鎖を伴うことなく120フレームに分割した図1と同様のタイムラインを示す図である。
本発明に従い、毎秒120フレームから毎秒24フレームのフィルムを引き出す過程を示す図である。
本発明に従い、図3のプロセスの結果として取り出された24フレームフィルムを示す図である。
本発明に従い、毎秒120フレームのソースから毎秒60フレームのフィルムを引き出す過程を説明する図である。
本発明に従い、毎秒24フレームの標準背景及びより高いフレームレートの運動要素を持っている映画シーンを示す図である。
本発明によるフレーム統合動作分析を用いた映画シーンの図である。
毎秒60フレームと毎秒24フレームでのフレーム間動きの3Dイメージの像の差を説明する図である。
本発明による動画を撮影する装置の一実施形態を示す図である。
同装置の内部COMの概略図である。
本発明による動画を撮影する方法の一実施形態を示す図である。
本発明による動画を撮影する方法の別の実施形態を示す図である。
図1は、従来の毎秒24フレームの業界標準の映画フィルムを示している。図示されているように、一秒のタイムラインは、24のフレーム10と、24回のシャッタ閉鎖12からなっている。毎秒24フレームの映画フィルムでは、半分の時間シャッタが閉じて残りの半分の時間にシャッタが開くため、半分の時間のアクションは永遠に失われてしまう。アクションは、シャッタが閉じている間は記録されない。上述のように、毎秒24フレームの撮影及び投影は、しばしば速い動きの被写体像の要素に像ブレやストロービングを生じさせる。これは、視聴者にとって、望ましくなく不快である。さらに、視聴者がそのようなアクションに没入している瞬間に、そのアクションの明確な映像を見ることができない。
しかし、電気的な映画撮影及びその進歩により、映画を単純にスチル写真の連続であると考える必要はもはやなくなった。実際、図2を参照すると、毎秒120フレームで撮影されたシーンの同一秒のタイムラインが表示されている。ここで、1秒間は、シャッタ閉鎖を伴うことのない120のフレーム14に分かれている。容易に理解されるように、実質的にすべてのアクションは、毎秒24フレームで撮影した同じシーンに比べて記録される。
本発明は、その一実施例によれば、フレームの他の領域では毎秒24フレームの従来レートを維持しながら、ピクセル値の突然の変動を検知し修正する手段を介して、そのような像に関連したピクセルの更新レートを増加させることにより、被写体/像の動き及び像ブレを修正する。このように、拳や爆発のような高速で移動するイメージ要素は、速度に見合った、ピクセルのより高い更新レートで自動的に検出され撮像される。それらの領域のピクセルは、ますます速い速度で更新され、その結果、像ブレを減少または除去し、視聴者にその瞬間に発生した実際の動きを正確に与える。ピクセルのようなイメージ要素における色と明るさが一つの状態から次の状態に変化するデジタル投影では、このプロセスが繰り返され、視聴者が期待する"映画仕様"に従いながら、速いアクションの正確な描写を提供する。
既存のデジタル投影システムは、すでに毎秒24フレームの5倍となる、毎秒120サイクルのフラッシュレートが含まれている。プロジェクターによっては毎秒144フレームで実行されている。これにより、ちらつき現象(フリッカー)を排除し、可能な限り画面の明るさを増加させることが可能になる。
図11は、本発明の一実施例に従って、動画を撮影し投影するためのプロセス100を示している。ステップ102では、明確で像ブレが生じない像を撮影するのに十分と考えられる所定の"フレームレート"で撮像が行われる。これは、既存のハイスピードデジタルカメラを用い、また本発明の技術が提供する実質的に大きいシャッタの開口を使用して、毎秒60フレーム、あるいは毎秒120フレームで実行することができる。毎秒120フレームで撮影したシーンの例を図2に示している。ステップ104では、撮像に続いて、フレームのモーション/速度成分の分析が行われ、高速やスローモーションの様々な事情のため、必要に応じて画像領域の部分を混合し、または別々に保持する。このようにして、動きの遅い像のエリアは、ステップ106において、毎秒24フレームに戻され、他の高速に移動する被写体像は、画像の明瞭性とインパクトを維持するために、高速なピクセルの更新レートを含むことになる(ステップ108)。
重要なことは、本発明は、より多くの動きをできるだけ高い速度で記録し、高速デジタル画像で撮像された像の明瞭さと、毎秒24フレームの映画の味わい(見た目と雰囲気)のバランスをとるために、カメラの画像処理、及び/また、ポストプロダクションを用いることにある。
このプロセスの例は、特定のデジタルカメラで可能な359゜のシャッタ開放で毎秒120フレームで撮影することである。このようにして、各フレームはほぼ正確な1/120秒の露出が行われ、像ブレを抑制することができる。毎秒120フレームで撮影したシーンの例は、前述のように、図2に示されている。次に図3において、連続した3つのフレーム16、18、20を、重ね合わせのような従来公知の手段によってデジタル的に結合し、次の2つのフレーム22、24を削除すると、24フレームのフィルムとなり、最初から毎秒24フレームで撮影した同じ画像と殆ど区別がつかない。図4は、図3に示されたプロセスに従って圧縮された毎秒120フレームのフィルムを示している。
映画が毎秒120フレームで撮影され、その3つのフレームが結合され2つのフレームが除かれると、毎秒24フレームの“映画”仕様が得られる。これは、シャッタが全時間(359゜)開いていて、維持されたフレームは、混合されたとき、毎秒24フレームで記録された運動データを保持しているからである。従って、複数のフレームは、毎秒24フレームに相当する3つをグループとして混合されることになる。大事な要素は、元々毎秒120フレームで撮影された選別した運動データが、新しい混合されたフレームに付加できることにある。これにより、望まれている映画テクスチャあるいは映画の見た目が得られる。
さらに、複数のフレームが最終的な映画像(動画像)を作るために混合されるので、希望の結果を達成するために、映画像の最終的な見た目と、像ブレを大きくするか小さくするかのような運動の変更は、調節することができる。毎秒24フレームの画像ストリームの調節は、本発明のプロセスの最初の部分に過ぎない。毎秒60フレームの画像ストリーム及び毎秒120フレームの画像ストリームからの運動データは、鮮明さを増し、詳細を示し、映画像の全面的な見た目を改善するために同様に使用することができる。
重要なことは、以上の混合プロセスに関連して、毎秒60フレーム、毎秒40フレーム、毎秒30フレーム及び毎秒24フレームと同様に、毎秒120フレームのような連続したフレームを結合したり削除したりする種々の方法があることである。例えば、図5は、毎秒120フレームのフィルムから、1つおきにフレーム28を削除することで、毎秒60フレームのフィルムに圧縮する例を示している。必要な像ブレしていない速い動きのフレームを残し、他の動きの遅いあるいは動かないフレームを24に減らすことで、像ブレのない速い動きの要素(拳、爆発など)の標準「映画テクスチャ」フィルムが得られる。
以上とは別の実施形態は、毎秒100フレームレートのフィルムから、毎秒75フレーム、毎秒50フレーム、及び毎秒25フレームに分割することである。以下に詳述するように、本発明は、それ自身の中に、自動的に適切な画像圧縮を行なうカメラ内のアルゴリズム及び回路の形で含んでいる適切な運動検知方法論を含むデジタルカメラ技術の構築である。
上に示唆されるように、本発明の別の実施例では、撮影は、必要とされるできるだけ多くの運動データが得られるように、4K解像度で、毎秒120フレームで行われる。容易に理解できるように、毎秒120フレームによれば、毎秒24フレームの場合と比較して本質的により明瞭で像ブレの少ない動きを記録することができる。しかしながら、毎秒24フレームを維持している間に、像ブレやストロービングを生じさせずに表示するためには、異なるフレームレートで進行するイメージの異なる部分を持つことが必要である。この点に関し、図6に示すように、高いフレームレートの運動要素32を埋め込む一方、動きの遅いあるいは静止した背景のような映像30は、毎秒24フレームで保持されている。従って、フレームの動きの速い運動要素だけが、その運動の明瞭さを保持するためにより高いフレームレートで撮影される。また、図6に示されるように、このプロセスは、運動要素の明瞭さを確保するために、毎秒24フレームと毎秒60フレームを組み合わせた映画を製作することを可能とする。
この実施例では、当初の毎秒120フレームの画像は「並列のシーケンス」として保持され、毎秒60フレームの画像もまた、上述のように、毎秒24フレームシーケンスと同期したもう一つの「並列のシーケンス」として引き出される。これらの高速データレートシーケンスは、必要に応じ、ポストプロダクションにおいて、運動と画像データを提供することができる。特に、これらの並列のシーケンスは、ポストプロダクションにおいて、毎秒24フレームと結合することができる高速運動データを抽出するために使用され、毎秒120フレームで撮像された高解像度の運動要素と、標準毎秒24フレームとの双方を持つシーンの中に混合される高速エレメントを提供することができる。この混合された映像は、その後、毎秒120フレームの映像と一緒に毎秒24フレームの芸術的価値を伝えるように観察され投影される。
本発明はさらに、図6の第2の実施例に示すように、ピクセル値の突然の変動を自動的に検出し、他の領域においては毎秒24フレームの従来のレートを維持しながら、変動が検出されたピクセルの更新レートを上げることによって、運動を検知し、そのような運動を補償する。
図7と図12は、フレームに結合された動作解析のプロセス200を示している。図12に示すように、一つのシーンは、ステップ202において、例えば毎秒24フレーム相当で撮影される。各ピクセルに対する値は、ステップ204で、一定時間追跡され、ピクセル値の突然の変動(予め定めまたはセットされたパラメータを超えたか否か)が検出されると、拳のような速い動きの要素であると判断する。図7は、像要素が速く移動した結果、突然変動するピクセル値を検知する例を示している。すなわち、俳優の武道の動きの間の頭、腕及び脚のピクセル34の値は、突然の変動を持っているとして検知される。これを受けて、カメラは、ステップ206において、自動的にこれらの像要素のピクセルレートをこの例では毎秒60フレーム相当に増加させて更新する。すなわち、速い動きを検知すると、その動きの速度に釣り合うように、それらのピクセルレートを増加して更新する。ピクセル値の突然の変動が検知されなければ、ステップ208で、変動が検出されなかったピクセル(遅い動きあるいは静止している画像に対応するピクセル)のピクセルレートは当初のピクセルレートに維持される。容易に理解されるように、このプロセスは、世界標準の毎秒24フレームを維持しながら、自動的に速い動作要素の明瞭さ及びインパクトを増加させる。
本発明はまた、デジタルカメラによって高速画像データを収集するものである。一旦この高速データが集められれば、明瞭な運動を表示するためにいつ追加のピクセルデータを保持するべきかが決定される。事実、この突然の変動は常に検出されており、収集されたデータのうち、追加の被写体又は像の運動を提供しないデータは廃棄される。このプロセスの自動化は、上述のように、可変ビットレート圧縮に似ている。可変ビットレート圧縮では、より多くのデータが画像ストリームに存在するとき、従ってより高い変化率のとき、データの画像ストリームが幅広くなる。
ピクセルレート更新の概念は、固定位置で、特定のピクセルによって記録されている主題が移動しないか変わらなければ、ピクセルが与えられた間隔中に同じ値を繰り返し記録するという事実を指す。自動システムは、同じ値を何度も記録することはなく、単に変動するピクセルの変わった値を記録する。この実施例は、記録ビットレートが変動する一方、記録の時間基準は変化しないAVCのようなコーデックの拡張である。AVCでは、毎秒24フレーム、毎秒30フレームあるいは毎秒60フレームを選択する場合、コーデックは、場面、主題及びカメラ運動の複雑さに基づく変動レートを記録する一方、時間分解能を増加させることはない。その代わり、記録の時間基準は固定されている。本発明では、選択されたフレームレートではなく、レート変化に基づいた運動情報が記録される。
ピクセルの検知及び選択は、映画産業の「異なるマット」の概念に似ている。この異なるマットのプロセスでは、一連のフレーム上の画像は、除去されるべきフレーム(空中の俳優のワイヤ等)を含む同様の一連のフレームと比較される。画像はピクセルレベルで比較され、次のショットと異なるピクセルは除去される。同様に、本発明では、ピクセルレベルで、毎秒24フレーム、毎秒60フレーム及び毎秒120フレームの画像ストリームから、記録された画像を比較する。毎秒24フレームの画像には、像ブレともっと精密なテクスチャ(構造)がある。毎秒60フレームの画像は、より明瞭であり、そのテクスチャ(構造)の精密はより少なくなっている。毎秒120フレームの画像は、さらに明瞭である。好ましい実施例では、デジタルカメラの回路及びソフトウェアは、これらの違いの量を計り、1つの最終画像ストリームへ視聴者が見るためにこれらのデータ・ストリームを組み合わせることにより、最終画像のための特別の望まれた見た目を達成する体系的方法を提供する。これらの違いの量を計る定式は、これらの3つ画像ストリームによって表現された比率、及びこれらの画像ストリームから公式化することができたデータの多くのコンビネーションである。
デジタル媒体の映画への移行は、3D技術によって推し進められているが、3Dは、毎秒24フレームの欠点よりもさらに悪い欠点がある。すなわち、明らかな像ブレに加えて、フレーム間の動きは3D効果を失わせる。本発明は3D映画に対しては少なくとも同等な重要性、もしくはさらなる重要性を持つ。上述したように、3D効果は、両方の目による観察像をシミュレーションし、仮想の3Dイメージを脳で統合することで見られるように、収束と発散を十分に制御することで生み出される。もし、像ブレが生じ、フレーム間の変位が左眼と右眼の間の分離を越えるものである場合には、3D効果は失われてしまう。実際、3Dでは、2つのフィルムが投影されるので、本発明は、よりクリアでシャープな像をそれぞれの眼に与えることができる。図8に示すように、3Dイメージのフレーム描写は、本発明によれば、毎秒24フレーム36と、毎秒60フレーム38で示されている。フレーム描写は、毎秒60フレームでは維持される一方、毎秒24フレームで失われる。
今日の最も一般的なデジタル投影システムは、像を投影するためにマイクロミラーのマトリックスを用いるテキサス・インスツルメンツ社のデジタル光処理技術チップ(DLP)を使用している。これらのチップが144Hz以内でマイクロミラーの状態を「切り替えることができる」ことはよく知られている。それらは、24フレーム資料を保持するフレームバッファーを使用し、各フレームはそれぞれ6回閃光に曝され、3Dの場合には、各フレームを3回の閃光で示して、左右の像を交互に示す。本発明は、各フラッシュ閃光毎に、新しい運動像を導入することができる新しいタイプのフレームバッファーを導入し、それにより、非常にシャープで像ブレのない動きを投影する。
この新技術においては、縮小された信号対雑音比、低下したビット深度あるいはCCDまたはCMOSセンサに対する短時間の露光に起因する問題を含んでいる。しかしながら、これらの問題は、明らかに増加した先鋭さと明瞭さ(像ブレではなく)との「トレードオフ(交換)」の過程で十二分に補うことができる。また、複数のフレームを結合する過程で、信号対雑音比は改善される。また、動きの明瞭さの代わりに解像度を「トレードオフ(交換)」することも可能である。例えば、速い動きの画面では、解像度を2Kから1Kに減らすことができる。人の眼は、このようなプロセスを好む場合があり、しかも気づかない場合がある。
本発明の他の実施形態では、動画の撮影及び投影装置もまた提供される。図9は、自動的に適切な画像圧縮を行なう、カメラ内のアルゴリズム及び回路の形をしている適切な運動検知方法論を含むデジタルカメラ40を示している。このようなカメラは、図10に示すように、既存のカメラに、速い動きの運動要素を検出する運動検出回路42と、フレーム統合運動解析に応答してピクセルの更新レートを増加させまたは減少させる画像処理回路44を付加して構成されている。
本発明は、像ブレ、ストロービング、スクリーンの明るさ不足及び3Dの立体感の喪失という問題点を除去し修正しながら、映画製作者及び映画観察者に対し、彼ら双方が望む「映画テクスチャ」を与えることができるデジタル映画標準を到来させるものである。また本発明は、スクリーンの大きさと明るさの制限なしに、無制限のアクション表現を可能とする映画制作を促進する。本発明はまた、好ましくないダブルシャッターを用いることなく、フラッシュの度に更新される速いアクション・コンポーネントを備えた、ショースキャンの毎秒60フレームを超える運動/アクションを包含している。
全体として、本発明は、視聴者に一層の興奮と刺激の感覚を与えるものであり、これは、筋電図、脳波図、電気皮膚反応、心電図及び恐らく機能的磁気共鳴映像法などによって測定可能である。
実施形態に基づいて本発明を説明してきたが、本発明の範囲から逸脱することなく、様々な変更が可能であって同等物はその要素の代わりに用いてもよいことは、当業者は容易に理解されるであろう。さらに、特定の状況や材料に合わせた変形は、本発明の教示の本質的な範囲から逸脱することなく可能である。これにより、本発明は、上記記載した特定の実施形態に限定されることなく、この開示の範囲で、すべての実施例を含むことを意図している。
本出願は、2009年4月13日付の米国仮特許出願No.61/168,684による優先権を主張するものである。これら出願の内容は全体として、参照することにより本出願に組み込まれている。
本発明は、動画を撮影し投影する技術一般に広く用いることができる。
10 24のフレーム
12 シャッタ閉鎖
14 120のフレーム
16 18 20 22 24 28 フレーム
30 背景のような映像
32 高いフレームレートの運動要素
34 ピクセル
36 毎秒24フレーム
38 毎秒60フレーム
40 デジタルカメラ
12 シャッタ閉鎖
14 120のフレーム
16 18 20 22 24 28 フレーム
30 背景のような映像
32 高いフレームレートの運動要素
34 ピクセル
36 毎秒24フレーム
38 毎秒60フレーム
40 デジタルカメラ
Claims (20)
- 第1のフレームレートで動画像を撮像する段階、上記動画像は少なくとも1つの遅い動きのまたは静止している要素と、少なくとも1つの速い動きの要素を含んでいること;
上記少なくとも1つの速い動きの要素を検出するために上記動画像の運動/速度コンポーネントを解析する段階;
上記少なくとも1つの遅い動きのまたは静止している要素を撮像するフレームレートを、上記第1のフレームレートより遅い第2のフレームレートに減少させる段階;及び
上記少なくとも一つの速い動きの要素を第1のフレームレートに維持する段階;
を含むことを特徴とする動画の撮影及び投影方法。 - 請求項1記載の動画の撮影及び投影方法において、上記第1のフレームレートは毎秒120フレームである動画の撮影及び投影方法。
- 請求項1記載の動画の撮影及び投影方法において、上記第1のフレームレートは毎秒60フレームである動画の撮影及び投影方法。
- 請求項1記載の動画の撮影及び投影方法において、上記第1のフレームレートは毎秒100フレームである動画の撮影及び投影方法。
- 請求項2記載の動画の撮影及び投影方法において、上記第2のフレームレートは毎秒24フレームである動画の撮影及び投影方法。
- 請求項2記載の動画の撮影及び投影方法において、上記第2のフレームレートは、毎秒60フレーム、毎秒40フレーム、及び毎秒30フレームのいずれかである動画の撮影及び投影方法。
- 請求項4記載の動画の撮影及び投影方法において、上記第2のフレームレートは、毎秒75フレーム、毎秒50フレーム、及び毎秒25フレームのいずれかである動画の撮影及び投影方法。
- 請求項5記載の動画の撮影及び投影方法において、上記少なくとも1つの遅い動きのまたは静止している要素を撮像するフレームレートを上記毎秒24フレームに減少させる段階は、
120の連続したフレームを、24の5つの連続したフレームのグループに分割する段階;
分割されたそれぞれのグループの最初の3つのフレームをデジタル処理で結合する段階;及び
上記それぞれのグループの残りの2つのフレームを削除する段階;
を含む動画の撮影及び投影方法。 - 請求項6記載の動画の撮影及び投影方法において、上記少なくとも1つの遅い動きのまたは静止している要素を撮像するフレームレートを上記毎秒60フレームに減少させる段階は、
120の連続したフレームから1つおきにフレームを削除する段階を含んでいる動画の撮影及び投影方法。 - 請求項1記載の動画の撮影及び投影方法において、上記の段階はデジタルカメラによって実行される動画の撮影及び投影方法。
- それぞれのピクセルがピクセル値を有する多数のピクセルを含む動画の撮影及び投影方法であって、
第1のピクセル更新レートで動画像を撮像する段階;
上記多数のピクセルの少なくとも1つのピクセル値の突然の変動を検出する段階;
ピクセル値の変動した上記多数のピクセルの少なくとも1つのピクセルの第1のピクセル更新レートを、該第1のピクセル更新レートより速い第2のピクセル更新レートに増加させる段階;及び
ピクセル値の変動したピクセルについては上記第2のピクセル更新レートで撮像し、ピクセル値の突然の変動が生じなかったピクセルについては上記第1のピクセル更新レートで撮像する段階;
を含むことを特徴とする動画の撮影及び投影方法。 - 請求項11記載の動画の撮影及び投影方法において、ピクセル値の突然の変動を検出する段階は、
上記多数のピクセルの少なくとも1つのピクセルの第1の値を検出する段階;
上記多数のピクセルの少なくとも1つのピクセルの第2の値を、一定時間経過後に検出する段階;及び
上記第1の値と第2の値を比較し、この比較値が予め定めたパラメータを超えたか否かを決定する段階;
を含む動画の撮影及び投影方法。 - 請求項11記載の動画の撮影及び投影方法において、上記多数のピクセルの少なくとも1つは、動いている被写体用のピクセルである動画の撮影及び投影方法。
- 請求項13記載の動画の撮影及び投影方法において、上記第1のピクセル更新レートは毎秒24フレームである動画の撮影及び投影方法。
- 請求項14記載の動画の撮影及び投影方法において、上記第2のピクセル更新レートは毎秒60フレームである動画の撮影及び投影方法。
- 請求項14記載の動画の撮影及び投影方法において、上記第2のピクセル更新レートは毎秒120フレームである動画の撮影及び投影方法。
- 請求項11記載の動画の撮影及び投影方法において、上記の各段階は全てデジタルカメラによって実行される動画の撮影及び投影方法。
- 第1のフレームレートで撮像する手段、上記動画像は少なくとも1つの遅い動きのまたは静止している要素と、少なくとも1つの速い動きの要素を含んでいること;
上記少なくとも1つの速い動きの要素を検出する運動検知回路;及び
上記少なくとも1つの遅い動きのまたは静止している要素を撮像するフレームレートを、上記第1のフレームレートより遅い第2のフレームレートに減少させるプロセス回路;
を含むことを特徴とする動画の撮影及び投影装置。 - 請求項18記載の動画の撮影及び投影装置において、上記第1のフレームレートは毎秒120フレームである動画の撮影及び投影装置。
- 請求項19記載の動画の撮影及び投影装置において、上記第2のフレームレートは毎秒24フレームである動画の撮影及び投影装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16868409P | 2009-04-13 | 2009-04-13 | |
US61/168,684 | 2009-04-13 | ||
PCT/US2010/001086 WO2010120354A1 (en) | 2009-04-13 | 2010-04-13 | Method and apparatus for photographing and projecting moving images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012523788A true JP2012523788A (ja) | 2012-10-04 |
Family
ID=42934058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012505879A Pending JP2012523788A (ja) | 2009-04-13 | 2010-04-13 | 動画の撮影及び投影方法及びその装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8363117B2 (ja) |
EP (1) | EP2419791A4 (ja) |
JP (1) | JP2012523788A (ja) |
KR (1) | KR20120018747A (ja) |
CA (1) | CA2757571A1 (ja) |
WO (1) | WO2010120354A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017522587A (ja) * | 2014-05-30 | 2017-08-10 | マジック リープ, インコーポレイテッド | 仮想および拡張現実における焦点面を作成する方法およびシステム |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9286709B2 (en) * | 2009-07-27 | 2016-03-15 | Dreamworks Animation Llc | Variable frame rate rendering and projection |
WO2011135390A1 (en) * | 2010-04-27 | 2011-11-03 | Thomson Licensing | Method and apparatus for reducing frame repetition in stereoscopic 3d imaging |
JP5715436B2 (ja) * | 2011-02-21 | 2015-05-07 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
EP2716041A4 (en) * | 2011-05-31 | 2014-10-15 | Dolby Lab Licensing Corp | VIDEO COMPRESSION WITH RESOLUTION COMPENSATION AND OPTIMIZATION |
EP2880867B1 (en) * | 2012-08-01 | 2018-06-13 | Thomson Licensing | Method and apparatus for adapting audio delays to picture frame rates |
US9438849B2 (en) * | 2012-10-17 | 2016-09-06 | Dolby Laboratories Licensing Corporation | Systems and methods for transmitting video frames |
CN109089014B (zh) | 2014-02-27 | 2021-02-19 | 杜比实验室特许公司 | 用于控制颤抖可见性的方法、装置及计算机可读介质 |
US10944938B2 (en) | 2014-10-02 | 2021-03-09 | Dolby Laboratories Licensing Corporation | Dual-ended metadata for judder visibility control |
US20160182866A1 (en) * | 2014-12-19 | 2016-06-23 | Sony Corporation | Selective high frame rate video capturing in imaging sensor subarea |
CN104683691B (zh) * | 2015-02-02 | 2017-11-14 | 上海小蚁科技有限公司 | 拍摄方法、装置及设备 |
US20180025686A1 (en) * | 2015-02-11 | 2018-01-25 | Max-Panck-Gesellschaft Zur Förderung Der Wissenschaften E.V. | Method and device for emulating continuously varying frame rates |
KR102537210B1 (ko) * | 2016-07-29 | 2023-05-26 | 삼성전자주식회사 | 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치 |
US11119331B2 (en) * | 2018-03-28 | 2021-09-14 | Disney Enterprises, Inc. | Method for dampening projector vibration |
US10499009B1 (en) * | 2018-09-25 | 2019-12-03 | Pixelworks, Inc. | Realistic 24 frames per second output from high frame rate content |
TWI760879B (zh) * | 2020-10-07 | 2022-04-11 | 瑞昱半導體股份有限公司 | 壓縮影像雜訊處理方法及其電路系統 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005229392A (ja) * | 2004-02-13 | 2005-08-25 | Seiko Epson Corp | 撮像装置 |
JP2005286677A (ja) * | 2004-03-30 | 2005-10-13 | Olympus Corp | 撮像装置 |
JP2006197192A (ja) * | 2005-01-13 | 2006-07-27 | Sony Corp | 撮像装置及び撮像結果の処理方法 |
JP2007134991A (ja) * | 2005-11-10 | 2007-05-31 | Sony Corp | 画像信号処理装置、撮像装置、および画像信号処理方法 |
WO2008050806A1 (en) * | 2006-10-24 | 2008-05-02 | Sony Corporation | Imaging device and reproduction control device |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1815455A (en) | 1926-09-03 | 1931-07-21 | Paramount Publix Corp | Method of producing motion pictures |
US4477160A (en) * | 1978-03-13 | 1984-10-16 | Showscan Film Corporation | Motion picture system |
AUPM701394A0 (en) | 1994-07-22 | 1994-08-18 | Monash University | A graphical display system |
NZ277029A (en) | 1994-12-06 | 1999-04-29 | Cfb Gmbh | Conversion of picture frame sequence from one tv standard to another |
US5627614A (en) * | 1995-08-25 | 1997-05-06 | Weisgerber; Robert C. | Method for imparting both high-impact cinematic images and conventional cinematic images on the same strip of motion picture film |
US6529600B1 (en) * | 1998-06-25 | 2003-03-04 | Koninklijke Philips Electronics N.V. | Method and device for preventing piracy of video material from theater screens |
US20090027549A1 (en) * | 2004-05-17 | 2009-01-29 | Weisgerber Robert C | Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation |
JP4396496B2 (ja) * | 2004-12-02 | 2010-01-13 | 株式会社日立製作所 | フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 |
US7605837B2 (en) * | 2005-06-02 | 2009-10-20 | Lao Chan Yuen | Display system and method |
JP5002249B2 (ja) * | 2006-11-30 | 2012-08-15 | 株式会社東芝 | フレーム内挿装置及びフレーム内挿方法並びに画像表示装置 |
US8749752B2 (en) * | 2007-04-28 | 2014-06-10 | Robert C. Weisgerber | Compact acquisition format for dimensionalized digital cinema projection at forty-eight images per second |
US8451338B2 (en) * | 2008-03-28 | 2013-05-28 | Massachusetts Institute Of Technology | Method and apparatus for motion invariant imaging |
-
2010
- 2010-04-13 JP JP2012505879A patent/JP2012523788A/ja active Pending
- 2010-04-13 KR KR1020117024010A patent/KR20120018747A/ko not_active Application Discontinuation
- 2010-04-13 US US12/759,128 patent/US8363117B2/en not_active Expired - Fee Related
- 2010-04-13 CA CA2757571A patent/CA2757571A1/en not_active Abandoned
- 2010-04-13 WO PCT/US2010/001086 patent/WO2010120354A1/en active Application Filing
- 2010-04-13 EP EP10764762A patent/EP2419791A4/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005229392A (ja) * | 2004-02-13 | 2005-08-25 | Seiko Epson Corp | 撮像装置 |
JP2005286677A (ja) * | 2004-03-30 | 2005-10-13 | Olympus Corp | 撮像装置 |
JP2006197192A (ja) * | 2005-01-13 | 2006-07-27 | Sony Corp | 撮像装置及び撮像結果の処理方法 |
JP2007134991A (ja) * | 2005-11-10 | 2007-05-31 | Sony Corp | 画像信号処理装置、撮像装置、および画像信号処理方法 |
WO2008050806A1 (en) * | 2006-10-24 | 2008-05-02 | Sony Corporation | Imaging device and reproduction control device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017522587A (ja) * | 2014-05-30 | 2017-08-10 | マジック リープ, インコーポレイテッド | 仮想および拡張現実における焦点面を作成する方法およびシステム |
Also Published As
Publication number | Publication date |
---|---|
EP2419791A4 (en) | 2012-10-17 |
CA2757571A1 (en) | 2010-10-21 |
US8363117B2 (en) | 2013-01-29 |
KR20120018747A (ko) | 2012-03-05 |
EP2419791A1 (en) | 2012-02-22 |
US20100259627A1 (en) | 2010-10-14 |
WO2010120354A1 (en) | 2010-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012523788A (ja) | 動画の撮影及び投影方法及びその装置 | |
TWI425826B (zh) | 影像選擇裝置、影像選擇方法 | |
US9204132B2 (en) | Method and apparatus for photographing and projecting moving images in three dimensions | |
US11223818B2 (en) | Method and apparatus for photographing and projecting moving images in three dimensions | |
US10277890B2 (en) | System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching | |
Bradley et al. | Synchronization and rolling shutter compensation for consumer video camera arrays | |
JP6401324B2 (ja) | ダイナミックフォトの撮影方法及び装置 | |
JP2014502818A (ja) | 画像処理のための一次像および二次像画像取込装置およびその方法 | |
CN102769718A (zh) | 用于图像稳定化的方法和*** | |
WO2016011877A1 (zh) | 拍摄光绘视频的方法和移动终端、存储介质 | |
CN110290320B (zh) | 视频预览图生成方法和装置、电子设备、计算机可读存储介质 | |
US9936142B2 (en) | Exposure control apparatus and exposure control method | |
US20150189142A1 (en) | Electronic apparatus and method of capturing moving subject by using the same | |
US20220191465A1 (en) | Method and apparatus for projecting 2d and 3d motion pictures at high frame rates | |
JP2006067452A (ja) | 映像記録装置、および電子カメラ | |
TWI420899B (zh) | 影像處理裝置和方法及記錄媒體 | |
JP3956353B2 (ja) | スローモーションの撮影装置 | |
JP2013141155A (ja) | 撮像装置 | |
JP3928939B2 (ja) | 画像処理装置および画像処理方法 | |
Marey | Stop-Motion Photography Techniques | |
KR100459437B1 (ko) | 디지털 카메라 잔상 제거 방법 | |
CN116366991A (zh) | 一种处理方法和电子设备 | |
CN114612360A (zh) | 基于运动模型的视频融合方法及*** | |
JP5722399B2 (ja) | 画像処理装置、画像処理方法、および撮影方法 | |
JP2016082263A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131105 |