JP5927795B2 - 立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法 - Google Patents

立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法 Download PDF

Info

Publication number
JP5927795B2
JP5927795B2 JP2011160642A JP2011160642A JP5927795B2 JP 5927795 B2 JP5927795 B2 JP 5927795B2 JP 2011160642 A JP2011160642 A JP 2011160642A JP 2011160642 A JP2011160642 A JP 2011160642A JP 5927795 B2 JP5927795 B2 JP 5927795B2
Authority
JP
Japan
Prior art keywords
video signal
control unit
recording medium
access
signal recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011160642A
Other languages
English (en)
Other versions
JP2013026880A (ja
JP2013026880A5 (ja
Inventor
康雄 吉澤
康雄 吉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011160642A priority Critical patent/JP5927795B2/ja
Priority to US13/548,576 priority patent/US8937647B2/en
Priority to CN2012102536264A priority patent/CN102892020A/zh
Publication of JP2013026880A publication Critical patent/JP2013026880A/ja
Publication of JP2013026880A5 publication Critical patent/JP2013026880A5/ja
Application granted granted Critical
Publication of JP5927795B2 publication Critical patent/JP5927795B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本開示は、例えば、2台のカメラが撮像した映像から立体映像(3D映像)を生成する場合に適用して好適な立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法に関する。
従来、ユーザの左右の目の視差に合わせて設置される2台のカメラが撮像した同一の被写体の映像を用いて、ユーザが立体視することができる立体映像(3D映像)を生成する技術がある。立体映像を撮像するためには、2台のカメラが行う、映像記録の開始若しくは停止、又は映像再生の開始若しくは停止(以下、「処理の開始又は停止」と呼ぶ。)の動作を合わせる必要があった。
カメラは、1回の記録開始から停止までに生成した映像信号が記録される映像ファイルを「クリップ」という単位で管理しており、記録媒体からクリップ毎に映像ファイルを書き込み又は読み出すことが可能である。3D撮影をしているL側/R側のいずれかのカメラに対してスロット切り替えボタンを押したり、あるいは記録媒体の容量が満杯になると、カメラが自動的に切替えたスロットに挿入されている別の記録媒体に替えたりして映像の記録や再生を継続していた。
特許文献1には、複数の記録媒体に画像信号を記録するスチルカメラに関する技術について開示されている。
特開平7−231420号公報
ところで、従来の立体映像撮像システムでは、2台のカメラ間で互いの動作を同期して制御する連携機能を有していなかった。このため、ユーザが2台のカメラに対してそれぞれ操作入力を行っても、操作入力のタイミングがずれることにより、2台のカメラが同時に処理の開始又は停止を行うことはできず、複数のスロットに装着された記録媒体を同時に切り替えることが難しかった。そして、3D映像を撮影中に左映像又は右映像のいずれかの容量が満杯になって一方のスロットが切り替えられても、他方のスロットが切り替わらないことにより、左映像と右映像のクリップが異なる長さで記録される場合があった。
ここで、2台のカメラで行われる処理の開始又は停止のタイミングは、カメラ毎に撮像し、又は再生する映像信号の処理フレームが厳密に合っていなければ、立体視して再生される映像に違和感が生じ、立体映像として不完全となる。従来は、撮像した後に、2台のカメラが生成したそれぞれのクリップファイルに付されるタイムコード等を用いて別途処理フレームの開始又は停止タイミングを合わせる作業が必要であった。しかし、左右映像のクリップの長さが異なると、左右映像を同期して編集を行ったり、再生したりする際に、左右映像の開始タイミングを厳密に合わせ直す作業が必要となり、手間がかかっていた。
また、特許文献1には、単体のカメラが複数の記録媒体に画像信号を連続記録することが記載されているに過ぎず、立体映像を撮像するために2台のカメラを用いた場合に、映像の記録又は再生を厳密に制御することは考慮されていない。
本開示はこのような状況に鑑みて成されたものであり、立体映像の撮像又は再生する途中で記録媒体を切替えた場合に、記録媒体の切替えタイミングを正確に合わせることを目的とする。
本開示は、始めに、第1のレンズを介して入射する被写体の入射光により第1の処理フレームで、第1の映像信号を出力する第1の撮像素子の動作を制御する。次に、第1のアクセス制御部が第1の処理フレームで第1の映像信号を記録する複数の第1の映像信号記録媒体へのアクセスを制御する。
一方、第1のレンズから所定の距離だけ離して配置され、第2のレンズを介して入射する被写体の入射光により第2の処理フレームで、第2の映像信号を出力する第2の撮像素子の動作を制御する。このとき、第2のアクセス制御部が第2の処理フレームで第2の映像信号を記録する複数の第2の映像信号記録媒体へのアクセスを制御する。
第1のアクセス制御部がアクセスする一の第1の映像信号記録媒体の残容量が不足すると、一の第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知する。
そして、通知されたタイミングに同期して、第2のアクセス制御部がアクセスする一の第2の映像信号記録媒体とは異なる他の第2の映像信号記録媒体へアクセスを切替えさせる制御を行うものである。
また、本開示は、始めに、第1のアクセス制御部が第1の処理フレームで第1の映像信号を再生する複数の第1の映像信号記録媒体へのアクセスを制御する。次に、第2のアクセス制御部が第2の処理フレームで第2の映像信号を再生する複数の第2の映像信号記録媒体へのアクセスを制御する。
第1のアクセス制御部がアクセスする一の第1の映像信号記録媒体から再生される第1の映像信号のファイルがなくなると、一の第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知する。
そして、通知されたタイミングに同期して、第2のアクセス制御部がアクセスする一の第2の映像信号記録媒体とは異なる他の第2の映像信号記録媒体へアクセスを切替えさせる制御を行うものである。
このようにしたことで、所定期間の経過後に指示された動作を開始するタイミングで左右映像がそれぞれ記録される記録媒体へのアクセスを切替える処理を同期して行うことが可能となった。
本開示によれば、立体映像の撮影又は再生の処理を行う場合に、第1の同期制御部は、第2の同期制御部が所定期間の経過後に第2の映像信号記録媒体へのアクセスを切替えるタイミングを第2の同期制御部に通知する。このため、第1及び第2の同期制御部は、同じタイミングで記録媒体へのアクセスを切替えることができ、記録媒体のアクセス切替えの精度を高めると共に、左右映像の記録時には、クリップの長さを同一とすることができる。
本開示の一実施の形態における立体映像撮像システムの外部構成例を示す外観図である。 本開示の一実施の形態における立体映像撮像システムの内部構成例を示すブロック図である。 本開示の一実施の形態における第1のカメラ及び第2のカメラが互いにスロット切替えのタイミングを制御する例を示すタイムチャートである。 本開示の一実施の形態における第1のカメラ及び第2のカメラが用いる記録媒体に記録されるクリップファイルの構成例を示す説明図である。 本開示の一実施の形態における第1のカメラ及び第2のカメラが用いる記録媒体に記録されるクリップファイルの編集時の動作例を示す説明図である。 本開示の一実施の形態におけるスロットを切替えて変化する記録媒体の記録容量の例を示す説明図である。 本開示の一実施の形態における第1のカメラの処理例を示すフローチャートである。 本開示の一実施の形態における第1の同期制御部が行うカメラ制御部のインタフェースの処理例を示すフローチャートである。 本開示の一実施の形態における第1の同期制御部が行うユーザインタフェース制御部のインタフェースの処理例を示すフローチャートである。 本開示の一実施の形態における第1の同期制御部が行う送受信制御部のインタフェースの処理例を示すフローチャートである。 本開示の一実施の形態における立体映像撮像カメラの変形例を示す外観図である。
以下、発明を実施するための形態(以下、実施の形態とする。)について説明する。なお、説明は以下の順序で行う。
1.一実施の形態(2台のカメラの同期制御:立体映像撮像システムの例)
2.変形例
<1.一実施の形態>
[2台のカメラの同期制御の例]
以下、本開示の一実施の形態(以下、「本例」という。)について、添付図面を参照して説明する。本実施の形態では、2台のカメラを用いて左右映像の映像信号をそれぞれ記録する記録媒体の切替えタイミングを同期して立体映像を撮像する立体映像撮像システム10に適用した例について説明する。なお、立体映像撮像システム10は、立体映像の再生を行う立体映像再生システムとして用いられる場合があり、プログラムを実行することにより、内部ブロックが連携して行う記録制御方法及び再生制御方法を実現することができる。
図1は、立体映像撮像システム10の外部構成例を示す。
立体映像撮像システム10は、同一のフレーム数で同一の画サイズの2次元映像を撮像する撮像装置として第1のカメラ1及び第2のカメラ2を備える。第1のカメラ1は、左映像を撮像し、左映像信号である第1の映像信号を生成し、第2のカメラ2は、右映像を撮像し、右映像信号である第2の映像信号を生成する。第1のカメラ1及び第2のカメラ2は、共通するライン端子を備える。そして、第1のカメラ1及び第2のカメラ2は、このライン端子に接続され、シリアル通信が可能な同期制御ライン3によって、互いに映像の記録又は再生等の処理をフレーム単位で同期する制御命令が含まれる同期制御信号を通信パケットに入れて送受信する。
また、第1のカメラ1及び第2のカメラ2は、ユーザがそれぞれ操作入力により各部に動作を指示する操作部11を備える。操作部11には、例えば、カメラ本体にある操作スイッチ(録画ボタン、再生ボタン等)や不図示のリモートコントローラ、プッシュボタン、トグルスイッチ、タッチパネルディスプレイ等が用いられる。操作部11は、ユーザの操作入力により第1の映像信号記録媒体22Lから第1の映像信号記録媒体23Lのアクセスを切替える動作を指示するために用いられる。本例では、第1のカメラ1を主とし、第2のカメラ2を従とする主従関係による制御が行われ、第1のカメラ1の指示により、第1のカメラ1の処理フレームに合わせて、第2のカメラ2の処理フレームの同期が制御される。
また、立体映像撮像システム10は、第1のカメラ1及び第2のカメラ2から入力した映像信号を3Dの立体映像信号に変換する信号変換装置4を備える。信号変換装置4は、2D又は3Dで映像を表示することが可能な表示装置5に2D又は3Dの映像信号を出力する。
信号変換装置4は、第1のカメラ1及び第2のカメラ2からEE(Electric to Electric Mode)映像信号又はPlay映像信号を受け取る。EE映像信号とは、第1のカメラ1及び第2のカメラ2が撮像した2Dの映像信号をそのまま2Dの平面映像として表示することを表示装置5に指示する信号である。すなわち、第1のカメラ1及び第2のカメラ2が出力した映像信号を、HDD等の記録部を経由することなく、表示装置5に対する出力として直接取り出される信号である。Play映像信号とは、第1のカメラ1及び第2のカメラ2が再生した2Dの映像信号を3Dの立体映像として表示することを表示装置5に指示する信号である。
そして、信号変換装置4は、第1のカメラ1及び第2のカメラ2から入力した2Dの映像信号を3Dの映像信号として1つにまとめた通信パケットを表示装置5に出力する。そして、表示装置5が2Dの映像を表示する2D表示モードに設定されている場合には、第1のカメラ1及び第2のカメラ2から入力する映像信号を選択し、左右映像のうちどちらかを選択した映像を2Dの平面映像として表示する。一方、表示装置5が立体映像を表示する3D表示モードに設定されている場合には、3Dの立体映像として表示する。
第1のカメラ1及び第2のカメラ2は、立体映像の撮像時に設置台(RIG)6に設置される。一般に、第1のカメラ1及び第2のカメラ2のズームの倍率を共に同じ値とし、レンズの間隔を人間の目に合わせて第1のカメラ1及び第2のカメラ2を配置する。このとき撮像した2D映像を合わせた立体映像は自然な立体物としてユーザが視認できることが知られている。
しかし、筐体が大きな第1のカメラ1及び第2のカメラ2を水平方向に並べると人間の目の幅より広い視差で被写体を撮像してしまい、ユーザが視認する立体映像に違和感が生じてしまう。例えば、視差が狭くても第1のカメラ1及び第2のカメラ2に近い場所の被写体を立体視できる映像を撮像することが可能である。しかし、視差が広くなるほど違和感なく立体視できる映像を撮像するためには、第1のカメラ1及び第2のカメラ2と被写体の距離を長くする必要がある。このため、ハーフミラー7を備えた設置台6に第1のカメラ1及び第2のカメラ2を設置する。このとき、被写体の像光がハーフミラー7を介して直接入力する位置に第1のカメラ1を配置し、被写体の像光がハーフミラー7に反射して入力する位置に第2のカメラ2を配置する。このように、第1のカメラ1及び第2のカメラ2が備えるレンズの光軸が垂直に交わる位置に、第1のカメラ1及び第2のカメラ2が設置される。
図2は、立体映像撮像システム10の内部構成例を示す。
第1のカメラ1と第2のカメラ2は、大部分が同じ機能ブロックを有する。このため、以下の説明では、第1のカメラ1の機能ブロックについて、符号に“L”を付けて説明し、第1のカメラ1の機能ブロックに対応する第2のカメラ2の機能ブロックについて、符号に“R”を付けて適宜説明を加える。以下の説明では、第1のカメラ1の処理を説明するため、第1のカメラ1を「自機」と呼び、第2のカメラ2を「他機」と呼ぶ場合がある。
第1のカメラ1は、操作部11からの操作入力を受け付けるユーザインタフェース制御部12と、撮像動作を制御する第1の撮像制御部13Lと、RAM14を備える。ユーザインタフェース制御部12は、操作部11がタッチパネルディスプレイである場合には、グラフィカルユーザインターフェース(GUI:Graphical User Interface)を画面上に表示する。また、不図示の記録部に記録された映像の再生を制御する再生制御部15と、映像を記録部に記録する際の制御を行う記録制御部16を備える。また、撮像動作や映像の再生又は記録を第2のカメラ2の処理と同期して行うように第2のカメラ2の動作を制御する第1の同期制御部17Lを備える。また、各種のカウンタ値を記録するRAM18と、同期制御ライン3を伝送する通信パケットの送受信を制御する送受信制御部19を備える。
また、第1のカメラ1は、再生制御部15による左映像の再生指示、又は記録制御部16による左映像の記録指示を受ける第1のアクセス制御部21Lを備える。第1のアクセス制御部21Lは、第1の処理フレームで第1の映像信号を記録する複数の第1の映像信号記録媒体22L,23Lへのデータの読み書き等のアクセスを制御したり、第1の映像信号記録媒体22L,23Lの状態監視を行ったりする。そして、第1のアクセス制御部21Lは、第1の映像信号記録媒体22L,23Lのいずれかに順にアクセスし、左映像の映像信号の再生又は記録を行う。第1の映像信号記録媒体22L,23Lは、2つのスロット(第1及び第2のスロット)に挿入され、第1の映像信号の記録又は再生がスロット毎に行われる。一方、第2のカメラ2が備える第2のアクセス制御部21Rは、第2の処理フレームで第2の映像信号を記録する複数の第2の映像信号記録媒体22R,23Rへのアクセスを制御したり、第2の映像信号記録媒体22R,23Rの状態監視を行ったりする。
第1のアクセス制御部21Lは、第1の映像信号記録媒体22L,23Lをサイクリックに使用してアクセス処理を行う。例えば、第1の映像信号の記録時に第1スロットに挿入される第1の映像信号記録媒体22Lの記録容量が満杯になると、第2スロットに挿入される第1の映像信号記録媒体23Lに自動的にアクセスを切替えて第1の映像信号の続きを記録する。そして、第2のカメラ2についても、第1のカメラ1と同じ機能を有する第2のアクセス制御部21Rと2種類のスロットを備える。各スロットに差し込まれる第2の映像信号記録媒体22R,23Rには、右映像の映像信号が記録される。そして、第2のカメラ2が備える第2のアクセス制御部21Rについても、第2の映像信号記録媒体22R,23Rをサイクリックに使用して、第2の映像信号としての右映像の映像信号の再生又は記録を行う。なお、以下の説明では、第1の映像信号記録媒体22L,23L、第2の映像信号記録媒体22R,23Rを「記録媒体」と略称する場合がある。
ユーザインタフェース制御部12は、操作部11が備える不図示のボタンによる操作入力の受付処理、不図示のリモートコントローラから受け取る操作入力の受付処理、無線LAN等のリモートによる操作入力の受付処理を行う。また、タッチパネル等のグラフィカルユーザインターフェースから入力された操作入力による指示等を処理し、各種のメニューやメッセージをタッチパネルディスプレイ等に表示する処理を行う。さらに、ユーザインタフェース制御部12は、操作部11から受け付けた操作入力による指示を第1の同期制御部17Lに通知する。
第1の撮像制御部13Lは、第1のレンズを介して入射する被写体の入射光により第1の処理フレームの間に挿入されている垂直同期信号毎に第1の処理フレームで、第1の映像信号を出力する第1の撮像素子の動作を制御する。なお、第2のカメラ2は、第2のレンズ及び第2の撮像素子の動作を制御する第2の撮像制御部13Rを有する。第1及び第2の撮像素子には、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が用いられる。第2の撮像制御部13Rは、第1のレンズから所定の距離だけ離して配置され、第2のレンズを介して入射する被写体の入射光により第2の処理フレームで、第2の映像信号を出力する第2の撮像素子の動作を制御する。ここで、第1の撮像制御部13Lは、例えば、第1の撮像素子、映像処理プロセッサ、第1のレンズ等が含まれる光学系駆動部の駆動を制御する。また、第1の撮像制御部13Lは、第1の撮像素子が出力する映像信号を画素単位で補正したり、光学系駆動部に対してオートフォーカス処理やオートホワイトバランス処理等の制御を行ったりする。
RAM14には、第1の撮像制御部13Lから得たフレーム毎の垂直同期信号が発生した数を計数する第1の垂直同期信号カウンタ20Lにより、処理フレームのフレーム数として用いられる垂直同期信号カウンタ値が書き込まれる。第1の垂直同期信号カウンタ20Lは、第1の撮像素子が第1の処理フレームの間に挿入する垂直同期信号の発生回数を第1の処理フレームのフレーム数として計数する第1の計数部として用いられる。そして、第1の垂直同期信号カウンタ20Lは、撮像時に第1の撮像制御部13Lが制御する第1の撮像素子から割り込まれる垂直同期信号の数を計数しており、RAM14は、第1の垂直同期信号カウンタ20Lによって書き込まれた垂直同期信号の数を記録する。一方、第2のカメラ2が備える第2の垂直同期信号カウンタ20Rは、第2の撮像素子が第2の処理フレームの間に挿入する第2の垂直同期信号の発生回数を計数する第2の計数部として用いられ、RAM14に第2の垂直同期信号の発生回数を記録させる。
再生制御部15は、第1のアクセス制御部21Lを介して、第1の映像信号記録媒体22L、第1の映像信号記録媒体23Lに対するクリップファイルの書込み、読出し等のアクセス処理、クリップ情報の処理やクリップファイルのデコード処理の制御等を行う。記録制御部16は、第1の映像信号記録媒体22L、第1の映像信号記録媒体23Lに対するアクセス処理、クリップファイルの生成処理、削除されたクリップファイルを復元するサルベージ処理や映像信号のエンコード処理の制御等を行う。
第1の同期制御部17Lは、第1のアクセス制御部21Lがアクセスする一の第1の映像信号記録媒体の残容量が不足すると、一の第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知する。本例では、第1の映像信号記録媒体22Lの残容量が不足すると第1の映像信号記録媒体23Lにアクセスを切替える。そして、第2の同期制御部17Rは、通知されたタイミングに同期して、第2のアクセス制御部21Rがアクセスする一の第2の映像信号記録媒体とは異なる他の第2の映像信号記録媒体へアクセスを切替えさせる制御を行う。本例では、第2の映像信号記録媒体22Rから第2の映像信号記録媒体23Rにアクセスを切替える。なお、第2のスロットに差し込まれている第1の映像信号記録媒体23Lの残容量が不足した場合には、第1の映像信号記録媒体22Lに切替える処理が行われる。このとき、第2のカメラ2では、第2の映像信号記録媒体23Rから第2の映像信号記録媒体22Rにアクセスが切替えられる。
より詳細に説明すると、第1の同期制御部17Lは、第1のアクセス制御部21Lが第1の映像信号記録媒体22Lから第1の映像信号記録媒体23Lにアクセスを切替える場合に以下の処理を行う。すなわち、第2の処理フレームの間に挿入されている垂直同期信号の発生回数と、第1の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により第2の処理フレームの間に挿入されている垂直同期信号の発生回数を算出する。そして、第2の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、以下の制御を行う。すなわち、第1の映像信号記録媒体23Lへのアクセスを切替えるタイミングを第2のアクセス制御部21Rに通知した時点より所定期間の経過後に、第1のアクセス制御部21Lが第1の映像信号記録媒体23Lへのアクセスを切替える制御を行う。一方、第2の同期制御部17Rは、第1の同期制御部17Lに、第2の処理フレームの間に挿入されている垂直同期信号の発生回数を知らせる。併せて、第1の同期制御部17Lから通知を受けた時点より所定期間の経過後に、第2のアクセス制御部21Rが第2の映像信号記録媒体22Rへのアクセスを第2の映像信号記録媒体23Rに切替える制御を行う。
また、第1の同期制御部17Lは、第1の処理フレームの垂直同期信号と第2の処理フレームの垂直同期信号が発生するタイミングを予め合わせておく。ここで、第2の同期制御部17Rが第2の処理フレームの間に挿入されている垂直同期信号の発生回数を第2の処理フレームのフレーム数として計数する。このとき、第2の撮像素子が垂直同期信号を発生させる度に第2のカメラ2から受け取った第2の処理フレームのフレーム数と、第1の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定であるか求める。そして、差分値が複数のフレーム期間で一定である場合には、算出した第2の処理フレームのフレーム数に複数のフレーム期間を加えたフレーム数を第2のカメラ2が動作を開始するタイミングとして第2のカメラ2に通知する。このような制御により、第1のカメラ1は、第2のカメラ2が指示される動作を開始するタイミングを制御する。
また、第1の同期制御部17Lは、操作部11の操作入力による指示を第2の同期制御部17Rに通知すると共に、操作入力がされた時点より所定期間の経過後に通知した動作を行う。そして、第2の同期制御部17Rは、第1の同期制御部17Lから通知を受けた時点より所定期間の経過後に、第2の映像信号記録媒体22Rから第2の映像信号記録媒体23Rのアクセスを切替える。なお、操作部11の操作入力によって「指示される動作」には、撮像の開始若しくは停止又は映像再生の開始若しくは停止のいずれかが含まれ、第1及び第2の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる。
このように第1の同期制御部17Lは、第1のカメラ1及び第2のカメラ2の間における垂直同期信号のカウンタ値の差分を求めたり、動作指示のタイミングを第2のカメラ2と同期して行わせたりする制御を行う。なお、第1の同期制御部17Lが行う処理の詳細については後述する図7〜図10のフローチャートに示す。
第1の同期制御部17Lは、第1の撮像制御部13Lに対してデータを送受信するインタフェースを持っており、送受信制御部19に対する送受信制御部インタフェース処理を行う。この処理は、送受信制御部19に対するインタフェースを担当するモジュールによって行われる。RAM18は、第1のカメラ1及び第2のカメラ2が互いに受け取った垂直同期信号のカウンタ値、第1のカメラ1が行う動作指示や動作指示の開始のトリガとなる垂直同期信号のカウンタ値等を記録する。
送受信制御部19は、通信パケットの送信受付処理、通信パケットを第2のカメラ2に送る処理、通信パケットを規定の通信プロトコルに合わせて変換する処理、ライン端子等を含む通信デバイスの制御処理等を行う。第1の同期制御部17Lは、処理の開始又は停止のタイミングを同期するために実行する処理フレームの開始タイミング(本例では、垂直同期信号カウンタ値の発生回数に基づく。)を計算する。そして、送受信制御部19が第2のカメラ2に行う動作を指示する制御データと処理フレーム数を第2のカメラ2に送ることを依頼する。
第1のカメラ1は、第2のカメラ2に対してゲンロックを行うことによって、第1のカメラ1及び第2のカメラ2の撮像時における処理フレームの開始タイミングを事前に同期する。この同期は、垂直同期信号の発生タイミングで行われており、この同期タイミングのズレ量は約1ライン程度の時間内に収まるよう第1の同期制御部17Lが制御する。
ゲンロックにより処理フレームの開始タイミングが同期された第1のカメラ1及び第2のカメラ2は、各カメラで動作するソフトウェアプログラムがそれぞれ計数した垂直同期信号カウンタ値の差分値を検出することにより、制御時のフレーム精度を確保する。主となる第1のカメラ1がユーザによるスロット切り替えの操作指示を受け付けると、第1のカメラ1は、従となる第2のカメラ2に対して1〜数フレーム後のタイミングに同時にスロットを切替えて動作するように指示を行う。
ここで、垂直同期信号は処理フレームが開始するタイミングで現れており、第1のカメラ1の第1の同期制御部17Lは、この差分値によって第2のカメラ2が動作する処理フレームのフレーム数を把握する。主となる第1のカメラ1は、第1の映像信号記録媒体22Lの残容量が不足し、第1スロットから第2スロットへの切替えが必要となった場合、又はユーザの操作入力によるスロット切替えの動作指示を受け取ると、以下の動作を行う。すなわち、1〜数フレーム後のタイミングで、第1のカメラ1と同時にスロット切替えを行うように第2のカメラ2の動作を制御する。このようにして、第1のカメラ1は、第2のカメラ2の処理のタイミングを第1のカメラ1の処理のタイミングであるフレーム毎に合わせる同期制御を行っている。
カメラ間で伝送される通信パケットは、コマンドの種類を示す“Kフィールド(4バイト)”と、データ長を示す(4バイト)“Lフィールド”と、データの内容を示す“Vフィールド(最大64バイト)”で構成される。Kフィールドには、同期を指示するデータが格納され、Vフィールドには、自機が行うスロット切替えの開始を示すデータ内容が格納される。例えば、Kフィールドに垂直同期信号カウンタ値の通知を示すデータが含まれると、Vフィールドには、自機の垂直同期信号カウンタ値が含まれる。また、Kフィールドにクリップファイルのフォーマットを通知する情報が含まれると、Vフィールドには、映像の画サイズ、フレームレート、ビットレートを示す情報が含まれる。
ソフトウェアプログラムによって制御される第1のカメラ1及び第2のカメラ2は、同期制御ライン3を介して通信パケットを送受信することで、互いにフレーム毎にタイミングを合わせて処理を行うことが可能となる。このため、同じタイミングで撮像された映像の記録を開始し又は停止する動作をフレーム毎に合わせて同時に行ったり、同一フォーマットのコンテンツをフレーム毎に合わせて同時に再生し又は停止したりする処理が可能となる。このため、カメラ間あるいは1台のカメラでも同期制御部が分かれている場合には、各同期制御部が非同期通信をすることによって、同期カウンタの差分を検出し、それによって記録媒体切り替えをフレーム精度で制御を行うことができる
なお、第1のカメラ1及び第2のカメラ2は、映像を同期して再生する再生装置としても用いられる。この場合、同期制御ライン3で接続される他の再生装置として第2のカメラ2が用いられる。このとき、第1のアクセス制御部21Lは、第1の処理フレームで第1の映像信号を再生する複数の第1の映像信号記録媒体へのアクセスを制御する。一方、第2のアクセス制御部21Rは、第2の処理フレームで第2の映像信号を再生する複数の第2の映像信号記録媒体へのアクセスを制御する。そして、第1のアクセス制御部21Lがアクセスする第1の映像信号記録媒体22Lから再生される第1の映像信号のファイルがなくなると、第1の映像信号記録媒体22Lとは異なる第1の映像信号記録媒体23Lへアクセスを切替えるタイミングを通知する。第2の同期制御部17Rは、通知されたタイミングに同期して、第2のアクセス制御部21Rがアクセスする第2の映像信号記録媒体22Rとは異なる第2の映像信号記録媒体23Rへアクセスを切替えさせる制御を行う。
操作部11の操作入力によって指示される動作には、撮像の開始若しくは停止、又は第1及び第2の映像信号記録媒体のアクセス切替えのいずれかが含まれる。また、第1及び第2の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる。
図3は、第1のカメラ1によって第2のカメラ2の動作タイミングが制御される例を示すタイミングチャートである。図3Aは、第1のカメラ1及び第2のカメラ2の同期を制御していない状態におけるタイミングチャートの例を示す。
第1のカメラ1及び第2のカメラ2は、それぞれ異なるタイミングで発生した垂直同期信号を開始のタイミングを合わせるために利用し、隣り合う垂直同期信号の期間内で定まる処理フレームに基づいて撮像又は再生の処理を行う。第1のカメラ1及び第2のカメラ2は、同じフレームレートの処理フレームで動作するが、例えば、ユーザが各カメラの操作部11を操作して電源をオンしたタイミングは厳密に合わせることが困難であり、処理フレームが立ち上がるタイミングが異なる。このため、従来のように処理フレームが開始したタイミングが異なったまま被写体を撮像すると、撮像後に左右映像のフレームのタイミングを合わせる作業が必要であった。
図3Bは、第1のカメラ1の処理フレームに基づいてゲンロックされた第2のカメラ2の処理フレームの例を示す。
本例では、第1のカメラ1の処理フレームの開始タイミングに第2のカメラ2の処理フレームの開始タイミングを合わせる制御を行っており、第1のカメラ1の垂直同期信号を処理フレームの開始タイミングを合わせる同期信号として用いている。そして、第2のカメラ2は、同期制御ライン3を介して第1のカメラ1から伝送される同期制御信号により処理フレームのゲンロックを行う。なお、第1のカメラ1及び第2のカメラ2は同じ構成としたカメラであるので、第2のカメラ2の処理フレームを同期信号として利用して第1のカメラ1の処理フレームをゲンロックすることも可能である。
ここで、第1のカメラ1及び第2のカメラ2の処理フレームの開始タイミングを合わせる処理について説明する。
始めに、第1のカメラ1は、処理フレームの最初のタイミングとして垂直同期信号が発生した瞬間に、計数した垂直同期信号カウンタ値を、同期制御ライン3を経由して第2のカメラ2に通知する。この垂直同期信号カウンタ値は、処理フレームのカウンタ値カウンタ値として用いられる
同様に、第2のカメラ2は、処理フレームの最初のタイミングとして垂直同期信号が発生した瞬間に、計数した垂直同期信号カウンタ値を、同期制御ライン3を経由して第1のカメラ1に通知する。図3Bでは、説明の便宜のため、第1のカメラ1の垂直同期信号カウンタ値をn,n+1,…と数え、第2のカメラ2の垂直同期信号カウンタ値をm,m+1,…と数える。
第1のカメラ1及び第2のカメラ2は、互いに1フレームの期間内に垂直同期信号カウンタ値を通知し合う。この動作は、数フレームにわたって行われる。そして、第1のカメラ1の第1の同期制御部17Lは、第1のカメラ1の垂直同期信号カウンタ値から、数フレームにわたって取得した第2のカメラ2の垂直同期信号カウンタ値を減じた差分値Δを求める。本例では、差分値Δ=n−mとして値が求まり、複数フレームにわたって求めた差分値Δが連続して同じ値である場合に、差分値Δが平均値として求まる。
ここで、第2のカメラ2の(m+3)フレーム目のように、(m+3)フレームのカウンタ値が、第1のカメラ1の同じ(m+3)フレーム内で通知されず、次の(m+4)フレームで通知される場合がある。例えば、第1の同期制御部17Lは、第1の処理フレームの期間内に第1の処理フレームのフレーム数を第2の同期制御部17Rに通知できない場合がある。または、第1の同期制御部17Lが第1の処理フレームの期間内に第2の同期制御部17Rから第2の処理フレームのフレーム数を受け取ることができない場合がある。このとき、第1の同期制御部17Lは、第1の処理フレームに続くフレーム期間にわたって第1の処理フレームのフレーム数を第2の同期制御部17Rに通知する。あるいは、第1の同期制御部17Lは、第2の同期制御部17Rから第2の処理フレームのフレーム数を受け取る。これにより、第1の同期制御部17L及び第2の同期制御部17Rは、互いに確実に処理フレームのフレーム数を通知することができる。
図3Bに示すように、第1の同期制御部17Lは、所定の回数以上にわたって求めた同じ差分値Δとは異なる第2の差分値Δ′を所定の回数未満にわたって求めた場合に、第2の差分値Δ′を破棄する。図3Bの例では、第2の差分値Δ′は、Δ′=(n+4)−(m+3)=n−m+1として求められ、突発的に平均値から外れた第2の差分値Δ′については破棄される。このようにして、第1のカメラ1の第1の同期制御部17Lは、第1のカメラ1の処理フレームに対して第2のカメラ2の処理フレームがどれだけずれているかを差分値Δによって把握できる。
図3Cは、第1のカメラ1及び第2のカメラ2が実際にスロット切替えを行うタイミングの例を示す。
図3Bに示したように、第1のカメラ1の第1の同期制御部17Lは、差分値Δを把握している。ここで、図3Cでは、説明の便宜のため、第1のカメラ1の処理フレームをx,x+1,…と数え、第2のカメラ2の処理フレームをy,y+1,…と数える。
そして、第1の同期制御部17Lは、(x+5)フレーム目からスロット切替えを行う場合に、第2のカメラ2に対して、(x+5−Δ)フレームのカウンタ値を、(y+5)フレームのカウンタ値に上書きする指示を行う。このとき、第2のカメラ2の第1の同期制御部17Lは、(y+5)フレームのカウンタ値を(x+5−Δ)フレームのカウンタ値に書き換える。これにより、第1のカメラ1及び第2のカメラ2は、同じフレームのカウンタ値として図中に星印で示される同じタイミングでスロット切替えを行うことができる。
図4は、第1のカメラ1及び第2のカメラ2が用いる記録媒体に記録されるクリップファイルの構成例を示す。
第1のカメラ1及び第2のカメラ2がそれぞれ備える第1及び第2スロットには、第1の映像信号記録媒体22L,23Lと第1の映像信号記録媒体22R,23Rが挿入されている状態とする。
第1のアクセス制御部21Lは、第1の映像信号をクリップ単位で第1の映像信号記録媒体22L,23Lに記録し、第1の映像信号のクリップ名称を第2の同期制御部17Rに通知する。併せて、第2の同期制御部17Rから受け取った第2の映像信号のクリップ名称を第1の映像信号記録媒体22L,23Lに記録する制御を行う。一方、第2のアクセス制御部21Rは、第2の映像信号をクリップ単位で第2の映像信号記録媒体22R,23Rに記録し、第2の映像信号のクリップ名称を第1の同期制御部17Lに通知する。併せて、第1の同期制御部17Lから受け取った第1の映像信号のクリップ名称を第2の映像信号記録媒体22R,23Rに記録する制御を行う。
具体的には、以下のように第1のアクセス制御部21Lと第2のアクセス制御部21Rが互いの記録媒体に付されたクリップ名称を共有する。
第1のカメラ1及び第2のカメラ2は、始めに第1スロットに挿入されている第1の映像信号記録媒体22Lを用いて映像信号の記録を開始する。このとき、第1のカメラ1の第1スロットに差し込まれた記録媒体に190_0001L_01という名称のクリップが作成される。同様に、第2のカメラ2の第1スロットに差し込まれた記録媒体に190_0001R_01という名称のクリップが作成される。
第1のカメラ1及び第2のカメラ2が3D映像を撮影し、それぞれの映像信号記録媒体に映像信号を記録する時には、各クリップに3D映像としてペアになるクリップの情報(「pairwith:○○」の部分)が書き込まれる。そして、各カメラは、3D映像の記録を継続したまま第1スロットから第2スロットに切り替える操作を行う。このとき、第2のカメラ2の第2スロット差し込まれた記録媒体に190_0001L_02という名称のクリップが作成される。同様に、第1のカメラ1の第2スロットに差し込まれた記録媒体に190_0001R_02という名称のクリップが作成される。
図5は、第1のカメラ1及び第2のカメラ2が用いる記録媒体に記録されるクリップファイルの編集時の動作例を示す。
第1のアクセス制御部21Lは、第1の映像信号の第1の映像信号記録媒体22Lへの書込み途中で第1の映像信号記録媒体23Lにアクセスを切替えた場合に、切替え前後に発生したクリップをまとめたテイク単位で第1の映像信号を記録する制御を行う。また、第2のアクセス制御部21Rは、第2の映像信号の第2の映像信号記録媒体22Rへの書込み途中で第2の映像信号記録媒体23Rにアクセスを切替えた場合に、切替え前後に発生したクリップをまとめたテイク単位で第2の映像信号を記録する制御を行う。
このようにスロット切り替えが発生し、1回の記録動作で複数のクリップが作成されると、記録媒体のフォーマット上、作成された複数のクリップはまとめて1つのテイクとして扱われる。3D映像の記録に伴って作成されたテイクについても、3D映像としてペアとなるテイクの情報を持っており、ペアとなるテイクの情報を利用して左右映像のテイクを組み合わせ、3Dの映像信号が含まれる3D映像データとして扱うことができる。
図6は、スロットを切替えて変化する記録媒体の記録容量の例を示す。
第1のカメラ1及び第2のカメラ2がそれぞれ備える第1及び第2スロットには、第1の映像信号記録媒体22L,23Lと第1の映像信号記録媒体22R,23Rが挿入されている状態とする。
記録中に第1のカメラ1の第1スロットに挿入されている第1の映像信号記録媒体22Lの残容量が無くなる場合がある。このとき、第2のカメラ2の第1スロットに挿入されている第1の映像信号記録媒体22Lの残容量があっても、同時に第1及び第2スロットの切り替えが行われる。切り替え後に、第1の映像信号記録媒体23Lに190_0001L_02という名称のクリップが作成され、第2の映像信号記録媒体23Rに190_0001R_02という名称のクリップが作成され、各クリップには、ペアにあるクリップの情報が書き込まれる。このように、第1の映像信号記録媒体22Lの残容量がなくなると、自動的にスロットが切替えられ、第1の映像信号記録媒体23Lにクリップが作成される。また、第1のカメラ1における映像信号記録媒体の切替えに合わせて、第2のカメラ2における映像信号記録媒体が切り替わる。このため、第1の映像信号記録媒体22L,22Rの残容量が異なっていても、第1の映像信号記録媒体23L,23Rの残容量が同じであれば、同じ長さのクリップが作成される。
次に、立体映像撮像システム10の処理例として、特に第1の同期制御部17Lの処理例を図7〜図10を参照して説明する。なお、本例では、第1のカメラ1を主として用いるため、第1の同期制御部17Lについて説明するが、第2のカメラ2を主として用いた場合であっても、第2のカメラ2は、以下に説明する第1の同期制御部17Lと同様の処理を行うことが可能である。
図7は、第1のカメラ1の処理例を示す。
始めに、第1のカメラ1及び第2のカメラ2のライン端子に同期制御ライン3が接続されると、ユーザによって行われる不図示のメニュー画面を用いた操作部11の操作入力により、同期制御ラインモードがオンされる(ステップS1)。同期制御ラインモードがオンされると、第1のカメラ1を主、第2のカメラ2を従とする主従関係の下、第1のカメラ1及び第2のカメラ2の間で映像の撮像処理又は映像の再生処理をカメラ毎の処理フレームで同期して行うことが可能となる。一方、同期制御ラインモードがオフされると、各カメラは独立して動作するため、互いに影響を与えない。
次に、第1のカメラ1及び第2のカメラ2は、同期制御ライン3を介し、互いに垂直同期信号カウンタ値をシリアル通信により通知し合う(ステップS2)。このとき、第1のカメラ1の第1の同期制御部17Lは、自機の垂直同期信号カウンタ値と第2のカメラ2から受け取った垂直同期信号カウンタ値の差分を検出する。そして、第1のカメラ1は、同じ差分値がNフレーム連続したら差分値を確定する(本例では、5フレーム)(ステップS3)。
次に、第1のカメラ1が操作部11に受けた入力操作に伴い発生した操作信号によりスロット切替えの指示を受ける。本例では、「処理の開始又は停止の指示」として、「スロット切替えの指示」を受けるものとする。この指示により、第1のカメラ1は、第2のカメラ2に指示するために要する通信時間を考慮して、数フレーム後における処理フレームのカウンタ値を指定して、第2のカメラ2に動作の指示を送る(ステップS4)。図3に示したタイミングチャートでは、5フレーム後に実行することが示される。
このようにして、第1のカメラ1及び第2のカメラ2は、同じタイミングで発生した垂直同期信号のタイミングに合わせて、同じフレームのタイミングでスロットを切替え、アクセスする記録媒体を替える(ステップS5)。
次に、図8〜図10を参照して、第1の同期制御部17Lが行う各部に対するインタフェースの処理例を説明する。以下の説明では、第1の同期制御部17Lが各制御部との間でデータの入出力を行う処理を「インタフェースの処理」と呼ぶ。
図8は、第1の同期制御部17Lが行う第1の撮像制御部13Lのインタフェースの処理例を示す。
始めに、第1の同期制御部17Lは、第1の撮像素子が発生する垂直同期信号の割り込みを待つ(ステップS11)。垂直同期信号の割り込みが発生すると、第1の垂直同期信号カウンタ20LがRAM14に垂直同期信号カウンタ値を書き込む。そして、第1の同期制御部17Lは、垂直同期信号カウンタをRAM14から取得する(ステップS12)。
垂直同期信号カウンタ値は、第1のカメラ1を電源オンした後、第1の垂直同期信号カウンタ20Lによって“0”から“255”まで繰り返しカウントアップされる。なお、第1の垂直同期信号カウンタ20Lが計数を開始した時点における垂直同期信号カウンタ値はランダムな値をとる。また、第1のカメラ1及び第2のカメラ2の同期が安定していれば、差分値Δは固定値であり、その都度、動作を開始する時点における垂直同期信号カウンタ値の絶対値を計算している。このため、垂直同期信号カウンタ値そのものを“0”にリセットする必要がない。
次に、第1の同期制御部17Lは、RAM14から読み出した垂直同期信号カウンタ値を第2のカメラ2に送信する(ステップS13)。垂直同期信号カウンタ値を送信する処理は、第1の撮像制御部13Lのインタフェースを処理するモジュールが行う。そして、第1の同期制御部17Lが送受信制御部19へ送信を依頼することによって送信処理が行われる。
次に、第1の同期制御部17Lは、自機の垂直同期信号カウンタ値が、第2のカメラ2が動作を開始する時点における垂直同期信号カウンタ値と等しいか否かを判断する(ステップS14)。等しい場合に第1の同期制御部17Lは、再生制御部15又は記録制御部16に対して映像の再生指示又は記録指示を行う(ステップS15)。異なる場合に第1の同期制御部17Lは、何も処理を行わず、処理を終了する。
図9は、第1の同期制御部17Lが行うユーザインタフェース制御部12のインタフェースの処理例を示す。
始めに、第1の同期制御部17Lは、ユーザの操作入力により発生する操作信号からなる動作指示を待つ(ステップS21)。ただし、ユーザからの動作指示は、処理フレームのどのタイミングで来るかが不定である。このため、第1の同期制御部17Lは動作指示を受けた後、垂直同期信号が発生するタイミングである処理フレームの先頭から指示された動作を開始できるように、第2のカメラ2との間で垂直同期信号が同じタイミングで発生するようにゲンロックを行っている。
また、第1のカメラ1は、第2のカメラ2に対して操作信号を送ることにより、操作部11によって操作入力された動作指示を通知する。ただし、第2のカメラ2に操作信号が到着するタイミングは定かでなく、実際にどのタイミングで動作が行われるか不明である。そこで、第1のカメラ1及び第2のカメラ2は、互いに第1の垂直同期信号カウンタ20Lと第2の垂直同期信号カウンタ20Rが計数する垂直同期信号カウンタ値から差分値Δを予め求めている。これにより、差分値Δを考慮した上で第1のカメラ1及び第2のカメラ2が同期して動作を開始することが可能な垂直同期信号カウンタ値を計算している。
次に、第1のカメラ1の第1の同期制御部17Lは、第2のカメラ2から受け取った垂直同期信号カウンタ値によって確定した差分値Δから、第2のカメラ2が動作を開始する時点における垂直同期信号カウンタ値を計算する(ステップS22)。また、第1のカメラ1の第1の同期制御部17Lは、ステップS22の処理と並行して、第1のカメラ1が動作を開始する時点における垂直同期信号カウンタ値を計算する(ステップS23)。
ステップS21の次工程において、ステップS23に分岐した破線は、第1のカメラ1が従となった場合に実行さえる処理を意味する。この処理は、操作部11から受け取る動作指示のパラメータが自機のカウンタ値なのか、他機のカウンタ値なのかによって実行する処理が変わるためである。そして、第1の同期制御部17Lは、動作指示が行われる操作信号や動作を開始する時点における垂直同期信号カウンタ値を第2のカメラ2へ送信し(ステップS24)、処理を終了する。
図10は、第1の同期制御部17Lが行う送受信制御部19のインタフェースの処理例を示す。
始めに、第1のカメラ1の第1の同期制御部17Lは、送受信制御部19から受け取る垂直同期信号カウンタ値の受信を待つ(ステップS31)。第2のカメラ2から垂直同期信号カウンタ値が受信されなければ処理を終了する。
一方、送受信制御部19が第2のカメラ2から垂直同期信号カウンタ値を受信すると(ステップS32)、送受信制御部19は、RAM18に垂直同期信号カウンタ値を書き込む。その後、第1の同期制御部17Lは、RAM18から垂直同期信号カウンタを取得する(ステップS33)。そして、第1の同期制御部17Lは、RAM14から読み出した自機の垂直同期信号カウンタ値とRAM18から読み出した第2のカメラ2の垂直同期信号カウンタ値の差分値Δを計算する(ステップS34)。
第1の同期制御部17Lは、1フレームごとに差分値Δを計算しており、最新の差分値Δは、ステップS34にて計算される。以下の説明において、第1の同期制御部17Lが1フレーム前に計算した差分は、1フレーム前の垂直同期信号カウンタ値によって求まる値であるため、「前回差分」と呼び、ステップS34にて計算した差分値Δを「今回差分」と呼ぶ。そして、第1の同期制御部17Lは、今回差分が前回差分に等しいか否かを判断する(ステップS35)。そして、第1の同期制御部17Lは、差分値Δが複数回にわたって一定値であるか否かを判断するため、RAM14には、今回差分と前回差分が等しかった場合にこの回数を加算する差分確定カウンタ値を書き込む(ステップS36)。
そして、第1の同期制御部17Lは、差分値Δが差分確定カウンタ値を増加することのできる値であるか、第2の差分値Δ′に相当する異常値であるかを判断する(ステップS37)。異常値である場合には処理を行わない。一方、差分値Δが差分確定カウンタ値を増加することのできる値であれば、次処理のステップS38により、前回差分を確定差分に上書きする処理が行われる。
本例では、垂直同期信号カウンタ値の差分値Δを確定するために、差分確定カウンタ値を用いている。例えば、上述した図3Cに示したように、同期制御ライン3を伝送される通信パケットが遅延した場合には、今回差分と前回差分が異なる場合がある。このような場合に今回差分として求めた差分値Δを破棄できるようにするため、N回(本例では、5回)連続して今回差分と前回差分が同じ値とならない場合、正しい差分値Δと見なさない制御を行う。
ここで、第1の同期制御部17Lは、差分値Δが変わった際に、変わった差分値Δを一旦「前回差分」としてRAM14に書き込んでおく。その後、同じ差分値Δが求められると、RAM14内の差分確定カウンタ値を1増やす。さらに、連続して今回差分と前回差分が同じ値となる場合には、その度に差分確定カウンタ値を増やし続ける。このようにして、Nフレームにわたって今回差分と前回差分が同じ値となる場合に、上述した差分値Δで表される「確定した差分値」が求まる(ステップS38)。さらに、N回連続して今回差分と前回差分が同じ値となる場合には、差分確定カウンタ値である“N”の値を差分確定カウンタ値に上書きして処理を終了する(ステップS39)。なお、“N”の値は、今回差分と前回差分が同じ値となる度に増えていく。
ステップS35の処理において、前回差分が今回差分と異なる場合には、RAM14に書き込まれている前回差分を今回差分で更新した上で(ステップS40)、差分確定カウンタ値を初期値“1”に書き換える(ステップS41)。その後、ステップS31〜S39の処理を繰り返して、今回差分で示した値が確定差分Δとなるか求める。
なお、第1のカメラ1が従として設定され、第2のカメラ2が主として設定される場合がある。このとき、第1のカメラ1の送受信制御部19は、第2のカメラ2から操作信号を受け取り、第1のカメラ1の第1の同期制御部17Lは、第2のカメラ2によって指示される動作を解釈する(ステップS42)。さらに、第1のカメラ1の送受信制御部19は、第2のカメラ2から動作を開始する時点における垂直同期信号カウンタ値を受信し(ステップS43)、この垂直同期信号カウンタ値を第1のカメラ1のRAM18に書き込む。そして、ステップS43の処理に並行して、第1のカメラ1の第1の同期制御部17Lは、確定した差分値から自機の動作を開始する時点における垂直同期信号カウンタ値を計算し(ステップS44)、第2のカメラ2によって制御された動作を行う。
以上説明した一実施の形態に係る立体映像撮像システム10によれば、主従関係を有する第1のカメラ1及び第2のカメラ2を用いて、互いに垂直同期信号の発生タイミングを合わせた上で、垂直同期信号カウンタ値の差分値Δを求めている。そして、この差分値Δを考慮した上で、第1のカメラ1及び第2のカメラ2は、同じタイミングで記録媒体切り替えが可能となる。このため、記録媒体の切り替わりに伴うクリップ分割のタイミングが記録媒体ごとに違うことを考慮して編集する必要がなくなる。それにより切替えられた第1のカメラ1と第2のカメラ2の記録媒体に作成された各クリップの長さは1:1の同じ長さとなり、同じ撮影タイミングであることが保証される。そして、クリップの作成開始のタイミングがフレーム単位で同じであるため、3D映像の再生や編集時における左右映像のフレームの時間合わせが容易になる。
このとき、実際にスロット切り替えが行われるフレーム数を定めて、このフレーム数に至った時点で第1及び第2のスロットに対するスロット切り替えを2台のカメラが同時に行うことができる。このとき、ユーザは、例えば、主となる第1のカメラ1の操作部11に対して操作入力を行うだけで、第2のカメラ2は第1のカメラ1と同じ動作をする。これにより、2台のカメラのスロット切り替えを処理フレームの開始タイミングに合わせて厳密に制御することができる。
また、処理フレームの開始タイミングを映像信号の垂直同期信号の発生タイミングに合わせたことにより、処理フレーム毎の動作を正確に合わせることができる。このため、被写体を撮像した後、処理フレームを合わせ込む作業が不要となり、編集作業が効率化する。また、映像の再生時においても2台のカメラで同期して再生動作を行わせることができ、処理フレームのずれによる立体映像の違和感をなくすことができる。
また、差分値Δは、所定の回数以上にわたって求めており、値の信頼性が高い。このため、差分値Δを用いて処理フレームの合わせ込みを容易に行うことが可能である。また、ユーザにとっては第1のカメラ1の操作を行えば自動的に第2のカメラ2が同期して動作するため、スロット切り替えのタイミングを合わせることを意識しなくてもよい。
また、異常値として求めた第2の差分値Δ′は破棄されるため、第2の差分値Δ′による同期制御への影響が及ばない。この点からも第1のカメラ1及び第2のカメラ2の同期制御の信頼性を高めることができる。
<2.変形例>
また、上述した実施の形態では、第1のカメラ1及び第2のカメラ2を上下方向に設置した例を説明したが、第1のカメラ1及び第2のカメラ2の筐体を小型化することにより、水平方向に並べて設置してもよい。
また、同期制御ライン3は、送受信制御部19に接続される有線ケーブルとして用いた例を説明したが、送受信制御部19を無線の通信規格に対応したアダプタとすることにより、通信パケットを無線伝送するようにしてもよい。
また、上述した実施の形態では、第1のカメラ1及び第2のカメラ2を備える立体映像撮像システム10(図1参照)に適用した例を説明したが、二眼式の1台のカメラについても、スロット切替えのタイミングを合わせる同期制御を行ってもよい。また、第2の同期制御部17Rが第1のアクセス制御部21Lを従とし、第2のアクセス制御部21Rを主とする主従関係を定めてもよい。また、右映像信号を第1の映像信号とし、左映像信号を第2の映像信号として撮像してもよい。
図11は、立体映像撮像カメラ30の外部構成例を示す。
立体映像撮像カメラ30は、立体映像撮像システム10と同様に、信号変換装置4を介して表示装置5に2D又は3Dの映像を表示することができる。また、立体映像撮像カメラ30は、図示しないものの2つのレンズを備える二眼式のカメラであり、1台で立体映像を撮像することが可能である。そして、立体映像撮像カメラ30は、立体映像撮像システム10における第1のカメラ1及び第2のカメラ2の内部ブロックを備えている。このように、第1のカメラ1と第2のカメラ2に相当する左映像と右映像を撮影する撮影システムが1台のカメラの中に入っている場合でも、上述したスロット切替え方法により、フレーム精度を保証しながらスロット切り替えが可能となる。このように、本例の記録又は再生制御方法は、複数台のカメラを用いた撮像システムに限らず、左右映像を同時に撮影する1台のカメラにも適用が可能である。
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ(またはCPU等の制御装置)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
また、本開示は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
なお、本開示は以下のような構成も取ることができる。
(1)第1のレンズを介して入射する被写体の入射光により第1の処理フレームで、第1の映像信号を出力する第1の撮像素子の動作を制御する第1の撮像制御部と、
前記第1の処理フレームで前記第1の映像信号を記録する複数の第1の映像信号記録媒体へのアクセスを制御する第1のアクセス制御部と、
前記第1のレンズから所定の距離だけ離して配置され、第2のレンズを介して入射する被写体の入射光により第2の処理フレームで、第2の映像信号を出力する第2の撮像素子の動作を制御する第2の撮像制御部と、
前記第2の処理フレームで前記第2の映像信号を記録する複数の第2の映像信号記録媒体へのアクセスを制御する第2のアクセス制御部と、
前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体の残容量が不足すると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知する第1の同期制御部と、
通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体とは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行う第2の同期制御部と、を備える
立体映像撮像システム。
(2)前記第1のアクセス制御部は、前記第1の映像信号をクリップ単位で前記第1の映像信号記録媒体に記録し、前記第1の映像信号のクリップ名称を前記第2の同期制御部に通知すると共に、前記第2の同期制御部から受け取った前記第2の映像信号のクリップ名称を前記第1の映像信号記録媒体に記録する制御を行い、
前記第2のアクセス制御部は、前記第2の映像信号をクリップ単位で前記第2の映像信号記録媒体に記録し、前記第2の映像信号のクリップ名称を前記第1の同期制御部に通知すると共に、前記第1の同期制御部から受け取った前記第1の映像信号のクリップ名称を前記第2の映像信号記録媒体に記録する制御を行う
前記(1)記載の立体映像撮像システム。
(3)さらに、前記第1の撮像素子が前記第1の処理フレームの間に挿入する第1の垂直同期信号の発生回数を計数する第1の計数部と、
前記第2の撮像素子が前記第2の処理フレームの間に挿入する第2の垂直同期信号の発生回数を計数する第2の計数部と、を備え、
前記第1の同期制御部は、前記第1のアクセス制御部が一の前記第1の映像信号記録媒体から他の前記第1の映像信号記録媒体にアクセスを切替える場合に、前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第1の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値により前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数を算出し、前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数に基づいて、前記第1の映像信号記録媒体へのアクセスを切替えるタイミングを前記第2のアクセス制御部に通知した時点より所定期間の経過後に、前記第1のアクセス制御部が前記第1の映像信号記録媒体へのアクセスを切替える制御を行い、
前記第2の同期制御部は、前記第1の同期制御部に、前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数を知らせると共に、前記第1の同期制御部から前記通知を受けた時点より前記所定期間の経過後に、前記第2のアクセス制御部が一の前記第2の映像信号記録媒体へのアクセスを他の前記第2の映像信号記録媒体に切替える制御を行う
前記(1)又は(2)記載の立体映像撮像システム。
(4)前記第1及び第2のアクセス制御部は、それぞれ前記第1及び第2の映像信号の一の前記第1及び第2の映像信号記録媒体への書込み途中で他の第1及び第2の映像信号記録媒体にアクセスを切替えた場合に、切替え前後に発生したクリップをまとめたテイク単位で前記第1及び第2の映像信号を記録する制御を行う
前記(3)記載の立体映像撮像システム。
(5)前記第1の計数部は、前記第1の撮像素子が発生させる前記垂直同期信号の発生回数を前記第1の処理フレームのフレーム数として計数し、
前記第1の同期制御部は、前記第1の処理フレームの垂直同期信号と前記第2の処理フレームの垂直同期信号が発生するタイミングを予め合わせ、前記第2の同期制御部が前記第2の処理フレームの間に挿入されている第2の垂直同期信号の発生回数を前記第2の処理フレームのフレーム数として計数する場合に、前記第2の撮像素子が前記第2の垂直同期信号を発生させる度に前記第2の同期制御部から受け取った前記第2の処理フレームのフレーム数と、前記第1の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定である場合に算出した前記第2の処理フレームのフレーム数に前記複数のフレーム期間を加えたフレーム数を前記第2の同期制御部が動作を開始するタイミングとして前記第2の同期制御部に通知する
前記(1)〜(4)のいずれかに記載の立体映像撮像システム。
(6)さらに、操作入力により第1の映像信号記録媒体のアクセスを切替える動作を指示する操作部を備え、
前記第1の同期制御部は、前記操作入力による指示を前記第2の同期制御部に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行い、
前記第2の同期制御部は、前記第1の同期制御部から前記通知を受けた時点より前記所定期間の経過後に、前記第2の映像信号記録媒体のアクセスを切替える
前記(1)〜(5)のいずれかに記載の立体映像撮像システム。
(7)前記第1の同期制御部は、前記第1の処理フレームの期間内に前記第1の処理フレームのフレーム数を前記第2の同期制御部に通知できない場合、又は前記第1の処理フレームの期間内に前記第2の同期制御部から前記第2の処理フレームのフレーム数を受け取ることができない場合に、前記第1の処理フレームに続くフレーム期間にわたって前記第1の処理フレームのフレーム数を前記第2の同期制御部に通知し、又は前記第2の同期制御部から前記第2の処理フレームのフレーム数を受け取る
前記(1)〜(6)のいずれかに記載の立体映像撮像システム。
(8)前記制御部は、所定の回数以上にわたって求めた前記差分値とは異なる第2の差分値を前記所定の回数未満にわたって求めた場合に、前記第2の差分値を破棄する
前記(1)〜(7)のいずれかに記載の立体映像撮像システム。
(9)前記操作部の操作入力によって指示される動作には、撮像の開始若しくは停止、又は前記第1及び第2の映像信号記録媒体のアクセス切替えのいずれかが含まれ、前記第1及び第2の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる
前記(1)〜(8)のいずれかに記載の立体映像撮像システム。
(10)第1のレンズを介して入射する被写体の入射光により第1の処理フレームで、第1の映像信号を出力する第1の撮像素子の動作を制御するステップと、
第1のアクセス制御部が前記第1の処理フレームで前記第1の映像信号を記録する複数の第1の映像信号記録媒体へのアクセスを制御するステップと、
前記第1のレンズから所定の距離だけ離して配置され、第2のレンズを介して入射する被写体の入射光により第2の処理フレームで、第2の映像信号を出力する第2の撮像素子の動作を制御するステップと、
第2のアクセス制御部が前記第2の処理フレームで前記第2の映像信号を記録する複数の第2の映像信号記録媒体へのアクセスを制御するステップと、
前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体の残容量が不足すると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知するステップと、
通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体とは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行うステップと、を含む
記録制御方法。
(11)第1の処理フレームで第1の映像信号を再生する複数の第1の映像信号記録媒体へのアクセスを制御する第1のアクセス制御部と、
第2の処理フレームで第2の映像信号を再生する複数の第2の映像信号記録媒体へのアクセスを制御する第2のアクセス制御部と、
前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体から再生される前記第1の映像信号のファイルがなくなると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知する第1の同期制御部と、
通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体とは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行う第2の同期制御部と、を備える
立体映像再生システム。
(12)第1のアクセス制御部が第1の処理フレームで第1の映像信号を再生する複数の第1の映像信号記録媒体へのアクセスを制御するステップと、
第2のアクセス制御部が第2の処理フレームで第2の映像信号を再生する複数の第2の映像信号記録媒体へのアクセスを制御するステップと、
前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体から再生される前記第1の映像信号のファイルがなくなると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知するステップと、
通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体からとは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行うステップと、を含む
再生制御方法。
1…第1のカメラ、2…第2のカメラ、3…同期制御ライン、4…信号変換装置、5…表示装置、6…設置台、7…ハーフミラー、10…立体映像撮像システム、11…操作部、12…ユーザインタフェース制御部、13L…第1の撮像制御部、13R…第2の撮像制御部、14…RAM、15…再生制御部、16…記録制御部、17L…第1の同期制御部、17R…第2の同期制御部、18…RAM、19…送受信制御部、20L…第1の垂直同期信号カウンタ、20R…第2の垂直同期信号カウンタ、21L…第1のアクセス制御部、21R…第2のアクセス制御部、22L…第1の映像信号記録媒体、22R…第2の映像信号記録媒体、23L…第1の映像信号記録媒体、23R…第2の映像信号記録媒体、30…立体映像撮像カメラ

Claims (12)

  1. 第1のレンズを介して入射する被写体の入射光により第1の処理フレームで、第1の映像信号を出力する第1の撮像素子の動作を制御する第1の撮像制御部と、
    前記第1の処理フレームで前記第1の映像信号を記録する複数の第1の映像信号記録媒体へのアクセスを制御する第1のアクセス制御部と、
    前記第1のレンズから所定の距離だけ離して配置され、第2のレンズを介して入射する被写体の入射光により第2の処理フレームで、第2の映像信号を出力する第2の撮像素子の動作を制御する第2の撮像制御部と、
    前記第2の処理フレームで前記第2の映像信号を記録する複数の第2の映像信号記録媒体へのアクセスを制御する第2のアクセス制御部と、
    前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体の残容量が不足すると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知する第1の同期制御部と、
    通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体とは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行う第2の同期制御部と、を備える
    立体映像撮像システム。
  2. 前記第1のアクセス制御部は、前記第1の映像信号をクリップ単位で前記第1の映像信号記録媒体に記録し、前記第1の映像信号のクリップ名称を前記第2の同期制御部に通知すると共に、前記第2の同期制御部から受け取った前記第2の映像信号のクリップ名称を前記第1の映像信号記録媒体に記録する制御を行い、
    前記第2のアクセス制御部は、前記第2の映像信号をクリップ単位で前記第2の映像信号記録媒体に記録し、前記第2の映像信号のクリップ名称を前記第1の同期制御部に通知すると共に、前記第1の同期制御部から受け取った前記第1の映像信号のクリップ名称を前記第2の映像信号記録媒体に記録する制御を行う
    請求項1記載の立体映像撮像システム。
  3. さらに、前記第1の撮像素子が前記第1の処理フレームの間に挿入する第1の垂直同期信号の発生回数を計数する第1の計数部と、
    前記第2の撮像素子が前記第2の処理フレームの間に挿入する第2の垂直同期信号の発生回数を計数する第2の計数部と、を備え、
    前記第1の同期制御部は、前記第1のアクセス制御部が一の前記第1の映像信号記録媒体から他の前記第1の映像信号記録媒体にアクセスを切替える場合に、前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数と、前記第1の処理フレームの間に挿入されている垂直同期信号の発生回数との差分値を求め、前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数を、前記第1の垂直同期信号の発生回数から前記差分値を引いたカウンタ値に置き換える通知を行い、前記第1の映像信号記録媒体へのアクセスを切替えるタイミングを前記第2のアクセス制御部に通知した時点より所定期間の経過後に、前記第1のアクセス制御部が前記第1の映像信号記録媒体へのアクセスを切替える制御を行い、
    前記第2の同期制御部は、前記第1の同期制御部に、前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数を知らせると共に、前記第2の処理フレームの間に挿入されている垂直同期信号の発生回数を前記第1の同期制御部から前記通知を受けた前記カウンタ値に置き換え、置き換えた前記カウンタ値より前記所定期間の経過後に、前記第2のアクセス制御部が一の前記第2の映像信号記録媒体へのアクセスを他の前記第2の映像信号記録媒体に切替える制御を行う
    請求項1又は2記載の立体映像撮像システム。
  4. 前記第1及び第2のアクセス制御部は、それぞれ前記第1及び第2の映像信号の一の前記第1及び第2の映像信号記録媒体への書込み途中で他の第1及び第2の映像信号記録媒体にアクセスを切替えた場合に、切替え前後に発生したクリップをまとめたテイク単位で前記第1及び第2の映像信号を記録する制御を行う
    請求項3記載の立体映像撮像システム。
  5. 前記第1の計数部は、前記第1の撮像素子が発生させる前記垂直同期信号の発生回数を前記第1の処理フレームのフレーム数として計数し、
    前記第1の同期制御部は、前記第1の処理フレームの垂直同期信号と前記第2の処理フレームの垂直同期信号が発生するタイミングを予め合わせ、前記第2の同期制御部が前記第2の処理フレームの間に挿入されている第2の垂直同期信号の発生回数を前記第2の処理フレームのフレーム数として計数する場合に、前記第2の撮像素子が前記第2の垂直同期信号を発生させる度に前記第2の同期制御部から受け取った前記第2の処理フレームのフレーム数と、前記第1の処理フレームのフレーム数との間で算出したフレーム数の差分値が複数のフレーム期間で一定である場合に、前記第1の垂直同期信号の発生回数から前記差分値を引いた値に置き換えたカウンタ値に所定のフレーム数を加えた前記カウンタ値のフレームを、前記第1の同期制御部と前記第2の同期制御部が動作を開始するタイミングとして前記第2の同期制御部に通知する
    請求項3又は4に記載の立体映像撮像システム。
  6. さらに、操作入力により第1の映像信号記録媒体のアクセスを切替える動作を指示する操作部を備え、
    前記第1の同期制御部は、前記操作入力による指示を前記第2の同期制御部に通知すると共に、前記操作入力がされた時点より前記所定期間の経過後に通知した前記動作を行い、
    前記第2の同期制御部は、前記第1の同期制御部から前記通知を受けた時点より前記所定期間の経過後に、前記第2の映像信号記録媒体のアクセスを切替える
    請求項3〜5のいずれか1項に記載の立体映像撮像システム。
  7. 前記第1の同期制御部は、前記第1の処理フレームの期間内に前記第1の処理フレームのフレーム数を前記第2の同期制御部に通知できない場合、又は前記第1の処理フレームの期間内に前記第2の同期制御部から前記第2の処理フレームのフレーム数を受け取ることができない場合に、前記第1の処理フレームに続くフレーム期間にわたって前記第1の処理フレームのフレーム数を前記第2の同期制御部に通知し、又は前記第2の同期制御部から前記第2の処理フレームのフレーム数を受け取る
    請求項3〜6のいずれか1項に記載の立体映像撮像システム。
  8. 前記第1の同期制御部は、所定の回数以上にわたって求めた前記差分値とは異なる第2の差分値を前記所定の回数未満にわたって求めた場合に、前記第2の差分値を破棄する
    請求項3〜7のいずれか1項に記載の立体映像撮像システム。
  9. 前記操作部の操作入力によって指示される動作には、撮像の開始若しくは停止、又は前記第1及び第2の映像信号記録媒体のアクセス切替えのいずれかが含まれ、前記第1及び第2の処理フレームには、撮像フレーム又は再生フレームのいずれかが含まれる
    請求項6に記載の立体映像撮像システム。
  10. 第1のレンズを介して入射する被写体の入射光により第1の処理フレームで、第1の映像信号を出力する第1の撮像素子の動作を制御するステップと、
    第1のアクセス制御部が前記第1の処理フレームで前記第1の映像信号を記録する複数の第1の映像信号記録媒体へのアクセスを制御するステップと、
    前記第1のレンズから所定の距離だけ離して配置され、第2のレンズを介して入射する被写体の入射光により第2の処理フレームで、第2の映像信号を出力する第2の撮像素子の動作を制御するステップと、
    第2のアクセス制御部が前記第2の処理フレームで前記第2の映像信号を記録する複数の第2の映像信号記録媒体へのアクセスを制御するステップと、
    前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体の残容量が不足すると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知するステップと、
    通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体とは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行うステップと、を含む
    記録制御方法。
  11. 第1の処理フレームで第1の映像信号を再生する複数の第1の映像信号記録媒体へのアクセスを制御する第1のアクセス制御部と、
    第2の処理フレームで第2の映像信号を再生する複数の第2の映像信号記録媒体へのアクセスを制御する第2のアクセス制御部と、
    前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体から再生される前記第1の映像信号のファイルがなくなると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知する第1の同期制御部と、
    通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体とは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行う第2の同期制御部と、を備える
    立体映像再生システム。
  12. 第1のアクセス制御部が第1の処理フレームで第1の映像信号を再生する複数の第1の映像信号記録媒体へのアクセスを制御するステップと、
    第2のアクセス制御部が第2の処理フレームで第2の映像信号を再生する複数の第2の映像信号記録媒体へのアクセスを制御するステップと、
    前記第1のアクセス制御部がアクセスする一の前記第1の映像信号記録媒体から再生される前記第1の映像信号のファイルがなくなると、一の前記第1の映像信号記録媒体とは異なる他の第1の映像信号記録媒体へアクセスを切替えるタイミングを通知するステップと、
    通知された前記タイミングに同期して、前記第2のアクセス制御部がアクセスする一の前記第2の映像信号記録媒体からとは異なる他の前記第2の映像信号記録媒体へアクセスを切替えさせる制御を行うステップと、を含む
    再生制御方法。
JP2011160642A 2011-07-22 2011-07-22 立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法 Expired - Fee Related JP5927795B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011160642A JP5927795B2 (ja) 2011-07-22 2011-07-22 立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法
US13/548,576 US8937647B2 (en) 2011-07-22 2012-07-13 Stereoscopic imaging system, recording control method, stereoscopic image reproduction system, and reproduction control method
CN2012102536264A CN102892020A (zh) 2011-07-22 2012-07-16 立体成像***、记录控制方法、立体影像再现***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011160642A JP5927795B2 (ja) 2011-07-22 2011-07-22 立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法

Publications (3)

Publication Number Publication Date
JP2013026880A JP2013026880A (ja) 2013-02-04
JP2013026880A5 JP2013026880A5 (ja) 2014-08-14
JP5927795B2 true JP5927795B2 (ja) 2016-06-01

Family

ID=47535358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011160642A Expired - Fee Related JP5927795B2 (ja) 2011-07-22 2011-07-22 立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法

Country Status (3)

Country Link
US (1) US8937647B2 (ja)
JP (1) JP5927795B2 (ja)
CN (1) CN102892020A (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
TWI524735B (zh) * 2012-03-30 2016-03-01 華晶科技股份有限公司 三維影像產生方法及裝置
FR3004881B1 (fr) 2013-04-19 2015-04-17 Kolor Procede de generation d'un flux video de sortie a partir d'un flux video large champ
US20170214903A1 (en) * 2014-03-13 2017-07-27 Sony Corporation Imaging apparatus, imaging system, and control method for imaging apparatus
CN104135617B (zh) * 2014-07-29 2017-07-14 努比亚技术有限公司 物体运动轨迹拍摄方法、终端及***
JP6075357B2 (ja) * 2014-11-19 2017-02-08 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) * 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10432855B1 (en) 2016-05-20 2019-10-01 Gopro, Inc. Systems and methods for determining key frame moments to construct spherical images
CN106231100A (zh) * 2016-07-29 2016-12-14 青岛海信移动通信技术股份有限公司 一种摄像头视频处理的方法和终端
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
CN110430375B (zh) * 2019-07-23 2021-07-20 Oppo广东移动通信有限公司 成像方法、装置、存储介质及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3615780B2 (ja) 1994-02-16 2005-02-02 ペンタックス株式会社 電子スチルカメラ
DE10248865A1 (de) * 2002-10-18 2004-06-03 Heinrich Bode 3D System mit zwei asyncronen Videocamcordern
JP2009094724A (ja) * 2007-10-05 2009-04-30 Fujifilm Corp 撮像装置
CN101667438A (zh) * 2009-09-17 2010-03-10 钟磊 立体视频的记录和播放方法
CN101588512B (zh) * 2009-01-07 2011-06-08 深圳市掌网立体时代视讯技术有限公司 一种立体摄像装置及方法
CN102033415B (zh) * 2009-09-27 2013-01-30 深圳市掌网立体时代视讯技术有限公司 立体数码成像同步装置和方法
CN101790106B (zh) * 2010-03-12 2011-10-05 杭州电子科技大学 双目视频同步采集设备
JP2012204987A (ja) * 2011-03-24 2012-10-22 Sony Corp 撮像装置、同期制御方法、再生装置及び立体映像撮像システム

Also Published As

Publication number Publication date
US8937647B2 (en) 2015-01-20
JP2013026880A (ja) 2013-02-04
US20130021450A1 (en) 2013-01-24
CN102892020A (zh) 2013-01-23

Similar Documents

Publication Publication Date Title
JP5927795B2 (ja) 立体映像撮像システム、記録制御方法、立体映像再生システム及び再生制御方法
JP2012204987A (ja) 撮像装置、同期制御方法、再生装置及び立体映像撮像システム
JP2011239379A (ja) 撮像システム、撮像装置及び撮像方法
CN107836114B (zh) 数据记录设备及其控制方法、摄像设备和计算机可读存储介质
JP5970748B2 (ja) 動画像撮影システム及び同期制御方法
CN1972379A (zh) 数码相机***和数码相机
US20120062554A1 (en) Reproducing apparatus
WO2011136137A1 (ja) 立体撮像装置及びその制御方法
JP5938655B2 (ja) 再生装置、撮像装置およびプログラム
US9088700B2 (en) Imaging device, and system for audio and image recording
US11017817B2 (en) Image processing apparatus, image processing method, camera apparatus, remote control apparatus, and camera system
WO2013069296A1 (ja) 撮像装置、撮像システムおよびプログラム
JP2013055590A (ja) 撮像装置および撮像方法
JP5359797B2 (ja) 撮像素子一体型交換レンズ式のカメラシステムとその動画生成方法
JP2009159094A (ja) 撮像装置
EP2750378A2 (en) Imaging apparatus
JP2005277606A (ja) 撮影装置
JP2012175495A (ja) ステレオ3d録画装置
JP6157058B2 (ja) 撮像装置及び通信制御方法
JP2011130308A (ja) 三次元映像撮影装置、三次元映像再生装置および三次元映像システム
JP5930807B2 (ja) 撮像装置
JP5925020B2 (ja) 再生装置
JP2007088592A (ja) 映像撮像記録装置
JP4420028B2 (ja) 撮像装置、制御装置、撮像システム及び画像信号生成装置
JP2016015659A (ja) 記録装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160411

R151 Written notification of patent or utility model registration

Ref document number: 5927795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees