JP2019145892A - 撮像装置及び撮像装置の制御方法 - Google Patents

Abstract

【課題】入力映像フレームと撮像映像フレームを用いて、時間情報を補正することができるようにすることである。【解決手段】撮像装置は、入力映像フレームと時間情報との組みを時系列で入力する映像入力手段と、撮像映像フレームを時系列で撮像する撮像手段と、前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記憶する記憶手段と、補正値を入力する補正値入力手段と、前記記憶手段に記憶されている第１の時間情報に対応する入力映像フレームと、前記記憶手段に記憶されている前記第１の時間情報に対して前記補正値に対応する時間だけずれた第２の時間情報に対応する撮像映像フレームとを表示するように制御する制御手段とを有する。【選択図】図５

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

ビデオカメラなどの撮像装置は、様々な用途に対応するために、複数の端子を有している。例えば、タイムコードを入力可能なビデオカメラは、タイムコードのみを入力可能な入力端子を有している。また、タイムコードを出力可能なビデオカメラは、タイムコードのみを出力可能な出力端子を有している。その他に、Ｇｅｎｌｏｃｋ（Ｇｅｎｅｒａｔｏｒ Ｌｏｃｋ）信号などの外部同期信号を入力可能なビデオカメラは、外部同期信号のみを入力可能な入力端子を有している。しかし、ビデオカメラに複数の端子を設けることは、小型化及び低コスト化を阻害する要因となる。

特許文献１には、タイムコード及びＧｅｎｌｏｃｋ信号を入力可能なコネクタを有し、コネクタに入力された入力信号がタイムコード及びＧｅｎｌｏｃｋ信号のいずれであるかを判定する撮像装置が記載されている。

特許第５６２７３４５号公報

しかしながら、複数のビデオカメラの同時撮影では、Ｇｅｎｌｏｃｋ信号を入力しつつタイムコードを入力する必要がある。特許文献１では、Ｇｅｎｌｏｃｋ信号とタイムコードを切り替える必要があり、同期をとるのに手間がかかる。

本発明の目的は、入力映像フレームと撮像映像フレームを用いて、時間情報を補正することができるようにすることである。

本発明の撮像装置は、入力映像フレームと時間情報との組みを時系列で入力する映像入力手段と、撮像映像フレームを時系列で撮像する撮像手段と、前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記憶する記憶手段と、補正値を入力する補正値入力手段と、前記記憶手段に記憶されている第１の時間情報に対応する入力映像フレームと、前記記憶手段に記憶されている前記第１の時間情報に対して前記補正値に対応する時間だけずれた第２の時間情報に対応する撮像映像フレームとを表示するように制御する制御手段とを有する。

本発明によれば、入力映像フレームと撮像映像フレームを用いて、時間情報を補正することができる。

撮像システムの構成例を示す図である。 ビデオカメラの構成例を示す図である。 タイムコードによる同期を示すタイムチャートである。 タイムコードの補正を示すフローチャートである。 タイムコードの補正を示すタイムチャートである。 タイムコード補正の画面表示例を示す図である。 タイムコードの補正を示すタイムチャートである。 タイムコードの補正を示すフローチャートである。 タイムコードの補正を示すタイムチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像システム１００の構成例を示す図である。撮像システム１００は、ビデオカメラ１０２ｘと、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブル１０１と、ビデオカメラ１０２ｙとを有する。ビデオカメラ１０２ｘ及び１０２ｙは、映像を撮像する撮像装置である。撮像装置は、ビデオカメラの他、デジタルカメラ、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。

ＳＤＩケーブル１０１は、ビデオカメラ１０２ｘとビデオカメラ１０２ｙとを接続する。ビデオカメラ１０２ｘは、ＳＤＩケーブル１０１を介して、ビデオカメラ１０２ｙに映像及びタイムコードを送信する。タイムコードは、時間情報である。ビデオカメラ１０２ｘはマスタとして動作し、ビデオカメラ１０２ｙはスレーブとして動作する。ビデオカメラ１０２ｘは、映像を撮影する。そして、ビデオカメラ１０２ｘは、ＳＤＩケーブル１０１を介して、その撮影した映像及びタイムコードをビデオカメラ１０２ｙに送信する。ここで、ビデオカメラ１０２ｘが映像を撮影してから、ビデオカメラ１０２ｙがその撮影された映像を受信するまでに、２フレームの遅延が発生するものとする。そのため、タイムコードの補正を行わない場合、ビデオカメラ１０２ｘ及び１０２ｙの間において、同一時刻に撮影された映像に付加されるタイムコードには、２フレーム分の差が生じる。そこで、ビデオカメラ１０２ｘ及び１０２ｙは、タイムコード補正用に、同一の被写体１０３の撮影を行う。この例では、被写体１０３は、タイムコードを表示するタイムコードジェネレータであるが、同期の確認がしやすい他の被写体を用いてもよい。

図２は、ビデオカメラ１０２ｘ及び１２０ｂの各々の構成例を示すブロック図である。以下、ビデオカメラ１０２ｘ及び１０２ｙは、相互に同じ構成を有する。撮影レンズ２０１は、絞り変更機能、画角変更機能、及び焦点距離変更機能を有し、被写体の光学像を撮像素子２０２の撮像面上に結像する。撮像素子２０２は、撮影レンズ２０１により結像された光学像を電気信号に変換することにより、映像を撮像する。

画像処理部２０３は、システム制御部２０５の制御に基づき、撮像素子２０２により撮像された映像に対して、各種の画像処理等を行う。画像処理部２０３は、撮像素子２０２により撮像された映像を、１フレーム期間かけて現像等の処理を行う。その後、画像処理部２０３は、処理した映像を画像メモリ２０４に書き込む。そして、画像処理部２０３は、画像メモリ２０４内の現像後の映像を読み出し、記録又は表示用の映像としてシステム制御部２０５に出力、又はＳＤＩ出力用の映像としてＳＤＩドライバ／イコライザ２０６に出力する。

ＳＤＩドライバ／イコライザ２０６は、画像処理部２０３から入力した信号の変換等を行い、ＳＤＩ信号として、ＳＤＩ端子２０７を介して、不図示のレコーダやモニタなどの外部機器に出力する。また、ビデオカメラ１０２ｙにおいて、ＳＤＩ端子２０７がビデオカメラ１０２ｘ等の外部機器からＳＤＩ信号を入力した場合、ＳＤＩドライバ／イコライザ２０６は、ＳＤＩ端子２０７のＳＤＩ信号の変換等を行い、変換後の信号を画像処理部２０３に出力する。ＳＤＩ信号は、映像及びタイムコードを含む。

画像処理部２０３は、ＳＤＩドライバ／イコライザ２０６から入力された信号から、映像フレームとタイムコードを含むアンシラリーデータを分離抽出し、そのアンシラリーデータをシステム制御部２０５に出力する。また、画像処理部２０３は、映像フレームを画像メモリ２０４に一旦書き込んだ後、画像メモリ２０４から再度読み出し、記録又は表示用の映像として、システム制御部２０５に出力する。

プログラムメモリ２０８は、プログラムを記憶する。システム制御部２０５は、プログラムメモリ２０８からプログラムを読み出し、そのプログラムに従って各部の制御を行う。また、システム制御部２０５は、画像処理部２０３により処理された映像を所定の圧縮符号化方式で圧縮符号化する。そして、システム制御部２０５は、その圧縮した映像をワーキングメモリ２０９に一時格納し、その後、ワーキングメモリ２０９に一時格納した圧縮映像を読み出し、ストレージ２１０に記録する。

撮像素子２０２は、複数の映像フレームの撮像を行い、システム制御部２０５に対し、撮像する映像フレーム毎に露光タイミング情報を出力する。システム制御部２０５は、撮像素子２０２から入力した露光タイミング情報を基にタイムコードを生成し、そのタイムコードを画像処理部２０３に出力する。画像処理部２０３は、画像メモリ２０４内の映像フレームとそれに対応するタイムコードをＳＤＩドライバ／イコライザ２０６に出力する。ＳＤＩドライバ／イコライザ２０６は、画像処理部２０３から入力した映像フレームとタイムコードを含むアンシラリーデータを生成し、ＳＤＩ信号として、ＳＤＩ端子２０７を介して、外部機器に出力する。ビデオカメラ１０２ｘでは、ＳＤＩドライバ／イコライザ２０６は、画像処理部２０３から入力した映像フレームとタイムコードを含むアンシラリーデータを生成し、ＳＤＩ信号として、ＳＤＩ端子２０７を介して、ビデオカメラ１０２ｙに出力する。

また、システム制御部２０５は、画像処理部２０３からタイムコードと映像フレームが入力された場合、入力されたタイムコードを映像フレームに付加してストレージ２１０に記録する。また、システム制御部２０５は、撮影レンズ２０１と通信を行い、絞り、画角変更、焦点距離の調整を行うことができる。

入力装置２１１は、キーやダイヤル等を有し、ユーザの入力操作を電気的信号に変換し、システム制御部２０５に出力する。表示装置２１２は、例えば液晶パネル等である。システム制御部２０５は、撮像した映像やビデオカメラ１０２ｘ又は１０２ｙの状態を表示装置２１２上に表示する。

図３は、ＳＤＩ信号によるタイムコードの同期を説明するタイムチャートである。ビデオカメラ１０２ｘはタイムコードマスタであり、ビデオカメラ１０２ｙはタイムコードスレーブである。ビデオカメラ１０２ｘでは、撮像素子２０２が撮像する映像フレームと、ビデオカメラ１０２ｘの内部タイムコードと、ＳＤＩ端子２０７が出力する映像フレーム及びタイムコードを示している。ビデオカメラ１０２ｙでは、ＳＤＩ端子２０７が入力する映像フレーム及びタイムコードと、ビデオカメラ１０２ｙの内部タイムコードと、撮像素子２０２が撮像する映像フレームを示している。

この例では、映像フレームの位相は、合わせた状態を維持していると仮定する。また、ビデオカメラ１０２ｘは、映像フレームを撮像してからＳＤＩ端子２０７に映像フレームを出力するまでに２フレーム分の時間がかかると仮定する。「Ａｘ」〜「Ｆｘ」は、ビデオカメラ１０２ｘの撮像素子２０２が撮像した映像フレームである。「Ａｙ」〜「Ｂｙ」は、ビデオカメラ１０２ｙの撮像素子２０２が撮像した映像フレームである。「Ａｘ」及び「Ａｙ」は、ビデオカメラ１０２ｘ及び１０２ｙの撮像素子２０２が同時刻に撮像した映像フレームである。同様に、「Ｂｘ」及び「Ｂｙ」は、ビデオカメラ１０２ｘ及び１０２ｙの撮像素子２０２が同時刻に撮像した映像フレームである。「Ｃｘ」及び「Ｃｙ」等も同様である。

「１１」〜「１６」の数字は、タイムコードのフレーム番号部分を示している。ビデオカメラ１０２ｘは、映像フレーム「Ａｘ」に対し、タイムコード「１１」を付加して、ＳＤＩ端子２０７を介してビデオカメラ１０２ｙに出力する。ビデオカメラ１０２ｙは、ＳＤＩ端子２０７を介してビデオカメラ１０２ｘからタイムコード「１１」を入力し、内部タイムコードを「１１」に同期させる。そして、ビデオカメラ１０２ｙは、内部タイムコード「１１」を、ビデオカメラ１０２ｙの撮像素子２０２が撮像する映像フレーム「Ｃｙ」に付加する。その際、ビデオカメラ１０２ｘは、映像フレーム「Ａｘ」が撮像された時点からＳＤＩ端子２０７に出力される時点までに、２フレーム分の処理遅延が発生する。そのため、ビデオカメラ１０２ｙは、タイムコード「１１」を、映像フレーム「Ｃｙ」が撮像されるタイミングで入力する。ＳＭＰＴＥ ＳＴ１２に準拠したタイムコード端子を使用した同期と同じ手法を行うと、本来、タイムコードが「１３」となるべき映像フレーム「Ｃｙ」にタイムコード「１１」が付加されることになる。

ビデオカメラ１０２ｙでは、同時刻に撮像された映像フレーム「Ｃｘ」及び「Ｃｙ」に対して、異なるタイムコードが付加されるという課題がある。本実施形態では、ビデオカメラ１０２ｘ及び１０２ｙが同時刻に撮像した映像フレームの同期をとるために、ビデオカメラ１０２ｙは、タイムコードの補正を行う。

図４は、第１の実施形態によるビデオカメラ１０２ｙの制御方法を示すフローチャートである。ステップＳ４００では、システム制御部２０５は、入力装置２１１のユーザ操作により、タイムコード補正モードに移行する。そして、システム制御部２０５は、プログラムメモリ２０８からプログラムを読み出し、そのプログラムに従い、タイムコード補正モードの処理を開始する。

次に、ステップＳ４０１では、システム制御部２０５は、ＳＤＩ端子２０７へのＳＤＩ信号の入力があるか否かの情報を、画像処理部２０３を介して取得する。そして、システム制御部２０５は、ＳＤＩ端子２０７に対して映像フレーム及びタイムコードを含むＳＤＩ信号の入力があるか否かを判定する。システム制御部２０５は、映像フレーム及びタイムコードを含むＳＤＩ信号の入力がある場合にはステップＳ４０３へ進み、映像フレーム及びタイムコードを含むＳＤＩ信号の入力がない場合にはステップＳ４０２に進む。ステップＳ４０２では、システム制御部２０５は、図４の処理を終了する。

ステップＳ４０３では、システム制御部２０５は、撮像素子２０２を制御し、撮像素子２０２が撮像する映像フレームのフレームレートを、ＳＤＩ信号として入力された映像フレームのフレームレートに合わせる。

次に、ステップＳ４０４では、画像処理部２０３は、ＳＤＩ端子２０７に入力されたＳＤＩ信号からタイムコードと映像フレームを分離する。システム制御部２０５は、画像処理部２０３により分離されたタイムコードで、内部タイムコードの同期処理を行う。内部タイムコードは、内部時間情報であり、上記の分離されたタイムコードと同じになる。この内部タイムコードは、タイムコード補正モード時のみに使用する暫定タイムコードである。

ステップＳ４０５〜Ｓ４０８の処理は、図５のタイムチャートを参照しながら説明する。図５は、ビデオカメラ１０２ｙ内の映像フレームとタイムコードを時系列で示す。また、図５は、入力映像フレーム、撮像映像フレーム、入力映像フレームメモリに格納されている映像フレーム、撮像映像フレームメモリに格納されている映像フレーム、ユーザ入力された補正値、表示する入力映像フレーム、表示する撮像映像フレームを示す。

入力映像フレームは、ビデオカメラ１０２ｘにより撮像された映像フレームであって、ビデオカメラ１０２ｘから入力した映像フレームとタイムコードを示す。撮像映像フレームは、ビデオカメラ１０２ｙにより撮像された映像フレームとタイムコードを示す。

ＳＤＩ端子２０７は、映像入力端子であり、入力映像フレームとタイムコードとの組みを時系列で入力する。撮像素子２０２は、撮像映像フレームを時系列で撮像する。入力映像フレームのフレームレートと撮像映像フレームのフレームレートは、同じである。

入力映像フレームメモリと撮像映像フレームメモリは、記憶手段であり、それぞれ、画像メモリ２０４内の３バンクのフレームメモリである。画像処理部２０３は、ＳＤＩ端子２０７に入力された入力映像フレーム及びタイムコードの組みを入力映像フレームメモリに格納する。

入力映像フレームメモリのバンク０には、最新の入力映像フレーム及びタイムコードの組みが格納される。入力映像フレームメモリのバンク１には、１フレーム前の入力映像フレーム及びタイムコードの組みが格納される。入力映像フレームメモリのバンク２には、２フレーム前の入力映像フレーム及びタイムコードの組みが格納される。なお、前述の通り、ビデオカメラ１０２ｘが映像フレームを撮像してから、ビデオカメラ１０２ｙがその映像フレームを入力するまで、２フレーム分の遅延がある。そのため、入力映像フレームメモリのバンク０、バンク１、バンク２に格納される映像フレームは、それぞれ、２フレーム前、３フレーム前、４フレーム前に撮像された映像フレームである。

画像処理部２０３は、撮像素子２０２により撮像された撮像映像フレーム及びタイムコード（内部タイムコード）の組みを撮像映像フレームメモリに格納する。撮像映像フレームに対応するタイムコードは、入力映像フレームに対応するタイムコードに同期した撮像時の内部タイムコードである。なお、画像処理部２０３は、１フレーム分の処理時間がかかるため、１フレーム前に撮像素子２０２が撮像した映像フレーム及びタイムコードの組みを撮像映像フレームメモリに格納する。

撮像映像フレームメモリのバンク０には、１フレーム前に撮像素子２０２が撮像した映像フレーム及びタイムコードの組みが格納される。撮像映像フレームメモリのバンク１には、２フレーム前に撮像素子２０２が撮像した映像フレーム及びタイムコードの組みが格納される。撮像映像フレームメモリのバンク２には、３フレーム前に撮像素子２０２が撮像した映像フレーム及びタイムコードの組みが格納される。

図４のステップＳ４０５では、ビデオカメラ１０２ｙは、図５のタイミング５０１の処理を行う。タイミング５０１では、画像処理部２０３は、ＳＤＩ端子２０７に入力された入力映像フレーム「Ａｘ」と、タイムコード「１１」との組みを、入力映像フレームメモリのバンク０に格納する。タイミング５０１では、撮像素子２０２は、撮像映像フレーム「Ｃｙ」を撮像する。画像処理部２０３は、撮像素子２０２が撮像した撮像映像フレーム「Ｃｙ」に対して、１フレーム期間かけて処理する。

タイミング５０２では、撮像素子２０２は、撮像映像フレーム「Ｄｙ」を撮像する。タイミング５０２では、画像処理部２０３は、入力映像フレームメモリにおいて、映像フレーム「Ａｘ」とタイムコード「１１」の組みをバンク０からバンク１に移動させる。そして、画像処理部２０３は、処理した撮像映像フレーム「Ｃｙ」と撮像時のタイムコード「１１」との組みを、撮像映像フレームメモリのバンク０に格納する。

タイミング５０２では、システム制御部２０５は、画像処理部２０３を介して入力映像フレームメモリのバンク１から、タイムコード「１１」に対応する映像フレーム「Ａｘ」を読み出し、映像フレーム「Ａｘ」を表示装置２１２に表示する。それと同時に、システム制御部２０５は、画像処理部２０３を介して撮像映像フレームメモリのバンク０から、同じタイムコード「１１」に対応する映像フレーム「Ｃｙ」を読み出し、映像フレーム「Ｃｙ」を表示装置２１２に表示する。

図６（Ａ）は、タイミング５０２の表示装置２１２の表示例を示す図である。表示装置２１２は、被写体１０３の入力映像フレーム「Ａｘ」と、被写体１０３の撮像映像フレーム「Ｃｙ」とを並べて同時に表示する。入力映像フレーム「Ａｘ」と撮像映像フレーム「Ｃｙ」は、同一の被写体１０３を含み、相互に異なるタイミングで撮像された映像フレームである。被写体３０１は、タイムコード（時間情報）を示す被写体である。そのため、入力映像フレーム「Ａｘ」内の被写体１０３が表示するタイムコードと、撮像映像フレーム「Ｃｙ」内の被写体１０３が表示するタイムコードとは、ずれている。ユーザは、表示装置２１２に表示された入力映像フレーム「Ａｘ」と撮像映像フレーム「Ｃｙ」を見れば、タイムコードの補正が必要であることを判断できる。

補正値の初期値は、「０」である。補正値が「０」の場合、システム制御部２０５は、入力映像フレームメモリのバンク１に格納されている映像フレームと、撮像映像フレームメモリのバンク０に格納されている映像フレームとを、表示装置２１２に表示する。なお、図５では、入力映像フレームメモリのバンク２の入力映像フレームは使用していないが、画像処理部２０３の現像等の処理にかかる時間が２フレーム期間の場合には、入力映像フレームメモリのバンク２の入力映像フレームを表示に使用することができる。

次に、ステップＳ４０６では、システム制御部２０５は、入力装置２１１のユーザ操作による補正値確定操作がされたか否かを判定する。ユーザは、例えば、入力装置２１１内のＳＥＴボタンを押すことにより、補正値確定操作を行うことができる。補正値確定操作がされていない場合、システム制御部２０５は、ステップＳ４０７に進む。

ステップＳ４０７では、システム制御部２０５は、入力装置２１１のユーザ操作により補正値変更操作がされたか否かを判定する。入力装置２１１は、補正値を入力する補正値入力手段である。ユーザは、例えば、入力装置２１１内のダイヤルを回すことにより、補正値変更操作を行うことができる。補正値変更操作がされない場合、システム制御部２０５は、ステップＳ４０５に戻り、次のタイムコードの処理を行う。

ステップＳ４０５では、システム制御部２０５は、同じタイムコード「１２」に対応する入力映像フレーム「Ｂｘ」及び撮像映像フレーム「Ｄｙ」を表示装置２１２に並べて表示する。システム制御部２０５は、表示フレームレートに従って、表示する入力映像フレームと撮像映像フレームを更新する。表示フレームレートは、入力映像フレーム及び撮像映像フレームのフレームレートと同じである。システム制御部２０５は、ＳＤＩ端子２０７の入力及び撮像素子２０２の撮像の処理に並列して、入力映像フレーム及び撮像映像フレームを同時に表示するように制御する。

その後、ステップＳ４０７において、補正値変更操作がされた場合、システム制御部２０５は、ステップＳ４０８に進む。ステップＳ４０８では、システム制御部２０５は、補正値を変更する。以下、図５を参照しながら説明する。タイミング５０３では、ユーザが補正値「１」を入力すると、ステップＳ４０８では、システム制御部２０５は、補正値を「１」に変更し、ステップＳ４０５に戻り、次のタイムコードの処理を行う。

ステップＳ４０５では、システム制御部２０５は、入力映像フレームメモリに格納されているタイムコード「１３」に対応する映像フレーム「Ｃｘ」と、撮像映像フレームメモリに格納されているタイムコード「１２」に対応する映像フレーム「Ｄｙ」を表示する。ここで、表示する撮像映像フレームは、表示する入力映像フレーム「Ｃｘ」のタイムコード「１３」よりも１フレーム前（補正値「１」に対応）のタイムコード「１２」に対応する撮像映像フレーム「Ｄｙ」である。両者のタイムコード「１３」及び「１２」の差は、補正値「１」に対応する。システム制御部２０５は、タイムコード「１３」に対応する映像フレーム「Ｃｘ」と、タイムコード「１３」に対して補正値「１」に対応する時間だけずれたタイムコード「１２」に対応する映像フレーム「Ｄｙ」とを表示するように制御する。すなわち、補正値が「１」の場合、システム制御部２０５は、入力映像フレームメモリのバンク１に格納されている映像フレーム「Ｃｘ」と、撮像映像フレームメモリのバンク１に格納されている映像フレーム「Ｄｙ」を表示する。システム制御部２０５は、ステップＳ４０５〜Ｓ４０８の処理を繰り返す。

その後、ステップＳ４０７において、システム制御部２０５は、入力装置２１１の補正値変更操作がされた場合、ステップＳ４０８に進む。ステップＳ４０８では、システム制御部２０５は、タイミング５０４において、補正値変更操作に応じて、補正値を「２」に変更し、ステップＳ４０５に戻り、次のタイムコードの処理を行う。

ステップＳ４０５では、システム制御部２０５は、入力映像フレームメモリに格納されているタイムコード「１５」に対応する映像フレーム「Ｅｘ」と、撮像映像フレームメモリに格納されているタイムコード「１３」に対応する映像フレーム「Ｅｙ」を表示する。この処理は、補正値が「２」の場合の処理である。ここで、表示する撮像映像フレームは、表示する入力映像フレーム「Ｅｘ」のタイムコード「１５」よりも２フレーム前（補正値「２」に対応）のタイムコード「１３」に対応する撮像映像フレーム「Ｅｙ」である。両者のタイムコード「１５」及び「１３」の差は、補正値「２」に対応する。すなわち、補正値が「２」の場合、システム制御部２０５は、入力映像フレームメモリのバンク１に格納されている映像フレーム「Ｅｘ」と、撮像映像フレームメモリのバンク２に格納されている映像フレーム「Ｅｙ」を表示する。映像フレーム「Ｅｘ」及び「Ｅｙ」は、相互に同時刻に撮像された映像フレームである。

図６（Ｂ）は、タイミング５０４の表示装置２１２の表示例を示す図である。表示装置２１２は、被写体１０３の入力映像フレーム「Ｅｘ」と、被写体１０３の撮像映像フレーム「Ｅｙ」とを並べて表示する。入力映像フレーム「Ｅｘ」と撮像映像フレーム「Ｅｙ」は、同じタイミングで撮像された映像フレームである。そのため、入力映像フレーム「Ｅｘ」内の被写体１０３が表示するタイムコードと、撮像映像フレーム「Ｅｙ」内の被写体１０３が表示するタイムコードとは、同じである。ユーザは、表示装置２１２に表示された入力映像フレーム「Ｅｘ」と撮像映像フレーム「Ｅｙ」を見れば、適切な補正値を入力できたと判断できる。その場合、ユーザは、入力装置２１１の補正値確定操作を行うことができる。ステップＳ４０６において、システム制御部２０５は、入力装置２１１の補正値確定操作がされた場合、ステップＳ４０９に進む。

ステップＳ４０９では、システム制御部２０５は、ステップＳ４０４と同様に、ＳＤＩ信号のタイムコードを取得し、その取得したタイムコードに対して、補正値確定操作がされた時点の補正値で補正し、補正後のタイムコードで内部タイムコードの同期処理を行う。内部タイムコードは、ＳＤＩ信号のタイムコードを補正値で補正したタイムコードになる。システム制御部２０５は、補正値の確定後、内部タイムコードを、ＳＤＩ端子２０７に入力されたタイムコードに対して補正値に対応する時間だけずれたタイムコードに同期させる。図５の場合、システム制御部２０５は、ＳＤＩ信号のタイムコードを２フレーム分進めたタイムコードで、内部タイムコードの同期処理を行う。これにより、システム制御部２０５は、タイムコード補正モードの処理を終了する。

次に、ステップＳ４１０では、システム制御部２０５は、入力装置２１１のユーザ操作に応じて、撮像された映像の記録等の各種動作を行う。次に、ステップＳ４１１では、システム制御部２０５は、ＳＤＩ信号が途切れることなく入力されているか否かを判定する。システム制御部２０５は、ＳＤＩ信号が入力されている場合には、ステップＳ４１０に戻る。これにより、システム制御部２０５は、ＳＤＩ信号の入力を定期的に監視することができる。ステップＳ４１１において、システム制御部２０５は、ＳＤＩ信号の入力が終了した場合には、ステップＳ４１２に進む。ステップＳ４１２では、システム制御部２０５は、内部タイムコードを補正前のタイムコード（暫定タイムコード）に戻す。すなわち、システム制御部２０５は、ＳＤＩ端子２０７の入力終了後、内部タイムコードを、ＳＤＩ端子２０７に入力されたタイムコードの同期したタイムコードに戻し、ステップＳ４１０に戻る。

以上、第１の実施形態によれば、２台のビデオカメラ１０２ｘ及び１０２ｙは、ＳＤＩ端子２０７同士を接続する。ビデオカメラ１０２ｘは、撮像した映像フレーム及びタイムコードをビデオカメラ１０２ｙに出力する。ビデオカメラ１０２ｙは、ビデオカメラ１０２ｘにより撮像された映像フレームと、ビデオカメラ１０２ｙにより撮像された映像フレームを並べて表示し、ビデオカメラ１０２ｘから入力したタイムコードを補正値で補正し、内部タイムコードの同期処理を行う。これにより、ビデオカメラ１０２ｙは、ビデオカメラ１０２ｘに対して、同期をとることができる。その後、ビデオカメラ１０２ｘ及び１０２ｙは、同時刻に撮像された映像フレームに対して、同一のタイムコードを付加することができる。

（第２の実施形態）
図７は、本発明の第２の実施形態によるビデオカメラ１０２ｙの処理例を示すタイムチャートである。第２の実施形態による撮像システム１００の構成は、第１の実施形態によるものと同じである。第２の実施形態では、ビデオカメラ１０２ｙは、タイムコード補正モードにおいて、表示フレームレートを低くして、映像フレームを表示する。これにより、第２の実施形態は、第１の実施形態と比較し、ユーザが補正をしやすくなり、メモリ使用量を抑制することができる。以下、本実施形態が第１の実施形態と異なる点を説明する。

図７の各項目は、図５の各項目と同様である。表示装置２１２は、入力映像フレーム及び撮像映像フレームのフレームレートより低い表示フレームレートで、映像フレームを表示する。表示フレームレートは、例えば、入力映像フレーム及び撮像映像フレームのフレームレートの１／４であり、入力映像フレーム及び撮像映像フレームのフレームレートより低い。入力映像フレームメモリ及び撮像映像フレームメモリは、いずれも、２バンクのフレームメモリであり、メモリ使用量を抑制することができる。入力映像フレーム及び撮像映像フレームにおいて、バンク０には、表示装置２１２に表示中の映像フレームが格納され、バンク１には、次の表示タイミングで表示装置２１２に表示される映像フレームが格納される。

まず、タイミング７０１では、画像処理部２０３は、ＳＤＩ端子２０７に入力された入力映像フレーム「Ａｘ」と、タイムコード「１１」との組みを、入力映像フレームメモリのバンク１に格納する。タイミング７０１では、撮像素子２０２は、撮像映像フレーム「Ｃｙ」を撮像する。画像処理部２０３は、撮像素子２０２により撮像された撮像映像フレーム「Ｃｙ」を１フレーム期間かけて処理する。補正値の初期値は、「０」である。

タイミング７０２では、画像処理部２０３は、処理した撮像映像フレーム「Ｃｙ」と撮像時のタイムコード「１１」との組みを、撮像映像フレームメモリのバンク０に格納する。タイミング７０２では、画像処理部２０３は、入力映像フレーム「Ａｘ」を入力映像フレームメモリのバンク１からバンク０に移動させる。入力映像フレームメモリ及び撮像映像フレームメモリのバンク０の映像フレームは、タイミング７０２からタイミング７０３までの４フレーム期間保持される。

タイミング７０２〜７０３の期間では、システム制御部２０５は、入力映像フレームメモリ及び撮像映像フレームメモリに格納されているタイムコード「１１」に対応する映像フレーム「Ａｘ」及び「Ｃｙ」を表示装置２１２に表示する。すなわち、システム制御部２０５は、入力映像フレームメモリのバンク０に格納されているタイムコード「１１」の映像フレーム「Ａｘ」と、撮像映像フレームメモリのバンク０に格納されているタイムコード「１１」の映像フレーム「Ｃｙ」とを表示する。

タイミング７０３では、画像処理部２０３は、ＳＤＩ端子２０７に入力された入力映像フレーム「Ｅｘ」と、タイムコード「１５」との組みを、入力映像フレームメモリのバンク１に１フレーム期間格納する。その後、画像処理部２０３は、入力映像フレーム「Ｅｘ」とタイムコード「１５」との組みを、入力映像フレームメモリのバンク１からバンク０に移動させる。システム制御部２０５は、撮像素子２０２により撮像された映像フレーム「Ｇｙ」とタイムコード１５の組みを、撮像映像フレームメモリのバンク０に格納する。

４フレーム期間では、入力映像フレームメモリ及び撮像映像フレームメモリのバンク０の映像フレームは、保持される。その４フレーム期間では、システム制御部２０５は、入力映像フレームメモリ及び撮像映像フレームメモリに格納されているタイムコード「１５」に対応する映像フレーム「Ｅｘ」及び「Ｇｙ」を表示装置２１２に表示する。すなわち、システム制御部２０５は、入力映像フレームメモリのバンク０に格納されているタイムコード「１５」の映像フレーム「Ｅｘ」と、撮像映像フレームメモリのバンク０に格納されているタイムコード「１５」の映像フレーム「Ｇｙ」とを表示する。

４フレーム期間単位で、入力映像フレームメモリ及び撮像映像フレームメモリは、バンク０の映像フレームを保持しつつ、システム制御部２０５は、表示装置２１２に映像フレームを表示するという動作を繰り返す。システム制御部２０５は、４フレーム毎の入力映像フレーム「Ａｘ」、「Ｅｘ」、「Ｉｘ」を、入力映像フレームメモリのバンク０に格納し、表示装置２１２に表示する。なお、入力映像フレームが入力映像フレームメモリのバンク１に保持される期間は、画像処理部２０３の処理にかかる時間と同じである。画像処理部２０３の処理時間が２フレーム期間の場合には、入力映像フレームメモリのバンク１に保持される期間も、２フレーム期間となる。

撮像映像フレームは、入力映像フレームとは異なる処理が行われる。撮像映像フレームメモリのバンク１には、次の表示タイミングよりも、「補正値＋画像処理にかかる期間」分前に撮像された映像フレームが格納される。そして、次の表示タイミングでは、システム制御部２０５は、撮像映像フレームメモリのバンク１からバンク０に映像フレームを移動させ、そのバンク０の映像フレームを表示装置２１２に表示する。

表示装置２１２は、４フレーム単位で、入力映像フレームと撮像映像フレームの表示を切り替える。これにより、ユーザは、補正値変更操作が必要か否かを容易に判断することができる。例えば、ユーザは、入力装置２１１を用いて、補正値「２」を入力することができる。

タイミング７０４では、システム制御部２０５は、入力装置２１１の補正値変更操作に応じて、補正値を「２」に変更する。次の表示タイミングは、タイミング７０６である。そのため、システム制御部２０５は、次の表示タイミング７０６の２フレーム前（補正値「２」に対応）のタイミング７０５で、撮像素子２０２により撮像された撮像映像フレーム「Ｉｙ」を撮像映像フレームメモリのバンク１に格納する。

その後、タイミング７０６では、画像処理部２０３は、撮像映像フレーム「Ｉｙ」を撮像映像フレームメモリのバンク１からバンク０に移動する。撮像映像フレーム「Ｉｙ」は、タイミング７０６〜７０７の４フレーム期間、撮像映像フレームメモリのバンク０に保持され、システム制御部２０５によって表示装置２１２に表示される。

補正値が「２」の場合、タイミング７０６以降、システム制御部２０５は、入力映像フレームメモリ及び撮像映像フレームメモリのバッファ０に格納されている同一時刻に撮像された映像フレーム「Ｉｘ」及び「Ｉｙ」を表示装置２１２に並べて表示する。これにより、ユーザは、適切な補正値が入力できたと判断し、補正値確定操作を行うことができる。

以上、第２の実施形態は、第１の実施形態と同様の効果を得ることができる。さらに、第２の実施形態では、入力映像フレーム及び撮像映像フレームのフレームレートより低い表示フレームレートで表示するため、ユーザが表示される入力映像フレームと撮像映像フレームのズレを確認しやすくなり、タイムコードを補正しやくなる。

（第３の実施形態）
図８は、本発明の第３の実施形態によるビデオカメラ１０２ｙの制御方法を示すフローチャートである。第３の実施形態による撮像システム１００の構成は、第１の実施形態によるものと同じである。第１及び第２の実施形態では、現在撮像中の映像をリアルタイムに表示し（厳密には内部処理分の遅延が発生する）、ユーザは、その表示を見ながら補正を行う。第３の実施形態では、補正に用いる映像フレームを予め記録しておき、その映像フレームを再生する際に、ユーザが補正を行う。以下、第３の実施形態が第１の実施形態と異なる点を説明する。

まず、ビデオカメラ１０２ｙは、ステップＳ８００〜Ｓ８０４の処理を行う。Ｓ８００〜Ｓ８０４の処理は、図４のステップＳ４００〜Ｓ４０４と同様の動作であるため、説明を省略する。

次に、ステップＳ８０５では、システム制御部２０５は、ＳＤＩ端子２０７に入力された入力映像フレームとタイムコードの組みと、撮像素子２０２により撮像された撮像映像フレームとタイムコードの組みを、ストレージ２１０に記録する。システム制御部２０５は、ユーザが入力装置２１１により記録停止操作を行ったことを検知すると、記録を終了し、ステップＳ８０６に進む。

ステップＳ８０６〜Ｓ８０９の処理は、図９を参照しながら説明する。図９は、ストレージ２１０内に記録されている入力映像フレーム及びタイムコードの組みと、ストレージ２１０内に記録されている撮像映像フレーム及びタイムコードの組みと、ユーザ入力された補正値と、表示する入力映像フレーム及び撮像映像フレームを示す。ストレージ２１０に記録された入力映像フレーム及び撮像映像フレームのうち、太枠で示されたものは、現在表示中の映像フレームを示している。補正値の初期値は、「０」である。

ステップＳ８０６では、システム制御部２０５は、ストレージ２１０に記録されている同一のタイムコードに対応する入力映像フレーム及び撮像映像フレームを読み出し、その入力映像フレーム及び撮像映像フレームを表示装置２１２に並べて表示する。この処理は、補正値が「０」の場合の処理である。タイミング９０１では、システム制御部２０５は、タイムコード「１１」に対応する入力映像フレーム「Ａｘ」及び撮像映像フレーム「Ｃｙ」を表示装置２１２に並べて表示する。

第３の実施形態では、ステップＳ８０５のすべての時系列の組みの記録が終了した後、ステップＳ８０６において、システム制御部２０５は、入力撮像フレーム及び撮像映像フレームを表示するように制御する。

次に、ステップＳ８０７では、システム制御部２０５は、入力装置２１１のユーザ操作による補正値確定操作がされたか否かを判定する。補正値確定操作がされていない場合、システム制御部２０５は、ステップＳ８０８に進む。

ステップＳ８０８では、システム制御部２０５は、ユーザにより入力装置２１１の補正値変更操作がされたか否かを判定する。補正値変更操作がされていない場合、システム制御部２０５は、ステップＳ８０６に戻り、次のタイムコードの処理を繰り返す。タイミング９０１〜９０２では、補正値が「０」である。その場合、システム制御部２０５は、同一のタイムコード「１２」に対応する入力映像フレーム「Ｂｘ」及び撮像映像フレーム「Ｄｙ」を表示装置２１２に並べて表示する。次に、タイミング９０２では、システム制御部２０５は、同一のタイムコード「１３」に対応する入力映像フレーム「Ｃｘ」及び撮像映像フレーム「Ｅｙ」を表示装置２１２に並べて表示する。

次に、ステップＳ８０８において、補正値変更操作がされた場合、システム制御部２０５は、ステップＳ８０９に進む。ステップＳ８０９では、システム制御部２０５は、補正値を変更する。タイミング９０３では、ユーザが補正値「１」を入力すると、ステップＳ８０８では、システム制御部２０５は、補正値を「１」に変更し、ステップＳ８０６に戻り、次のタイムコードの処理を行う。

ステップＳ８０６では、システム制御部２０５は、補正値が「１」であるので、タイミング９０３の処理を行う。タイミング９０３では、システム制御部２０５は、タイムコード「１４」に対応する入力映像フレーム「Ｄｘ」と、タイムコード「１４」の１フレーム前のタイムコード「１３」に対応する撮像映像フレーム「Ｅｙ」とを表示装置２１２に並べて表示する。両者のタイムコード「１４」及び「１３」の差は、補正値「１」に対応する。

次のステップＳ８０６では、システム制御部２０５は、タイムコード「１５」に対応する入力映像フレーム「Ｅｘ」と、タイムコード「１５」の１フレーム前のタイムコード「１４」に対応する撮像映像フレーム「Ｆｙ」とを表示装置２１２に並べて表示する。

次に、ステップＳ８０８において、補正値変更操作がされた場合、システム制御部２０５は、ステップＳ８０９に進む。タイミング９０４では、ユーザが補正値「２」を入力すると、ステップＳ８０９では、システム制御部２０５は、補正値を「２」に変更し、ステップＳ８０６に戻り、次のタイムコードの処理を行う。

ステップＳ８０６では、システム制御部２０５は、タイムコード「１６」に対応する入力映像フレーム「Ｆｘ」と、タイムコード「１６」の２フレーム前のタイムコード「１４」に対応する撮像映像フレーム「Ｆｙ」とを表示装置２１２に並べて表示する。両者のタイムコード「１６」及び「１４」の差は、補正値「２」に対応する。

表示装置２１２は、同一時刻に撮像された映像フレーム「Ｆｘ」及び「Ｆｙ」を並べて表示する。ユーザは、この表示を見て、補正値が適切であると判断し、入力装置２１１の補正値確定操作を行うことができる。

ステップＳ８０７において、補正値確定操作がされた場合、システム制御部２０５は、ステップＳ８１０〜Ｓ８１３の処理を行う。ステップＳ８１０〜Ｓ８１３の処理は、図４のステップＳ４０９〜Ｓ４１２と同様の処理であるため、説明を省略する。

なお、ステップＳ８０６では、システム制御部２０５は、第２の実施形態と同様に、表示フレームレートを変えることができる。また、システム制御部２０５は、記録された映像を繰り返し再生表示してもよい。ユーザは、補正がしやすいように、種々の表示方法を選択できる。

以上、第３の実施形態は、第１及び第２の実施形態と同様の効果を得ることができる。さらに、第３の実施形態は、補正に用いる入力映像フレーム及び撮像映像フレームを一旦記録するため、同じ映像を繰り返し再生し確認しながら補正できる。

ここまで、本発明の実施形態として、３つの実施形態について説明をした。これらの実施形態では、映像フレーム及びタイムコードを入力する端子としてＳＤＩ端子を用いているが、ＨＤＭＩ（登録商標）など、その他の形式の端子を用いてもよい。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像システム、１０２ｘ，１０２ｙ ビデオカメラ、２０１ 撮影レンズ、２０２ 撮像素子、２０３ 画像処理部、２０４ 画像メモリ、２０５ システム制御部、２０６ ＳＤＩドライバ／イコライザ、２０７ ＳＤＩ端子、２０８ プログラムメモリ、２０９ ワーキングメモリ、２１０ ストレージ、２１１ 入力装置、２１２ 表示装置

Claims (14)

1. 入力映像フレームと時間情報との組みを時系列で入力する映像入力手段と、
   撮像映像フレームを時系列で撮像する撮像手段と、
   前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記憶する記憶手段と、
   補正値を入力する補正値入力手段と、
   前記記憶手段に記憶されている第１の時間情報に対応する入力映像フレームと、前記記憶手段に記憶されている前記第１の時間情報に対して前記補正値に対応する時間だけずれた第２の時間情報に対応する撮像映像フレームとを表示するように制御する制御手段と
   を有することを特徴とする撮像装置。
2. 前記入力映像フレームのフレームレートと前記撮像映像フレームのフレームレートは、同じであることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、表示フレームレートに従って、表示する入力映像フレームと撮像映像フレームを更新することを特徴とする請求項２に記載の撮像装置。
4. 前記表示フレームレートは、前記入力映像フレーム及び前記撮像映像フレームのフレームレートと同じであることを特徴とする請求項３に記載の撮像装置。
5. 前記表示フレームレートは、前記入力映像フレーム及び前記撮像映像フレームのフレームレートより低いことを特徴とする請求項３に記載の撮像装置。
6. 前記制御手段は、前記映像入力手段及び前記撮像手段の処理に並列して、前記入力映像フレーム及び前記撮像映像フレームを表示するように制御することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記録する記録手段をさらに有し、
   前記制御手段は、前記記録手段がすべての時系列の組みの記録を終了した後、前記入力映像フレーム及び前記撮像映像フレームを表示するように制御することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
8. 前記撮像映像フレームに対応する時間情報は、前記入力映像フレームに対応する時間情報に同期した撮像時の内部時間情報であることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記補正値の確定後、前記内部時間情報を、前記映像入力手段により入力された時間情報に対して前記補正値に対応する時間だけずれた時間情報に同期させる同期手段をさらに有することを特徴とする請求項８に記載の撮像装置。
10. 前記同期手段は、前記映像入力手段の入力終了後、前記内部時間情報を、前記映像入力手段により入力された時間情報に同期させることを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記入力映像フレーム及び前記撮像映像フレームを同時に表示するように制御することを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記入力映像フレーム及び前記撮像映像フレームは、同一の被写体を含むことを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記被写体は、時間情報を示す被写体であることを特徴とする請求項１２に記載の撮像装置。
14. 入力映像フレームと時間情報との組みを時系列で入力する映像入力ステップと、
    撮像映像フレームを時系列で撮像する撮像ステップと、
    前記入力映像フレームと時間情報との組みと、前記撮像映像フレームと時間情報との組みを記憶手段に記憶する記憶ステップと、
    補正値を入力する補正値入力ステップと、
    前記記憶手段に記憶されている第１の時間情報に対応する入力映像フレームと、前記記憶手段に記憶されている前記第１の時間情報に対して前記補正値に対応する時間だけずれた第２の時間情報に対応する撮像映像フレームとを表示するように制御する制御ステップと
    を有することを特徴とする撮像装置の制御方法。

Images