JP4643407B2

JP4643407B2 - フレームレート変換装置および撮像装置

Info

Publication number: JP4643407B2
Application number: JP2005285182A
Authority: JP
Inventors: 和寛羽田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-09-29
Filing date: 2005-09-29
Publication date: 2011-03-02
Anticipated expiration: 2025-09-29
Also published as: US7782396B2; JP2007096915A; US20070070212A1

Description

本発明は、種々のフレームレートで生成された画像信号のフレームレートを変換し、出力フレームレートに合わせて画像信号を出力するフレームレート変換装置に関する。また本発明は、このフレームレート変換装置を用いた撮像装置にも関する。

従来のテレビや映画等の映像制作においては、映像に特殊効果を持たせるために１秒間の撮影フレーム数、つまりフレームレートを可変させた撮影が行われる。例えば撮像信号のフレームレートを再生信号のフレームレートより速くすると、その再生信号のフレームレートで再生した映像はスロー再生映像になる。また、撮像信号のフレームレートを再生信号のフレームレートより遅くすると、その再生信号のフレームレートで再生した映像は高速再生映像になる。スロー再生映像や高速再生映像の速度は撮像信号のフレームレートと再生信号のフレームレートの変化量によって決まり、撮像信号または再生信号のフレームレートを可変することによって、スロー再生映像や高速再生映像の速度を調整することが可能となる。

近年、上記の撮影を行う際に、撮像信号のフレームレートを可変させることが可能な電子撮像装置が用いられている。この撮像装置には電子ビューファインダやモニタが接続され、撮影者はそれらに表示された画像を確認して撮影を行っている。ところが、撮影時に撮像信号のフレームレートを可変させた場合、電子ビューファインダやモニタ等に表示される画像のフレームレートも撮像信号のフレームレートと同様に変化してしまうと、撮影者は、表示された画像から撮影に必要な画角やピント等の確認を適切に行うことができなくなってしまう。そこで、撮像信号の種々のフレームレートを所望のフレームレートに変換する手法が提案されている。

例えば特許文献１に記載された撮像装置では、撮像信号のフレームレートを低いフレームレートに変換するときにはフレーム加算処理を用いてフレームレートの変換を行い、フレームレートを高いフレームレートに変換するときには同じフレームを繰り返すことでフレームレートの変換を実現している。また、特許文献２に記載された撮像装置が有するフレームレート変換部では、変換前のフレームレートと変換後のフレームレートの比を演算し、その比に応じて撮像信号を複製することでフレームレートの変換を実現している。
特開２００５−３９７１２号公報特開２００５−５７８０８号公報

しかしながら、特許文献１に記載されているフレームレート変換手段では、所望のフレームレートの画像信号を生成するためには撮像信号のフレームレートも変更する必要があり、予め設定された種々のフレームレートの撮像信号から任意のフレームレートの画像信号を生成することができない。このため、撮像信号のフレームレートが１フレーム毎に変化するような画像に対応することができない。また、フレームを間引く処理では加算するフレーム数を変更して対応しているため、間引きフレーム数が多くなると、フレームを加算するための遅延回路やフレームメモリ容量が増大し、回路規模が大きくなってしまう。

また、特許文献２に記載されているフレームレート変換部では、撮像信号のフレームレートを低いフレームレートへ変換する場合や、フレームレートが整数でない場合には対応することができないため、撮像信号のあらゆるフレームレートに対応したフレームレート変換ができない。また、フレームレート変換後の画像信号が、フレームレートに依存した規則的なフレーム信号系列になるように変換されるため、撮像信号のフレームレートが１フレーム毎に変化するような画像にも対応することができない。

本発明は、上述した問題点に鑑みてなされたものであって、入力される画像信号のフレームレートがいかなる場合であっても、そのフレームレートを所望のフレームレートに変換した画像信号を生成することができるフレームレート変換装置、およびそれを備えた撮像装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、入力された第１の画像信号のフレームレートを変換し、第２の画像信号として出力するフレームレート変換装置であって、前記第１の画像信号が入力される入力手段と、入力された前記第１の画像信号の各フレームの同期タイミングと前記第２の画像信号の各フレームの同期タイミングとの時間差αを検出する検出手段と、前記第１の画像信号の１フレーム期間の時間長Cfrと、前記第２の画像信号の１フレーム期間の時間長Dfrと、前記検出手段によって検出された時間差αとに基づいて、前記第２の画像信号のフレームレートに合わせた前記第１の画像信号の出力方法を決定する決定手段と、前記決定手段によって決定された前記第１の画像信号の出力方法に従って前記第１の画像信号を前記第２の画像信号として出力する出力手段とを有することを特徴とするフレームレート変換装置である。

また、本発明のフレームレート変換装置において、前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０の場合には、前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrを比較し、Cfr≦Dfrであれば前記フレームＮの画像信号を前記第２の画像信号の１フレーム分の画像信号として出力すると決定することを特徴とする。

また、本発明のフレームレート変換装置において、前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０の場合には、前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrを比較し、Cfr＞DfrであればCfrをDfrで除算して小数点以下を四捨五入した値Xを算出し、前記フレームＮの画像信号をX回複製した信号を前記第２の画像信号のXフレーム分の画像信号として出力すると決定することを特徴とする。

また、本発明のフレームレート変換装置において、前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０でない場合には、前記時間差αと前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrとを比較し、α＜Cfrかつ（Cfr−α）≦Dfrであれば前記フレームＮの画像信号を前記第２の画像信号の１フレーム分の画像信号として出力すると決定することを特徴とする。

また、本発明のフレームレート変換装置において、前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０でない場合には、前記時間差αと前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrとを比較し、α＜Cfrかつ（Cfr−α）＞Dfrであれば（Cfr−α）をDfrで除算して小数点以下を四捨五入した値Yを算出し、前記フレームＮの画像信号をY回複製した信号を前記第２の画像信号のYフレーム分の画像信号として出力すると決定することを特徴とする。

また、本発明のフレームレート変換装置において、前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０でない場合には、前記時間差αと前記フレームＮの画像信号の１フレーム期間の時間長Cfrとを比較し、α≧Cfrであれば前記フレームＮの画像信号を前記第２の画像信号として出力しないと決定することを特徴とする。

また、本発明のフレームレート変換装置において、前記第１の画像信号を構成する各フレームの画像信号のうち、前記決定手段によって前記第２の画像信号として出力すると決定されたフレームの画像信号のみを蓄積する画像蓄積手段をさらに有し、前記出力手段は、前記画像蓄積手段から画像信号を読み出して前記第２の画像信号として出力することを特徴とする。

また、本発明のフレームレート変換装置において、前記第１の画像信号を構成する各フレームの画像信号には、前記１フレーム期間の時間長Cfrに関する値が付加されていることを特徴とする。

また、本発明は、被写体を結像する光学手段と、前記光学手段で結像された被写体像を光電変換して前記第１の画像信号を生成する撮像手段と、前記撮像手段によって生成された前記第１の画像信号を処理し、請求項１〜請求項７のいずれかの項に記載のフレームレート変換装置へ出力する信号処理手段とを有することを特徴とする撮像装置である。

また、本発明の撮像装置において、前記第１の画像信号のフレームレートを設定する第１のフレームレート設定手段をさらに有することを特徴とする。

また、本発明の撮像装置において、前記第２の画像信号のフレームレートを設定する第２のフレームレート設定手段をさらに有することを特徴とする。

本発明によれば、第１の画像信号のフレームレートがいかなる場合であっても、第１の画像信号の各フレームの同期タイミングと第２の画像信号の各フレームの同期タイミングとの時間差α、第１の画像信号の１フレーム期間の時間長Cfr、および第２の画像信号の１フレーム期間の時間長Dfrは一意に決まり、それらの値に基づいて第１の画像信号の各フレームの画像信号の出力方法が、第２の画像信号のフレームレートに合わせて一意に決定されるため、第１の画像信号のフレームレートを所望のフレームレートに変換した第２の画像信号を生成することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による撮像装置の構成を示している。図１において、レンズ１（光学手段）は被写体（図示せず）からの光を集光する。レンズ１で集光された光は撮像素子２（撮像手段）に入射される。撮像素子２は、入射した光を光電変換によって電気信号に変換し、撮像信号（第１の画像信号）として出力する。駆動制御部３は撮像素子の駆動タイミングや電荷蓄積時間等の制御を行う。

フレームレート設定部５（第１のフレームレート設定手段、第２のフレームレート設定手段）は撮像信号のフレームレート、および表示装置８での画像表示用の表示信号（第２の画像信号）のフレームレートの設定を行うためのものである。フレームレート設定部５は、ユーザによって操作されるボタンやスイッチ、回転式つまみ等から出力される操作信号に基づいてフレームレートを設定し、その情報を駆動制御部３およびフレームレート変換部６へ出力する。フレームレートの設定に関しては、撮影前に予め行っておくことも、撮影中に行うことも両方可能であり、フレーム毎に任意のフレームレートを設定することができる。

駆動制御部３は、フレームレート設定部５で設定された種々のフレームレートで撮像素子２を駆動する。これによって、種々のフレームレートの撮像信号が撮像素子２から出力される。例えば、駆動制御部３で撮像素子２の垂直帰線期間または水平帰線期間の長さを変更して１フレームの期間長を調整することにより、撮像素子２から出力される撮像信号のフレームレートが変更される。

撮像信号処理部４（信号処理手段）は、撮像素子２で生成された撮像信号に対して、ノイズ除去や信号レベルの増幅処理等、画像を良好にするための信号処理を行う。また、撮像信号処理部４は、図３に示すように、フレームレート設定部５で設定された撮像信号のフレームレートに対応した１フレーム期間の時間長（１フレーム期間長）Cfrの値をフレーム毎に垂直同期信号の所望のタイミングで撮像信号に重畳（付加）する。例えば、撮像信号のフレームレートが30fps（毎秒30フレーム）の場合、１フレーム期間長はおよそ33.3ｍsecになる。実際の１フレーム期間長33.3ｍsecを撮像装置のシステムクロックでカウントしたクロック数で１フレーム期間長Cfrの値を表してもよい。

撮像信号処理部４で処理された撮像信号SIG1は記録装置７およびフレームレート変換部６へ出力される。記録装置７は、例えば半導体メモリやハードディスク等の記録媒体を備えており、入力された撮像信号SIG1を記録媒体に記録する。フレームレート変換部６は、入力された撮像信号SIG1のフレームレートを、フレームレート設定部５で設定された表示信号用のフレームレートに変換した表示信号SIG2（第２の画像信号）を生成し、表示装置８へ出力する。このフレームレート変換部６が本発明のフレームレート変換装置の一実施形態である。

図２はフレームレート変換部６の構成を示している。撮像信号処理部４の出力である撮像信号SIG1が入力信号処理部６１（入力手段）に入力される。入力信号処理部６１は、撮像信号SIG1に重畳された撮像信号SIG1の１フレーム期間長Cfrを検出する。入力信号処理部６１に入力された撮像信号SIG1はフレームメモリ６２へ出力され、入力信号処理部６１によって検出された撮像信号SIG1の１フレーム期間長Cfrはフレームレート演算部６５へ出力される。フレームメモリ６２（画像蓄積手段）は、１フレーム容量のメモリを２面（メモリ６２ａおよびメモリ６２ｂ）使用したダブルバッファ構成のメモリである。フレームメモリ６２への画像信号の書き込みは書き込み制御部６３によって制御され、フレームメモリ６２からの画像信号の読み出しは読み出し制御部６４によって制御される。

フレームレート演算部６５には撮像信号SIG1の他、撮像信号SIG1の同期信号SYNC1、表示信号SIG2の同期信号SYNC2、および表示信号SIG2の１フレーム期間の時間長（１フレーム期間長）Dfrが入力される。フレームレート演算部６５は、撮像信号SIG1の同期信号SYNC1と表示信号SIG２の同期信号SYNC２に基づいて、両者の同期タイミングの時間差αを検出する。同期信号SYNC1と同期信号SYNC2は、フレームレート設定部５で設定された各フレームレートに基づいて生成された信号である。表示信号SIG2のフレームレートに対応した１フレーム期間長Dfrは、表示信号SIG2の１フレームに相当する時間を表しており、例えば撮像信号SIG1の１フレーム期間長Cfrと同様に、撮像装置のシステムクロックにおけるクロック数で表してもよい。

また、フレームレート演算部６５は、上記の時間差αと、入力信号処理部６１で検出された撮像信号SIG1の１フレーム期間長Cfrと、フレームレート設定部５で設定された表示信号SIG2の１フレーム期間長Dfrとを用いて、後述する演算を行う。この演算は、表示信号SIG2のフレームレートに合わせて撮像信号SIG1を出力する方法を決定するための演算である。後述するように撮像信号SIG1の出力方法は、フレームメモリ６２が有する各メモリに対して画像信号の書き込みを行うのか否かの判断や、表示信号SIG2となる画像信号を各メモリから何フレーム分読み出すのかの判断等に基づいて決定される。フレームレート演算部６５は、この演算の結果に基づいて、書き込み制御部６３および読み出し制御部６４に対する、フレームレートを変換するための最適なメモリ制御タイミングを生成する。書き込み制御部６３および読み出し制御部６４は、フレームレート演算部６５によって生成されたメモリ制御タイミングで、フレームメモリ６２に対する書き込み制御信号WE1，WE2と読み出し制御信号RE1，RE2の制御を行う。

書き込み制御部６３は、フレームメモリ６２のメモリ６２ａまたは６２ｂへ画像信号を書き込むときに、書き込み制御信号WE1とWE2を交互に制御し、所望のタイミングでメモリ６２ａまたは６２ｂへ画像信号を書き込む。このとき、メモリ６２ａまたは６２ｂには撮像信号SIG1の有効画像信号のみが書き込まれる。読み出し制御部６４は、フレームメモリ６２から画像信号を読み出すときに、読み出し制御信号RE1とRE2を交互に制御し、フレームメモリ６２のメモリ６２ａまたは６２ｂからフレームレート演算部６５で決定された回数だけ所望のタイミングで画像信号を読み出す。これによって、フレームレート演算部６５で決定された画像信号の出力方法に従ってフレームメモリ６２から画像信号が読み出され、表示信号SIG2として出力される。

書き込み制御部６３は読み出し制御部６４へ状態信号CNT1を出力し、読み出し制御部６４は書き込み制御部６３へ状態信号CNT2を出力する。書き込み制御部６３および読み出し制御部６４は、各々の状態信号CNT1とCNT2により、メモリ６２ａと６２ｂの動作状態や、各メモリに保持された画像信号が、次の書き込み制御により新たな画像信号に更新されたか否か、各メモリに書き込まれた画像信号が、フレームレート演算部６５で決定された回数だけ読み出されたか否かを検出することができる。

これによって、フレームレート変換部６は、表示信号SIG2として毎フレームの画像信号がフレームメモリ６２から読み出されると共に、同一のメモリに対して書き込みと読み出しの制御が重ならないように動作する。例えば、メモリ６２ａに保持された画像信号が、フレームレート演算部６５によって決定された回数だけ読み出された後の次の表示信号SIG2の表示フレームタイミングにおいて、書き込み制御部６３によるメモリ６２ｂへの画像信号の書き込みが完了する前に、読み出し制御部６４によるメモリ６２ｂからの画像信号の読み出しが指示された場合に、読み出し制御部６４は所望のタイミングにメモリ６２ａから画像信号を読み出すように制御を行う。

出力信号処理部６６は、フレームメモリ６２のメモリ６２ａおよび６２ｂから読み出された画像信号の切り換えを行い、フレームレートが変換された表示信号SIG2を出力する。表示信号SIG2は表示装置８（例えば撮像装置の電子ビューファインダや、撮像装置に接続するモニタ等）へ出力され、表示装置８によって、表示信号SIG2に基づいた表示が行われる。上記のフレームレート演算部６５が本発明の検出手段および決定手段の一実施形態であり、書き込み制御部６３、読み出し制御部６４、および出力信号処理部６６が本発明の出力手段の一実施形態である。

次に、フレームメモリ６２に対する画像信号の書き込みおよび読み出しの方法を説明する。図４は、撮像信号SIG１のフレームレートが１フレーム毎に9.8fps（毎秒9.8フレーム），24fps，30fps，48fps，16fps，30fpsと変化した場合の各信号の状態を示している。同期信号SYNC1（例えば垂直同期信号）の垂直帰線期間の長さが変化することにより、撮像信号SIG1のフレームレートが変化している。このとき、毎フレームで撮像素子２の有効画像の読み出し期間は一定である。撮像信号SIG1はフレーム毎に画像信号Ａ，画像信号Ｂ，画像信号Ｃ，画像信号Ｄ，画像信号Ｅ，画像信号Ｆと変化する。以下、フレームレート設定部５によって表示信号SIG2のフレームレートが24fpsに設定された場合について説明する。

撮像信号SIG1の最初のフレームの画像信号Ａ（フレームレートは9.8fps）がフレームレート変換部６に入力されると、入力信号処理部６１によって画像信号Ａの１フレーム期間長Cfr1が検出される。画像信号Ａに関しては、撮像信号SIG1の同期信号SYNC1と表示信号SIG2の同期信号SYNC2の立ち下がりの変化点が揃っているため、同期タイミングの時間差α1は0である。また、表示信号SIG2のフレームレートは24fpsであり、そのときの１フレーム期間長をDfrとする。

撮像装置のシステムクロック周波数が74.25MHzの場合、フレームレート9.8fpsと24fpsに相当する１フレーム期間長Cfr1とDfrの各値は、システムクロック数で表すとおよそ7576531カウントと3093750カウントになる。このとき、Cfr1とDfrの大小関係はCfr1＞Dfrである。フレームレート演算部６５はα1＝0かつCfr1＞Dfrの条件より、Cfr1をDfrで除算して小数点以下を四捨五入した値X1を算出する。計算内容としてはCfr1／Dfr＝7576531／3093750≒2.4となり、その結果X1は2となり、画像信号Ａを２回複製して表示用の画像信号として出力するように、書き込み制御部６３と読み出し制御部６４が制御される。

具体的には撮像信号SIG1の最初のフレームの画像信号Ａが、書き込み制御信号WE1によってメモリ６２ａに書き込まれる。メモリ６２ａに書き込まれた画像信号Ａは、表示信号SIG2の同期信号SYNC2で定まる所望のタイミングで、読み出し制御信号RE1によって２回連続して読み出される。

続いて、撮像信号SIG2の２番目のフレームの画像信号Ｂ（フレームレートは24fps）がフレームレート変換部６に入力されると、入力信号処理部６１によって画像信号Ｂの１フレーム期間長Cfr2が検出される。画像信号Ｂに関しては、同期信号SYNC1と同期信号SYNC2の同期タイミングの時間差α2は0ではない。表示信号SIG2の１フレーム期間長は前のフレームと同様にDfrである。フレームレート演算部６５はα2≠0かつα2＜Cfr2かつ（Cfr2−α2）≦Dfrの条件より、画像信号Ｂを１回のみ表示用の画像信号として出力するように、書き込み制御部６３および読み出し制御部６４に指示を行う。

具体的には撮像信号SIG1の２番目のフレームの画像信号Ｂが、書き込み制御信号WE2によってメモリ６２ｂに書き込まれる。メモリ６２ｂに書き込まれた画像信号Ｂは、表示信号SIG2の同期信号SYNC2で定まる所望のタイミングで、読み出し制御信号RE2によって１回読み出される。

続いて、撮像信号SIG1の３番目のフレームの画像信号Ｃ（フレームレートは30fps）がフレームレート変換部６に入力されると、入力信号処理部６１によって画像信号Ｃの１フレーム期間長Cfr3が検出される。画像信号Ｃに関しては、同期信号SYNC1と同期信号SYNC2の同期タイミングの時間差α3は0ではない。表示信号SIG2の１フレーム期間長は前のフレームと同様にDfrである。フレームレート演算部６５はα3≠0かつα3＜Cfr3かつ（Cfr3−α3）≦Dfrの条件より、画像信号Ｃを１回のみ表示用の画像信号として出力するように、書き込み制御部６３および読み出し制御部６４に指示を行う。

具体的には撮像信号SIG1の３番目のフレームの画像信号Ｃが、書き込み制御信号WE1によってメモリ６２ａに書き込まれる。メモリ６２ａに書き込まれた画像信号Ｃは、表示信号SIG2の同期信号SYNC2で定まる所望のタイミングで、読み出し制御信号RE1によって１回読み出される。

続いて、撮像信号SIG1の４番目のフレームの画像信号Ｄ（フレームレートは48fps）がフレームレート変換部６に入力されると、入力信号処理部６１によって画像信号Ｄの１フレーム期間長Cfr4が検出される。画像信号Ｄに関しては、同期信号SYNC1と同期信号SYNC2の同期タイミングの時間差α4は0ではない。表示信号SIG2の１フレーム期間長は前のフレームと同様にDfrである。フレームレート演算部６５はα4≠0かつα4≧Cfr4の条件より、画像信号Ｄをフレームメモリ６２に書き込まず、表示用の画像信号として出力しないように、書き込み制御部６３および読み出し制御部６４に指示を行う。

具体的には撮像信号SIG1の４番目のフレームの画像信号Ｄは、書き込み制御信号WE2の制御によってメモリ６２ｂに書き込まれず、入力信号処理部６１で間引かれるため、表示信号として出力されない。

続いて、撮像信号SIG1の５番目のフレームの画像信号Ｅ（フレームレートは16fps）がフレームレート変換部６に入力されると、入力信号処理部６１によって画像信号Ｅの１フレーム期間長Cfr5が検出される。画像信号Ｅに関しては、同期信号SYNC1と同期信号SYNC2の同期タイミングの時間差α5は0ではない。表示信号SIG2の１フレーム期間長は前のフレームと同様にDfrである。フレームレート演算部６５はα5≠0かつα5＜Cfr5かつ（Cfr5−α5）＞Dfrの条件より、Cfr5をDfrで除算して小数点以下を四捨五入した値X5を算出する。X5は１となり、画像信号Ｅを１回のみ表示用の画像信号として出力するように、書き込み制御部６３および読み出し制御部６４に指示を行う。

具体的には撮像信号SIG1の５番目のフレームの画像信号Ｅが、書き込み制御信号WE2によってメモリ６２ｂに書き込まれる。メモリ６２ｂに書き込まれた画像信号Ｅは、表示信号SIG2の同期信号SYNC2で定まる所望のタイミングで、読み出し制御信号RE2によって１回読み出される。表示信号SIG2として画像信号Ｅがメモリ６２ｂより１回読み出されて表示されたフレームの次のフレームの表示タイミングにおいて、メモリ６２ａに保持されている画像信号は、既に読み出された画像信号Ｃであり、書き込み制御信号WE1の制御により、メモリ６２ａに書き込まれた画像信号は撮像信号SIG1の次のフレームの画像信号Ｆに更新されていない状態にある。この場合には、再度、表示信号SIG2の同期信号SYNC2の所望のタイミングにおいて、読み出し制御信号RE2の制御によってメモリ６２ｂから画像信号Ｅが読み出される。

続いて、撮像信号SIG1の６番目のフレームの画像信号Ｆ（フレームレートは30fps）がフレームレート変換部６に入力される。入力信号処理部６１によって画像信号Ｆの1フレーム期間長Cfr6が検出される。画像信号Ｆに関しては、同期信号SYNC1と同期信号SYNC2の同期タイミングの時間差α6は0ではない。表示信号SIG2の１フレーム期間長は前のフレームと同様にDfrである。フレームレート演算部６５はα６≠０かつα６＜Cfr６かつ（Cfr６−α６）≦Dfrの条件より、画像信号Ｆを１回のみ表示用の画像信号として出力するように、書き込み制御部６３および読み出し制御部６４に指示を行う。

具体的には撮像信号SIG1の６番目の画像信号Ｆが、書き込み制御信号WE1の制御によってメモリ６２ａに書き込まれる。メモリ６２ａに書き込まれた画像信号Ｆは、表示信号SIG2の同期信号SYNC2で定まる所望のタイミングで読み出し制御信号RE1によって１回読み出される。

メモリ６２ａおよびメモリ６２ｂから読み出された画像信号は、出力信号処理部６６から表示信号SIG2として出力される。このフレームレート変換後の表示信号SIG2は、フレームレートが24fpsの信号であり、撮像信号がいかなるフレームレートの信号の場合でも、所望のフレームレートの信号にフレームレート変換される。

次に、上述した一連のフレームレート変換部６の主要動作の詳細な手順を、図５および図６を参照しながら説明する。図５および図６は、入力された撮像信号の任意のフレームの画像信号のフレームレート変換を行う処理の手順を示している。フレームレート変換部６に撮像信号SIG1の各フレームの画像信号が入力される毎に、図５および図６に従った処理が行われる。撮像信号SIG1の１フレーム分の画像信号がフレームレート変換部６に入力されると、以下のフレームレート変換処理が開始される。

入力信号処理部６１は、入力された撮像信号SIG1に重畳されたCfr値より、処理対象フレームの画像信号の１フレーム期間長Cfrを検出し、フレームレート演算部６５へ出力する（ステップＳ１０１）。続いて、フレームレート演算部６５は、撮像信号SIG1の同期信号SYNC1と表示信号SIG2の同期信号SYNC2の同期タイミングの時間差αを検出し、αが0であるか否か判定する（ステップＳ１０２）。

αが0でなかった場合、フレームレート演算部６５はαとCfrの大小を比較する（ステップＳ１０３）。αがCfrよりも小さい場合、フレームレート演算部６５は（Cfr−α）とDfrの大小を比較する（ステップＳ１０５）。（Cfr−α）がDfr以下の場合（図４の撮像信号SIG1のフレームレートが24fps（画像信号Ｂ）および30fps（画像信号ＣおよびＦ）の場合に相当）、フレームレート演算部６５は書き込み制御部６３に画像信号の書き込みを指示する。指示を受けた書き込み制御部６３は、フレームメモリ６２に書き込み制御信号WE1またはWE2を出力し、画像信号をメモリ６２ａまたは６２ｂへ書き込む（ステップＳ１０９）。

続いて、フレームレート演算部６５は、メモリ６２ａまたは６２ｂから画像信号を１回読み出すと決定する（ステップＳ１１３）。この処理の終了後、フレームレート演算部６５は所望のタイミングで読み出し制御部６４に画像信号の読み出しを指示する。指示を受けた読み出し制御部６４は、フレームメモリ６２に読み出し制御信号RE1またはRE2を出力し、メモリ６２ａまたは６２ｂから画像信号を読み出す。メモリ６２ａまたは６２ｂから読み出された画像信号は、表示信号SIG2のフレームレートに従ったタイミングで表示装置８へ出力され、表示装置８によって表示が行われる。

一方、ステップＳ１０５で（Cfr−α）がDfrよりも大きい場合（図４の撮像信号SIG1のフレームレートが16fps（画像信号Ｅ）の場合に相当）、フレームレート演算部６５は（Cfr−α）をDfrで除算し、その解を小数第一位で四捨五入することによりYの値を算出する（ステップＳ１１０）。続いて、前述した動作と同様にして画像信号がメモリ６２ａまたは６２ｂへ書き込まれる（ステップＳ１１４）。フレームレート演算部６５は、ステップＳ１１０で算出した結果に基づいて、所望のタイミングでメモリ６２ａまたは６２ｂからの読み出しをY回繰り返して行うと決定する（ステップＳ１１６）。

この処理の終了後、フレームレート演算部６５から読み出し制御部６４に指示がなされ、メモリ６２ａまたは６２ｂから同じ画像信号がY回繰り返して読み出される。すなわち、メモリ６２ａまたは６２ｂに書き込まれた１フレーム分の画像信号がY回複製され、表示信号SIG2のYフレーム分の画像信号となる。読み出された画像信号は、表示信号SIG2のフレームレートに従ったタイミングで表示装置８へ出力され、表示装置８によって表示が行われる。

一方、ステップＳ１０３でαがCfr以上の場合（図４の撮像信号SIG1のフレームレートが48fps（画像信号Ｄ）の場合に相当）、フレームレート演算部６５は、画像信号をフレームメモリ６２に書き込まない（すなわち撮像信号SIG1の処理対象フレームの画像信号を表示信号SIG2として出力しない）と決定する（ステップＳ１０６）。この結果、撮像信号SIG1の処理対象フレームの画像信号はフレームメモリ６２に書き込まれず、１フレーム分信号が間引かれ、このフレームのフレームレート変換処理が終了する。

一方、ステップＳ１０２でαが0の場合、フレームレート演算部６５はCfrとDfrの大小を比較する（ステップＳ１０４）。CfrがDfr以下の場合、前述した動作と同様にして画像信号がメモリ６２ａまたは６２ｂへ書き込まれる（ステップＳ１０７）。続いて、フレームレート演算部６５は、所望のタイミングでメモリ６２ａまたは６２ｂから画像信号を１回読み出すと決定する（ステップＳ１１１）。この処理の終了後、前述した動作と同様にして、画像信号がメモリ６２ａまたは６２ｂから読み出される。メモリ６２ａまたは６２ｂから読み出された画像信号は、表示信号SIG2のフレームレートに従ったタイミングで表示装置８へ出力され、表示装置８によって表示が行われる。

また、ステップＳ１０４でCfrがDfrより大きい場合（図４の撮像信号SIG1のフレームレートが9.8fps（画像信号Ａ）の場合に相当）、フレームレート演算部６５はCfrをDfrで除算し、その解を小数第一位で四捨五入することによりXの値を算出する（ステップＳ１０８）。続いて、前述した動作と同様にして画像信号がメモリ６２ａまたは６２ｂへ書き込まれる（ステップＳ１１２）。フレームレート演算部６５は、ステップＳ１０８で算出した結果に基づいて、所望のタイミングでメモリ６２ａまたは６２ｂからの読み出しをX回繰り返して行うと決定する（ステップＳ１１５）。

この処理の終了後、フレームレート演算部６５から読み出し制御部６４に指示がなされ、メモリ６２ａまたは６２ｂから同じ画像信号がX回繰り返して読み出される。すなわち、メモリ６２ａまたは６２ｂに書き込まれた１フレーム分の画像信号がX回複製され、表示信号SIG2のXフレーム分の画像信号となる。読み出された画像信号は、表示信号SIG2のフレームレートに従ったタイミングで表示装置８へ出力され、表示装置８によって表示が行われる。上述した処理によって、入力された任意のフレームレートの撮像信号SIG1の各フレームの画像信号が、表示信号SIG2のフレームレートに合わせてフレームレート変換される。

上述したように、本実施形態による撮像装置が備えるフレームレート変換装置（フレームレート変換部６）は、撮像信号SIG1の各フレームの同期タイミングと表示信号SIG2の各フレームの同期タイミングとの時間差αと撮像信号SIG1の１フレーム期間長Cfrと表示信号SIG2の１フレーム期間長Dfrとに基づいて、表示画像信号SIG2のフレームレートに合わせた撮像信号SIG1の出力方法を決定している。撮像信号SIG1のフレームレートがいかなる場合であっても、時間差α、１フレーム期間長Cfr、および１フレーム期間長Dfrは一意に決まり、それらの値に基づいて撮像信号SIG1の各フレームの画像信号の出力方法が、表示信号SIG2のフレームレートに合わせて一意に決定されるため、撮像信号SIG1のフレームレートを所望のフレームレートに変換した表示信号SIG2を生成することができる。

また、表示信号SIG2の画像信号として出力すると決定した撮像信号SIG1の画像信号のみがフレームメモリ６２に格納されるので、フレームメモリ６２の規模を最小限とすることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では撮像素子２によって生成された撮像信号のフレームレートを変換した画像信号が表示装置８に出力されているが、フレームレートを変換した画像信号を記録装置７が記録してもよい。また、記録装置７が記録した画像信号を再生する際に、再生信号に対して上記のフレームレート変換を行ってもよい。

また、駆動制御部３が、撮像素子２の垂直帰線期間または水平帰線期間の長さを変更して１フレームの期間長を調整することにより、撮像素子２から出力される撮像信号のフレームレートを変更しているが、駆動制御部３が生成する撮像素子２の駆動タイミングを調整してフレームレートを変更してもよい。また、撮像信号のフレームレートに対応した１フレーム期間長Cfr、および表示信号のフレームレートに対応した１フレーム期間長Dfrは１フレームに相当する時間を表していればよく、撮像装置のシステムクロックにおけるクロック数とは別のパラメータで設定してもよい。

また、撮像信号処理部４では、フレームレート設定部５で設定された撮像信号のフレームレートに対応した１フレーム期間長Cfrがフレーム毎に垂直同期信号の所望のタイミングで撮像信号に重畳されるが、フレーム毎の１フレーム期間長Cfrを撮像信号に重畳させず、直接フレームレート変換部６に設定してもよい。

本発明の一実施形態による撮像装置の構成を示すブロック図である。本発明の一実施形態による撮像装置が備えるフレームレート変換部の構成を示すブロック図である。本発明の一実施形態による撮像装置が生成する撮像信号に重畳される、１フレーム期間長を示す信号の状態を示すタイミングチャートである。本発明の一実施形態による撮像装置が備えるフレームレート変換部の主要動作を説明するためのタイミングチャートである。本発明の一実施形態による撮像装置が備えるフレームレート変換部の主要動作の手順を示すフローチャートである。本発明の一実施形態による撮像装置が備えるフレームレート変換部の主要動作の手順を示すフローチャートである。

符号の説明

１・・・レンズ、２・・・撮像素子、３・・・駆動制御部、４・・・撮像信号処理部、５・・・フレームレート設定部、６・・・フレームレート変換部、７・・・記録装置、８・・・表示装置、６１・・・入力信号処理部、６２・・・フレームメモリ、６２ａ，６２ｂ・・・メモリ、６３・・・書き込み制御部、６４・・・読み出し制御部、６５・・・フレームレート演算部、６６・・・出力信号処理部

Claims

入力された第１の画像信号のフレームレートを変換し、第２の画像信号として出力するフレームレート変換装置であって、
前記第１の画像信号が入力される入力手段と、
入力された前記第１の画像信号の各フレームの同期タイミングと前記第２の画像信号の各フレームの同期タイミングとの時間差αを検出する検出手段と、
前記第１の画像信号の１フレーム期間の時間長Cfrと、前記第２の画像信号の１フレーム期間の時間長Dfrと、前記検出手段によって検出された時間差αとに基づいて、前記第２の画像信号のフレームレートに合わせた前記第１の画像信号の出力方法を決定する決定手段と、
前記決定手段によって決定された前記第１の画像信号の出力方法に従って前記第１の画像信号を前記第２の画像信号として出力する出力手段と、
を有することを特徴とするフレームレート変換装置。
前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０の場合には、前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrを比較し、Cfr≦Dfrであれば前記フレームＮの画像信号を前記第２の画像信号の１フレーム分の画像信号として出力すると決定することを特徴とする請求項１に記載のフレームレート変換装置。
前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０の場合には、前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrを比較し、Cfr＞DfrであればCfrをDfrで除算して小数点以下を四捨五入した値Xを算出し、前記フレームＮの画像信号をX回複製した信号を前記第２の画像信号のXフレーム分の画像信号として出力すると決定することを特徴とする請求項１に記載のフレームレート変換装置。
前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０でない場合には、前記時間差αと前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrとを比較し、α＜Cfrかつ（Cfr−α）≦Dfrであれば前記フレームＮの画像信号を前記第２の画像信号の１フレーム分の画像信号として出力すると決定することを特徴とする請求項１に記載のフレームレート変換装置。
前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０でない場合には、前記時間差αと前記フレームＮの画像信号の１フレーム期間の時間長Cfrと前記第２の画像信号の１フレーム期間の時間長Dfrとを比較し、α＜Cfrかつ（Cfr−α）＞Dfrであれば（Cfr−α）をDfrで除算して小数点以下を四捨五入した値Yを算出し、前記フレームＮの画像信号をY回複製した信号を前記第２の画像信号のYフレーム分の画像信号として出力すると決定することを特徴とする請求項１に記載のフレームレート変換装置。
前記決定手段は、入力された前記第１の画像信号中の任意のフレームＮの画像信号に関し、前記検出手段によって検出された前記時間差αが０でない場合には、前記時間差αと前記フレームＮの画像信号の１フレーム期間の時間長Cfrとを比較し、α≧Cfrであれば前記フレームＮの画像信号を前記第２の画像信号として出力しないと決定することを特徴とする請求項１に記載のフレームレート変換装置。
前記第１の画像信号を構成する各フレームの画像信号のうち、前記決定手段によって前記第２の画像信号として出力すると決定されたフレームの画像信号のみを蓄積する画像蓄積手段をさらに有し、
前記出力手段は、前記画像蓄積手段から画像信号を読み出して前記第２の画像信号として出力する
ことを特徴とする請求項１〜請求項６のいずれかの項に記載のフレームレート変換装置。
前記第１の画像信号を構成する各フレームの画像信号には、前記１フレーム期間の時間長Cfrに関する値が付加されていることを特徴とする請求項１〜請求項７のいずれかの項に記載のフレームレート変換装置。
被写体を結像する光学手段と、
前記光学手段で結像された被写体像を光電変換して前記第１の画像信号を生成する撮像手段と、
前記撮像手段によって生成された前記第１の画像信号を処理し、請求項１〜請求項７のいずれかの項に記載のフレームレート変換装置へ出力する信号処理手段と、
を有することを特徴とする撮像装置。
前記第１の画像信号のフレームレートを設定する第１のフレームレート設定手段をさらに有することを特徴とする請求項９に記載の撮像装置。
前記第２の画像信号のフレームレートを設定する第２のフレームレート設定手段をさらに有することを特徴とする請求項９または請求項１０に記載の撮像装置。