JP4887727B2 - 画像信号処理装置、カメラシステム、および画像信号処理方法 - Google Patents

Description

本発明は、たとえば動画像や静止画のフレームレートや解像度を変換可能な画像信号処理装置、カメラシステム、および画像信号処理方法に関するものである。

半導体技術、表示デバイスの技術進歩により、より高解像度、より高フレームレートで画質が高い静止画、動画像を大量に扱えるようになっている。

しかし、それらの画像を作成したとしてもディスプレイ、テレビなどの表示装置全てで再生できるわけではない。
そこで、たとえば特許文献１には、「撮影時のフレームレートよりも低い第２のフレームレートで再生」することができる「画像処理方法」が提案されている。
また、特許文献２には、「映像信号の再生速度調整やレート変換を自動的に行える」ようにした「映像信号記録装置および映像信号再生装置」が提案されている。

また、動画像の時間や情報量も多くなってきている。それらを作成した後に使用者が見るときに時間がかかってしまう。
そこで、特許文献３には、「同一時間帯」の「複数アングルあるいは複数のシーン」を選択して「同時表示」することができる「多面表示方法および装置」が提案されている。

ところで、一般的な高速撮影可能な画像記録装置あるいはビデオカメラおよびデジタルカメラシステムは、人間の視覚に対して十分な時間的解像度であるフレームレート15fps〜60fpsを超える撮影が可能なイメージセンサ及び画像処理部分を有している。
それらの装置では、装置に付属する記憶領域の容量及び転送速度が耐えうる時間だけ、たとえば120fps, 240fpsといった高いフレームレートでの撮影が可能である。
また、フレームレート変更方法としては、一般的にフレームレートを撮影前に設定する必要がある。
特開２００４−２２１９９９号公報 特開２００２−３２０２０３号公報 特開２００５−２７３３７号公報

ところが、特許文献１に開示された「画像処理方法」では「撮影時のフレームレートよりも低い第２のフレームレートで再生」することができるが表示装置ごとに表示可能な「第２のフレームレート」を設定する必要がある。
また、特許文献２に開示された「映像信号記録装置および映像信号再生装置」は「映像信号の再生速度調整やレート変換を自動的に行える」が、「再生器」が１つしかなく「再生信映像号」を同時に１つしか出力できない。
また、特許文献３に開示された「多面表示方法および装置」は、「同一時間帯」の「複数アングルあるいは複数のシーン」を選択して「同時表示」することができるが、異なる時間帯のものを表示したり、同一シーンを異なる再生方法で同時表示することができない。
また、画質の高い画像を扱うと回路、装置の周波数、消費電力、メモリ使用量が大きくなってしまうという不利益がある。

また、上述した一般的な高速撮影可能な画像記録装置あるいはビデオカメラおよびデジタルカメラシステムは、装置に付属する記憶領域の容量及び転送速度が耐えうる時間だけ、たとえば120fps, 240fpsといった高いフレームレートでの撮影が可能であるものの、撮影した高フレームレートデータを後から表示して閲覧する際、高フレームレートデータ部分だけが独立しており、その部分のみを再生するのが一般的であり、特に通常の速度で撮影したデータから連続した形で視聴者に違和感なく見せる手段が不足しているのが現状である。

また、上述したフレームレートを撮影前に設定する必要があるフレームレート変更方法において、フレームレートの設定を撮影中は変更できないため、ユーザが任意のタイミングでフレームレートを変更することができない。
そのため、フレームレートを高めに設定して撮像した場合、画像データ量が多くなり、大容量のメモリが必要になるという不利益がある。

本発明の目的は、表示装置や内部状態に合わせて最適なフレームレート、解像度を得ることができる画像信号処理装置、カメラシステム、および画像信号処理方法を提供することにある。
また、本発明の目的は、通常の速度で撮影したデータから連続した形で視聴者に違和感なく見せることができるカメラシステムを提供することにある。
また、本発明の目的は、メモリ容量の増大を抑止しつつ、ユーザが任意のタイミングでフレームレートを変更することができるカメラシステムを提供することにある。

本発明の第１の観点の画像変換装置は、再生すべき画像のフレーム情報および動きベクトル情報を格納可能なメモリと、画像を任意のサイズに拡大縮小する演算機能を有し、上記メモリに格納されている複数の元画像から新しいピクセルを作成する処理エンジンと、上記メモリからフレーム情報を読み出し、所定の状態に応答して当該フレームレートを再生状態に応じて所定のフレームレートに変換可能で、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する画像処理部と、を有し、上記処理エンジンは、通常の非フレームレート変換時の拡大縮小処理を行う際には、ひとつの元画像の複数にピクセルから新しいピクセルを作成し、フレームレート変換時の拡大縮小処理を行う際には、複数の元画像の一または複数のピクセルから新しいピクセルを作成し、上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求める機能を含み、上記画像処理部は、上記メモリに動きベクトル情報がある場合には、上記処理エンジンに上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めさせ、上記メモリに動きベクトル情報がない場合には、読み出した再生すべき動きベクトルを求め、新しい動きベクトルを求めるに十分な動きベクトルを取得すると、上記処理エンジンに上記取得した動きベクトル情報から新しい動きベクトルを求めさせ、求めた新しい動きベクトルを使用して新しいフレームを作成し、一定時間内の画像のフレームレートを変更する。

好適には、上記画像処理部は、一定時間内に再生するフレームの数を減らすが画像全体の再生枚数は変更することなくフレームレートの変換を行う。

好適には、上記画像処理部は、一定時間内に再生するフレームの数を減らし画像全体の再生時間は変更することなくフレームレートの変換を行う。

好適には、上記画像処理部は、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する。

好適には、画像を任意のサイズに拡大縮小する演算機能を有し、上記メモリに格納されている複数の元画像から新しいピクセルを作成する処理エンジンを含み、上記画像処理部は、上記処理エンジンの処理結果に基づいて新しいフレームを作成し、一定時間内の画像のフレームレートを変更する。

好適には、上記処理エンジンは、上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求め、上記画像処理部は、上記新しい動きベクトルに基づいて新しいフレームを生成する。

本発明の第２の観点は、外部からの画像信号を処理する画像信号処理装置であって、再生すべき画像のフレーム情報および動きベクトル情報を格納可能なメモリと、画像を任意のサイズに拡大縮小する演算機能を有し、上記メモリに格納されている複数の元画像から新しいピクセルを作成する処理エンジンと、上記メモリからフレーム情報を読み出し、所定の状態に応答して当該フレームレートを再生状態に応じて所定のフレームレートに変換可能で、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する画像処理部と、少なくとも一つの表示装置が接続可能な接続部と、を有し、上記画像処理部は、接続された表示装置の性能および上記接続部の性能の少なくとも一方に基づいてフレームレートを変換可能で、かつ、上記処理エンジンは、通常の非フレームレート変換時の拡大縮小処理を行う際には、ひとつの元画像の複数のピクセルから新しいピクセルを作成し、フレームレート変換時の拡大縮小処理を行う際には、複数の元画像の一または複数のピクセルから新しいピクセルを作成し、上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求める機能を含み、上記画像処理部は、上記メモリに動きベクトル情報があるか否かの判別を行い、動きベクトル情報がある場合には、上記処理エンジンに上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めさせ、上記メモリに動きベクトル情報がない場合には、画像を読み出して再生すべき動きベクトルを求め、新しい動きベクトルを求めるに十分な動きベクトルを取得すると、上記処理エンジンに上記取得した動きベクトル情報から新しい動きベクトルを求めさせ、求めた新しい動きベクトルを使用して新しいフレームを作成し、一定時間内の画像のフレームレートを変更し、かつ、上記画像処理部は、所定レートで撮影した各フレーム画像の時間間隔を段階的に変更して間引いた画像を上記メモリに保存することで、各フレーム間隔が連続的に異なる画像データを生成可能であり、作成した各フレーム間隔が段階的に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、高速なフレームレートでの記録部分を視覚的にスローモーションで再生し、段階的にフレームレートが変更されて記録された部分は、通常の表示速度から徐々にスローモーションになる、あるいはスローモーションから徐々に通常の表示速度に戻るように処理する。

好適には、上記画像処理部は、装置の内部状態に応じてフレームレートを変換可能である。

好適には、上記画像処理部は、少なくとも周波数、消費電力、メモリ使用量のうちの少なくとも１つに合わせて、フレームレートを変更可能である。

好適には、上記画像処理部は、上記フレームレートを異なる組み合わせにして接続された表示装置に画像を表示可能な手段を有する。

好適には、上記画像処理部は、複数の表示装置に同時にフレームレートの一定ではない画像を表示可能な手段を有する。

好適には、上記画像処理部は、表示装置に合わせてフレームレートを落とす際、落とすフレームの画像情報を落とさないでフレームに反映することにより、高画質な低レートフレームの画像を出力する手段を有する。

好適には、上記画像処理部は、規格外のフレームレートで作成された画像を表示装置に合わせて作り直す手段を有する。

本発明の第３の観点のカメラシステムは、被写体の像を撮像し画像データを出力する撮像部と、画像データに所定の処理を行う画像信号処理装置と、を含み、上記画像信号処理装置は、再生すべき画像のフレーム情報および動きベクトル情報を格納可能なメモリと、画像を任意のサイズに拡大縮小する演算機能を有し、上記メモリに格納されている複数の元画像から新しいピクセルを作成する処理エンジンと、上記メモリからフレーム情報を読み出し、所定の状態に応答して当該フレームレートを再生状態に応じて所定のフレームレートに変換可能で、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する画像処理部と、少なくとも一つの表示装置が接続可能な接続部と、を有し、上記画像処理部は、接続された表示装置の性能および上記接続部の性能の少なくとも一方に基づいてフレームレートを変換可能で、かつ、上記処理エンジンは、通常の非フレームレート変換時の拡大縮小処理を行う際には、ひとつの元画像の複数のピクセルから新しいピクセルを作成し、フレームレート変換時の拡大縮小処理を行う際には、複数の元画像の一または複数のピクセルから新しいピクセルを作成し、上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求める機能を含み、上記画像処理部は、上記メモリに動きベクトル情報があるか否かの判別を行い、動きベクトル情報がある場合には、上記処理エンジンに上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めさせ、上記メモリに動きベクトル情報がない場合には、画像を読み出して再生すべき動きベクトルを求め、新しい動きベクトルを求めるに十分な動きベクトルを取得すると、上記処理エンジンに上記取得した動きベクトル情報から新しい動きベクトルを求めさせ、求めた新しい動きベクトルを使用して新しいフレームを作成し、一定時間内の画像のフレームレートを変更し、かつ、上記画像処理部は、所定レートで撮影した各フレーム画像の時間間隔を段階的に変更して間引いた画像を上記メモリに保存することで、各フレーム間隔が連続的に異なる画像データを生成可能であり、作成した各フレーム間隔が段階的に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、高速なフレームレートでの記録部分を視覚的にスローモーションで再生し、段階的にフレームレートが変更されて記録された部分は、通常の表示速度から徐々にスローモーションになる、あるいはスローモーションから徐々に通常の表示速度に戻るように処理する。

好適には、上記画像処理部は、あらかじめ設定した任意の変化レートに従って、撮影した各フレーム画像の時間間隔を変更して間引いた画像を保存することで、各フレーム間隔が連続的に異なる画像データを作成可能である。

好適には、表示装置を接続可能な接続部を有し、上記画像処理部は、作成した各フレーム間隔が段階的に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、高速なフレームレートでの記録部分を視覚的にスローモーションで再生し、段階的にフレームレートが変更されて記録された部分は、通常の表示速度から徐々にスローモーションになる、あるいはスローモーションから徐々に通常の表示速度に戻るように処理する。

好適には、上記画像処理部は、作成した各フレーム間隔が任意に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、再生速度が任意に変化するように処理する。

好適には、上記画像処理部は、一定のフレームレートで既に記録済みの画像データに対し、段階的にフレームを間引く処理を行う。

好適には、撮影するフレームレートの指定を行う入力装置を備え、当該入力装置に対する入力の強度に応じて、撮影するフレームレートを任意に変更可能である。

好適には、上記操作部は、ボタンスイッチの押し込む強さにより段階的または連続的なフレームレートの変更指示が可能である。

好適には、上記撮像部は固体撮像素子を含み、当該固体撮像素子駆動周波数は変更せずに水平、垂直のブランキング期間を制御することでフレームレートを変化させる。

好適には、上記撮像部は固体撮像素子を含み、当該固体撮像素子駆動周波数は変更せずに、使用フレームの選択によりフレームレートを変化させる。

好適には、上記撮像部は固体撮像素子を含み、当該固体撮像素子駆動周波数を動的に変化させることで固体撮像素子のフレームレートを変化させる。

本発明の第４の観点は、外部からの画像信号を処理する画像信号処理方法であって、
画像を任意のサイズに拡大縮小する演算機能を有し、メモリに格納されている複数の元画像から新しいピクセルを作成する処理ステップと、上記メモリからフレーム情報を読み出し、所定の状態に応答して当該フレームレートを再生状態に応じて所定のフレームレートに変換し、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する画像処理ステップと、接続部に少なくとも一つの表示装置を接続する接続ステップと、を有し、上記画像処理ステップは、接続された表示装置の性能および少なくとも一つの表示装置が接続可能な接続部の性能の少なくとも一方に基づいてフレームレートを変換するステップを含み、上記処理ステップは、通常の非フレームレート変換時の拡大縮小処理を行う際には、ひとつの元画像の複数のピクセルから新しいピクセルを作成するステップと、フレームレート変換時の拡大縮小処理を行う際には、複数の元画像の一または複数のピクセルから新しいピクセルを作成するステップと、上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めるステップと、を含み、上記画像処理ステップは、上記メモリに動きベクトル情報があるか否かの判別を行い、動きベクトルがある場合には、上記処理ステップに上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めさせるステップと、上記メモリに動きベクトル情報がない場合には、画像を読み出して再生すべき動きベクトルを求め、新しい動きベクトルを求めるに十分な動きベクトルを取得すると、上記処理ステップに上記取得した動きベクトル情報から新しい動きベクトルを求めさせるステップと、求めた新しい動きベクトルを使用して新しいフレームを作成し、一定時間内の画像のフレームレートを変更するステップと、を含み、上記画像処理ステップは、所定レートで撮影した各フレーム画像の時間間隔を段階的に変更して間引いた画像を上記メモリに保存することで、各フレーム間隔が連続的に異なる画像データを生成するステップと、作成した各フレーム間隔が段階的に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、高速なフレームレートでの記録部分を視覚的にスローモーションで再生し、段階的にフレームレートが変更されて記録された部分は、通常の表示速度から徐々にスローモーションになる、あるいはスローモーションから徐々に通常の表示速度に戻るように処理するステップと、を含む。

本発明によれば、表示装置や内部状態に合わせて最適なフレームレート、解像度を得ることができる。
また、通常の速度で撮影したデータから連続した形で視聴者に違和感なく見せることができる。
また、メモリ容量の増大を抑止しつつ、ユーザが任意のタイミングでフレームレートを変更することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

＜第１実施形態＞
図１は、本発明の第１の実施形態に係るフレームレート変換装置の構成例を示す図である。

本フレームレート変換装置１０は、図１に示すように、動画像変換回路１１、ＣＰＵ１２、および外部メモリ１３を有する。
そして、動画像変換回路１１は、メモリコントローラ１１１、画像処理ブロック１１２、および内蔵メモリ１１３を有している。
動画像変換回路１１は、ＣＰＵ１２により制御され、基本的に外部メモリ１３上にある動画像のフレームレートを変換する。

ここで、あるフレームレートの動画像があったときにその再生方法としていくつか述べる。
図２は、いわゆる通常再生、スロー再生、間引き再生の例を示す図である。

まず、そのまま再生する方法である。
次に、一秒間に再生するフレームの数を減らすが動画像全体の再生枚数は変更しない方法がある。この場合は元の動画像と比較して再生時間が増えるためスロー再生となる。
その他、再生するフレームを選択して一秒間に再生するフレームレートの数を減らし動画像全体の再生時間は変更しない方法がある。この場合は元の動画像と比較して細かい単位で動きが減少していることになる。

以上の３つの方法の240fpsの場合の図が、図２の＜１＞通常再生、＜２＞スロー再生、＜３＞間引き再生である。
この他に１秒間に再生する画像を増やす場合もある。
１秒間に再生するフレームを減らすために再生するフレームを選択する方法は、いくつか選んでそのまま再生する方法と、複数のフレームから平均をとるなどして新しく再生用のフレームを作成する方法がある。

本第１の実施形態に係るフレームレート変換装置１０は、それらを実現して動画像のフレームレートを変換できる回路の一例である。

上述したように、フレームレート変換装置１０の動画像変換回路１１は、ＣＰＵ１２の制御の下、外部メモリ１３上にある動画像のフレームレートを変換する。
動画像変換装置１１は、再生するフレームを選ぶだけの場合はメモリコントローラ１１１により外部メモリ１３から再生するフレームだけ読み込んでそれらを書き出す。
動画像変換装置１１は、新しく再生用のフレームを作成する場合には、一度、メモリコントローラ１１１により内蔵メモリ１１３に複数のフレームを読み込む。その後、画像処理ブロック１１２が内蔵メモリ１１３内の複数のフレームから最適なフレームを計算して作成し、メモリコントローラ１１１を通してそのフレームを外部メモリ１３に書き込む。

なお、複数のフレームから最適なフレームを計算して作成する方法は、ＣＰＵ１２から設定できる。

図３は、図１の動画像変換回路の画像処理ブロックの構成例を示す図である。

画像処理ブロック１１２は、図３に示すように、演算器１１２１、画像拡大縮小エンジン１１２２、画像拡大縮小エンジン１１２３、メモリアクセス回路１１２４、および制御回路１１５２を有している。

メモリアクセス回路１１２４は、メモリコントローラ１１１と内蔵メモリ１１３へのデータの読み書きのアクセスを行う。

制御回路１１５２は、ＣＰＵ１２から設定されてフレームの計算方法に応じた演算器１１２１、画像拡大縮小エンジン１１２２、および画像拡大縮小エンジン１１２３の動作の制御を行う。

画像拡大縮小処理エンジン１１２２，１１２３とは、画像を任意のサイズに拡大縮小する演算の機能を持った回路である。その機能は１つの画像内の複数のピクセルの色、輝度情報から新しいピクセルの色、輝度情報をフィルタ計算して求めだすことによって実現している。

図４（Ａ），（Ｂ）は、本実施形態に係る画像拡大縮小処理エンジンの拡大縮小処理の例を示す図であって、図４(Ａ）は通常時の拡大縮小処理を示し、図４（Ｂ）はフレームレート変換時の拡大縮小処理を示している。

図４（Ａ）に示すように、画像拡大縮小エンジン１１２２（１１２３）がメモリ１１３上にある元画像ＯＩＭの複数のピクセルから新しいピクセルＮＰＸＬを作成している。
それを図４（Ｂ）に示すように使用することによってフレームレートの変換にも使用できる。
図４（Ｂ）のフレームレート変換時においては、画像拡大縮小エンジン１１２２（１１２３）がメモリ１１３上にある複数の元画像ＯＩＭ１、ＯＩＭ２，ＯＩＭ３から新しいピクセルＮＰＸＬを作成している。
複数のフレームから新しいフレームを作成することができるので、一定期間内の動画像のフレームレートを増減できる。

またはＭＰＥＧの場合、動きベクトルという各ピクセルが前後のフレームと比較してどのくらい移動したのかを動きベクトルという値でわかるのでそれを使用する方法もある。
複数のタイミングの動きベクトルを画像拡大縮小処理エンジン１１２２（１１２３）に入力として与えて別のタイミングの動きベクトルを求める。その新しい動きベクトルを使用して新しい画像を生成することができる。
図３の場合、演算器１１２１を画像生成にも使用することになる。もしもＭＰＥＧではない動画像を処理するときは複数のタイミングのフレームから動きベクトル自体を演算器１１２１を使用して求めることになる。

図５は、本実施形態に係る画像拡大縮小処理エンジンにおいて動画像を処理するときに動きベクトルを求める処理手順を示すフローチャートである。

この場合、動きベクトル情報がメモリ１１３にあるか否かの判別を行う（ＳＴ１）。ない場合には外部メモリ１３から画像を読み込み（ＳＴ２）、演算器１１２１で動きベクトルを計算する（ＳＴ３）。そして、動きベクトルが十分ある場合には（ＳＴ４）、画像拡大縮小処理エンジンに入力し（ＳＴ５）、新しい動きベクトルを求める（ＳＴ６）。
次に、メモリ１３から画像を読み込み（ＳＴ７）、演算器１１２１で動きベクトルの演算処理を行い（ＳＴ８）、その新しい動きベクトルを使用して新しいフレームを生成する（ＳＴ９）。

なお、図５と図４の方法を同時に使用してもかまわない。

図３に示す画像処理ブロック１１２の回路の場合、画像拡大縮小エンジンを２つ使用しているため、動画像の拡大縮小変換とフレームレートの変換の両方が行える。
画像拡大縮小エンジンを１つしか使用していなかったとしても、制御回路１１２５から画像拡大縮小エンジンを制御して２回動かすことによって２つあるときと同様の処理が行える。
また、画像拡大縮小エンジンも演算器も画像処理ブロック１１２中に何個あっても良い。

したがって、図３に示す制御回路１１５２を含む画像処理ブロック１１２を適用することによって動画像の拡大縮小変換、フレームレート変換を実現することができる。
上記の方法を使わずに、演算せずに必要なフレームを選択して保存するというより単純な方法で変換しても構わない。変換方法は任意に選択することができる。

＜第２実施形態＞
図６は、本発明の第２の実施形態に係る画像信号処理装置の構成例を示すブロック図である。
この画像信号処理装置は、第１の実施形態にかかるフレームレート変換装置を適用した構成を有する。

本画像信号処理装置２００は、動画像変換回路２０１、ＣＰＵ２０２、内蔵メモリ２０３、外部インターフェース（Ｉ／Ｆ）２０４、画像圧縮伸長部２０５、メモリインインターフェース（Ｉ／Ｆ）２０６、外部メモリ２０７、ストレージインターフェース（Ｉ／Ｆ）２０８、および外部保存用メモリ２０９を有している。

図６の画像信号処理装置２００は、第１の実施形態において説明した変換装置を内蔵したＬＳＩとして構成した例を示している。
図６において、動画像変換回路２０１が図１の動画像変換回１１に対応し、ＣＰＵ２０２が図１のＣＰＵ１２に相当し、外部保存用メモリ２０９または／および外部メモリ２０７が図１の外部メモリ１３に相当している。
また、図６においては、動画像変換回路２０１に対してバスを介し内蔵メモリ２０３が接続されている例を示している。
これらの構成、機能については、第１の実施形態と同様であることから、ここでは詳細な説明は省略する。

ＣＰＵ２０２は、動画像変換回路２０１、画像圧縮伸長部２０５や回路全体の制御を行う。
外部インターフェース２０４はＵＳＢ，ＰＣＩ等の接続を可能とするインターフェースとして機能する。

画像圧縮伸長部２０５は、画像メモリとしての内蔵メモリ２０３に記憶された被圧縮データを読み出して伸長処理するデコーダの機能や、カメラの信号などの複数の画像データから圧縮信号処理して画像ソースを作成するエンコード機能を有する。
画像圧縮伸長部２０５は、ストレージインターフェース２０８を通して画像保存用メモリ２０９への画像データの保存、あるいはメモリ２０９からの再生を行うことができる。
画像保存用メモリ２０９としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶが適用可能である。

この画像信号処理装置２００においては、画像圧縮伸長部２０５で動画像のエンコード、デコードが実行できる。外部保存用メモリ２０９にある動画像をそれでデコードして、動画像変換回路２０１で処理する。そして、再びエンコードし外部保存用メモリ２０９に書き込んだり、外部インターフェース２０４から出力することも可能である。

このような装置を使用することにより、容易に動画像の解像度、フレームレートの変換ができる。その結果、解像度、フレームレートが一定でない動画像も容易に扱うことも可能になる。また、動画像の規格外のフレームレート、解像度のものでも元のファイルは変更せずに表示することができる。

＜第３実施形態＞
図７は、本発明の第３の実施形態に係る画像信号処理装置の構成例を示すブロック図である。
この画像信号処理装置は、第１の実施形態にかかる変換装置を適用した構成を有する。

本第３の実施形態に係る画像信号処理装置２００Ａが第２の実施形態に係る画像信号処理装置２００と異なる点は、メモリインターフェース２０６と外部メモリ２０７の代わりに、表示装置インターフェース２１０および表示装置２１１を設け、接続しているデバイス、表示装置に応じて解像度、フレームレートを変更して動画像を出力可能に構成したことにある。

表示装置インターフェース２１０は、表示すべき画像データを表示装置２１１に出力し静止画や動画を表示させる。
表示装置２１１としては、液晶表示装置（ＬＣＤ）等が適用可能である。

図７の画像信号処理装置２００Ａにおいて、画像圧縮伸長部２０５を使用して外部保存用メモリ２０９上の動画像ファイルをデコードして画像メモリに書き込むことが可能である。逆に、画像圧縮伸長部２０５でエンコードすることも可能である。

USBで外部のデバイスに接続しているときはUSBは規格としてベンダID、プロダクトIDというデバイスを特定する識別子を持っている。そのデバイスの性能のデータベースを回路がメモリに持っていれば接続されているデバイスの性能を制御ＣＰＵ２０２が判定することができる。
また、LANなどで接続されていたとしてもデバイスの情報を通信する規格が定まっていれば、デバイス名、性能を特定することができる。

表示装置２１１の性能を認識する場合には、情報の通信の規格が決まっていれば表示装置インターフェース２１０で容易に認識できる。
表示装置２１０と情報の通信ができない場合には接続時の電圧の変化で性能が判定できるように規格が決まっている場合がある。それで表示装置２１１の表示できる画像の最大サイズを判定することができる場合もある。また、表示装置２１１が別にUSBなどの外部インターフェース２０４でも接続されていれば、先述のように認識することもできる。

それらの性能から制御ＣＰＵ２０２が適切な解像度、フレームレートを判断して、動画像変換回路２０１を制御する。
制御ＣＰＵ２０２は、表示装置、デバイスの性能が低ければ、解像度、フレームレートを元の動画像から小さくする。逆に表示装置、デバイスの性能が高かれば大きくする。
また、デバイス、表示装置の性能だけでなく、接続されているインターフェースの性能に応じて制御することも可能である。接続されているインターフェースの転送速度に応じて、解像度、フレームレートを元の動画像から大きくしたり小さくすることも可能である。
また、接続されているデバイス、表示装置の性能が不明の場合は標準的な値や最も小さな値などの基本の値になるように解像度、フレームレートに動画像を変換する。この基本の値は使用者が自由（任意）に設定できる。

図８は、接続しているデバイス、表示装置に応じて解像度、フレームレートを変更する処理を示すフローチャートである。

たとえば、表示装置が接続され（ＳＴ１０）、表示装置の性能が認識されると（ＳＴ１１）、装置名を判定できたかを判断する（ＳＴ１２）。装置名が判定できると、ＣＰＵ２０２が装置の性能を判定し（ＳＴ１３）、装置の性能を認識する（ＳＴ１４）。
次に、指定された値があるか否かを判断する（ＳＴ１５）。指定された値がある場合には、値を読み込み（ＳＴ１６）、その値が装置の性能より大きいか否かを判断する（ＳＴ１７）。
大きい場合には警告メッセージを発して（ＳＴ１８）、ステップＳＴ１９の値決定処理に移行する。
また、ステップＳＴ１２において、装置名を判定できない場合には、基本の値を読み込み（ＳＴ２０）、指定された値があるか否かを判断する（ＳＴ２１）。指定された値がある場合には、値を読み込み（ＳＴ２２）、ない場合には基本の値を読み込み（ＳＴ２３）、ステップＳＴ１９の値決定処理に移行する。
また、ステップＳＴ１５において、指定された値がない場合には、装置の性能をもとに値を設定し（ＳＴ２４）、ステップＳＴ１９の値決定処理に移行する。
そして、値を決定して、適切な解像度、フレームレートを判断する（ＳＴ２５）。

なお、これらの機能を使用せずに任意の解像度、フレームレートに使用者が指定して変換させることも可能である。接続されているデバイス、表示装置の性能が認識できていて、それよりも指定した解像度、フレームレートが上の場合は制御ＣＰＵ２０２が使用者に警告情報を発する。

このような装置を使用することにより、デバイス、表示装置の性能に応じて最適な解像度、フレームレートに自動的に動画像を変換することが可能になる。高解像度、高フレームレートの動画像もデバイス、表示装置で処理可能なものに自動で変換できる。そのため、動画像の再生、出力を容易にできるようになる。

＜第４実施形態＞
図９は、本発明の第４の実施形態に係る画像信号処理装置の構成例を示すブロック図である。
この画像処理装置は、第１の実施形態にかかる変換装置を適用した構成を有する。

本第４の実施形態に係る画像信号処理装置２００Ｂが第３の実施形態に係る画像信号処理装置２００Ａと異なる点は、図７の構成に加えて、クロックブロック２１２、電源制御部２１３、およびメモリ制御部２１４を設けて、回路装置内の状態に合わせて動画像の解像度、フレームレートを自律的に変換できるように構成したことにある。

クロックブロック２１２は、回路装置全体の周波数を制御し、周波数情報を制御ＣＰＵ２０２に伝達する機能を有している。
電源制御部２１３は、回路装置全体の電源を制御し、回路装置全体の消費電力を制御ＣＰＵ２０２に伝達する機能を有している。また、携帯機器の場合はバッテリの残り残量も制御ＣＰＵ２０２に伝達することができる。
メモリ制御部２１４は、画像メモリ２０３へのアクセス状況、メモリの未使用領域の量を制御ＣＰＵ２０２に伝達する機能を有している。

一般に、回路の周波数が低いと処理できるデータ量も少なくなる。そのため、周波数に応じて処理できる動画像の解像度、フレームレートも変化する。
そこで、周波数の情報を受けて制御ＣＰＵ２０２が動画像の解像度、フレームレートを最適な値に変換することによって滞りなく動画像を処理することができる。
逆に、動画像の解像度、フレームレートに応じて、制御ＣＰＵ２０２がクロックブロック２１２に指示して回路の周波数を上下させることも可能である。

また、データアクセス量が多いと回路全体の消費電力は大きくなる。そのため、動画像の解像度、フレームレートに応じて消費電力も上下する。
そこで、現在の消費電力、バッテリの残り残量の情報を受けて制御ＣＰＵ２０２が動画像の解像度、フレームレートを最適な値に変換することによって消費電力を少なくすることができる。
逆に、動画像の解像度、フレームレートに応じて、制御ＣＰＵ２０２が電源制御部に指示して回路の電圧を上下させることも可能である。

解像度、フレームレートが大きい動画像を扱おうとすればメモリ使用量は大きくなり、メモリへのアクセス頻度も多くなる。メモリが少なくなりすぎると処理できなくなり動画像の表示、出力が止まったり、遅れてしまう。
そこで、残りメモリ使用量、メモリへのアクセス状況に応じて動画像の解像度、フレームレートを制御ＣＰＵ２０２が動画像変換回路に指示すれば、滞りなく表示、出力することが可能になる。

単純な変換方法を選択することによって、メモリアクセス、消費電力、周波数を下げることもできる。
以上の機能は複合して使用することも可能である。また、周波数、消費電力、メモリ使用量と解像度、フレームレートの関係は使用者が設定できる。

このような回路装置を使用することによって、低消費電力な動画像の再生システム、長時間動画再生が可能なシステムを実現することができる。

＜第５実施形態＞
図１０は、本発明の第５の実施形態に係る画像信号処理装置を採用したカメラシステムの構成例を示すブロック図である。

本第５の実施形態に係る画像信号処理装置を含むカメラシステム２００Ｃは、第３の実施形態に係る画像信号処理装置２００Ａを示す図７の構成に加えて、光学系２１５、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）２１６、アナログ信号処理部２１７、アナログ／デジタル（ＡＤ）コンバータ２１８、デジタル信号処理部２１９、操作デバイス２２０、およびヒューマンインターフェース２２１を設けて、カメラシステム２００Ｃを構成している。なお、システム構成上、外部インターフェースは設けられていない。
光学系２１５、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）２１６、アナログ信号処理部２１７等により撮像部が構成される。

光学系２１５は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ２１６の受光面に結像させる。

イメージセンサ２１６は、光学系２１５を通して結像した被写体像の情報を光電変換し、アナログ信号処理部２１７に出力する。

アナログ信号処理部２１７は、イメージセンサ２１６のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等を行い、処理後のアナログ画像データをＡＤコンバータ２１８に出力する。
ＡＤコンバータ２１８は、アナログ信号処理部２１７によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部２１９に出力する。

デジタル信号処理部２１９は、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理や、撮影した画像データを後で詳述する圧縮方式に従って圧縮処理して記録媒体である画像メモリ２０３に書き込み、書き込んだ画像データを画像メモリ２０３から読み出して伸長（展開）する処理等を行う。

制御ブロック（ＣＰＵ）２０２Ｃは、たとえば第４の実施形態で説明した制御ＣＰＵと電源制御部とメモリ制御部とクロックブロックを含んで構成されている。この制御ブロック２０２Ｃを使用することによって上述した第１から第４の実施形態で説明した機能を実現できる。
制御ブロック２０２Ｃは、ヒューマンインターフェース２２１を通して操作デバイス２２０の操作に応じた制御を行う。
操作デバイス２２０としては、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。

このカメラシステム２００Ｃは、静止画、動画像の撮影、ストレージへの保存、ストレージ上の動画像を再生、出力することもできる。
静止画、動画像を作成するときは、まず、イメージセンサ２１６で光学系２１５のレンズからの光を電気信号に変えて取り込む。その信号を、アナログ信号処理部１２７、ＡＤコンバータ２１８、デジタル信号処理部２１９を通して画像信号に変換する。
その画像信号を画像圧縮伸長部２０５でエンコードして静止画、動画像のファイルを作成する。作成されたファイルはストレージインターフェース２０８を通してメモリ２０９に保存できる。
再生時にはストレージ上のファイルを読み込んで画像圧縮伸長部２０５でデコードする。その結果を、動画像変換回路２０１で処理したものを表示装置インターフェース２１０が読み込み、ＬＣＤ等の表示装置２１１に表示させる。

画像信号を画像圧縮伸長部２０５でエンコードせずにそのまま動画像変換回路２０１で処理して、表示装置２１１に表示させることも可能である。その場合は、現在、光学系２１５を通して撮影しているものがリアルタイムで表示されることになる。

また、上述した第１から第４の実施形態で説明したが機能を使用して、静止画、動画像の解像度、フレームレートを変換して表示することも可能であるが、変換しないで元の解像度、フレームレートのまま表示しても良い。
上記の低消費電力な動画像の再生システム、長時間動画再生が可能な装置を実現することができる。このカメラシステムで撮影、表示すれば、１つの動画像ファイルを自動的に表示装置に最適な状態で表示できるので、ストレージの使用量を節約できる。

＜第６実施形態＞
図１１は、本発明の第６の実施形態に係る画像信号処理装置の構成例を示すブロック図である。

本第６の実施形態に係る画像信号処理装置２００Ｄが第５の実施形態のカメラシステム２００Ｃと異なる点は、デジタル信号処理部２１９の入力側に、光学系２１５、イメージセンサ（撮像装置）２１６、アナログ信号処理部２１７、およびＡＤコンバータ２１８の代わりに入力信号処理部２２２を設けたことにある。
また、本画像信号処理装置２００Ｄにおいては、動画像変換回路２０１Ｄと画像圧縮伸長部２０５Ｄが複数の回路を内蔵している。
本例では、動画像変換回路２０１Ｄは、第１動画像変換回路２０１−１と第２動画像変換回路２０１−２の２つの回路を含んで構成されている。同様に、画像圧縮伸長部２０５Ｄは、第１画像圧縮伸長部２０５−１と第２画像圧縮伸長部２０５−２の２個を含んで構成されている。

装置全体の制御、動作の設定を制御ブロック２０２Ｄで行う。入力信号処理部２２２から入力された、静止画、動画像を表示したり、ストレージに保存、または、ストレージ上の静止画、動画像を表示することができる。

入力信号処理部２２２は、入力された画像、映像信号をデジタル信号処理部２１９で処理できる形式に変換することができる。アナログ信号の場合はADコンバータの機能もはたす。
デジタル信号処理部２１９で処理した画像、映像信号を画像圧縮伸長部２０５Ｄでエンコードして静止画、動画像のファイルを作成することができる。そのファイルはストレージインターフェース２０８を通してメモリ２０９に記録される。
また、エンコードする前に動画像変換回路２０１Ｄで解像度、フレームレートを変換することもできる。ストレージ上のファイルは画像圧縮伸長部２０５Ｄでデコードした後、表示装置インターフェース２１０を通して表示装置２１１に表示することができる。デコード後に動画像変換回路２０１Ｄで解像度、フレームレートを変換することもできる。
変換後に再生するだけでなく、その動画像を再度エンコードしてストレージに保存することも可能である。そうすることによって、保存された動画像の解像度、フレームレートを変換して保存ができる。解像度、フレームレートを下げて保存することによってファイルの大きさを小さくすることができる。

本実施形態においては、動画像変換回路２０１Ｄ、画像圧縮伸長部２０５Ｄが複数個の回路をもっているので、１つの動画像ファイルを複数の再生方法で同時に表示できる。再生を開始するシーンも異なっていることも可能で、異なる再生開始ポイントを指定できる。
これは画像圧縮伸長部２０５Ｄがデコードするポイントを指定することで可能である。その後、各動画画像変換回路２０１Ｄにどの画像圧縮伸長部２０５−１，２０５−２が処理した動画像を扱うか指定して選択することによって、再生開始ポイントを自由に選べる。
解像度、フレームレートも動画像変換回路２０１−１，２０１−２にそれぞれ異なる値を設定できる。作成した動画像は同じ表示装置２１１に同時に再生できるように縮小する必要がある。

図１２は、第６の実施形態における２つの形態で再生するときの動作例を示すフローチャートである。

図１２の例においては、再生設定時（ＳＴ３０）、第１動画像変換回路２０１−１に第１画像圧縮伸長部２０５−１の処理データを使用するように設定する（ＳＴ３１）。
次に、第１画像圧縮伸長部２０５−１に動画の開始ポイントを設定する（ＳＴ３２）。次いで、第１動画像変換回路２０１−１に解像度、フレームレートを設定する（ＳＴ３３）。
そして、同時に２形態で再生するか否かを決定する（ＳＴ３４）。
２形態で再生しない場合、第１画像圧縮伸長部２０５−１の動作を開始させ（ＳＴ３５）、第１動画像変換回路２０１−１の動作を開始させる（ＳＴ３６）。
そして、ストレージインターフェース２０８を通してメモリ２０９から動画像ファイルを読み込み（ＳＴ３７）、再生を開始する（ＳＴ３８）。

一方、ステップＳＴ３４において、２形態で再生することを決定すると、再生開始ポイントは同じか否かを判断する（ＳＴ３９）。開始ポイントが同じでない場合には、第２画像圧縮伸長部２０５−２に動画の開始ポイントを設定し（ＳＴ４０）、第２動画像変換回路２０１−２に第２画像圧縮伸長部２０５−２の処理データを使用するように設定する（ＳＴ４１）。一方、開始ポイントが同じ場合には、第２動画像変換回路２０１−２に第１画像圧縮伸長部２０５−１の処理データを使用するように設定する（ＳＴ４２）。
次に、第１動画像変換回路２０１−１に動画像を同時再生用に縮小するように設定し（ＳＴ４３）、第２動画像変換回路２０１−２を同時再生用に縮小するように設定する（ＳＴ４４）。
そして、第１および第２画像圧縮伸長部２０５−１，２９０５−２の動作を開始させ（ＳＴ４５）、第１および第２動画像変換回路２０１−１，２０１−２の動作を開始させて（ＳＴ４６）、前述したステップＳＴ３７の処理に移行する。

また、変換方法をそれぞれ変更することも可能である。作成された複数の動画像を同一の画面で表示するのは表示装置インターフェース２１０で行う。

図１３は、図１１の画像信号処理装置の回路動作例を示す図である。

本第６の実施形態においては、図１３に示すように、ステップＳＴ５１において、制御ブロック２０２Ｄが各ブロックの動作の制御、設定を行う。
まず、ステップＳＴ５２からＳＴ５４において、ストレージインターフェース２０８がストレージ（メモリ）２０９から画像メモリ２０３に再生したい動画像ファイルを読み込む。
次に、ステップＳＴ５５において、第１画像圧縮伸長部２０５−１が設定された開始ポイントからデコードを始めて動画像を画像メモリ２０３に書き込む。
ステップＳＴ５６において、その動画像を第１動画像変換回路２０１−１が読み込み、設定された解像度、フレームレートに変換する。変換する際に、１つの画像に複数表示できるように適切なサイズに縮小する動作も行う。その結果、作成された再生用動画像を画像メモリに書き込む。
ステップＳＴ５７において、第１画像圧縮伸長部２０５−１、第１動画像変換回路２０１−１が動作するのと同時に、ステップＳＴ５７において第２画像圧縮伸長部２０５−２、ステップＳＴ５８において第２動画像変換回路２０１−２も同じ動画像ファイルを読み込んで別の形態の再生用動画像を画像メモリ２０３に書き込む。
画像メモリ２０３上に作成された複数の再生用動画像を、ステップＳＴ５９において表示装置インターフェース２１０Fで合成して、ステップＳＴ６０で表示装置２１１に表示する。
また、ステップＳＴ６１において、表示装置２１１の表示画面のように同じ動画像ファイルの複数の再生動画像を一度に表示することができる。

本例では２形態までしか同時に再生していないが、画像圧縮伸長部、動画像変換回路を２以上内蔵して、より多くの形態で同時に再生することも可能である。
また、画像圧縮伸長部、動画像変換回路が１つずつしかなくても、一度の再生に複数回動かすことによっても複数の形態での再生は実現できる。そのため、画像圧縮伸長部、動画像変換回路の数は同じでなくても良い。

本第６の実施形態によれば、１つの動画像ファイルを異なるポイントから再生開始したものを複数個、同一画面に表示できるので、このシステムの使用者は動画像ファイルの中身の確認を従来より短時間で確認できる。解像度、フレームレート、変換方法を異なるものにして再生した動画像を複数個、同一画面に表示して見比べることによって、使用者は適切な解像度、フレームレート、変換方法を知ることができる。
その結果により、動画像ファイルの解像度、フレームレートを下げて保存すれば、動画像ファイルの画質を損ねることなく容易にファイルの大きさを小さくできる。また、システム自体が比較して自動的に変換しても良い。

＜第７実施形態＞
図１４は、本発明の第７の実施形態に係る画像信号処理装置の構成例を示すブロック図である。

本第７の実施形態に係る画像信号処理装置２０ＥＤが第６の実施形態のカメラシステム２００Ｄと異なる点は、画像信号の入力部をアナログ信号処理部とデジタル信号処理部を複数（この例では２）系統とし、複数（この例では２つ）の表示装置インターフェースを設けたことにある。

本第７の実施形態の画像信号処理装置２００Ｅは、表示装置インターフェースFを複数内蔵しており、複数の表示装置２１１−１，２１１−２に静止画、動画像を表示することが可能である。
入力信号処理部も複数あるので表示装置に異なる動画像を表示することも可能である。
上述した第３の実施形態の機能により異なる種類の表示装置に接続していても容易に静止画、動画像を表示することができる。
また、第６の実施形態の機能を使用すれば、ある表示装置には動画像を元のまま表示して、別の表示装置には動画像を複数の形態で同時に表示することも可能である。また、それぞれの表示装置に同じ動画像を再生開始ポイント、解像度、フレームレートのどれか、またはいくつかを変更して表示することもできる。

図１５は、第７の実施形態に係る画像信号処理装置（システム）を使用した画像表示装置３００の例を示す図である。
図１５に示す画像表示装置３００は、２面のLCD３０１，３０２に表示できる薄型画像表示装置である。
２つの映像入力ポートから画像、映像信号を入力することができる。２面のLCDに同じ動画像を表示することも可能であるし、異なる再生形態の動画像、異なる種類の動画像をそれぞれに表示することも可能である。
なお、つねにLCDを２面とも使用する必要は無く、片方のLCDは使用しないで電源を落としておくこともできる。
この画像表示装置を使用すれば、二人の使用者が異なる目的で一台の画像表示装置を同時に使用することができる。

以上に説明した第１から第７の実施形態によれば、以下の効果を得ることができる。
１） 従来より高解像度、高フレームレートの静止画、動画像を使用できるようになる。
２） 表示装置が対応していない解像度、フレームレートの静止画、動画像も作成、撮影、使用できるようになる。
３） メモリ、消費電力の少ない、画像表示装置、カメラ装置が作成できる。
４） 複数の種類の表示デバイス用の静止画、動画像のファイルを用意する必要が無くなる。
５） 動画像の内容の確認をより短時間で行えるようになる。
６） 動画像の最適な保存形式を従来より容易に選択できるようになる。
７） 静止画、動画像の保存用のファイル容量を従来より減らすことができる。
８） 解像度、フレームレートが一定ではない動画像を変換、表示する回路、装置の小型化を実現できる。
９） １つの表示装置を複数人で使用することができる。

＜第８実施形態＞
図１６は、本発明の第８の実施形態に係る撮影画像記録装置を採用したカメラシステムの構成例を示すブロック図である。

本カメラシステム４００は、光学系４０１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）４０２、アナログ信号処理部４０３、ＡＤコンバータ４０４、デジタル信号処理部４０５、画像圧縮伸長部４０６、画像一時記録メモリおよび表示メモリとしての画像メモリ４０７、表示装置インターフェース（Ｉ／Ｆ）４０８、表示装置４０９、制御ＣＰＵ４１０、操作デバイス４１１、ヒューマンインターフェース４１２、ストレージインターフェース４１３、および外部保存用メモリ４１４を有している。
カメラシステム４００において、デジタル信号処理部４０５、画像圧縮伸長部４０６、画像メモリ４０７、および表示装置インターフェース４０８がバス４１５を介して接続されている。
また、光学系４０１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）４０２、アナログ信号処理部４０３等により撮像部が構成される。

光学系４０１は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ４０２の受光面に結像させる。

イメージセンサ４０２は、光学系４０１を通して結像した被写体像の情報を光電変換し、アナログ信号処理部４０３に出力する。

アナログ信号処理部４０３は、イメージセンサ４０２のアナログ出力に対し相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等を行い、処理後のアナログ画像データをＡ／Ｄコンバータ４０４に出力する。
Ａ／Ｄコンバータ４０４は、アナログ信号処理部４０３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部４０５に出力する。

デジタル信号処理部４０５は、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理や、撮影した画像データを後で詳述する圧縮方式に従って圧縮処理して記録媒体である画像メモリ１７に書き込み、書き込んだ画像データを画像メモリ４０７から読み出して伸長（展開）する処理等を行う。

画像圧縮伸長部４０６は、画像メモリ４０７に記憶された被圧縮データを読み出して伸長処理するデコーダの機能や、カメラの信号などの複数の画像データから圧縮信号処理して画像ソースを作成するエンコード機能を有する。
画像圧縮伸長部４０６は、ストレージインターフェース４１３を通して画像保存用メモリ４１４への画像データの保存、あるいはメモリ４１４からの再生を行うことができる。
画像保存用メモリ４１４としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶが適用可能である。

表示装置インターフェース４０８は、表示すべき画像データを表示装置４０９に出力し表示させる。
表示装置４０９としては、液晶表示装置（ＬＣＤ）等が適用可能である。

制御ＣＰＵ４１０は、イメージセンサ４０２、デジタル信号処理部１５、画像圧縮伸長部１６や回路全体の制御を行う。
制御ＣＰＵ４１０は、ヒューマンインターフェース４１２を通して操作デバイス４１１の操作に応じた制御を行う。
操作デバイス４１１としては、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。

本第８の実施形態のカメラシステム４００では、通常の速度で撮影したデータの中に、高速で撮影したデータを挿入し、かつ高速で撮影したデータと通常の速度で撮影したデータの境界部分に、段階的にフレームレートが速くなっていく、または遅くなっていく画像データを差し挟んだデータを作成する。こうして作成した画像データを、全てのフレームに対し通常あるいはその他一定のフレームレートで再生することで、時間的にスローモーション表示がフェードイン・フェードアウトするような表示効果を視聴者に与えることを特徴としている。

図１７は、通常のフレームレートで撮影した部分、段階的にフレームレートが変化する部分、高速一定のフレームレートで撮影した部分を、連続的に表示し、上記表示効果（時間的にスローモーション表示がフェードイン・フェードアウトするような表示効果）を得られる画像データ構成を示す図である。
図１７において、ハッチングを施したフレームが保存用として採用するフレームである。

この例では、撮影開始時から高速撮影時までは、通常のフレームレートで表示が行われ、再生表示が高速撮影時点に到達すると、徐々に視覚的な再生速度が遅くなっていく。
その後、視覚的に再生速度が一定なスローモーション再生部分に到達し、しばらくその状態での再生を経た後、徐々に視覚的なスローモーションから通常の速度に再生速度が戻ってゆき、最終的にまた通常の再生速度に戻ることになる。

このような画像データの作成を実現する撮影画像記録装置を図１６のカメラシステム４００が採用している。

上述したように、本第８の実施形態に係るデジタルカメラシステム４００は、人間の視覚に対して十分な表示効果を得られる60fps程度よりも高いフレームレートでの撮影、すなわち画像取り込みが可能なイメージセンサ４０２を有している。
イメージセンサ４０２の後段には、ゲイン調整などの各種アナログ処理部分４０３と、ＡＤ変換部分４０４、そしてその後に、センサ側から高速に送り出す画像データを順次処理可能なデジタル信号処理部４０５を有している。
ここで信号処理されたデータは、一時的画像記録部としての画像メモリ４０７あるいは外部の保存用記録装置４１４に転送される一方で、必要に応じて表示メモリにも転送され、LCDやTV等の表示装置４０９上で再生される。
また、制御ＣＰＵ４１０は、マイクロコンピュータを中心とする制御部分を備え、制御部分では、ユーザからのボタン入力等の指令などを受け、その内容を信号処理部やその他各所に反映する。
ユーザからの高速撮影指令がボタンなどの入力装置を通じて指令されると、イメージセンサ４０２は、たとえば240fpsといった、非常に高いフレームレートで撮影を行い、その結果、１秒間に240枚というような、多数枚の画像データを後段に送り込み始める。
後段の信号処理部では、ユーザからの高速撮影指令を認識しており、高いフレームレートでの処理が可能な様に処理速度・能力を向上させて、センサ側からの画像データを受け入れることになる。
この際、送られてくる全てのフレームを処理し、記録及び表示するのではなく、処理フレームを間引き、適当に記録および表示用のフレームを選択することで、フェードイン・フェードアウトや他の表示効果を持つ画像データを作成することができる。

図１８は、第８の実施形態に係るカメラシステムの撮影時の動作例を示すフローチャートである。また、図１９は、第８の実施形態に係るカメラシステムの再生時の動作例を示すフローチャートである。

撮影時は、図１８に示すステップＳＴ７０からステップＳＴ８０の処理が以下のように行われる。
撮影時は、図１９に示すステップＳＴ９０からステップＳＴ９９の処理が以下のように行われる。

装置の動作としては、たとえば撮影者の撮影指令を受け、30fps等の速度で通常の動画を撮影している。
あるときに、入力装置を経たユーザの指令あるいは、タイマー設定や画像の特徴量(画面の輝度や全画面との差異)等の別要因の指令によって、高フレームレートでの動作命令を制御ＣＰＵ４１０を介して装置が受け取った場合は、高フレームレートで撮像するようにイメージセンサ４０２に指令を送る。
イメージセンサ４０２によって高フレームレートで撮影された画像は、たとえば1/240秒間隔に一枚ごとＡＤコンバータ４０４を経てデジタル信号処理部４０５に送られてくる。
この送られてくるフレームを最初から全て処理するのではなく、最初はたとえば1/60秒に一枚の画像を処理し、一時記憶領域に保存する。それを何枚か繰り返した後、次に処理するフレームの間引き率を変更し、1/90秒に一枚の画像を選択して処理、保存する。
この間引き率の変更を連続的に繰り返し、1/120秒に一枚、1/180秒に一枚などの間引き率を経た後、最終的には間引きが全く無いか、あるいは最も間引き率の少ない状態で画像処理、保存を行う。
間引きが全くないか、あるいは最低の間引き率の状態で、ある一定の間、撮影が継続される。この撮影の継続時間は、ユーザあるいは他の要因で、高フレームレート撮影の停止命令を装置が受け付けるか、あるいは一時記憶領域４０７や永続的記憶装置であるメモリ４１４の容量、転送速度が限界に達した時点まで続けられる。
記憶部分の容量、転送速度が限界に達した場合は、その時点で記憶部分制御部から、CPUに向かって記憶部分の能力限界を示す信号が送信され、それがユーザなどによる高フレームレート撮影の停止指令と同じ意味を持つ。
高フレームレート撮影の停止命令をＣＰＵ４１０が認識したら、高フレームレート撮影への突入時とは逆に、保存フレームの間引き率をどんどん上昇させていく。
例としては、1/240秒に一枚の保存レートを1/180, 1/120, 1/90・・・という風に変化させ、保存されずに間引かれるフレームを多くしていく。最終的には、高フレームレート撮影モード突入前のフレームレートに戻り、それと同時にセンサの撮影動作も通常のフレームレートで画像を撮影して送出する動作に戻される。

なお、以上のような撮影および保存フレームのレートの変更を信号処理部で行うのではなく、センサの撮影レートを任意に変更することで、さまざまなフレーム間隔を持つ画像データを作成する方式も考えられる。
しかし、この場合は、まず、順次センサの撮影レートを変更することで、イメージセンサ４０２側が全てのフレームに対して同等の画質を維持するのが困難になる可能性が生じる。
イメージセンサ４０２自身が得意とする撮影フレームレート等があるのに加え、露光量やシャッター周りの制御等を随時制御するのが困難である。
また、前段のイメージセンサ４０２でさまざまにフレームレートが変更されて後段に送り出されると、後段の信号処理側もそれに対応した処理を行う必要があり、前後で動作速度の同期を取る制御方式の設計は、不可能では無いが一般的に難しくなる。

さて、上記のようにフレームを段階的に間引くことで作成された画像データを再生する方法であるが、これは一時記録、あるいは永続的に記録したデータを一連の撮影終了後に表示メモリに読み出す。
読み出された各フレーム間の時間間隔は、上記の理由からそれぞれ異なったものとなっている。これを基本的には、全て時間間隔が同じフレームであり、フレームレートは通常撮影時のもの(30fps等)とみなして、表示装置に送出する。表示装置は、たとえば1/30秒に一枚ごとに、画像をパネルに表示する。
このように再生を行うと、通常撮影部分のフレームは、通常通りに再生され、高フレームレート撮影突入後のフレーム部分に移ると、実際は1/90秒間隔のデータが1/30秒ごとに表示されるため、視覚的にスローモーションがかかったような表示効果が得られる。
その後、1/120, 1/180秒間隔のフレームが順次30fpsで再生され、視覚的にはだんだんと再生速度が低下して、スローモーションが強まっていくような、スローモーションへのフェードイン表示効果が得られる。
その後、再生速度が一様にスローとなった1/240秒間隔の撮影部分に再生が到達し、その部分が終了すると、今度は逆にスローモーション速度が徐々に通常の再生速度に戻っていくかのように再生され、通常の再生モードに戻ることになる。

なお、こうして記録してある画像データを、スローモーションの効果なく全て通常通りに再生したい場合は、高フレームレート撮影部に関しても、1/30秒間隔のフレームだけを選択し、表示装置に送り込めばよい。

以上によって、スローモーション再生に対するフェードイン・フェードアウト効果を１つのビデオカメラあるいはディジタルカメラ装置内で実現することが可能になる。

以上の記録方式とは別に、既に高フレームレートで撮影したデータを、最終的に上記のようなレート間隔の粗密を含み、フェードイン・フェードアウト再生が可能な画像データにコンピュータ上のソフトウェアで実現することも可能である。
その場合、たとえば240fps最高密度で撮影されたフレームを、本カメラシステム４００内で行ったように、順次間引き率を変えて保存、あるいは再生を行えばよい。

また、上記のように決まったパタン、すなわち上記の場合の一定のフェードイン・フェードアウト効果以外に、任意のレートで画像を保存していくことも可能である。その場合は、その任意のパタンに応じた再生効果が得られる。撮影する場合の撮影レートを撮影者が操作する入力装置で段階的に選択可能にすることもできる。例えば、ボタンの押し込み具合によって撮影レートを変更する、入力レバー装置のレバーの曲げ具合で撮影レートを変更する、などが考えられる。

本第８の実施形態によれば、視聴者に対し、通常速度での画像表示から、少しずつ表示速度がスローモーションとなり、完全なスローモーション表示を暫く経過したのち、少しずつ表示速度が速まって通常速度での画像表示に戻るような表示効果を持つ画像表示を提供することができる。
また、視聴者に対し、通常速度での画像表示から、少しずつ表示速度がスローモーションとなり、最後に静止した形で画像表示を終えるような表示効果を持つ画像表示を提供することができる。
また、視聴者に対し、スローモーション表示から始まり、徐々に通常速度に戻っていくような表示効果を持つ画像表示を提供することができる。
さらにまた、上記表示効果を、別に特別な画像表示装置を必要とせず、単一のデジタルカメラシステム内で実現することができる。それにより、撮影後すぐにその表示効果を視聴することができる。
なお、一定の撮影レートを持つ撮影素子を持つシステムで、上記表示効果を持つ画像データを作成することができ、撮影素子に特別な機能を要求しない。
また、既に撮影し終えた画像データに加工を施すことで、上記表示効果を持つ画像データを作成することができる。

＜第９実施形態＞
図２０は、本発明の第９の実施形態に係るカメラシステムの構成例を示すブロック図である。

本カメラシステム５００は、ＣＣＤやＣＭＯＳセンサ等からなるイメージセンサ（固体撮像素子）５０１、制御部としてのＣＰＵ５０２、メモリ５０３、タイムズームボタン（スイッチ）５０４、信号処理部５０５、デコード部（CODEC）５０６、およびタイミングジェネレータ（ＴＧ）５０７を有している。
本第９の実施形態のカメラシステム５００は、動画撮影中にフレームレートの変更をユーザの意思で行え、それに伴う画像データ容量を抑制する機能を有している。
第９の実施形態は、ユーザが任意に操作可能なタイムズームボタン５０４を設け、たとえばその押し込み量（操作量）に従ってフレームレートを変更するような構成を有する。

以下、フレームレートを変更することをタイムズームと定義し、その機能を提供するスイッチをタイムズームボタンと定義する。

イメージセンサ（固体撮像素子）５０１は集光された像を光電変換し、受光量に応じた映像信号を出力する。
ＣＰＵ５０２は、タイムズームボタン５０４からのフレームレート変更を参照しタイミングジェネレータ５０７へフレームレート制御信号ＦＣＴＬを出力する。
メモリ５０３は、信号処理部５０５で所定のフォーマットに変換された画像データの一時的な保存領域である。
信号処理部５０５は、画素データを所定のフォーマットに変換し、メモリ５０３に保存する。画像フォーマットは、たとえば、ITU-R BT601やITU-R BT709で規定される輝度・色差形式である。
デコード部（CODEC）５０６は、所定の画像フォーマットの信号を圧縮し、JPEG、MPEGなどの圧縮画像フォーマットを生成する。
タイミングジェネレータ（TG）５０７は、イメージセンサ（固体撮像素子）５０１を駆動するための駆動信号ＤＲＶを出力する。

図２１は、本第９の実施形態による垂直水平同期信号を用いたフレームレートの変更方法について示す図である。
本実施形態のタイムズームボタン５０４は、押し込み式のスイッチにより形成されている。
動画撮影中にタイムズームボタン５０４を押すことにより、フレームレートの変更が行われる。
フレームレートはタイムズームボタン５０４の押し込む深さにより決定され、段階的または連続的に変化するように制御される。

以下に、本発明の第９の実施形態によるフレームレートの動的変化を実現するイメージセンサ（固定撮像素子）の制御方法について述べる。

フレームレートの変更方法として以下３つの方法について説明する。
１）‐垂直水平同期信号を用いたフレームレートの変更方法、
２）‐画像データの一時的な保存領域であるメモリから処理するフレームを選択することによるフレームレートの変更方法、
３）‐固体撮像素子の駆動クロックを動的に制御することによるフレームレートの変更方法、
である。

＜垂直水平同期信号を用いたフレームレート変更方法＞
図２２は、本第９の実施形態による垂直水平同期信号を用いたフレームレートの変更方法について示す図である。
このフレームレート変更方法時は固体撮像素子は常に最高駆動周波数で動いていることを前提とする。

イメージセンサ（固体撮像素子）５０１の最高フレームレートがNfpsであるとし、タイムズームボタン５０４を押仕込む前に1/4Nfpsのフレームレートで動画像を記録することを考える。
このとき、各フレームの切り替えを制御する垂直同期信号は1/(1/4N)秒毎にタイミングジェネレータ（TG）５０７から出力される。
このとき、イメージセンサ（固体撮像素子）５０１の駆動周波数は最高駆動周波数で動作しているので、有意なイメージセンサ（固体撮像素子）５０１の出力は最高フレームレートで動作した場合と同じ時間で出力され、残りはブランキング期間となる。
次に、任意のタイミングでタイムズームボタン５０４を押し、1/2Nfpsに設定した場合、垂直同期信号は1/(1/2N)秒毎にタイミングジェネレータ（TG）５０５から出力される。
このとき、有意なイメージセンサ（固体撮像素子）５０７の出力は最高フレームレートで動作した場合と同じ時間で出力され、残りはブランキング期間となる。
続いて、任意のタイミングでタイムズームボタン５０４を押し、最高フレームレートに設定した場合、垂直同期信号は1/N秒毎にタイミングジェネレータ（TG）５０７から出力される。このとき、ブランキング期間は必要最小の期間となる。

フレームレートに変更に利用する制御信号は上述した垂直同期信号によるものだけでなく、水平同期信号もしくは垂直同期信号と水平同期信号を制御することでも同等の効果が得られる。
以上のように、イメージセンサ（固体撮像素子）の駆動周波数を変更せずに、垂直水平同期信号だけを制御することによって任意のフレームレートでの動画撮影が可能となる。

＜使用フレーム選択によるフレームレート変更方法＞
図２３は、本第９の実施形態によるイメージセンサ（固体撮像素子）のクロックは変更せずに使用フレームの選択によるフレームレートの変更方法について示す図である。
このフレームレート変更方法時は、イメージセンサ（固体撮像素子）５０１は常に最高駆動周波数で動いていることを前提とする。

イメージセンサ（固体撮像素子）５０１の最高フレームレートがNfpsであるとし、タイムズームボタン５０４を押す前に1/4Nfpsのフレームレートで動画像を記録することを考える。
このとき、イメージセンサ（固体撮像素子）５０１はNfpsで画素データを出力し、信号処理部５０５はNfpsでメモリ５０３に画像データを保存する。
デコード部（CODEC）５０６は、メモリ５０３に保存された画像データから1/4Nfpsのフレームレートを満たすように4画像データにつき1画像データを処理し記録する。

次に、任意のタイミングでタイムズームボタン５０４を押し、1/2Nfpsのフレームレートで動画像を記録することを考える。
このとき、イメージセンサ（固体撮像素子）５０１はNfpsで画素データを出力し、信号処理部５０５はNfpsでメモリ５０３に画像データを保存する。
デコード部（CODEC）５０６は、メモリ５０３に保存された画像データから1/2Nfpsのフレームレートを満たすように2画像データにつき1画像データを処理し記録する。
続いて、任意のタイミングでタイムズームボタン５０４を押し、動画像の記録を最高フレームレートに設定した場合、このときイメージセンサ（固体撮像素子）５０１はNfpsで画素データを出力し、信号処理部５０５はNfpsでメモリ５０３に画像データを保存する。
デコード部（CODEC）５０６は、メモリ５０３に保存された画像データからNfpsのフレームレートを満たすように全画像データを処理し記録する。

以上のように固体撮像素子は、信号処理の制御は変更せずにデコード部（CODEC）で圧縮する画像を選択することで任意のフレームレートでの動画撮影が可能となる。

＜固体撮像素子クロックの動的制御によるフレームレート変更方法＞
図２４は、本第９の実施形態によるイメージセンサ（固体撮像素子）のクロックを動的に制御することによるフレームレートの変更方法について示す図である。

イメージセンサ（固体撮像素子）５０１の最高フレームレートがNfpsであるとし、タイムズームボタン５０４を押す前に1/4Nfpsのフレームレートで動画像を記録することを考える。
このとき、タイミングジェネレータ（TG）５０７は、イメージセンサ（固体撮像素子）５０１の最高動作周波数の1/4のクロックをイメージセンサ（固体撮像素子）５０１に出力する。
イメージセンサ（固体撮像素子）５０１は1/4Nfpsで画素データを出力し、信号処理部５０５は1/4Nfpsで画素データを処理しメモリ５０３に画像データを保存する。
デコード部（CODEC）５０６は、メモリ５０３に保存された画像データを1/4Nfpsで処理し記録する。

次に、任意のタイミングでタイムズームボタン５０４を押し、1/2Nfpsのフレームレートで動画像を記録することを考える。
このとき、タイミングジェネレータ（TG）５０７は、イメージセンサ（固体撮像素子）５０１の最高動作周波数の1/2のクロックをイメージセンサ（固体撮像素子）５０１に出力する。
イメージセンサ（固体撮像素子）５０１は1/2Nfpsで画素データを出力し、信号処理部５０５は1/2Nfpsで画素データを処理しメモリ５０３に画像データを保存する。
デコード部（CODEC）５０６は、メモリ５０３に保存された画像データを1/2Nfpsで処理し記録する。

続いて、任意のタイミングでタイムズームボタン５０４を押し、動画像の記録を最高フレームレートに設定した場合を考える。
このとき、タイミングジェネレータ（TG）５０７は、イメージセンサ（固体撮像素子）５０１の最高動作周波数をイメージセンサ（固体撮像素子）５０１に出力する。
イメージセンサ（固体撮像素子）５０１はNfpsで画素データを出力し、信号処理部５０５はNfpsで画素データを処理しメモリ５０３に画像データを保存する。
デコード部（CODEC）５０６は、メモリ５０３に保存された画像データNfpsで処理し記録する。

本第９の実施形態によれば、フレームレートを動的に変更できるようになるため、従来ではできなかった必要な場面だけを高フレームレートで撮影することが可能となる。
またそれにより、高フレームレートでとりたい場面を動的に選択できるので、あらかじめ高フレームレート固定で撮影した場合と比較し画像データ容量を大幅に抑制することが可能となる。

本発明の第１の実施形態に係るフレームレート変換装置の構成例を示す図である。 通常再生、スロー再生、間引き再生の例を示す図である。 図１の動画像変換回路の画像処理ブロックの構成例を示す図である。 本実施形態に係る画像拡大処理エンジンの拡大縮小処理の例を示す図である。 本実施形態に係る画像拡大縮小処理エンジンにおいて動画像を処理するときに動きベクトルを求める処理手順を示すフローチャートである。 本発明の第２の実施形態に係る画像信号処理装置の構成例を示すブロック図である。 本発明の第３の実施形態に係る画像信号処理装置の構成例を示すブロック図である。 接続しているデバイス、表示装置に応じて解像度、フレームレートを変更する処理を示すフローチャートである。 本発明の第４の実施形態に係る画像信号処理装置の構成例を示すブロック図である。 本発明の第５の実施形態に係る画像信号処理装置を採用したカメラシステムの構成例を示すブロック図である。 本発明の第６の実施形態に係る画像信号処理装置の構成例を示すブロック図である。 第６の実施形態における２つの形態で再生するときの動作例を示すフローチャートである。 図１１の画像信号処理装置の回路動作例を示す図である。 本発明の第７の実施形態に係る画像信号処理装置の構成例を示すブロック図である。 第７の実施形態に係る画像信号処理装置（システム）を使用した画像表示装置の例を示す図である。 本発明の第８の実施形態に係る撮影画像記録装置を採用したカメラシステムの構成例を示すブロック図である。 第８の実施形態において、通常のフレームレートで撮影した部分、段階的にフレームレートが変化する部分、高速一定のフレームレートで撮影した部分を、連続的に表示し、時間的にスローモーション表示がフェードイン・フェードアウトするような表示効果を得られる画像データ構成を示す図である。 第８の実施形態に係るカメラシステムの撮影時の動作例を示すフローチャートである。 第８の実施形態に係るカメラシステムの再生時の動作例を示すフローチャートである。 本発明の第９の実施形態に係るカメラシステムの構成例を示すブロック図である。 第９の実施形態による垂直水平同期信号を用いたフレームレートの変更方法について示す図である。 第９の実施形態による垂直水平同期信号を用いたフレームレートの変更方法について示す図である。 第９の実施形態によるイメージセンサ（固体撮像素子）のクロックは変更せずに使用フレームの選択によるフレームレートの変更方法について示す図である。 第９の実施形態によるイメージセンサ（固体撮像素子）のクロックを動的に制御することによるフレームレートの変更方法について示す図である。

符号の説明

１０・・・フレームレート変換装置、１１・・・動画像変換回路、１１１・・・メモリコントローラ、１１２・・・画像処理ブロック、１１２１・・・演算器、１１２２，１１２３・・・画像拡大縮小エンジン、１１２４・・・メモリアクセス回路、１１２５・・・制御回路、２００，２００Ａ，２００Ｂ，２００Ｄ，２００Ｅ・・・画像信号処理装置、２００Ｃ・・・カメラシステム、２０１，２０１Ｄ・・・動画像変換回路、２０２・・・ＣＰＵ、２０２Ｃ，２０２Ｄ・・・制御ブロック２０３・・・画像メモリ（内蔵メモリ）、２０４・・・外部インターフェース（Ｉ／Ｆ）、２０５，２０５Ｄ・・・画像圧縮伸長部、２０６・・・メモリインインターフェース（Ｉ／Ｆ）、２０７・・・外部メモリ、２０８・・・ストレージインターフェース（Ｉ／Ｆ）、２０９・・・外部保存用メモリ、２１０・・・表示装置インターフェース、２１１・・・表示装置、２１２・・・クロックブロック、２１３・・・電源制御部、２１４・・・メモリ制御部、２１５・・・光学系、２１６・・・イメージセンサ（撮像装置）、２１７・・・アナログ信号処理部、２１８・・・アナログ／デジタル（ＡＤ）コンバータ、２１９・・・デジタル信号処理部、２２０・・・操作デバイス、２２１・・・ヒューマンインターフェース、４００・・・カメラシステム、４０１・・・光学系、４０２・・・イメージセンサ（撮像装置）、４０３・・・アナログ信号処理部、４０４・・・ＡＤコンバータ、４０５・・・デジタル信号処理部、４０６・・・画像圧縮伸長部、４０７・・・画像メモリ、４０８・・・表示装置インインターフェース（Ｉ／Ｆ）、４０９・・・表示装置、４１０・・・制御ＣＰＵ、４１１・・・操作デバイス、４１２・・・ヒューマンインターフェース、４１３・・・ストレージインターフェース、４１４・・・外部保存用メモリ、５００・・・カメラシステム、５０１・・・イメージセンサ（固体撮像素子）、５０２・・・ＣＰＵ、５０３・・・メモリ、５０４・・・タイムズームボタン（スイッチ）、５０５・・・信号処理部、５０６・・・デコード部（CODEC）、５０７・・・タイミングジェネレータ（ＴＧ）。

Claims (12)

1. 外部からの画像信号を処理する画像信号処理装置であって、
   再生すべき画像のフレーム情報および動きベクトル情報を格納可能なメモリと、
   画像を任意のサイズに拡大縮小する演算機能を有し、上記メモリに格納されている複数の元画像から新しいピクセルを作成する処理エンジンと、
   上記メモリからフレーム情報を読み出し、所定の状態に応答して当該フレームレートを再生状態に応じて所定のフレームレートに変換可能で、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する画像処理部と、
   少なくとも一つの表示装置が接続可能な接続部と、を有し、
   上記画像処理部は、
   接続された表示装置の性能および上記接続部の性能の少なくとも一方に基づいてフレームレートを変換可能で、かつ、
   上記処理エンジンは、
   通常の非フレームレート変換時の拡大縮小処理を行う際には、ひとつの元画像の複数のピクセルから新しいピクセルを作成し、
   フレームレート変換時の拡大縮小処理を行う際には、複数の元画像の一または複数のピクセルから新しいピクセルを作成し、
   上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求める機能を含み、
   上記画像処理部は、
   上記メモリに動きベクトル情報があるか否かの判別を行い、動きベクトル情報がある場合には、上記処理エンジンに上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めさせ、
   上記メモリに動きベクトル情報がない場合には、画像を読み出して再生すべき動きベクトルを求め、新しい動きベクトルを求めるに十分な動きベクトルを取得すると、上記処理エンジンに上記取得した動きベクトル情報から新しい動きベクトルを求めさせ、
   求めた新しい動きベクトルを使用して新しいフレームを作成し、一定時間内の画像のフレームレートを変更し、かつ、
   上記画像処理部は、
   所定レートで撮影した各フレーム画像の時間間隔を段階的に変更して間引いた画像を上記メモリに保存することで、各フレーム間隔が連続的に異なる画像データを生成可能であり、
   作成した各フレーム間隔が段階的に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、高速なフレームレートでの記録部分を視覚的にスローモーションで再生し、段階的にフレームレートが変更されて記録された部分は、通常の表示速度から徐々にスローモーションになる、あるいはスローモーションから徐々に通常の表示速度に戻るように処理する
   画像信号処理装置。
2. 上記画像処理部は、
   作成した各フレーム間隔が任意に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、再生速度が任意に変化するように処理する
   請求項１記載の画像信号処理装置。
3. 上記画像処理部は、
   一定のフレームレートで既に記録済みの画像データに対し、段階的にフレームを間引く処理を行う
   請求項１または２記載の画像信号処理装置。
4. 上記画像処理部は、
   装置の内部状態に応じてフレームレートを変換可能である
   請求項１から３のいずれか一に記載の画像信号処理装置。
5. 上記画像処理部は、
   少なくとも周波数、消費電力、メモリ使用量のうちの少なくとも一つに合わせて、フレームレートを変更可能である
   請求項４記載の画像信号処理装置。
6. 上記画像処理部は、
   上記フレームレートを異なる組み合わせにして接続された表示装置に画像を表示可能な手段を有する
   請求項１から５のいずれか一に記載の画像信号処理装置。
7. 上記画像処理部は、
   複数の表示装置に同時にフレームレートの一定ではない画像を表示可能な手段を有する
   請求項１から６のいずれか一に記載の画像信号処理装置。
8. 上記画像処理部は、
   表示装置の対応フレームレートに合わせて、フレームレートを再編して表示可能な手段を有する
   請求項１から７のいずれか一に記載の画像信号処理装置。
9. 上記画像処理部は、
   規格外のフレームレートで作成された画像を表示装置に合わせて作り直す手段を有する
   請求項１から８のいずれか一に記載の画像信号処理装置。
10. 被写体の像を撮像し画像データを出力する撮像部と、
    画像データに所定の処理を行う画像信号処理装置と、を含み、
    上記画像信号処理装置は、
    再生すべき画像のフレーム情報および動きベクトル情報を格納可能なメモリと、
    画像を任意のサイズに拡大縮小する演算機能を有し、上記メモリに格納されている複数の元画像から新しいピクセルを作成する処理エンジンと、
    上記メモリからフレーム情報を読み出し、所定の状態に応答して当該フレームレートを再生状態に応じて所定のフレームレートに変換可能で、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する画像処理部と、
    少なくとも一つの表示装置が接続可能な接続部と、を有し、
    上記画像処理部は、
    接続された表示装置の性能および上記接続部の性能の少なくとも一方に基づいてフレームレートを変換可能で、かつ、
    上記処理エンジンは、
    通常の非フレームレート変換時の拡大縮小処理を行う際には、ひとつの元画像の複数のピクセルから新しいピクセルを作成し、
    フレームレート変換時の拡大縮小処理を行う際には、複数の元画像の一または複数のピクセルから新しいピクセルを作成し、
    上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求める機能を含み、
    上記画像処理部は、
    上記メモリに動きベクトル情報があるか否かの判別を行い、動きベクトル情報がある場合には、上記処理エンジンに上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めさせ、
    上記メモリに動きベクトル情報がない場合には、画像を読み出して再生すべき動きベクトルを求め、新しい動きベクトルを求めるに十分な動きベクトルを取得すると、上記処理エンジンに上記取得した動きベクトル情報から新しい動きベクトルを求めさせ、
    求めた新しい動きベクトルを使用して新しいフレームを作成し、一定時間内の画像のフレームレートを変更し、かつ、
    上記画像処理部は、
    所定レートで撮影した各フレーム画像の時間間隔を段階的に変更して間引いた画像を上記メモリに保存することで、各フレーム間隔が連続的に異なる画像データを生成可能であり、
    作成した各フレーム間隔が段階的に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、高速なフレームレートでの記録部分を視覚的にスローモーションで再生し、段階的にフレームレートが変更されて記録された部分は、通常の表示速度から徐々にスローモーションになる、あるいはスローモーションから徐々に通常の表示速度に戻るように処理する
    カメラシステム。
11. 上記画像処理部は、
    作成した各フレーム間隔が任意に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、再生速度が任意に変化するように処理する
    請求項１０記載のカメラシステム。
12. 外部からの画像信号を処理する画像信号処理方法であって、
    画像を任意のサイズに拡大縮小する演算機能を有し、メモリに格納されている複数の元画像から新しいピクセルを作成する処理ステップと、
    上記メモリからフレーム情報を読み出し、所定の状態に応答して当該フレームレートを再生状態に応じて所定のフレームレートに変換し、新しく再生用のフレームを作成する場合には、上記メモリに格納されている複数のフレームから新しいフレームを作成し、一定時間内の画像のフレームレートを変更する画像処理ステップと、
    接続部に少なくとも一つの表示装置を接続する接続ステップと、を有し、
    上記画像処理ステップは、
    接続された表示装置の性能および少なくとも一つの表示装置が接続可能な接続部の性能の少なくとも一方に基づいてフレームレートを変換するステップを含み、
    上記処理ステップは、
    通常の非フレームレート変換時の拡大縮小処理を行う際には、ひとつの元画像の複数のピクセルから新しいピクセルを作成するステップと、
    フレームレート変換時の拡大縮小処理を行う際には、複数の元画像の一または複数のピクセルから新しいピクセルを作成するステップと、
    上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めるステップと、を含み、
    上記画像処理ステップは、
    上記メモリに動きベクトル情報があるか否かの判別を行い、動きベクトルがある場合には、上記処理ステップに上記メモリに格納されている動きベクトル情報から新しい動きベクトルを求めさせるステップと、
    上記メモリに動きベクトル情報がない場合には、画像を読み出して再生すべき動きベクトルを求め、新しい動きベクトルを求めるに十分な動きベクトルを取得すると、上記処理ステップに上記取得した動きベクトル情報から新しい動きベクトルを求めさせるステップと、
    求めた新しい動きベクトルを使用して新しいフレームを作成し、一定時間内の画像のフレームレートを変更するステップと、を含み、
    上記画像処理ステップは、
    所定レートで撮影した各フレーム画像の時間間隔を段階的に変更して間引いた画像を上記メモリに保存することで、各フレーム間隔が連続的に異なる画像データを生成するステップと、
    作成した各フレーム間隔が段階的に異なる画像データの各フレームを、全て等間隔に再生して表示装置に映し出すことで、高速なフレームレートでの記録部分を視覚的にスローモーションで再生し、段階的にフレームレートが変更されて記録された部分は、通常の表示速度から徐々にスローモーションになる、あるいはスローモーションから徐々に通常の表示速度に戻るように処理するステップと、を含む
    画像信号処理方法。

Images