JP4494490B2 - 動画処理装置及び動画処理方法、動画処理プログラム - Google Patents

Description

本発明は、カラーイメージセンサより時系列的に複数のフレームに分割されて出力された動画のフレームシーケンスを、符号化して圧縮ストリームを生成する動画処理装置及び動画処理方法、動画処理プログラムに関する。

従来、動画を撮影するビデオカメラでは、レンズを介して撮像素子に被写体像を結像し、この撮像素子によって被写体像を光電変換して、時系列的に複数のフレームデータを生成し、この複数のフレーム間の動きを予測して（所謂、フレーム間予測化方式である）、圧縮ストリームを生成する動画処理技術（ＭＰＥＧ）が知られている。

動画処理技術では、一般に、現在フレームの画素が以前フレームの画素に比べてどれくらい動いたかをベクトルで表した動きベクトルを推定（予測）し、全体の画像を伝送する代わりに、これら動きベクトルの差を伝送することによって伝送情報を圧縮する。

詳しくは、ＭＰＥＧで代表される動画処理技術では、フレームの種類が、フレーム間予測を用いずにフレーム内の画像信号をそのまま符号化するＩフレームと、時間的に先行する参照フレームの画像信号からの差分を符号化するＰフレームと、時間的に先行する参照フレームと後行する参照フレームとの差分を符号化するＢフレームとによって構成され、これらのフレームの配列と繰り返し周期が設定されている。

例えば、Ｍ＝３のＭＰＥＧは、図２（ｂ）に表したように、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）が、Ｉを基準にＩ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｉ…、などのように時系列的に連続するフレームで構成される。

一方、このように入力されるフレーム順序と符号化されて伝送される順序とが異なるので、符号化時にフレームの順序を再配列する必要がある。そして、再配列のために、Ｂフレームを一時記憶するためのフレームバッファメモリが必要とされる。例えば、ＩとＰとの間に２枚のＢフレームが挿入されるＭ＝３の場合には、これを記憶するために２フレーム分のメモリが必要とされる（例えば、特許文献１参照）。

また、単板式の撮像素子として、マトリックス状に複数の光電変換素子が構成されると共に、その前面に光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが備えられ、このカラーフィルタを介して出力した単一色の画像信号に信号処理を加えてカラー画像を生成する技術がある。

単板式の撮像素子を介して出力された画像では、各画素が単一色の色情報しか持たない色モザイク画像であって、カラー画像を生成するために、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）等の複数の色情報を備える必要がある。

そこで、単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみの色情報を有する色モザイク画像にもとづいて、デモザイク処理（色補間処理ともいう）を行って、色モザイク画像からカラー画像を生成する。ここで、デモザイク処理とは、色モザイク画像の各画素において不足する他の色情報を、その画素周辺の他の画素の色情報を用いて補間演算することにより、各画素が夫々Ｒ、Ｇ、Ｂ成分の全ての色情報を有するカラー画像を生成する処理である（所謂、色補間処理である）。
特開平１０−０５６６５２号公報

しかしながら、従来の動画処理技術によれば、一般に、フレームの並べ替えする際に、フレームバッファに記憶される画像データが画素毎に複数色の色情報を備えたカラー画像であって、デモザイク処理を必要とする画像データに関連つけて、メモリ容量の節減に効果的な動画処理技術が開示されていなかった。

そこで、本発明は、カラーイメージセンサから出力された画像データから、デモザイク処理（所謂、本発明におけるカラー画像生成の処理である）及び圧縮ストリームの生成を行う際に、フレーム再配列のための記憶容量や帯域を節減して、低消費電力化と低コスト化を実現できる動画処理装置及び動画処理方法、動画処理プログラムを提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、カラーイメージセンサより時系列的に複数のフレームに分割されて第一のデータ形式で出力された動画のフレームシーケンスから、フレーム間予測化方式によって符号化された圧縮ストリームを生成する動画処理装置において、前記カラーイメージセンサが、マトリックス状に配置された複数の光電変換素子と、該光電変換素子の夫々に対応つけられた複数色光のカラーフィルタとを備え、光電変換素子毎に複数色光の内の単一色光の色情報を出力する単板カラーイメージセンサであり、前記第一のデータ形式が画素毎に単一色光の色情報を有する色モザイク画像のデータであって、前記第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを備えて、前記第一のデータ形式からなるフレームシーケンスを、前記圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列部と、前記フレーム再配列部で並べ替えられたフレームシーケンスにおける前記第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成部と、前記カラー画像に変換された前記フレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し前記圧縮ストリームを生成する動画圧縮部と、を備えていることを特徴とする。

請求項１に記載の動画処理装置によれば、第一のデータ形式が画素毎に単一色光の色情報を有する色モザイク画像であって、第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを備えて、第一のデータ形式からなるフレームシーケンスを、圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列部と、フレーム再配列部で並べ替えられたフレームシーケンスにおける第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成部と、カラー画像に変換されたフレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し圧縮ストリームを生成する動画圧縮部と、備えていることにより、動画の圧縮ストリームを生成する際のフレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、低消費電力化に伴う当該動画処理回路における発熱量の低減化を実現できる。

つまり、フレーム再配列に用いられるフレームデータが、カラー画像を生成する前のイメージセンサから出力された第一のデータ形式であって画素毎に単一色光の色情報のみを有する色モザイク画像のデータであるため、フレーム再配列の際に、画素毎に複数色光の色情報を有するカラー画像データを用いるよりも、フレーム再配列に必要なメモリ容量や帯域を節減できる。

また、請求項１に記載の動画処理装置は、請求項２に記載の発明のように、前記カラーイメージセンサが、前記単板カラーイメージセンサに代えて、分光感度分布が異なる複数のカラーイメージセンサによって構成されて、該複数のカラーイメージセンサの受光面が画素配置方向にずらして配設され、前記第一のデータ形式が、前記複数のカラーイメージセンサの内の夫々から出力されて画素毎に単一色光の色情報を有する色モザイク画像のデータであって、前記カラー画像生成部が、前記複数のカラーイメージセンサの画像データを合成して前記カラー画像を生成するとともに解像度を高めるように構成されていることにより、カラーイメージセンサから出力された画像データから、カラー画像の生成及び圧縮ストリームの生成を行う際に、解像度を高めつつフレーム再配置に必要な記憶容量や帯域を節減できる。

また、請求項１又は請求項２に記載の動画処理装置は、請求項３に記載の発明のように、前記複数のフレームが、時間的に後行するフレームを参照せずに符号化するＮｏｎＦフレームと、時間的に後行するフレームを参照して符号化するＦフレームとによって構成され、前記フレーム再配列部が、前記入力されるＮｏｎＦフレーム、Ｆフレームの種別に応じて遅延を与えて出力するように構成されている際に、適用できる。

また、請求項３に記載の動画処理装置は、請求項４に記載の発明のように、前記ＮｏｎＦフレームが、さらに、前記フレーム間予測を用いずにフレーム内の画像信号をそのまま符号化するＩフレームと、時間的に先行する参照フレームの画像信号からの差分を符号化させるＰフレームとからなり、前記Ｆフレームが、時間的に先行する参照フレームと後行する参照フレームとの差分を符号化するＢフレームであり、前記フレーム再配列部が、前記入力されるＩフレーム、Ｐフレーム、Ｂフレームの種別に応じて遅延を与えて出力するように構成されている際に、適用できる。

また、請求項１又は請求項２に記載の動画処理装置は、請求項５に記載の発明のように、前記フレーム再配列部が、前記複数のフレーム種別のうちの一部のフレーム種別に対して遅延を与えて出力するように構成されていると良い。

また、請求項１乃至請求項５の何れか記載の動画処理装置は、請求項６に記載の発明のように、前記フレーム再配列部には、前記第一のデータ形式の画像データにおける、少なくとも２フレーム分の夫々毎に画像データを格納するフレームバッファが備えられていることが好ましい。これにより、一般的な動画処理技術であるＭ＝３のＭＰＥＧにおいて、Ｉフレーム及びＰフレームの間に配列される２枚のＢフレームを記憶できる。

また、請求項１乃至請求項６の何れか記載の動画処理装置は、請求項７に記載の発明のように、前記カラー画像生成部には、前記カラー画像の画像変形を行う画像変形処理部が備えられていることが好ましい。これにより、カラー画像の変形処理をする際に必要となるフレームバッファとして、フレーム再配列部のフレームバッファを利用することができ、別途画像変形に必要な記憶容量や帯域を節減できる。

また、請求項７に記載の動画処理装置は、請求項８に記載の発明のように、前記フレーム再配列部が、前記画像変形の際にフレーム内の画像データを非ラスター順次で出力するように構成されていることが好ましい。これにより、別途画像変形用のフレームバッファを用意せずに、フレーム再配列部のフレームバッファを利用してデジタルズームや手ぶれ、収差補正等の画像変形を行うことができる。

また、請求項１乃至請求項８の何れか記載の動画処理装置は、請求項９に記載の発明のように、ファインダーへ出力するカラー画像を生成する第２のカラー画像生成部を備え、該第２のカラー画像生成部では、前記フレーム再配列部におけるフレーム再配置を行うことなしに、カラー画像を生成することにより、ファインダーにカラー画像を生成する際に、ファインダーにはディスプレイ順に画像が表示されて、フレーム再配置による遅延が無く、カラーイメージセンサからの出力に対する追従性を良好に維持できる。

また、請求項１乃至請求項９の何れか記載の動画処理装置は、請求項１０に記載の発明のように、前記カラーイメージセンサから出力されるフレームシーケンスを、前記フレーム再配列部を通さずに前記カラー画像生成部に出力する再配列部迂回手段を備え、前記カラー画像生成部へ入力されるフレームシーケンスの、前記カラーイメージセンサから出力されるフレーム順と前記フレーム再配列部から出力されるフレーム順とを切り替え可能に構成されていることにより、必要に応じてフレーム再配列の有無を選択できて利便性を向上できる。

また、請求項１１に記載の発明のように、請求項１〜請求項１０の何れか記載の動画処理装置及びカラーイメージセンサと、前記動画圧縮部で圧縮された動画情報を記憶する記録装置とを用いて、カムコーダを構成すればよい。これにより、カムコーダにおいて、動画のフレームシーケンスの圧縮ストリームを生成する際に、フレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、動画処理回路における発熱量の低減化を実現できる。

また、請求項１２に記載の発明のように、請求項１〜請求項１０の何れか記載の動画処理装置及びカラーイメージセンサと、前記動画圧縮部で圧縮された動画情報を外部機器へ送信する送信装置とを用いて遠隔モニター用カメラを構成すればよい。これにより、遠隔モニター用カメラにおいて、動画のフレームシーケンスの圧縮ストリームを生成する際に、フレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、動画処理回路における発熱量の低減化を実現できる。

次に、請求項１３に記載の発明は、カラーイメージセンサより時系列的に複数のフレームに分割されて第一のデータ形式で出力された動画のフレームシーケンスから、フレーム間予測化方式によって符号化されたカラー動画の圧縮ストリームを生成する動画処理方法において、前記カラーイメージセンサが、マトリックス状に配置された複数の光電変換素子と、該光電変換素子の夫々に対応つけられた複数色光のカラーフィルタとを用い、光電変換素子毎に複数色光の内の単一色光の色情報を出力する単板カラーイメージセンサであり、前記第一のデータ形式が、画素毎に単一色光の色情報を有する色モザイク画像のデータであって、前記第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを用い、前記第一のデータ形式からなるフレームシーケンスを、前記圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列ステップと、前記フレーム再配列ステップで並べ替えられたフレームシーケンスにおける前記第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成ステップと、前記カラー画像に変換された前記フレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し前記圧縮ストリームを生成する動画圧縮ステップと、を用いることを特徴とする。

請求項１３に記載の動画処理方法によれば、第一のデータ形式が画素毎に単一色光の色情報を有する色モザイク画像のデータであって、第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを用いて、第一のデータ形式からなるフレームシーケンスを、圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列ステップと、フレーム再配列ステップで並べ替えられたフレームシーケンスにおける第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成ステップと、カラー画像に変換された前記フレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し圧縮ストリームを生成する動画圧縮ステップとを用いることにより、請求項１に記載の発明と同様に、動画の圧縮ストリームを生成する際のフレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、低消費電力化に伴う当該動画処理回路における発熱量の低減化を実現できる。つまり、フレーム再配列に用いられるフレームデータが、カラー画像を生成する前のイメージセンサから出力された第一のデータ形式であって、この第一のデータ形式が画素毎に単一色光の色情報のみを有する色モザイク画像のデータであるため、フレーム再配列の際に、画素毎に複数色光の色情報を有するカラー画像データを用いるよりも、フレーム再配列に必要なメモリ容量や帯域を節減できる。

次に、請求項１４に記載の発明は、カラーイメージセンサより時系列的に複数のフレームに分割されて第一のデータ形式で出力された動画のフレームシーケンスから、フレーム間予測化方式によって符号化されたカラー動画の圧縮ストリームを生成する動画処理プログラムであって、前記カラーイメージセンサが、マトリックス状に配置された複数の光電変換素子と、該光電変換素子の夫々に対応つけられた複数色光のカラーフィルタとを用い、光電変換素子毎に複数色光の内の単一色光の色情報を出力する単板カラーイメージセンサであり、前記第一のデータ形式が、画素毎に単一色光の色情報を有する色モザイク画像のデータであって、前記第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを用い、前記第一のデータ形式からなるフレームシーケンスを、前記圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列ステップと、前記フレーム再配列ステップで並べ替えられたフレームシーケンスにおける前記第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成ステップと、前記カラー画像に変換された前記フレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し前記圧縮ストリームを生成する動画圧縮ステップと、をコンピュータに実行させることを特徴とする。

請求項１４に記載の動画処理プログラムによれば、第一のデータ形式が、画素毎に単一色光の色情報を有する色モザイク画像のデータであって、第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを用いて、第一のデータ形式からなるフレームシーケンスを、圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列ステップと、フレーム再配列ステップで並べ替えられたフレームシーケンスにおける第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成ステップと、カラー画像に変換されたフレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し圧縮ストリームを生成する動画圧縮ステップと、をコンピュータに実行させることにより、請求項１に記載の発明と同様に、動画の圧縮ストリームを生成する際のフレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、低消費電力化に伴う当該動画処理回路における発熱量の低減化を実現できる。つまり、フレーム再配列に用いられるフレームデータが、カラー画像を生成する前のイメージセンサから出力された第一のデータ形式であって第一のデータ形式が画素毎に単一色光の色情報のみを有する色モザイク画像のデータであるため、フレーム再配列の際に、画素毎に複数色光の色情報を有するカラー画像データを用いるよりも、フレーム再配列に必要なメモリ容量や帯域を節減できる。

本発明の動画処理装置、動画処理方法、動画処理プログラムは、第一のデータ形式が、画素毎に単一色光の色情報を有する色モザイク画像のデータであって、第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを用い、第一のデータ形式からなるフレームシーケンスを、圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替え、次いで、並べ替えられたフレームシーケンスにおける第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換し、カラー画像に変換されたフレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し圧縮ストリームを生成することにより、フレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、低消費電力化に伴う当該動画処理回路における発熱量の低減化を実現できる。つまり、フレーム再配列に用いられるフレームデータが、カラー画像を生成する前のイメージセンサから出力された第一のデータ形式であって画素毎に単一色光の色情報のみを有する色モザイク画像のデータであるため、動画の圧縮ストリームを生成する際のフレーム再配列において、画素毎に複数色光の色情報を有するカラー画像データを用いるよりも、フレーム再配列に必要なメモリ容量や帯域を節減できる。

また、本発明における動画処理装置及びカラーイメージセンサと、前記動画処理装置の動画圧縮部で圧縮された動画情報を記憶する記録装置とを用いて、カムコーダを構成することにより、カムコーダにおいて、動画のフレームシーケンスの圧縮ストリームを生成する際に、フレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、動画処理回路における発熱量の低減化を実現できる。

また、本発明における動画処理装置及びカラーイメージセンサと、前記動画処理装置の動画圧縮部で圧縮された動画情報を外部機器へ送信する送信装置とを用いて遠隔モニター用カメラを構成することにより、遠隔モニター用カメラにおいて、動画のフレームシーケンスの圧縮ストリームを生成する際に、フレーム再配列に必要なメモリ容量及び帯域（フレームバッファのメモリ容量及び帯域）を節減でき、低消費電力化、低コスト化、動画処理回路における発熱量の低減化を実現できる。

(第１の実施形態)
次に、図１、図２を用いて、本発明の第１の実施形態を説明する。

図１において、（ａ）が本発明の動画処理装置が適用された第１の実施形態の撮像装置１Ａの構成を表したブロック図、（ｂ）が同撮像装置１Ａにおける撮像部の説明図である。また、図２は、同第１の実施形態の撮像装置１Ａにおける、フレーム再配列部の動作の説明図である。

図１（ａ）に表したように、撮像装置１Ａは、例えばビデオカムコーダであって、撮影した画像信号を順次アナログ電気信号に変換して出力する撮像部１１０、撮像部１１０から出力されたアナログ電気信号をデジタルデータに変換して出力するＡＦＥ１２０、ＡＦＥ１２０から出力されたデジタルデータをフレーム毎に分割し、そのフレーム順序を変更して出力する（所謂、フレームを再配列する）フレーム再配列部１３０、フレーム再配列部１３０から出力された各フレームの画像データをカラー画像に変換する画像生成部１４０（本発明におけるカラー画像生成部である）、画像生成部１４０から出力されたカラー画像のフレームシーケンスを、動画として圧縮し、圧縮ストリームを出力する動画圧縮部１５０、動画圧縮部１５０から出力された圧縮ストリームを、例えばフラッシュメモリや光／磁気記録媒体に記録する記録部１６０、等によって構成されている。

また、撮像装置１Ａには、図示されないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が備えられており、ＣＰＵがＲＯＭに格納された制御用プログラムに従って、当該撮像装置１Ａの各処理を制御する。

撮像部１１０は、単板式のカラー撮像素子（本発明における単板カラーイメージセンサである）であって、複数の光電変換素子がマトリックス状に配置され、その前面には、光電変換素子に対応付けて、図１（ｂ）に表したように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタを備え、各色のフィルタ部を通過した単一色の光量を電気信号に変換するように構成されている。なお、ベイヤー配列は、図１（ｂ）に表したように、Ｇ色のフィルタが市松模様で配置され、Ｇ色フィルタとＲ色フィルタが交互に配置された列と、Ｇ色フィルタとＢ色フィルタが交互に配置された列とが、交互に配置されている。

ＡＦＥ１２０は、撮像部１１０から出力されたアナログ画像信号に対して相関二重サンプリングし、ノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、相関二重サンプリング回路を介して入力されたアナログ画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、可変利得増幅器を介して入力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器等によって構成され、撮像部１１０から出力されたフレームのアナログ画像信号を、ベイヤー配列に対応付けたデジタル画像信号に変換してフレーム再配列部１３０に出力する。

ここで、撮像部１１０が２Ｍピクセル（画素）で構成され、ＡＦＥ１２０におけるＡ／Ｄ変換の精度を８ｂｉｔとすれば、ＡＦＥ１２０から出力される１フレームあたりの画像信号は、１６Ｍｂｉｔ（２Ｍ＊８ｂｉｔ＝１６Ｍｂｉｔ）となる。

フレーム再配列部１３０は、ディスプレイ順序で入力されるデジタル化されたベイヤーデータのフレーム順序を、動画圧縮部１５０の処理順に対応付けられた伝送順序に変換する。

例えば、動画圧縮部１５０において、Ｍ＝３のＭＰＥＧストリームを生成する際には、図２（ａ）に表したように、ｋ番目に入力される入力フレーム（ｋ）に対し、ｋ≡２（ｍｏｄ ３）であれば、Ｉフレーム又はＰフレームとなり、ｋ≡０又は１（ｍｏｄ ３）であれば、Ｂフレームとなる。ｍｏｄは、所定の数値（ｋ）をｍｏｄナンバーで除算してその剰余を求める演算子である。

そこで、フレーム再配列部１３０では、Ｂフレームに対して、Ｉフレーム又はＰフレームよりも３フレーム多い遅延を与えて画像生成部１４０に出力する。本実施形態では、４フレーム分のフレームバッファ１３０ａ〜１３０ｄを備え、入力と出力に適宜フレームバッファ１３０ａ〜１３０ｄを割り当てることによりフレームの再配列を実現する。フレームバッファ１３０ａ〜１３０ｄは、夫々１６Ｍｂｉｔの容量をもち、合計６４Ｍｂｉｔのメモリを有する。

画像生成部１４０は、フレーム再配列部１３０から出力されたフレームを、順次、ベイヤー画像からカラー画像に変換する。カラー画像信号を、ＹＣｒＣｂ＝４：２：２として生成する。この際、ベイヤー画像では１画素あたり１つの値＝８ｂｉｔ／ｐｉｘで表されているのに対し、カラー画像では１画素あたり２つの値＝１６ｂｉｔ／ｐｉｘに倍増し、１フレームあたりのカラー画像信号が、３２Ｍｂｉｔ（１６ｂｉｔ／ｐｉｘ＊２Ｍｐｉｘ＝３２Ｍｂｉｔ）になる。なお、前述のカラー画像信号において、Ｙが輝度、ＣｒがＹに対するＲの色差、ＣｂがＹに対するＢの色差である。

本実施例では、どのフレームに対しても、フレーム再配列部１３０に対しフレームバッファ１３０ａ〜１３０ｄを参照することができるように構成されている。そのため、画像生成部１４０は、ベイヤー画像に対して非ラスター順次のアクセスを行うことができる。

これにより、本実施形態における撮像装置１Ａは、別途画像変形用のバッファを用意することなしに、フレームバッファ１３０ａ〜１３０ｄを利用して、デジタルズームや手ぶれ、色収差及び歪曲収差補正等の画像変形も行うことができる。

動画圧縮部１５０は、画像生成部１４０から出力されるカラー画像のフレームシーケンスを圧縮する。本実施例では、Ｉフレーム又はＰフレームが現れる周期Ｍが３フレーム間隔（Ｍ＝３）のＭＰＥＧ圧縮を行う。そして、ＭＰＥＧの動画圧縮部１５０では、フレーム間予測を行うための２つの予測メモリ１５０ａ、１５０ｂが備えられている。また、各フレームの圧縮データは、一連の圧縮ストリームとして記録部１６０に出力される、

次に、圧縮ストリームを生成する動作の詳細を説明する。まず、撮像部１１０において、所定時間（例えば、１／６０秒）毎に露光が行われ、露光毎に、各光電変換素子における露光量をアナログ電気信号とし、順次ＡＦＥ１２０に出力する。この際、各光電変換素子から出力されたアナログ電気信号の集合は、ベイヤー配列のカラーフィルタに対応付けられたベイヤー画像信号となる。また、動画撮影であるため、一回の露光が終わると同時に次のフレームの露光が開始され、順次連続してアナログ画像信号が出力される。そして、各画像をフレームとし、そのフレームシーケンスによって動画が形成される。

次に、撮像部１１０から出力されたアナログ電気信号は、ＡＦＥ１２０においてデジタル信号に変換される。このデジタル信号が、撮像部のベイヤー配列に対応けられたベイヤー画像信号であって、画素毎に単一色光のみの色情報を有する第一のデータ形式である。また、ＡＦＥ１２０から出力されるベイヤー画像信号は、撮像部１１０の露光順に次々と出力される（本書では、この出力順をディスプレイ順と言う）。

次に、図２（ａ）に表したように、各フレームに対して、ディスプレイ順にｋ＝０、１、２…、とフレーム番号を与え、ｋ≡２（ｍｏｄ ３）のフレームをＩフレーム又はＰフレームとし、ｋ≡０（ｍｏｄ ３）又はｋ≡１（ｍｏｄ ３）のフレームをＢフレームとして、各フレームがフレーム再配列部１３０に入力される。また、この際、ディスプレイ順で出力されるベイヤー画像信号は、ラスター順次でフレーム再配列部１３０に入力される。

次に、フレーム再配列部１３０において、ＡＦＥ１２０から入力された入力フレーム（ｋ）は、フレームバッファ（図２（ａ）における入力バッファである）１３０ａ〜１３０ｄのうちの何れかに格納され、格納された順序と異なる順序で画像生成部１４０に出力される（本発明におけるフレーム再配列ステップである）。

詳しくは、図２（ａ）、（ｂ）に表したように、Ｉフレーム又はＰフレームには１フレームの遅延が行われ、Ｂフレームには４フレームの遅延が行われる。この際、本発明では、遅延の絶対量に拘らず、Ｂフレームに対し、Ｉフレーム又はＰフレームよりもＭ（Ｍは、ＭＰＥＧ動画処理技術において、Ｉフレーム又はＰフレームが現れる周期である）フレーム分だけ多い遅延を与えることが重要である。これにより、画像生成部１４０に入力されるフレーム順序が、伝送順序となる。

次に、画像生成部１４０において、フレーム再配列部１３０を介して入力された各フレームを、ベイヤー画像信号からカラー画像信号に変換する（本発明におけるカラー画像生成ステップである）。ここでは、一般に知られている色補間処理或いはデモザイク処理の他に、色変換や、画像のエッジ強調、ノイズ抑制、トーンカーブ処理等の画像処理を行い、鑑賞に適した画質とする。

さらに、画像生成部１４０では、フレーム再配列部１３０のフレームバッファ１３０ａ〜１３０ｄに格納されているベイヤー画像信号を非ラスター順次に読み出して、拡大、縮小、回転などの画像変形を行うことができる。画像生成部１４０で変換されたカラー画像信号は、動画圧縮部１５０に出力される。

次に、動画圧縮部１５０において、画像生成部１４０から入力されたカラー画像のフレームシーケンスの圧縮処理を行う（本発明における動画圧縮ステップである）。

本実施例では、Ｍ＝３のＭＰＥＧ圧縮処理を行い、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類に対して異なる圧縮法を用いる。なお、本発明におけるＮｏｎＦフレームがＩフレーム及びＰフレームに相当し、本発明におけるＦフレームがＢフレームに相当する。

詳しくは、Ｉフレームに対しては、予測メモリを用いないフレーム内符号化を行い、記録部１６０に出力すると共に、予測メモリ１５０ａ又は１５０ｂのうちの更新履歴が古い方（つまり、先に更新された方）に入力して更新する。

Ｐフレームに対しては、予測メモリ１５０ａ又は１５０ｂのうちの更新履歴が新しい方に格納されているフレームからのフレーム間予測を用いて符号化を行い、記録部１６０に出力すると共に、予測メモリ１５０ａ又は１５０ｂのうちの更新履歴が古い方に入力して更新する。Ｐフレームが画像生成部１４０に入力される際、予測メモリ１５０ａ又は１５０ｂの何れか新しい方には、３フレーム直前に入力されたＩフレーム又はＰフレームが格納されている。

Ｂフレームに対しては、予測メモリ１５０ａ及び１５０ｂに格納されている２つのフレームからのフレーム間予測を用いて符号化を行い、記録部１６０に出力する。Ｂフレームが動画圧縮部１５０に入力される際、予測メモリ１５０ａ又は１５０ｂの何れか新しい方には、画像生成部１４０に直前に入力されたＩフレーム又はＰフレームが格納されており、他方には（つまり、予測メモリ１５０ａ又は１５０ｂの何れか古い方）、さらにその３フレーム直前に入力されたＩフレーム又はＰフレームが格納されている。

ただし、画像生成部１４０に入力されるフレームの順序がフレーム再配列部１３０で再配列された伝送順序であって、ディスプレイ順序でいえば、予測メモリ１５０ａ又は１５０ｂの何れか古い方には、撮像部１１０において（処理対象としているＢフレームの）直前に露光されたＩフレーム又はＰフレームが格納され、他方には、撮像部１１０において（処理対象としているＢフレームの）直後に露光されたＩフレーム又はＰフレームが格納されていることになり（所謂、本発明における時間的に先行する参照フレームと時間的に後行する参照フレームが格納されている）、これによりＢフレームでは双方向予測が実現される。

次に、記録部１６０において、動画圧縮部１５０で符号化された画像シーケンスの圧縮ストリームが、記録媒体に記録される。

なお、撮像装置１Ａにおいて、記録部１６０に代えて送信部を備えてもよい。この際、送信部は、有線或いは無線の通信手段を経て、他の映像機器に接続される。また、送信部は、動画圧縮部１５０によって符号化された画像シーケンスを、圧縮ストリームとして他の映像機器に送信する。これにより、遠隔モニター用カメラを構成できる。

以上のように、第１の実施形態に記載の撮像装置１Ａは、一般にＭＰＥＧ圧縮で必要とされるフレーム再配列処理を、カラー画像ではなくベイヤー画像に対して行うことにより、フレーム再配列に必要なメモリ容量及び帯域を削減できる。また、画像生成部１４０において、フレームの再配列に用いたフレームバッファ１３０ａ〜１３０ｄを利用して画像変形を行うことにより、別途画像変形のためのメモリを必要とすることなく画像変形を行なうことができる。

つまり、従来のように画像生成部の後にフレーム再配列部と動画圧縮部を構成すると、フレーム再配列部においては、カラー画像を並べ替えるために、本第１の実施形態に較べて、大きなメモリ容量のフレーバッファが必要となり、所要帯域も大きくなる。また、従来例によれば、一般に、画像生成部において画像変形用のフレームバッファが別途必要になる。なお、本実施形態の撮像部１１０では１００万画素（１Ｍピクセル）のＰＩＡ（Ｐｉｘｅｌ Ｉｎｔｅｒｌｅａｖｅｄ Ａｒｒａｙ）配列とし、画像生成部１４０ではデモザイク処理に加えて高画素化処理を行ってもよい。この場合、本発明の適用により、フレーム再配列に要するメモリ容量及び帯域をさらに半減できる。ここでＰＩＡ配列は、正方格子を４５度回転させた画素配列であって、ベイヤー配列に比較すると、集光面積を広げることができて、１Ｍピクセルでベイヤー配列の２Ｍピクセルに近い解像度を得ることができる。

（第２の実施形態）
次に、図３及び図４を用いて、本発明の第２の実施形態を説明する。図３において、（ａ）が本発明の動画処理装置が適用された第２の実施形態の撮像装置１Ｂの構成を表したブロック図、（ｂ）が同撮像装置１Ｂにおける撮像部の説明図、（ｃ）が同撮像装置１Ｂにおける画像データ合成処理の説明図である。また、図４は、同実施形態の撮像装置１Ｂにおけるフレーム再配列部の動作の説明図である。

尚、第２の実施形態における撮像装置１Ｂは、基本的に第１の実施形態で表した撮像装置１Ａと同じ構成なので、共通と成る構成部分については同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。

図３（ａ）に表したように、撮像装置１Ｂは、例えばビデオカムコーダであって、撮影した画像信号を順次アナログ電気信号に変換して出力する撮像部１１１、撮像部１１１から出力されたアナログ電気信号をデジタルデータに変換して出力するＡＦＥ１２０、ＡＦＥ１２０から出力されたデジタルデータをフレーム毎に分割し、そのフレーム順序を変更して出力する（所謂、フレームを再配列する）フレーム再配列部１３１、フレーム再配列部１３１から出力された各フレームデータをカラー画像に対応つけたカラーデータに変換する画像生成部１４１（本発明におけるカラー画像生成部である）、画像生成部１４１から出力されたカラー画像のフレームシーケンスを、動画として圧縮し、圧縮ストリームを出力する動画圧縮部１５０、動画圧縮部１５０から出力された圧縮ストリームを、例えばフラッシュメモリや光又は磁気記録媒体に記録する記録部１６０、等によって構成されている。

撮像部１１１は、分光感度分布が異なる３枚の撮像素子１１１ａ、１１１ｂ、１１１ｃによって構成されて、夫々の受光面が画素配置方向にずらして配設されている。

詳しくは、撮像部１１１は、Ｒ、Ｇ、Ｂの色光を分離するための色分解プリズムが結像光学系の光路上に配置され、各色光の結像面に撮像素子１１１ａ、１１１ｂ、１１１ｃが配置されている３板カラーカメラである。

そして、図３（ｂ）に表したように、撮像素子１１１ａ、１１１ｂ、１１１ｃの位置をサブピクセルの精度でずらしておくことによって、撮像素子１１１ａ、１１１ｂ、１１１ｃ毎の画素数よりも高い解像度を得るように構成されている。

つまり、撮像部１１１は、分光感度分布が異なる複数の撮像素子１１１ａ、１１１ｂ、１１１ｃからなるカラーイメージセンサによって構成されて、夫々の受光面が画素配置方向にずらして配設されている。

本第２の実施形態では、フルＨＤ（ｆｕｌｌ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）の２Ｍ画素の解像度を得るものとし、撮像素子１１１ａ、１１１ｂ、１１１ｃ毎に０．５Ｍピクセル（画素）で構成され、Ｇに対してＲ及びＢが縦横に半画素（（Ｐｙ／２）及び（Ｐｘ／２））ずつ、ずらして配置されているものとする。

ＡＦＥ１２０は、第１の実施形態と同様に、撮像部１１１から出力されたアナログ画像信号を、Ｒ、Ｇ、Ｂの３つのプレーンからなるデジタル画像信号に変換してフレーム再配列部１３１に出力する。

ここで、ＡＦＥ１２０におけるＡ／Ｄ変換の精度を８ｂｉｔとすれば、ＡＦＥ１２０から出力される１フレームあたりの画像信号は、１２Ｍｂｉｔ（０．５Ｍ＊８ｂｉｔ＊３プレーン＝１２Ｍｂｉｔ）となる。

フレーム再配列部１３１は、第１の実施形態と同様に、ディスプレイ順序で入力されるデジタル化された画素ずらしデータのフレーム順序を、動画圧縮部１５０の処理順に対応付けた伝送順序に変換する。本第２の実施形態では、フレーム再配列部１３１に２フレーム分のフレームバッファ１３１ａ、１３１ｂが備えられ、撮像部１１１からの入力に応じて、適宜、フレームバッファ１３１ａ、１３１ｂを割り当てたり、或いは入力をそのまま出力したりすることにより、フレームの再配列を実現する。フレームバッファ１３１ａ、１３１ｂは、夫々１２Ｍｂｉｔの容量をもち、合計２４Ｍｂｉｔのメモリを有する。

画像生成部１４１は、フレーム再配列部１３１から出力されたフレームを、順次、画素ずらし画像から高解像度化処理を行い、１フレームあたりの画素数が各撮像素子１１１ａ、１１１ｂ、１１１ｃにおける画素数の４倍になる２Ｍ画素のカラー画像に変換する。つまり、図３（ｃ）に表したようにＧに対してＲ及びＢが縦横に半画素（（Ｐｘ／２）及び（Ｐｙ／２））ずつ、ずらして配置された画像信号を用いて、１フレームあたり４倍の画素数を補間生成（高密度補間処理）し、画素毎に、カラー画像信号を、ＹＣｒＣｂ＝４：２：２として生成する。

この際、画素ずらし画像では、１フレームあたりの画像信号が１２Ｍｂｉｔで表されているのに対し、カラー画像では，１フレームあたりのカラー画像信号が、３２Ｍｂｉｔ（１６ｂｉｔ／ｐｉｘ＊２Ｍｐｉｘ＝３２Ｍｂｉｔ）になる。

次に、第１の実施形態と同様に、動画圧縮部１５０において、画像生成部１４１から出力されるカラー画像のフレームシーケンスを圧縮し、各フレームの圧縮データが、一連の圧縮ストリームとして記録部１６０に出力される。

次に、圧縮ストリームを生成する動作の詳細を説明する。まず、撮像部１１１において、所定時間（例えば、１／６０秒）毎に露光が行われ、露光毎に、各光電変換素子における露光量をアナログ電気信号とし、順次ＡＦＥ１２０に出力する。

この際、撮像部１１１が３つの撮像素子１１１ａ、１１１ｂ、１１１ｃからなるため、各光電変換素子から出力されたアナログ電気信号の集合は、３プレーンのアナログ画像信号となる。また、各プレーンでは０．５Ｍピクセルの低解像度の動画撮影である。一回の露光が終わると同時に次のフレームの露光が開始され、順次連続して画素ずらし３プレーンのアナログ画像信号が出力される。

また、この際、１回の露光に対応する３プレーンの画像信号を集合して１つのフレームとし、そのフレームシーケンスによって動画が形成される。

次に、撮像部１１１から出力された画素ずらし３プレーンのアナログ電気信号（本発明における第一のデータ形式である）は、ＡＦＥ１２０においてデジタル信号に変換される。また、ＡＦＥ１２０から出力されるデジタルの画像信号は、撮像部１１１の露光順に次々と出力される（本書では、この出力順をディスプレイ順という）。

次に、図４（ａ）に表したように、各フレームに対して、ディスプレイ順にｋ＝０、１、２…、とフレーム番号を与え、ｋ≡２（ｍｏｄ ３）のフレームをＩフレーム又はＰフレームとし、ｋ≡０（ｍｏｄ ３）又はｋ≡１（ｍｏｄ ３）のフレームをＢフレームとして、フレーム再配列部１３１に入力される。また、この際、ディスプレイ順で出力された画素ずらし３プレーンの画像信号は、フレーム再配列部１３１に入力される。

次に、図４（ａ）、（ｂ）に表したように、フレーム再配列部１３１において、入力された入力フレーム（ｋ）がＩフレーム又はＰフレームであれば、そのまま画像生成部１４１に出力する。また、フレーム再配列部１３１において、入力された入力フレーム（ｋ）がＢフレームであれば、一旦そのデータをフレームバッファ１３１ａ、１３１ｂに交互に入力信号を記録すると同時に、元々フレームバッファ１３１ａ、１３１ｂ内に記録されていたデータを画像生成部１４１に出力する。

これにより、Ｂフレームには３フレーム分の遅延処理が行われ、画像生成部１４１に入力されるフレーム順序が、伝送順序となる。

次に、画像生成部１４１において、フレーム再配列部１３１を介して入力された各フレームを、３プレーン画像信号から高解像度のカラー画像信号に変換する。ここでは、一般に知られている高解像化処理（高密度補間処理）と言われる処理の他に、色変換や、画像のエッジ強調、ノイズ抑制、トーンカーブ処理等の画像処理を行い、鑑賞に適した画質とする。

次に、画像生成部１４１で変換されたカラー画像信号は、動画圧縮部１５０に出力される。動画圧縮部１５０において、画像生成部１４０から入力されたカラー画像のフレームシーケンスの圧縮処理が行われ、記録部１６０において、その圧縮データが記録される。

（第３の実施形態）
次に、図５を用いて、本発明の第３の実施形態を説明する。図３は、本発明の動画処理装置が適用された第３の実施形態の撮像装置１Ｃの構成を表したブロック図である。

尚、第３の実施形態における撮像装置１Ｃは、基本的に第１、第２の実施形態で表した撮像装置１Ａ、１Ｂと同じ構成なので、共通と成る構成部分については同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。

図５に表したように、撮像装置１Ｃは、例えばビデオカムコーダであって、ファインダー１９０への画像表示機能や、モニター出力部２２０への画像出力機能の要求に対応できるように構成されている。

詳しくは、撮像装置１Ｃは、ファインダー１９０へ出力するカラー画像を生成するために、ＡＦＥ１２０とフレーム再配列部１３１との間に信号分割手段１７０が構成され、ＡＦＥ１２０からの出力を、信号分割手段１７０によって、フレーム再配列部１３１と第２の画像生成部１８０（本発明における第２のカラー画像生成部である）の双方に出力できるように構成されている。

第２の画像生成部１８０では、フレーム再配列部１３１におけるフレーム再配置を行うことなしに、カラー画像を生成してファインダー１９０に出力する。この際、第２の画像生成部１８０は、画像生成部１４１のような高解像度の画像生成が要求されていないので、画像生成部１４１よりも簡便な構成にされている。

撮像装置１Ｃは、ファインダー１９０には、ディスプレイ順序で画像が表示され、フレーム再配列部１３１によるフレームの遅延処理が行われないので、当該撮像装置のユーザーにとって追従性の良い撮影を行うことができる。

ファインダー１９０は、例えば小型のブラウン管や液晶画面といった映像表示デバイスで構成され、第２の画像生成部１８０で生成された画像信号を表示する。

さらに、撮像装置１Ｃは、信号分割手段１７０から出力されたディスプレイ順序の画像信号を、フレーム再配列部１３１を迂回して画像生成部１４１に入力するフレーム再配列迂回手段２００、画像生成部１４１から出力されたカラー画像のフレームデータの入力先を動画圧縮部１５０とモニター出力部２２０の何れかに切り替える出力切替手段２１０、出力切替手段２１０を介して入力されたカラー画像の画像信号を、外部高解像度ディスプレイ２２５に出力するモニター出力部２２０等を備えている。なお、本発明における再配列部迂回手段はフレーム再配列部迂回手段２００によってその機能が発現される

フレーム再配列迂回手段２００は、フレーム再配列部１３１と平行して配置され、出力切替手段２１０に連動してディスプレイ順序の画像信号を画像生成部１４１に出力する。
この際、フレーム再配列迂回手段２００を、フレーム再配列部１３１を制御してフレーム再配列部１３１からの出力をディスプレイ順序にするように構成してもよい。

出力切替手段２１０は、画像生成部１４１と動画圧縮部１５０の間に設置され、映像記録時には画像生成部１４１の出力を動画圧縮部１５０に入力し、モニターへの出力時には画像生成部１４１の出力をモニター出力部２２０に入力する。

モニター出力部２２０は、当該撮像装置１Ｃから外部へ画像信号を出力する映像出力端子として設置され、この映像出力端子を介して高解像度ディスプレイ２２５等が接続された際に、映像信号を接続先に出力するように構成されている。

そして、撮像装置１Ｃは、映像を外部高解像度ディスプレイ２２５に出力する際には、出力切替手段２１０が画像生成部１４１の出力をモニター出力部２２０に入力するように設定されると共に、フレーム再配列部１３１の出力を止め、フレーム再配列迂回手段１９０が動作してディスプレイ順序の画像が画像生成部１４１に入力され、高解像度のディスプレイ順序の映像信号が、外部高解像度ディスプレイ２２５に出力されて表示される。

一方、撮像装置１Ｃは、映像を記録する際には、出力切替手段２１０が画像生成部１４１の出力を動画圧縮部１５０に入力するように設定されると共に、フレーム再配列迂回手段２００が動作せず、フレーム再配列部１３１を経由した伝送順序の画像が画像生成部１４１及び動画圧縮部１５０に入力される。

これにより、撮像装置１Ｃは、画像生成部１４１を介して、カラー動画のモニター出力と圧縮記録の両者の機能を備えている。

次に、図６を用いて、本発明の第４の実施形態を説明する。図６（ａ）は、本発明の動画処理装置が適用された第４の実施形態の撮像装置１Ｄの構成を表したブロック図、図６（ｂ）は、同実施形態における撮像部の構成図である。

尚、第４の実施形態における撮像装置１Ｄは、基本的に第１の実施形態で表した撮像装置１Ａと同じ構成なので、共通と成る構成部分については同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。

図６（ａ）に表したように、撮像装置１Ｄは、撮像部１１２、撮像部１１２から出力されたアナログ信号に対応したフレーム再配列部１３２、ＡＦＥ１２０、画像生成部１４０、動画圧縮部１５０、記録部１６０、等によって構成されている。

そして、撮像装置１Ｄは、撮像部１１２から出力されたアナログ信号に対してフレームシーケンスの並べ替えを行うように、撮像部１１２とＡＦＥ１２０との間にフレーム再配列部１３２が設置されている。

撮像部１１２は、第１の実施形態と同様に、単板式カラー撮像素子によって構成されている。また、フレーム再配列部１３２は、フレームバッファとしてアナログメモリのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）を用いて構成されている。

そして、撮像部１１２がフレーム再配列部１３２と同様にＣＣＤのイメージセンサ
を用いて構成されることにより、図６（ｂ）に表したように、撮像部１１２とフレーム再配列部１３２を一体のＣＣＤ１３５によって構成できる。

図６（ｂ）に表したように、ＣＣＤ１３５は、撮像部としての受光エリア１３５ｓと、２つのバッファエリア１３５ａ、１３５ｂと、Ｉ／Ｐフレーム用水平転送部（Ｉフレーム及びＰフレーム用水平転送部）、Ｂフレーム用水平転送部からなる。

Ｉ／Ｐフレーム用水平転送部は、受光エリア１３５ｓとバッファエリア１３５ａ、１３５ｂとの間に備えられ、Ｂフレーム用水平転送部は、バッファエリア１３５ａを介して受光エリア１３５ｓの反対側に位置するバッファエリア１３５ｂの端部に備えられている。

そして、この２つのバッファエリア１３５ａ及び１３５ｂと、Ｉ／Ｐフレーム用水平転送部及びＢフレーム用水平転送部とによってフレーム再配列部１３２の機能が発現される。

また、受光エリア１３５ｓには、ＣＣＤ１３５の各素子（所謂、各画素に対応する素子である）に、光電変換素子とモザイクカラーフィルタ（ＲＧＢの内の単一色光を通過するフィルタである）が備えられている。

次に、ＣＣＤ１３５における撮像及びフレーム再配列の動作を説明する。まず、受光エリア１３５ｓにおいて所定時間の露光を行い、各光電変換素子における露光量を電荷として蓄積する（本発明における第一のデータ形式がこの電荷量となる）。

そして、露光した画像フレームがＩフレーム又はＰフレームであれば、受光エリア１３５ｓに垂直転送をかけると共に、Ｉ／Ｐフレーム用水平転送部を動作させ、受光エリア１３５ｓにおける各画素の電荷をアナログ信号として順次ＡＦＥ１２０に出力する。

一方、露光した画像フレームがＢフレームであれば、ＣＣＤ１３５全体に垂直転送をかけると共に、Ｂフレーム用水平転送部を動作させ、バッファエリア１３５ｂに蓄積された
電荷をアナログ信号としてＡＦＥ１２０に出力する。この際、受光エリア１３５ｓに蓄積された電荷がバッファエリア１３５ａに蓄積され、バッファエリア１３５ａに蓄積されていた電荷がバッファエリア１３５ｂに転送される。

これにより、Ｉフレーム又はＰフレームが３フレーム毎に配列されていれば、第２の実施形態（図３（ｂ））と同様に、Ｂフレームは、露光の３フレーム後にＡＦＥ１２０に出力されることになる。また、Ｉフレーム又はＰフレームが露光直後にＡＦＥ１２０に出力されるため、第２の実施形態におけるフレーム再配列部１３１と同様に、ＡＦＥ１２０及び画像生成部１４０に入力するフレーム順序が伝送順序となる。

以上のように、第４の実施形態の撮像装置１Ｄによれば、イメージセンサと一体化したＣＣＤ１３５にフレーム再配列部１３２を設置でき、別途デジタル処理としてのフレーム再配列を不要にできる。

以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、種々の態様を取ることができる。

本発明の第１の実施形態における、（ａ）が本発明の動画処理装置が適用された撮像装置１Ａの構成を表したブロック図、（ｂ）が同撮像装置１Ａにおける撮像部の説明図である。 同第１の実施形態の撮像装置１Ａにおける、フレーム再配列部の動作の説明図である。 本発明の第２の実施形態における、（ａ）が本発明の動画処理装置が適用された撮像装置１Ｂの構成を表したブロック図、（ｂ）が同撮像装置１Ｂにおける撮像部の説明図、（ｃ）が同撮像装置１Ｂにおける画像データ合成処理の説明図である。 同第２の実施形態の撮像装置１Ｂにおける、フレーム再配列部の動作の説明図である。 本発明の第３の実施形態における、本発明の動画処理装置が適用された撮像装置１Ｃの構成を表したブロック図である。 本発明の第４の実施形態における、本発明の動画処理装置が適用された撮像装置１Ｄの構成を表したブロック図である。

符号の説明

１Ａ，１Ｂ，１Ｃ，１Ｄ…撮像装置、１１０，１１１，１１２…撮像部、１１１ａ，１１１ｂ，１１１ｃ…撮像素子、１２０…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、１３０，１３１，１３２…フレーム再配列部、１３０ａ〜１３０ｄ，１３１ａ，１３１ｂ…フレームバッファ、１３５…ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）、１３５ｓ…受光エリア、１３５ａ，１３５ｂ…バッファエリア、１４０，１４１…画像生成部、１５０…動画圧縮部、１５０ａ，１５０ｂ…予測メモリ、１６０…記録部、１７０…信号分割手段、１８０…第２の画像生成部、１９０…ファインダー、２００…フレーム再配列迂回手段、２１０…出力切替手段、２２０…モニター出力部、２２５…外部高解像度ディスプレイ。

Claims (14)

1. カラーイメージセンサより時系列的に複数のフレームに分割されて第一のデータ形式で出力された動画のフレームシーケンスから、フレーム間予測化方式によって符号化された圧縮ストリームを生成する動画処理装置において、
   前記カラーイメージセンサが、マトリックス状に配置された複数の光電変換素子と、該光電変換素子の夫々に対応つけられた複数色光のカラーフィルタとを備え、光電変換素子毎に複数色光の内の単一色光の色情報を出力する単板カラーイメージセンサであり、前記第一のデータ形式が画素毎に単一色光の色情報を有する色モザイク画像のデータであって、
   前記第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを備えて、前記第一のデータ形式からなるフレームシーケンスを、前記圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列部と、
   前記フレーム再配列部で並べ替えられたフレームシーケンスにおける前記第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成部と、
   前記カラー画像に変換された前記フレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し前記圧縮ストリームを生成する動画圧縮部と、
   を備えていることを特徴とする動画処理装置。
2. 前記カラーイメージセンサが、
   前記単板カラーイメージセンサに代えて、分光感度分布が異なる複数のカラーイメージセンサによって構成されて、該複数のカラーイメージセンサの受光面が画素配置方向にずらして配設され、
   前記第一のデータ形式が、前記複数のカラーイメージセンサの内の夫々から出力されて画素毎に単一色光の色情報を有する色モザイク画像のデータであって、
   前記カラー画像生成部が、前記複数のカラーイメージセンサの画像データを合成して前記カラー画像を生成するとともに解像度を高めるように構成されている、
   ことを特徴とする請求項１に記載の動画処理装置。
3. 前記複数のフレームが、時間的に後行するフレームを参照せずに符号化するＮｏｎＦフレームと、時間的に後行するフレームを参照して符号化するＦフレームとによって構成され、
   前記フレーム再配列部が、前記入力されるＮｏｎＦフレーム、Ｆフレームの種別に応じて、遅延を与えて出力するように構成されている、
   ことを特徴とする請求項１又は請求項２に記載の動画処理装置。
4. 前記ＮｏｎＦフレームが、さらに、前記フレーム間予測を用いずにフレーム内の画像信号をそのまま符号化するＩフレームと、時間的に先行する参照フレームの画像信号からの差分を符号化するＰフレームとからなり、
   前記Ｆフレームが、時間的に先行する参照フレームと後行する参照フレームとの差分を符号化するＢフレームであり、
   前記フレーム再配列部が、前記入力されるＩフレーム、Ｐフレーム、Ｂフレームの種別に応じて、前記遅延を与えて出力するように構成されている、
   ことを特徴とする請求項３に記載の動画処理装置。
5. 前記フレーム再配列部が、前記複数のフレーム種別のうちの一部のフレーム種別に対して遅延を与えて出力するように構成されている、
   ことを特徴とする請求項１又は請求項２に記載の動画処理装置。
6. 前記フレーム再配列部には、前記第一のデータ形式の画像データにおける、少なくとも２フレーム分の夫々毎に画像データを格納するフレームバッファが備えられている、
   ことを特徴とする請求項１乃至請求項５の何れか記載の動画処理装置。
7. 前記カラー画像生成部には、前記カラー画像の画像変形を行う画像変形処理部が備えられている、
   ことを特徴とする請求項１乃至請求項６の何れか記載の動画処理装置。
8. 前記フレーム再配列部が、前記画像変形の際にフレーム内の画像データを非ラスター順次で出力するように構成されている、
   ことを特徴とする請求項７に記載の動画処理装置。
9. ファインダーへ出力するカラー画像を生成する第２のカラー画像生成部を備え、該第２のカラー画像生成部では、前記フレーム再配列部におけるフレーム再配置を行うことなしに、前記色モザイク画像から、画素毎に複数色光の色情報を備えた前記カラー画像を生成する、
   ことを特徴とする請求項１乃至請求項８の何れか記載の動画処理装置。
10. 前記カラーイメージセンサから出力されるフレームシーケンスを、前記フレーム再配列部を通さずに前記カラー画像生成部に出力する再配列部迂回手段を備え、
    前記カラー画像生成部へ入力されるフレームシーケンスの、前記カラーイメージセンサから出力されるフレーム順と前記フレーム再配列部から出力されるフレーム順とを切り替え可能に構成されている、
    ことを特徴とする請求項１乃至請求項９の何れか記載の動画処理装置。
11. 請求項１〜請求項１０の何れか記載の動画処理装置及びカラーイメージセンサと、前記動画圧縮部で圧縮された動画情報を記憶する記録装置とからなるカムコーダ。
12. 請求項１〜請求項１０の何れか記載の動画処理装置及びカラーイメージセンサと、前記動画圧縮部で圧縮された動画情報を外部機器へ送信する送信装置とからなる遠隔モニター用カメラ。
13. カラーイメージセンサより時系列的に複数のフレームに分割されて第一のデータ形式で出力された動画のフレームシーケンスから、フレーム間予測化方式によって符号化されたカラー動画の圧縮ストリームを生成する動画処理方法において、
    前記カラーイメージセンサが、マトリックス状に配置された複数の光電変換素子と、該光電変換素子の夫々に対応つけられた複数色光のカラーフィルタとを用い、光電変換素子毎に複数色光の内の単一色光の色情報を出力する単板カラーイメージセンサであり、前記第一のデータ形式が、画素毎に単一色光の色情報を有する色モザイク画像のデータであって、
    前記第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを用いて、前記第一のデータ形式からなるフレームシーケンスを、前記圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列ステップと、
    前記フレーム再配列ステップで並べ替えられたフレームシーケンスにおける前記第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成ステップと、
    前記カラー画像に変換された前記フレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し前記圧縮ストリームを生成する動画圧縮ステップと、
    を用いることを特徴とする動画処理方法。
14. カラーイメージセンサより時系列的に複数のフレームに分割されて第一のデータ形式で出力された動画のフレームシーケンスから、フレーム間予測化方式によって符号化されたカラー動画の圧縮ストリームを生成する動画処理プログラムであって、
    前記カラーイメージセンサが、マトリックス状に配置された複数の光電変換素子と、該光電変換素子の夫々に対応つけられた複数色光のカラーフィルタとを用い、光電変換素子毎に複数色光の内の単一色光の色情報を出力する単板カラーイメージセンサであり、前記第一のデータ形式が、画素毎に単一色光の色情報を有する色モザイク画像のデータであって、
    前記第一のデータ形式からなるフレーム毎のデータを記憶するフレームバッファを用いて、前記第一のデータ形式からなるフレームシーケンスを、前記圧縮ストリームの生成の際のフレームデータの取得の順に対応付けて、時間的に先行するフレームと後行するフレームとの順を並べ替えるフレーム再配列ステップと、
    前記フレーム再配列ステップで並べ替えられたフレームシーケンスにおける前記第一のデータ形式を、画素毎に複数色光の色情報を有するカラー画像に変換するカラー画像生成ステップと、
    前記カラー画像に変換された前記フレームシーケンスを、時間的に前後の複数のフレーム間の差分に基づいて符号化して圧縮し前記圧縮ストリームを生成する動画圧縮ステップと、
    をコンピュータに実行させる動画処理プログラム。
    
    

Images