以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態における動画記録再生装置を搭載したシステムの構成の一例を示したブロック図である。なお、本実施形態の動画記録再生装置を適用するシステムの構成に関しては、何ら限定しない。図1には、撮像装置のシステム(以下、「撮像システム」という)に本実施形態の動画記録再生装置を適用した構成を示している。
動画記録再生装置1は、2つの画像処理装置(画像処理装置10および画像処理装置20)から構成される。なお、図1には、動画記録再生装置1を搭載した撮像システムに備えた撮像部2、ユーザインタフェース(I/F)部3、記録媒体4、および表示デバイス5も併せて示している。動画記録再生装置1は、撮像部2によって撮影した動画像を記録媒体4に記録する。また、動画記録再生装置1は、記録媒体4に記録された動画像を、表示デバイス5に表示させる。
撮像部2は、図示しないレンズによって結像された被写体の光学像を光電変換するCCD(Charge Coupled Device:電荷結合素子)イメージセンサや、CMOS(Complementary Metal−Oxide Semiconductor:相補型金属酸化膜半導体)イメージセンサに代表されるイメージセンサである。撮像部2は、動画記録再生装置1に高解像度の動画像を入力する入力部として、被写体光に応じて撮像した動画像におけるそれぞれのフレームの画像信号を、動画記録再生装置1に出力する。
なお、撮像部2は、イメージセンサが出力した画像信号に対して、キズ補正やシェーディング補正などの前処理を施す前処理部を備えた構成であってもよい。この場合、撮像部2は、前処理した後のそれぞれのフレームの画像信号を、動画記録再生装置1に出力する。なお、撮像部2は、撮像した静止画像における画像信号を出力することもできる。
記録媒体4は、動画記録再生装置1が出力した動画像の画像データを記録する記録部である。また、記録媒体4は、動画記録再生装置1に動画像(高解像度の動画像または低解像度の動画像)の画像データを入力する入力部として、記録している動画像の画像データを、動画記録再生装置1に出力する。記録媒体4は、例えば、SDメモリカード(SD Memory Card)やコンパクトフラッシュ(登録商標)(CompactFlash(登録商標):CF)などの記録メディアである。
なお、図1においては、記録媒体4も撮像システムの構成要素としているが、記録媒体4は、撮像システムに着脱可能な構成であってもよい。また、記録媒体4は、動画記録再生装置1の構成要素として備えられるものであってもよい。
表示デバイス5は、動画記録再生装置1が出力したそれぞれのフレームの動画像を表示する、例えば、TFT(薄膜トランジスター:Thin Film Transistor)液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどの表示デバイスである。表示デバイス5は、撮像部2が撮像する高解像度の動画像の画素数よりも少ない画素数の画像を表示する、つまり、低解像度の画像を表示する表示デバイスである。表示デバイス5は、撮像システムによって撮影している動画像を確認するためのEVF(Electronic View Finder:電子ビューファインダ)としても機能する。
なお、図1においては、表示デバイス5も撮像システムの構成要素としているが、表示デバイス5は、撮像システムに着脱可能な構成であってもよい。この場合、例えば、フルHD(1920×1080)の大きさ(サイズ)の画像を表示するテレビ(HDTV:High Definition TeleVision)や、4K2K(3840×2160)サイズの画像を表示するテレビ(UHDTV:Ultra High Definition TeleVision)を表示デバイス5とすることもできる。
ユーザインタフェース部3は、撮像システムの使用者(ユーザ)によって操作されるボタンやスイッチ類などを備えた操作部である。ユーザは、ユーザインタフェース部3を操作することによって、例えば、撮像部2が撮像した動画像を記録媒体4に記録する動作モード、記録媒体4に記録されている動画像を表示デバイス5に表示させる動作モードなど、撮像システムの動作モードを設定する。ユーザインタフェース部3は、ユーザの操作に応じて設定された撮像システムの動作モードの情報を、動画記録再生装置1に出力する。なお、ユーザインタフェース部3は、ボタンやスイッチ類のみで構成されるものではなく、例えば、タッチパッドや、表示デバイス5と共に構成されたタッチパネルであってもよい。
動画記録再生装置1は、上述したように、画像処理装置10と画像処理装置20との2つの画像処理装置から構成され、動画記録再生装置1に動画像を入力する入力部(撮像部2または記録媒体4)から入力された動画像に対して予め定めた画像処理を行う。このとき、動画記録再生装置1を構成する画像処理装置10と画像処理装置20とは、それぞれが連携して並列に動作することによって、動画記録再生装置1における動画機能を実現する。
画像処理装置10は、制御部100、画像縮小部110、画像処理部121、画像処理部122、動画コーデック部130、JPEG処理部140、メディアインタフェース(I/F)部150、表示処理部160、およびデータインタフェース(I/F)部170を備えている。
画像縮小部110は、撮像部2から入力された高解像度の動画像におけるそれぞれのフレームの画像信号に対して、例えば、間引き処理などのリサイズ処理を施して、撮像部2から入力された動画像と同じ画角で画素数が少ない動画像のそれぞれのフレームの画像信号を生成する。また、画像縮小部110は、生成したそれぞれのフレームの画像信号を、低解像度の動画像におけるそれぞれのフレームの画像信号として、画像処理部122に出力する。なお、画像縮小部110は、撮像部2から高解像度の静止画像が入力された場合にも、同様にリサイズ処理を施した画像信号を、画像処理部122に出力する。
画像処理部121は、撮像部2から入力された高解像度の動画像におけるそれぞれのフレームの画像信号に対して、ノイズ除去やYC変換処理などの各種の画像処理を施して、高解像度の動画像のそれぞれのフレームの画像データを生成する。そして、画像処理部121は、生成したそれぞれのフレームの画像データを、動画コーデック部130およびJPEG処理部140に出力する。なお、画像処理部121は、撮像部2から高解像度の静止画像が入力された場合にも、同様に画像処理を施した画像データを生成し、動画コーデック部130およびJPEG処理部140に出力する。
画像処理部122は、画像縮小部110から入力された低解像度の動画像におけるそれぞれのフレームの画像信号に対して、画像処理部121と同様に、ノイズ除去やYC変換処理などの各種の画像処理を施して、低解像度の動画像のそれぞれのフレームの画像データを生成する。そして、画像処理部122は、生成したそれぞれのフレームの画像データを、動画コーデック部130およびJPEG処理部140に出力する。なお、画像処理部122は、画像縮小部110から、撮像部2から入力された高解像度の静止画像に対してリサイズ処理を施した画像信号が入力された場合にも、画像処理部121と同様に画像処理を施した画像データを生成し、動画コーデック部130およびJPEG処理部140に出力する。
動画コーデック部130は、画像処理部121または画像処理部122から入力された動画像におけるそれぞれのフレームの画像データに対して、MPEG圧縮処理やH.264圧縮処理など、動画像を記録するための各種の動画圧縮処理(エンコード)を施して、記録用の動画像データを生成する。そして、動画コーデック部130は、生成した記録用の動画像データを、メディアインタフェース部150を介して記録媒体4に記録させる。また、動画コーデック部130は、データインタフェース部170を介して、生成した記録用の動画像データを画像処理装置20に送信することもできる。
また、動画コーデック部130は、メディアインタフェース部150を介して記録媒体4から入力された記録用の動画像データに対して、MPEG伸張処理やH.264伸張処理など、動画像を再生するための各種の動画伸張処理(デコード)を施して、表示用の動画像データを生成する。そして、動画コーデック部130は、生成した表示用の動画像データを、表示処理部160に出力して表示デバイス5に表示させる。また、動画コーデック部130は、データインタフェース部170を介して、生成した表示用の動画像データを画像処理装置20に送信することもできる。
JPEG処理部140は、画像処理部121または画像処理部122から入力された静止画像の画像データに対して、静止画像を記録するためのJPEG(Joint Photographic Experts Group)圧縮処理を施して、記録用の静止画像データを生成し、生成した記録用の静止画像データを、メディアインタフェース部150を介して記録媒体4に記録させる。また、JPEG処理部140は、画像処理部121または画像処理部122から入力された動画像におけるそれぞれのフレームの画像データに対しても同様にJPEG圧縮処理を施すことによって、連続したそれぞれのフレームの記録用の静止画像データを集めたモーションJPEG方式の動画像データを生成することができる。そして、JPEG処理部140は、生成したモーションJPEG方式の動画像データを、メディアインタフェース部150を介して記録媒体4に記録させる。また、JPEG処理部140は、データインタフェース部170を介して、生成した記録用の静止画像データやモーションJPEG方式の動画像データを、画像処理装置20に送信することもできる。
また、JPEG処理部140は、メディアインタフェース部150を介して記録媒体4から入力された記録用の静止画像データに対して、静止画像を再生するためのJPEG伸張処理を施して表示用の静止画像データを生成し、生成した表示用の静止画像データを、表示処理部160に出力して表示デバイス5に表示させる。また、JPEG処理部140は、メディアインタフェース部150を介して記録媒体4から入力されたモーションJPEG方式の動画像データとして集められた連続するそれぞれのフレームの記録用の静止画像データに対しても同様に、JPEG伸張処理を施すことによって、表示用の動画像データを生成することができる。そして、JPEG処理部140は、モーションJPEG方式の動画像データから生成した表示用の動画像データを、表示処理部160に出力して表示デバイス5に表示させる。また、JPEG処理部140は、データインタフェース部170を介して、生成した表示用の静止画像データや、モーションJPEG方式の動画像データから生成した表示用の動画像データを、画像処理装置20に送信することもできる。
メディアインタフェース部150は、動画コーデック部130またはJPEG処理部140から入力された記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、記録媒体4に記録させる。また、メディアインタフェース部150は、記録媒体4に記録している記録用の画像データを読み出し、読み出した記録用の画像データを、動画コーデック部130およびJPEG処理部140に出力する。
また、メディアインタフェース部150は、データインタフェース部170を介して画像処理装置20から送信されてきた記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、記録媒体4に記録させることもできる。また、メディアインタフェース部150は、記録媒体4から読み出した記録用の画像データを、データインタフェース部170を介して画像処理装置20に送信することもできる。
表示処理部160は、動画コーデック部130またはJPEG処理部140から入力された表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)に対して、OSD(On−Screen Display)表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理部160は、表示処理した後の表示用の画像データを、接続されている表示デバイス5に出力して表示させる。また、表示処理部160は、画像処理部122から入力された画像データに対しても同様に表示処理を施し、表示デバイス5に出力して表示させる。
また、表示処理部160は、データインタフェース部170を介して画像処理装置20から送信されてきた表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)に対しても同様に表示処理を施し、表示デバイス5に出力して表示させることもできる。
データインタフェース部170は、動画記録再生装置1に備えた画像処理装置20との間でデータのやり取り(送受信)をするためのインタフェース部である。データインタフェース部170は、動画コーデック部130やJPEG処理部140が生成した記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、画像処理装置20に送信する。また、データインタフェース部170は、メディアインタフェース部150が記録媒体4から読み出した記録用の画像データを、画像処理装置20に送信することもできる。また、データインタフェース部170は、画像処理装置20から送信されてきた記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を受信し、受信した記録用の画像データをメディアインタフェース部150に出力して記録媒体4に記録させる。
また、データインタフェース部170は、動画コーデック部130やJPEG処理部140が生成した表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、画像処理装置20に送信する。また、データインタフェース部170は、画像処理装置20から送信されてきた表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を受信し、受信した表示用の画像データを表示処理部160に出力することによって表示デバイス5に表示させる。
制御部100は、画像処理装置10内のそれぞれの構成要素を制御する、例えば、CPU(Central Processing Unit)などの制御部である。制御部100は、ユーザインタフェース部3から入力された撮像システムの動作モードの情報に基づいて、画像処理装置10内のそれぞれの構成要素の動作を制御する。
また、動画記録再生装置1では、上述したように、画像処理装置10と画像処理装置20とのそれぞれが連携して並列に動作することによって動画記録再生装置1における動画機能を実現する。このため、制御部100は、ユーザインタフェース部3から入力された、撮像システムの動作モードの情報や、画像処理装置20が実行する処理の情報など、動画機能を実現するために必要な情報を、画像処理装置20との間でやり取り(送受信)する。なお、図1に示した動画記録再生装置1の構成では、画像処理装置10に備えた制御部100が、マスタースレーブ方式のマスタプロセッサとして動作する。
画像処理装置20は、制御部200、画像縮小部210、画像処理部221、画像処理部222、動画コーデック部230、JPEG処理部240、メディアインタフェース(I/F)部250、表示処理部260、およびデータインタフェース(I/F)部270を備えている。画像処理装置20は、画像処理装置10と同様に、動画記録再生装置1に動画像を入力する入力部(撮像部2または記録媒体4)から入力された動画像に対して予め定めた画像処理を行う。
画像縮小部210は、画像処理装置10に備えた画像縮小部110と同様に、撮像部2から入力された高解像度の動画像におけるそれぞれのフレームの画像信号に基づいて、撮像部2から入力された動画像と同じ画角で画素数が少ない動画像のそれぞれのフレームの画像信号を生成し、低解像度の動画像におけるそれぞれのフレームの画像信号として、画像処理部222に出力する。なお、画像縮小部210は、撮像部2から高解像度の静止画像が入力された場合にも、画像縮小部110と同様に、リサイズ処理を施した画像信号を、画像処理部222に出力する。
画像処理部221は、画像処理装置10に備えた画像処理部121と同様に、撮像部2から入力された高解像度の動画像におけるそれぞれのフレームの画像信号に対して画像処理を施して、高解像度の動画像のそれぞれのフレームの画像データを生成し、動画コーデック部230およびJPEG処理部240に出力する。なお、画像処理部221は、撮像部2から高解像度の静止画像が入力された場合にも、画像処理部121と同様に、画像処理を施した画像データを、動画コーデック部230およびJPEG処理部240に出力する。
画像処理部222は、画像処理装置10に備えた画像処理部122と同様に、画像縮小部210から入力された低解像度の動画像におけるそれぞれのフレームの画像信号に対して、画像処理部221と同様に画像処理を施して、低解像度の動画像のそれぞれのフレームの画像データを生成し、動画コーデック部230およびJPEG処理部240に出力する。なお、画像処理部222は、画像縮小部210から高解像度の静止画像に対してリサイズ処理を施した画像信号が入力された場合にも、画像処理部221と同様に、画像処理を施した画像データを、動画コーデック部230およびJPEG処理部240に出力する。
動画コーデック部230は、画像処理装置10に備えた動画コーデック部130と同様に、画像処理部221または画像処理部222から入力された動画像におけるそれぞれのフレームの画像データに対して動画圧縮処理(エンコード)を施して、記録用の動画像データを生成し、メディアインタフェース部250を介して記録媒体4に記録させる。また、動画コーデック部230は、動画コーデック部130と同様に、データインタフェース部270を介して、生成した記録用の動画像データを画像処理装置10に送信することもできる。
また、動画コーデック部230は、動画コーデック部130と同様に、メディアインタフェース部250を介して記録媒体4から入力された記録用の動画像データに対して動画伸張処理(デコード)を施して、表示用の動画像データを生成し、表示処理部260に出力して表示デバイス5に表示させる。また、動画コーデック部230は、動画コーデック部130と同様に、データインタフェース部270を介して、生成した表示用の動画像データを画像処理装置10に送信することもできる。
JPEG処理部240は、画像処理装置10に備えたJPEG処理部140と同様に、画像処理部221または画像処理部222から入力された静止画像の画像データに対してJPEG圧縮処理を施して記録用の静止画像データを生成し、メディアインタフェース部250を介して記録媒体4に記録させる。また、JPEG処理部240は、JPEG処理部140と同様に、画像処理部221または画像処理部222から入力された動画像におけるそれぞれのフレームの画像データに対しても同様にJPEG圧縮処理を施すことによってモーションJPEG方式の動画像データを生成し、メディアインタフェース部250を介して記録媒体4に記録させる。また、JPEG処理部240は、JPEG処理部140と同様に、データインタフェース部270を介して、生成した記録用の静止画像データやモーションJPEG方式の動画像データを、画像処理装置10に送信することもできる。
また、JPEG処理部240は、JPEG処理部140と同様に、メディアインタフェース部250を介して記録媒体4から入力された記録用の静止画像データに対してJPEG伸張処理を施して表示用の静止画像データを生成し、表示処理部260に出力して表示デバイス5に表示させる。また、JPEG処理部240は、JPEG処理部140と同様に、メディアインタフェース部250を介して記録媒体4から入力されたモーションJPEG方式の動画像データに対しても同様にJPEG伸張処理を施すことによって表示用の動画像データを生成し、表示処理部260に出力して表示デバイス5に表示させる。また、JPEG処理部240は、JPEG処理部140と同様に、データインタフェース部270を介して、生成した表示用の静止画像データや、モーションJPEG方式の動画像データから生成した表示用の動画像データを、画像処理装置10に送信することもできる。
メディアインタフェース部250は、画像処理装置10に備えたメディアインタフェース部150と同様に、動画コーデック部230またはJPEG処理部240から入力された記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、記録媒体4に記録させる。また、メディアインタフェース部250は、メディアインタフェース部150と同様に、記録媒体4に記録している記録用の画像データを読み出して、動画コーデック部230およびJPEG処理部240に出力する。
また、メディアインタフェース部250は、メディアインタフェース部150と同様に、データインタフェース部270を介して画像処理装置10から送信されてきた記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、記録媒体4に記録させることもできる。また、メディアインタフェース部250は、メディアインタフェース部150と同様に、記録媒体4から読み出した記録用の画像データを、データインタフェース部270を介して画像処理装置10に送信することもできる。
表示処理部260は、画像処理装置10に備えた表示処理部160と同様に、動画コーデック部230またはJPEG処理部240から入力された表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)に対して表示処理を施して、接続されている表示デバイス5に出力して表示させる。また、表示処理部260は、表示処理部160と同様に、画像処理部222から入力された画像データに対しても同様に表示処理を施し、表示デバイス5に出力して表示させる。
また、表示処理部260は、表示処理部160と同様に、データインタフェース部270を介して画像処理装置10から送信されてきた表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)に対しても同様に表示処理を施し、表示デバイス5に出力して表示させることもできる。
データインタフェース部270は、画像処理装置10に備えたデータインタフェース部170と同様に、動画記録再生装置1に備えた画像処理装置10との間でデータのやり取り(送受信)をするためのインタフェース部である。データインタフェース部270は、データインタフェース部170と同様に、動画コーデック部230やJPEG処理部240が生成した記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、画像処理装置10に送信する。また、データインタフェース部270は、データインタフェース部170と同様に、メディアインタフェース部250が記録媒体4から読み出した記録用の画像データを、画像処理装置10に送信することもできる。また、データインタフェース部270は、データインタフェース部170と同様に、画像処理装置10から送信されてきた記録用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を受信し、メディアインタフェース部250に出力して記録媒体4に記録させる。
また、データインタフェース部270は、データインタフェース部170と同様に、動画コーデック部230やJPEG処理部240が生成した表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を、画像処理装置10に送信する。また、データインタフェース部270は、データインタフェース部170と同様に、画像処理装置10から送信されてきた表示用の画像データ(動画像データ、静止画像データ、モーションJPEG方式の動画像データ)を受信し、データを表示処理部260に出力することによって表示デバイス5に表示させる。
制御部200は、画像処理装置10に備えた制御部100と同様に、画像処理装置20内のそれぞれの構成要素を制御する制御部である。制御部200は、画像処理装置10に備えた制御部100から送信されてきた、動画機能を実現するために必要な情報(撮像システムの動作モードの情報や、画像処理装置20が実行する処理の情報など)に基づいて、画像処理装置20内のそれぞれの構成要素の動作を制御する。また、制御部200は、制御部100から送信されてきた動画機能を実現するために必要な情報に応じた動作の情報を、画像処理装置10に送信する。なお、図1に示した動画記録再生装置1の構成では、画像処理装置20に備えた制御部200が、マスタースレーブ方式のスレーブプロセッサとして動作する。
このような構成によって、動画記録再生装置1では、同様の構成の画像処理装置10と画像処理装置20とが連携して並列に動作することによって、撮像部2が撮像した高解像度の動画像を記録媒体4に記録するのと同時に、同じ画角の低解像度の動画像を記録媒体4に記録する。これにより、動画記録再生装置1では、低解像度の画像を表示する表示デバイス5が接続されている場合に、記録した高解像度の動画像から低解像度の動画像への変換を行うことなく、接続されている表示デバイス5に記録した高解像度の動画像に対応する低解像度の動画像を表示させることができる。
次に、本実施形態の動画記録再生装置1の動作について説明する。なお、以下の説明においては、動画記録再生装置1が記録する動画像の大きさ(サイズ)の一例として、撮像部2が、4K2K(3840×2160)サイズの画像信号を、高解像度の動画像におけるそれぞれのフレームの画像信号として動画記録再生装置1に出力し、表示デバイス5が、VGA(640×480)サイズの画像を表示する、低解像度の画像に対応した表示デバイスである場合について説明する。また、画像処理装置10に備えた動画コーデック部130と、画像処理装置20に備えた動画コーデック部230とのそれぞれは、4K2Kサイズよりも小さいフルHD(1920×1080)サイズの動画像に対応する動画コーデックである場合について説明する。
そして、撮像部2から入力された1フレームの4K2Kサイズの動画像の領域を水平方向に2つの領域に分割、つまり、左右の2つの領域に分割し、左側半分の領域の動画像に対する画像処理を画像処理装置10が行い、右側半分の領域の動画像に対する画像処理を画像処理装置20が行うものとして説明する。また、画像処理装置10が、撮像部2から入力された1フレームの4K2Kサイズの動画像と同じ画角で低解像度のVGAサイズの動画像を生成するものとして説明する。
<第1の記録動作>
まず、動画記録再生装置1が、高解像度の動画像と低解像度の動画像とを記録する第1の記録動作について説明する。動画記録再生装置1が動画像を記録する第1の記録動作では、画像処理装置10に備えた動画コーデック部130と、画像処理装置20に備えた動画コーデック部230とのそれぞれが、高解像度の動画像において対応する領域の記録用の動画像データを生成して記録媒体4に記録させると共に、画像処理装置10に備えたJPEG処理部140が、モーションJPEG方式の記録用の動画像データを生成して記録媒体4に記録させる。なお、本第1の記録動作では、動画コーデック部130と動画コーデック部230とのそれぞれが行う動画圧縮処理(エンコード)として、MPEG圧縮処理を行うものとして説明する。
図2は、本実施形態の動画記録再生装置1において動画像を記録する第1の記録動作の一例を模式的に示した図である。図2には、図1に示した動画記録再生装置1のブロック図上に、本第1の記録動作におけるそれぞれの動画像データの経路を示している。なお、本第1の記録動作では、撮像部2から入力された高解像度の動画像のそれぞれのフレームの画像信号に基づいて生成した、それぞれのフレームの記録用の動画像データを記録媒体4に順次記録させるが、以下の説明においては、説明を容易にするため、撮像部2から入力された1つのフレームの動画像に対する処理について説明する。
第1の記録動作は、動画記録再生装置1を搭載した撮像システムの使用者(ユーザ)がユーザインタフェース部3を操作し、撮像システムの動作モードを、撮像部2が撮像した動画像を記録媒体4に記録する動作モード(動画記録モード)に設定することによって開始する。
撮像システムの動作モードが動画記録モードに設定されると、ユーザインタフェース部3は、ユーザの操作によって動画記録モードが設定されたことを表す情報を、動画記録再生装置1内の画像処理装置10に備えた制御部100に出力する。これにより、制御部100は、撮像部2から入力された高解像度の動画像の右側半分の領域に対する画像処理を画像処理装置20が実行することを表す情報を、画像処理装置20に送信する。そして、制御部100は、撮像部2から入力された高解像度の動画像の左側半分の領域に対する画像処理を実行するために、画像処理装置10に備えたそれぞれの構成要素の動作を制御する。
画像処理装置10における第1の記録動作では、図2に示した経路C11の動画像データの経路で、撮像部2から入力された高解像度の動画像の左側半分の領域の画像信号に基づいて生成した記録用の動画像データ(以下、「左側MPEG動画像データ」という)を記録媒体4に記録させる。例えば、画像処理装置10における第1の記録動作では、経路C11の動画像データの経路で、撮像部2から入力された4K2Kサイズの動画像の左側半分の領域の画像信号に基づいて生成した左側MPEG動画像データを、記録媒体4に記録させる。
より具体的には、まず、画像処理部121が、撮像部2から入力された高解像度の動画像の左側半分の領域の画像信号に対して、ノイズ除去やYC変換処理などの各種の画像処理を施して生成した画像データを、動画コーデック部130に出力する。続いて、動画コーデック部130は、画像処理部121から入力された高解像度の動画像の左側半分の領域の画像データに対して、MPEG圧縮処理(エンコード)を施して左側MPEG動画像データを生成し、メディアインタフェース部150に出力する。
例えば、まず、画像処理部121が、撮像部2から入力された4K2Kサイズの動画像の左側半分の領域の画像信号に対して画像処理を施して生成した画像データを動画コーデック部130に出力し、動画コーデック部130が、画像処理部121から入力された4K2Kサイズの動画像の左側半分の領域の画像データに対してMPEG圧縮処理を施して生成した左側MPEG動画像データをメディアインタフェース部150に出力する。
一方、制御部200は、画像処理装置10に備えた制御部100から送信された、画像処理を実行することを表す情報に応じて、撮像部2から入力された高解像度の動画像の右側半分の領域に対する画像処理を実行するために、画像処理装置20に備えたそれぞれの構成要素の動作を制御する。
画像処理装置20における第1の記録動作では、図2に示した経路C12の動画像データの経路で、撮像部2から入力された高解像度の動画像の右側半分の領域の画像信号に基づいて生成した記録用の動画像データ(以下、「右側MPEG動画像データ」という)を記録媒体4に記録させる。例えば、画像処理装置20における第1の記録動作では、経路C12の動画像データの経路で、撮像部2から入力された4K2Kサイズの動画像の右側半分の領域の画像信号に基づいて生成した右側MPEG動画像データを、記録媒体4に記録させる。
より具体的には、まず、画像処理部221が、撮像部2から入力された高解像度の動画像の右側半分の領域の画像信号に対して、画像処理装置10に備えた画像処理部121と同様に、ノイズ除去やYC変換処理などの各種の画像処理を施して生成した画像データを、動画コーデック部230に出力する。続いて、動画コーデック部230は、画像処理装置10に備えた動画コーデック部130と同様に、画像処理部221から入力された高解像度の動画像の右側半分の領域の画像データに対して、MPEG圧縮処理(エンコード)を施して右側MPEG動画像データを生成し、データインタフェース部270に出力する。これにより、データインタフェース部270は、動画コーデック部230から入力された右側MPEG動画像データを、画像処理装置10に送信する。そして、データインタフェース部170は、画像処理装置20に備えたデータインタフェース部270から送信されてきた右側MPEG動画像データを受信し、メディアインタフェース部150に出力する。
例えば、まず、画像処理部221が、撮像部2から入力された4K2Kサイズの動画像の右側半分の領域の画像信号に対して画像処理を施して生成した画像データを動画コーデック部230に出力し、動画コーデック部230が、画像処理部221から入力された4K2Kサイズの動画像の右側半分の領域の画像データに対してMPEG圧縮処理を施して生成した右側MPEG動画像データをデータインタフェース部270に出力する。そして、データインタフェース部270が、動画コーデック部230から入力された右側MPEG動画像データを画像処理装置10に送信して、データインタフェース部170が、受信した右側MPEG動画像データをメディアインタフェース部150に出力する。
また、画像処理装置10における第1の記録動作では、左側MPEG動画像データおよび右側MPEG動画像データの記録媒体4への記録動作と同時に、図2に示した経路C13の動画像データの経路で、撮像部2から入力された高解像度の動画像と同じ画角で低解像度のモーションJPEG方式の記録用の動画像データ(以下、「モーションJPEG動画像データ」という)を、記録媒体4に記録させる。例えば、画像処理装置10における第1の記録動作では、経路C13の動画像データの経路で、撮像部2から入力された4K2Kサイズの動画像と同じ画角のVGAサイズのモーションJPEG動画像データを記録媒体4に記録させる。
より具体的には、まず、画像縮小部110が、撮像部2から入力された高解像度の動画像の画像信号に対して、例えば、間引き処理などのリサイズ処理を施して生成した、高解像度の動画像と同じ画角で画素数が少ない低解像度の動画像の画像信号を、画像処理部122に出力する。これにより、画像処理部122は、画像縮小部110から入力された低解像度の動画像の画像信号に対して、画像処理部121と同様に、ノイズ除去やYC変換処理などの各種の画像処理を施して生成した低解像度の動画像の画像データを、JPEG処理部140に出力する。続いて、JPEG処理部140は、画像処理部122から入力された低解像度の動画像の画像データに対して、JPEG圧縮処理を施してモーションJPEG動画像データを生成し、メディアインタフェース部150に出力する。
例えば、まず、画像縮小部110が、撮像部2から入力された4K2Kサイズの動画像の画像信号に対してリサイズ処理を施して生成したVGAサイズの動画像の画像信号を画像処理部122に出力し、画像処理部122が、画像縮小部110から入力されたVGAサイズの動画像の画像信号に対して画像処理を施して生成したVGAサイズの動画像の画像データをJPEG処理部140に出力する。そして、JPEG処理部140が、画像処理部122から入力されたVGAサイズの動画像の画像データに対してJPEG圧縮処理を施して生成したモーションJPEG動画像データをメディアインタフェース部150に出力する。
これにより、第1の記録動作では、メディアインタフェース部150が、動画コーデック部130から入力された左側MPEG動画像データと、データインタフェース部170から入力された右側MPEG動画像データをと合わせて、撮像部2から入力された高解像度の動画像における記録用の動画像データ(以下、「MPEG動画像データ」という)として、記録媒体4に記録させる。また、メディアインタフェース部150は、JPEG処理部140から入力されたモーションJPEG動画像データを、撮像部2から入力された高解像度の動画像に対応する低解像度の記録用の動画像データとして、記録媒体4に記録させる。例えば、メディアインタフェース部150が、動画コーデック部130から入力された左側MPEG動画像データと、データインタフェース部170から入力された右側MPEG動画像データをと合わせた4K2KサイズのMPEG動画像データを記録媒体4に記録させ、JPEG処理部140から入力されたVGAサイズのモーションJPEG動画像データを記録媒体4に記録させる。このとき、メディアインタフェース部150は、MPEG動画像データとモーションJPEG動画像データとを関連付けて記録媒体4に記録する。
このように、第1の記録動作では、動画記録再生装置1に備えた、高解像度の動画像よりも小さいサイズの動画像に対応する動画コーデックを備えた2つの画像処理装置10および画像処理装置20が連携して並列に画像処理を行うことによって、高解像度の動画像における記録用の動画像データを記録媒体4に記録する。また、第1の記録動作では、画像処理装置10が、撮像部2から入力された高解像度の動画像と同じ画角の低解像度の動画像に対する画像処理を、高解像度の動画像に対する画像処理と並列に行うことによって、高解像度の動画像と同じ画角の低解像度の動画像における記録用の動画像データを記録媒体4に記録する。例えば、フルHD(1920×1080)サイズの動画像に対応する動画コーデックを備えた2つの画像処理装置10および画像処理装置20が連携して、撮像部2から入力された高解像度の動画像の左側半分の領域に対する画像処理と右側半分の領域に対する画像処理とを並列に行うことによって、4K2K(3840×2160)サイズの動画像データを記録媒体4に記録する。また、画像処理装置10が、撮像部2から入力された4K2Kサイズの動画像と同じ画角のVGAサイズの動画像に対する画像処理を並列に行うことによって、4K2Kサイズの動画像と同じ画角のVGAサイズの動画像データを記録媒体4に記録する。
これにより、動画記録再生装置1では、VGAサイズの画像を表示する表示デバイス5が接続されている場合に、記録した4K2Kサイズの動画像からVGAサイズの動画像への変換を行うことなく、接続されている表示デバイス5に、記録した4K2Kサイズの動画像に対応するVGAサイズの動画像を表示させることができる。
<第1の再生動作>
続いて、動画記録再生装置1が、低解像度の動画像を再生する第1の再生動作について説明する。動画記録再生装置1が低解像度の動画像を再生する第1の再生動作では、画像処理装置10に備えたJPEG処理部140が、記録媒体4に記録されたモーションJPEG方式の記録用の動画像データに応じた表示用の動画像データを生成して表示デバイス5に表示させる。
図3は、本実施形態の動画記録再生装置1において動画像を再生する第1の再生動作の一例を模式的に示した図である。図3には、図1に示した動画記録再生装置1のブロック図上に、本第1の再生動作におけるそれぞれの動画像データの経路を示している。なお、本第1の再生動作では、記録媒体4に記録されたモーションJPEG動画像データとして集められた連続するそれぞれのフレームの記録用の静止画像データに基づいて生成した表示用の動画像データを表示デバイス5に順次表示させるが、以下の説明においては、説明を容易にするため、記録媒体4から入力された1つのフレームのモーションJPEG動画像データに対する処理について説明する。
第1の再生動作は、動画記録再生装置1を搭載した撮像システムの使用者(ユーザ)がユーザインタフェース部3を操作し、撮像システムの動作モードを、記録媒体4に記録されている動画像を表示デバイス5に表示させる動作モード(動画再生モード)に設定することによって開始する。
撮像システムの動作モードが動画再生モードに設定されると、ユーザインタフェース部3は、ユーザの操作によって動画再生モードが設定されたことを表す情報を、動画記録再生装置1内の画像処理装置10に備えた制御部100に出力する。これにより、制御部100は、記録媒体4からモーションJPEG動画像データを読み出して、読み出したモーションJPEG動画像データに対する画像処理を実行するために、画像処理装置10に備えたそれぞれの構成要素の動作を制御する。なお、動画記録再生装置1に接続されている表示デバイス5は、VGAサイズの画像を表示する低解像度の画像に対応した表示デバイスであるため、制御部100は、動画再生モードに関する情報を、画像処理装置20には送信しない。
画像処理装置10における第1の再生動作では、図3に示した経路C14の動画像データの経路で、記録媒体4から読み出したモーションJPEG動画像データに基づいて生成した表示用の動画像データを、表示デバイス5に表示させる。例えば、画像処理装置10における第1の再生動作では、経路C14の動画像データの経路で、記録媒体4から読み出したVGAサイズのモーションJPEG動画像データに基づいて生成したVGAサイズの表示用の動画像データを、表示デバイス5に表示させる。
より具体的には、まず、メディアインタフェース部150が、記録媒体4に記録されたモーションJPEG動画像データを読み出し、読み出したモーションJPEG動画像データをJPEG処理部140に出力する。続いて、JPEG処理部140は、メディアインタフェース部150から入力されたモーションJPEG動画像データに対してJPEG伸張処理を施して表示用の動画像データを生成し、表示処理部160に出力する。これにより、表示処理部160が、JPEG処理部140から入力された表示用の動画像データに対して表示処理を施し、表示処理部を施した後の表示用の画像データを、接続されている表示デバイス5に出力して表示させる。
例えば、まず、メディアインタフェース部150が、記録媒体4に記録されたVGAサイズのモーションJPEG動画像データを読み出してJPEG処理部140に出力し、JPEG処理部140が、メディアインタフェース部150から入力されたVGAサイズのモーションJPEG動画像データに対してJPEG伸張処理を施して生成したVGAサイズの表示用の動画像データを表示処理部160に出力する。これにより、表示処理部160が、JPEG処理部140から入力されたVGAサイズの表示用の動画像データに対して表示処理を施した後の表示用の画像データを表示デバイス5に出力して表示させる。
このように、第1の再生動作では、動画記録再生装置1に備えた1つの画像処理装置10が画像処理を行うことによって、高解像度の動画像と同じ画角で画素数が少ない低解像度の動画像に応じた表示用の動画像データを、低解像度の画像に対応した表示デバイス5に表示させる。例えば、画像処理装置10が、4K2K(3840×2160)サイズの動画像データと関連付けて記録媒体4に記録されたVGAサイズの動画像データを読み出して画像処理を行うことによって、画像処理装置10のみでVGAサイズの動画像を表示デバイス5に表示させる。
このように、動画記録再生装置1では、VGAサイズの画像を表示する表示デバイス5が接続されている場合に、記録した4K2Kサイズの動画像データに対応するVGAサイズの動画像における表示用の動画像データへの変換を行うことなく、接続されている表示デバイス5にVGAサイズの動画像を表示させることができる。
なお、第1の再生動作では、動画記録再生装置1にVGAサイズの画像を表示する低解像度の画像に対応した表示デバイス5が接続されているため、画像処理装置10のみが、記録媒体4に記録されているVGAサイズのモーションJPEG動画像データを読み出して、表示デバイス5に表示用の動画像データを表示させる場合を示した。しかし、仮に、動画記録再生装置1に、4K2Kサイズの画像を表示する高解像度の画像に対応した表示デバイスが接続されている場合には、画像処理装置10と画像処理装置20とが連携して並列に動作することによって、記録媒体4に記録されているMPEG動画像データに応じた表示用の動画像データを表示させることになる。
ここで、動画記録再生装置1が、高解像度の動画像を再生する第1の再生動作について説明する。動画記録再生装置1が高解像度の動画像を再生する第1の再生動作(以下、「第1Aの再生動作」という)では、動画記録再生装置1に接続された表示デバイス5が、4K2K(3840×2160)サイズの画像を表示する、高解像度の画像に対応した表示デバイスであるものとして説明する。そして、記録媒体4に記録されたMPEG動画像データの1フレームの4K2Kサイズの動画像の領域を水平方向に2つの領域に分割、つまり、左右の2つの領域に分割し、左側半分の領域の動画像に対する表示用の動画像データの生成を画像処理装置10が行い、右側半分の領域の動画像に対する表示用の動画像データの生成を画像処理装置20が行うものとして説明する。
図4は、本実施形態の動画記録再生装置において動画像を再生する第1の再生動作の別の一例を模式的に示した図である。図4には、図1に示した動画記録再生装置1のブロック図上に、本第1Aの再生動作におけるそれぞれの動画像データの経路を示している。なお、本第1Aの再生動作では、記録媒体4に記録されたMPEG動画像データのそれぞれのフレームの記録用の動画像データに基づいて生成した表示用の動画像データを表示デバイス5に順次表示させるが、以下の説明においては、説明を容易にするため、記録媒体4から入力された1つのフレームのMPEG動画像データに対する処理について説明する。
第1Aの再生動作は、動画記録再生装置1を搭載した撮像システムの使用者(ユーザ)がユーザインタフェース部3を操作し、撮像システムの動作モードを動画再生モードに設定することによって開始する。
撮像システムの動作モードが動画再生モードに設定されると、ユーザインタフェース部3は、ユーザの操作によって動画再生モードが設定されたことを表す情報を、動画記録再生装置1内の画像処理装置10に備えた制御部100に出力する。これにより、制御部100は、記録媒体4から読み出したMPEG動画像データの右側半分の領域に対する画像処理を画像処理装置20が実行することを表す情報を、画像処理装置20に送信する。そして、制御部100は、記録媒体4から読み出したMPEG動画像データの左側半分の領域に対する画像処理を実行するために、画像処理装置10に備えたそれぞれの構成要素の動作を制御する。
画像処理装置10における第1Aの再生動作では、図4に示した経路C15の動画像データの経路で、記録媒体4から読み出したMPEG動画像データの左側半分の動画像データに基づいて生成した表示用の動画像データ(以下、「左側表示動画像データ」という)を、表示デバイス5に表示させる。例えば、画像処理装置10における第1Aの再生動作では、経路C15の動画像データの経路で、記録媒体4から読み出した4K2KサイズのMPEG動画像データの左側半分の動画像データに基づいて生成した左側表示動画像データを、表示デバイス5に表示させる。
より具体的には、まず、メディアインタフェース部150が、記録媒体4に記録されたMPEG動画像データを読み出し、読み出したMPEG動画像データの左側半分の動画像データを動画コーデック部130に出力する。続いて、動画コーデック部130は、メディアインタフェース部150から入力されたMPEG動画像データの左側半分の動画像データに対して、MPEG伸張処理(デコード)を施して左側表示動画像データを生成し、表示処理部160に出力する。
例えば、まず、メディアインタフェース部150が、記録媒体4に記録された4K2KサイズのMPEG動画像データを読み出して、左側半分の動画像データを動画コーデック部130に出力し、動画コーデック部130が、メディアインタフェース部150から入力されたMPEG動画像データの左側半分の動画像データに対してMPEG伸張処理を施して生成した左側表示動画像データを表示処理部160に出力する。
一方、制御部200は、画像処理装置10に備えた制御部100から送信された、画像処理を実行することを表す情報に応じて、記録媒体4から読み出したMPEG動画像データの右側半分の領域に対する画像処理を実行するために、画像処理装置20に備えたそれぞれの構成要素の動作を制御する。
画像処理装置20における第1Aの再生動作では、図4に示した経路C16の動画像データの経路で、記録媒体4から読み出したMPEG動画像データの右側半分の動画像データに基づいて生成した表示用の動画像データ(以下、「右側表示動画像データ」という)を、表示デバイス5に表示させる。例えば、画像処理装置20における第1Aの再生動作では、経路C16の動画像データの経路で、記録媒体4から読み出した4K2KサイズのMPEG動画像データの右側半分の動画像データに基づいて生成した右側表示動画像データを、表示デバイス5に表示させる。
より具体的には、まず、メディアインタフェース部150が、記録媒体4から読み出したMPEG動画像データの右側半分の動画像データをデータインタフェース部170に出力する。これにより、データインタフェース部170は、メディアインタフェース部150から入力されたMPEG動画像データの右側半分の動画像データを、画像処理装置20に送信する。そして、データインタフェース部270は、画像処理装置10に備えたデータインタフェース部170から送信されてきたMPEG動画像データの右側半分の動画像データを受信し、動画コーデック部230に出力する。続いて、動画コーデック部230は、画像処理装置10に備えた動画コーデック部130と同様に、データインタフェース部270から入力されたMPEG動画像データの右側半分の動画像データに対して、MPEG伸張処理(デコード)を施して右側表示動画像データを生成し、データインタフェース部270に出力する。これにより、データインタフェース部270は、動画コーデック部230から入力された右側表示動画像データを、画像処理装置10に送信する。そして、データインタフェース部170は、画像処理装置20に備えたデータインタフェース部270から送信されてきた右側表示動画像データを受信し、表示処理部160に出力する。
例えば、まず、メディアインタフェース部150が、記録媒体4から読み出した4K2KサイズのMPEG動画像データの右側半分の動画像データをデータインタフェース部170に出力し、データインタフェース部170が画像処理装置20に送信、データインタフェース部270が受信して、動画コーデック部230に出力する。そして、動画コーデック部130が、データインタフェース部270から入力されたMPEG動画像データの右側半分の動画像データに対してMPEG伸張処理を施して生成した右側表示動画像データをデータインタフェース部270に出力し、データインタフェース部270が画像処理装置20に送信、データインタフェース部170が受信して、表示処理部160に出力する。
これにより、第1Aの再生動作では、表示処理部160が、動画コーデック部130から入力された左側表示動画像データと、データインタフェース部270およびデータインタフェース部170を介して動画コーデック部230から入力された右側表示動画像データをと合わせて表示処理を施し、表示処理部を施した後の動画像データを、接続されている表示デバイス5に出力して表示させる。例えば、表示処理部160が、動画コーデック部130から入力された左側表示動画像データと、データインタフェース部170から入力された右側表示動画像データをと合わせた4K2Kサイズの表示用の動画像データに対して表示処理を施した後に、表示デバイス5に出力して表示させる。
このように、第1Aの再生動作では、動画記録再生装置1に備えた、高解像度の動画像よりも小さいサイズの動画像に対応する動画コーデックを備えた2つの画像処理装置10および画像処理装置20が連携して並列に画像処理を行うことによって、記録媒体4に記録された高解像度の動画像に応じた表示用の動画像データを、動画記録再生装置1に接続された高解像度の画像に対応した表示デバイス5に表示させる。例えば、フルHD(1920×1080)サイズの動画像に対応する動画コーデックを備えた2つの画像処理装置10および画像処理装置20が連携して、記録媒体4に記録されたMPEG動画像データの左側半分の領域の動画像に対する画像処理と、右側半分の領域の動画像に対する画像処理とを並列に行うことによって、4K2K(3840×2160)サイズの動画像を表示デバイス5に表示させる。
上記に述べたように、動画記録再生装置1では、同様の構成の画像処理装置10と画像処理装置20とが連携して並列に動作することによって、撮像部2が撮像した高解像度の動画像を記録媒体4に記録するのと同時に、同じ画角の低解像度の動画像を記録媒体4に記録する。これにより、動画記録再生装置1では、接続されている表示デバイス5が対応する画像の解像度に応じて、記録媒体4に記録されている記録用の動画像データのいずれかを適切に選択し、表示デバイス5が対応する画像の解像度に応じた表示用の動画像を表示させることができる。このとき、動画記録再生装置1に低解像度の画像を表示する表示デバイス5が接続されている場合には、低解像度の動画像に対応した記録用の動画像データを記録媒体4から読み出すことにより、1つの画像処理装置(第1の再生動作では画像処理装置10)のみで、表示デバイス5に表示させる表示用の動画像データを生成することができる。つまり、動画記録再生装置1では、従来の技術を動画記録再生装置に適用した場合のように、高解像度の動画像から低解像度の動画像への変換やそれぞれの画像処理装置の間で動画像データの送受信を行うことなく、高解像度の動画像に対応する低解像度の動画像を表示させることができる。このことにより、動画記録再生装置1では、低解像度の動画像を表示デバイス5に表示する際の遅延時間を短縮することができる。
また、動画記録再生装置1に低解像度の画像を表示する表示デバイス5が接続されている場合は、1つの画像処理装置のみで表示用の動画像データを生成することができることから、表示用の動画像データの生成を行っていない他の画像処理装置(第1の再生動作では画像処理装置20が対応する)を、例えば、スタンバイモードやスリープモードなどの低消費電力モードにすることができる。また、例えば、表示用の動画像データの生成を行っていない他の画像処理装置への電源の供給を制御して、電源OFF状態にすることもできる。このことにより、動画記録再生装置1では、低解像度の動画像を表示デバイス5に表示する際の低消費電力化を実現することができる。
なお、動画記録再生装置1では、高解像度の動画像と同じ画角の低解像度の動画像に基づいた記録用の動画像データとして、画像処理装置10に備えたJPEG処理部140が、モーションJPEG方式の動画像データを生成する構成にした。しかし、低解像度の動画像に基づいた記録用の動画像データを生成する方法は、JPEG処理部140を用いた方法に限定されるものではない。例えば、画像処理装置10に備えた動画コーデック部130が高解像度の動画像に基づいた記録用の動画像データを生成する処理に余裕がある場合、高解像度の動画像に基づいた記録用の動画像データの生成と、低解像度の動画像に基づいた記録用の動画像データの生成とを、動画コーデック部130が行う構成にすることもできる。この場合、動画コーデック部130における動画圧縮処理(エンコード)や動画伸張処理(デコード)を時分割にする。なお、以下の説明においては、動画圧縮処理(エンコード)と動画伸張処理(デコード)とを合わせて、「動画像処理」ともいう。
次に、本実施形態の動画記録再生装置1において、画像処理装置10に備えた動画コーデック部130が、高解像度の動画像に基づいた記録用の動画像データと、低解像度の動画像に基づいた記録用の動画像データとを時分割で生成する、つまり、動画コーデック部130が動画像処理を時分割で行う場合の動作について説明する。図5は、本実施形態の動画記録再生装置1において動画像を時分割で処理する動作のタイミングの一例を模式的に示した図である。図5には、撮像部2から3フレーム分の画像信号が動画記録再生装置1に入力された場合に、動画記録再生装置1を構成する画像処理装置10と画像処理装置20とが、高解像度の動画像および低解像度の動画像におけるそれぞれのフレームの動画像データを生成する処理のタイミングを示しており、特に、動画コーデック部130と動画コーデック部230とが動画圧縮処理(エンコード)を行うタイミングを示している。
図5に示したように、撮像部2は、画像信号をフレーム1、フレーム2、フレーム3の順番で、それぞれのフレームの画像信号を順次出力する。そして、画像処理装置10と画像処理装置20とのそれぞれは、それぞれのフレーム毎に、対応する領域の高解像度の動画像を生成する。このとき、画像処理装置10では、撮像部2から入力された高解像度の動画像の左側半分の領域に対応する高解像度の動画像の生成と、低解像度の動画像の生成とを時分割で行う。図5には、画像処理装置10に備えた動画コーデック部130が、最初に高解像度の動画像を生成し、続いて低解像度の動画像を生成する場合のタイミングを示している。
より具体的には、動画コーデック部130は、撮像部2から最初に入力されたフレーム1の画像信号に応じた左側半分の高解像度(フレーム1)の動画像に引き続き、低解像度(フレーム1)の動画像を生成する。続いて、動画コーデック部130は、撮像部2から2番目に入力されたフレーム2の画像信号に応じた左側半分の高解像度(フレーム2)の動画像に引き続き、低解像度(フレーム2)の動画像を生成する。さらに、動画コーデック部130は、撮像部2から3番目に入力されたフレーム3の画像信号に応じた左側半分の高解像度(フレーム3)の動画像に引き続き、低解像度(フレーム3)の動画像を生成する。
このように、動画コーデック部130は、撮像部2から順次入力されたそれぞれのフレーム毎に、左側半分の領域に対応する高解像度の動画像と低解像度の動画像とを時分割で、順次生成する。なお、図5には、撮像部2から入力された高解像度の動画像の右側半分の領域に対応する高解像度の動画像を、画像処理装置20に備えた動画コーデック部230が生成する場合のタイミングも示しているが、動画コーデック部230は、右側半分の高解像度の動画像を生成するのみであるため、動画コーデック部230の動作のタイミングに関する詳細な説明は省略する。
なお、図5では、高解像度の動画像を生成した後に低解像度の動画像を生成するように、動画像処理を時分割する場合について示したが、動画像処理を時分割する方法は、図5に示した時分割の方法に限定されるものではない。例えば、同じフレームの中で、高解像度の動画像を生成する処理と、低解像度の動画像を生成する処理とを交互に行うように、時分割することもできる。
ここで、動画コーデック部130が高解像度の動画像と低解像度の動画像とを時分割で生成する場合の本実施形態の動画記録再生装置1の動作について説明する。なお、以下の説明においても、撮像部2が、4K2K(3840×2160)サイズの画像信号を、高解像度の動画像におけるそれぞれのフレームの画像信号として動画記録再生装置1に出力し、表示デバイス5が、VGA(640×480)サイズの画像を表示する、低解像度の画像に対応した表示デバイスであるものとして説明する。また、画像処理装置10に備えた動画コーデック部130と、画像処理装置20に備えた動画コーデック部230とのそれぞれは、4K2Kサイズよりも小さいフルHD(1920×1080)サイズの動画像に対応する動画コーデックであるものとして説明する。
そして、撮像部2から入力された1フレームの4K2Kサイズの動画像の領域を左右の2つの領域に分割し、左側半分の領域の動画像に対する画像処理を画像処理装置10が行い、右側半分の領域の動画像に対する画像処理を画像処理装置20が行うものとして説明する。また、画像処理装置10が、撮像部2から入力された1フレームの4K2Kサイズの動画像と同じ画角で低解像度のVGAサイズの動画像を生成するものとして説明する。
<第2の記録動作>
まず、動画記録再生装置1が、高解像度の動画像と低解像度の動画像とを記録する第2の記録動作について説明する。動画記録再生装置1における第2の記録動作では、第1の記録動作と同様に、画像処理装置10に備えた動画コーデック部130と、画像処理装置20に備えた動画コーデック部230とのそれぞれが、高解像度の動画像において対応する領域の記録用の動画像データを生成して記録媒体4に記録させる。また、動画記録再生装置1における第2の記録動作では、第1の記録動作と異なり、画像処理装置10に備えた動画コーデック部130が、動画像データの生成の処理を時分割することによって低解像度の動画像に対応した記録用の動画像データを生成して記録媒体4に記録させる。なお、本第2の記録動作でも、動画コーデック部130と動画コーデック部230とのそれぞれが行う動画圧縮処理(エンコード)が、MPEG圧縮処理であるものとして説明する。
図6は、本実施形態の動画記録再生装置1において動画像を記録する第2の記録動作の一例を模式的に示した図である。図6には、図1に示した動画記録再生装置1のブロック図上に、本第2の記録動作におけるそれぞれの動画像データの経路を示している。なお、本第2の記録動作でも、撮像部2から入力された高解像度の動画像のそれぞれのフレームの画像信号に基づいて生成した、それぞれのフレームの記録用の動画像データを記録媒体4に順次記録させるが、以下の説明においても、説明を容易にするため、撮像部2から入力された1つのフレームの動画像に対する処理について説明する。
第2の記録動作も、第1の記録動作と同様に、動画記録再生装置1を搭載した撮像システムの使用者(ユーザ)がユーザインタフェース部3を操作して、撮像システムの動作モードを動画記録モードに設定することによって開始する。
撮像システムの動作モードが動画記録モードに設定されると、ユーザインタフェース部3は、第1の記録動作と同様に、動画記録モードが設定されたことを表す情報を動画記録再生装置1内の画像処理装置10に備えた制御部100に出力し、制御部100は、撮像部2から入力された高解像度の動画像の右側半分の領域に対する画像処理を画像処理装置20が実行することを表す情報を、画像処理装置20に送信する。そして、制御部100は、撮像部2から入力された高解像度の動画像の左側半分の領域に対する画像処理を実行するために、画像処理装置10に備えたそれぞれの構成要素の動作を制御する。
画像処理装置10における第2の記録動作では、図6に示した経路C21の動画像データの経路で、撮像部2から入力された高解像度の動画像の左側半分の領域の画像信号に基づいて生成した左側MPEG動画像データを記録媒体4に記録させる。なお、第2の記録動作において、経路C21の動画像データの経路で処理を行う画像処理装置10内のそれぞれの構成要素の動作は、第1の記録動作において経路C11の動画像データの経路で処理を行う画像処理装置10内のそれぞれの構成要素の動作と同様である。従って、経路C21の動画像データの経路で行うそれぞれの構成要素の動作に関する詳細な説明は省略する。
また、画像処理装置20に備えた制御部200は、画像処理装置10に備えた制御部100から送信された、画像処理を実行することを表す情報に応じて、撮像部2から入力された高解像度の動画像の右側半分の領域に対する画像処理を実行するために、画像処理装置20に備えたそれぞれの構成要素の動作を制御する。
画像処理装置20における第2の記録動作では、図6に示した経路C22の動画像データの経路で、撮像部2から入力された高解像度の動画像の右側半分の領域の画像信号に基づいて生成した右側MPEG動画像データを記録媒体4に記録させる。なお、第2の記録動作において、経路C22の動画像データの経路で処理を行う画像処理装置10内のそれぞれの構成要素の動作は、第1の記録動作において経路C12の動画像データの経路で処理を行う画像処理装置10内のそれぞれの構成要素の動作と同様である。従って、経路C22の動画像データの経路で行うそれぞれの構成要素の動作に関する詳細な説明は省略する。
また、画像処理装置10における第2の記録動作では、左側MPEG動画像データおよび右側MPEG動画像データの記録媒体4への記録動作と同時に、図6に示した経路C23の動画像データの経路で、撮像部2から入力された高解像度の動画像と同じ画角で低解像度のMPEG方式の記録用の動画像データ(以下、「低解像度MPEG動画像データ」という)を、記録媒体4に記録させる。例えば、画像処理装置10における第2の記録動作では、経路C23の動画像データの経路で、撮像部2から入力された4K2Kサイズの動画像と同じ画角のVGAサイズの低解像度MPEG動画像データを記録媒体4に記録させる。
より具体的には、まず、画像縮小部110が、第1の記録動作と同様に、撮像部2から入力された高解像度の動画像の画像信号に対して、例えば、間引き処理などのリサイズ処理を施して生成した、高解像度の動画像と同じ画角で画素数が少ない低解像度の動画像の画像信号を、画像処理部122に出力する。これにより、画像処理部122は、画像縮小部110から入力された低解像度の動画像の画像信号に対して、画像処理部121と同様に、ノイズ除去やYC変換処理などの各種の画像処理を施して生成した低解像度の動画像の画像データを、動画コーデック部130に出力する。続いて、動画コーデック部130は、画像処理部122から入力された低解像度の動画像の画像データに対して、MPEG圧縮処理(エンコード)を施して低解像度MPEG動画像データを生成し、メディアインタフェース部150に出力する。このとき、動画コーデック部130は、低解像度MPEG動画像データを生成する処理を、左側MPEG動画像データを生成する処理と時分割して行う。
例えば、まず、画像縮小部110が、撮像部2から入力された4K2Kサイズの動画像の画像信号に対してリサイズ処理を施して生成したVGAサイズの動画像の画像信号を画像処理部122に出力し、画像処理部122が、画像縮小部110から入力されたVGAサイズの動画像の画像信号に対して画像処理を施して生成したVGAサイズの動画像の画像データを動画コーデック部130に出力する。そして、動画コーデック部130が、画像処理部122から入力されたVGAサイズの動画像の画像データに対してMPEG圧縮処理を施して生成した低解像度MPEG動画像データをメディアインタフェース部150に出力する。
これにより、第2の記録動作では、メディアインタフェース部150が、第1の記録動作と同様に、動画コーデック部130から入力された左側MPEG動画像データと、データインタフェース部170から入力された右側MPEG動画像データをと合わせて、撮像部2から入力された高解像度の動画像における記録用の動画像データ(以下、「高解像度MPEG動画像データ」という)として、記録媒体4に記録させる。また、メディアインタフェース部150は、動画コーデック部130から入力された低解像度MPEG動画像データを、撮像部2から入力された高解像度の動画像に対応する低解像度の記録用の動画像データとして、記録媒体4に記録させる。例えば、メディアインタフェース部150が、動画コーデック部130から入力された左側MPEG動画像データと、データインタフェース部170から入力された右側MPEG動画像データをと合わせた4K2Kサイズの高解像度MPEG動画像データを記録媒体4に記録させ、動画コーデック部130から入力されたVGAサイズの低解像度MPEG動画像データを記録媒体4に記録させる。このとき、メディアインタフェース部150は、高解像度MPEG動画像データと低解像度MPEG動画像データとを関連付けて記録媒体4に記録する。
このように、第2の記録動作では、第1の記録動作と同様に、動画記録再生装置1に備えた、高解像度の動画像よりも小さいサイズの動画像に対応する動画コーデックを備えた2つの画像処理装置10および画像処理装置20が連携して並列に画像処理を行うことによって、高解像度の動画像における記録用の動画像データを記録媒体4に記録する。また、第2の記録動作では、画像処理装置10が、撮像部2から入力された高解像度の動画像と同じ画角の低解像度の動画像に対する画像処理を、高解像度の動画像に対する画像処理と時分割で行うことによって、高解像度の動画像と同じ画角の低解像度の動画像における記録用の動画像データを記録媒体4に記録する。例えば、フルHD(1920×1080)サイズの動画像に対応する動画コーデックを備えた2つの画像処理装置10および画像処理装置20が連携して、第1の記録動作と同様に、撮像部2から入力された高解像度の動画像の左側半分の領域に対する画像処理と右側半分の領域に対する画像処理とを並列に行うことによって、4K2K(3840×2160)サイズの動画像データを記録媒体4に記録する。また、画像処理装置10が、撮像部2から入力された4K2Kサイズの動画像と同じ画角のVGAサイズの動画像に対する画像処理を時分割で行うことによって、4K2Kサイズの動画像と同じ画角のVGAサイズの動画像データを記録媒体4に記録する。
これにより、動画記録再生装置1では、VGAサイズの画像を表示する表示デバイス5が接続されている場合に、記録した4K2Kサイズの動画像からVGAサイズの動画像への変換を行うことなく、接続されている表示デバイス5に、記録した4K2Kサイズの動画像に対応するVGAサイズの動画像を表示させることができる。
また、第2の記録動作では、動画記録再生装置1を構成するそれぞれの画像処理装置(画像処理装置10および画像処理装置20)が、例えば、静止画像に対応したJPEG処理部を備えていない場合でも、高解像度の動画像データと低解像度の動画像データとを、記録媒体4に記録することができる。
なお、第2の記録動作では、画像処理装置10に備えた動画コーデック部130における動画像データの生成の処理を時分割することによって、高解像度の動画像データと低解像度の動画像データと生成して記録媒体4に記録させる場合について説明した。しかし、低解像度の動画像データを生成する方法は、動画コーデック部130による時分割の処理に限定されるものではない。
例えば、画像処理装置10に備えた動画コーデック部130と、画像処理装置20に備えた動画コーデック部230とのそれぞれにおける高解像度の動画像データの生成処理の余裕時間を合わせることによって、低解像度の動画像データを生成するための時間を確保できる場合がある。この場合には、例えば、動画コーデック部130と動画コーデック部230とのそれぞれで動画像データの生成処理を時分割し、1フレームのVGAサイズの動画像の領域を左右の2つの領域に分割したそれぞれの領域に対応する低解像度の動画像データの生成を、動画コーデック部130と動画コーデック部230とのそれぞれで行う構成にすることもできる。より具体的には、例えば、動画コーデック部130が、高解像度の動画像データの生成処理の余裕時間に、左側半分の領域に対応する低解像度の動画像データを生成し、動画コーデック部230が、高解像度の動画像データの生成処理の余裕時間に、右側半分の領域に対応する低解像度の動画像データを生成する。これにより、同様に、高解像度の動画像データと低解像度の動画像データとを生成することができる。
また、例えば、動画コーデック部130と動画コーデック部230とのそれぞれが高解像度の動画像データを生成する処理の割合を変更し(不均一にし)、高解像度の動画像データを生成する割合の少ない、いずれか一方の動画コーデック部における動画像データの生成処理を時分割する構成にすることもできる。より具体的には、例えば、動画コーデック部130が、1フレームの4K2Kサイズの動画像の4割の左側の領域に対応する高解像度の動画像データの生成と、低解像度の動画像データの生成とを時分割で行い、動画コーデック部230が、1フレームの4K2Kサイズの動画像の6割の右側の領域に対応する高解像度の動画像データの生成を行う構成にすることもできる。ただし、この場合には、動画コーデック部130または動画コーデック部230のいずれか一方のみで、低解像度の動画像データが生成することができるように、それぞれの動画コーデック部が高解像度の動画像データを生成する処理を行う割合を決定することが望ましい。これにより、動画記録再生装置1の消費電力の低減を望むことができる。
<第2の再生動作>
続いて、動画記録再生装置1が、低解像度の動画像を再生する第2の再生動作について説明する。動画記録再生装置1が低解像度の動画像を再生する第2の再生動作では、画像処理装置10に備えた動画コーデック部130が、記録媒体4に記録されたMPEG方式の低解像度の記録用の動画像データに応じた表示用の動画像データを生成して表示デバイス5に表示させる。
図7は、本実施形態の動画記録再生装置1において動画像を再生する第2の再生動作の一例を模式的に示した図である。図7には、図1に示した動画記録再生装置1のブロック図上に、本第2の再生動作におけるそれぞれの動画像データの経路を示している。なお、本第2の再生動作では、記録媒体4に記録された低解像度MPEG動画像データのそれぞれのフレームの記録用の動画像データに基づいて生成した表示用の動画像データを表示デバイス5に順次表示させるが、以下の説明においては、説明を容易にするため、記録媒体4から入力された1つのフレームの低解像度MPEG動画像データに対する処理について説明する。
第2の再生動作も、第1の再生動作と同様に、動画記録再生装置1を搭載した撮像システムの使用者(ユーザ)がユーザインタフェース部3を操作して、撮像システムの動作モードを動画再生モードに設定することによって開始する。
撮像システムの動作モードが動画再生モードに設定されると、ユーザインタフェース部3は、第1の再生動作と同様に、動画再生モードが設定されたことを表す情報を動画記録再生装置1内の画像処理装置10に備えた制御部100に出力する。これにより、制御部100は、記録媒体4から低解像度MPEG動画像データを読み出して、読み出した低解像度MPEG動画像データに対する画像処理を実行するために、画像処理装置10に備えたそれぞれの構成要素の動作を制御する。なお、動画記録再生装置1に接続されている表示デバイス5は、VGAサイズの画像を表示する低解像度の画像に対応した表示デバイスであるため、制御部100は、第1の再生動作と同様に、動画再生モードに関する情報を、画像処理装置20には送信しない。
画像処理装置10における第2の再生動作では、図7に示した経路C24の動画像データの経路で、記録媒体4から読み出した低解像度MPEG動画像データに基づいて生成した表示用の動画像データを、表示デバイス5に表示させる。例えば、画像処理装置10における第2の再生動作では、経路C24の動画像データの経路で、記録媒体4から読み出したVGAサイズの低解像度MPEG動画像データに基づいて生成したVGAサイズの表示用の動画像データを、表示デバイス5に表示させる。
より具体的には、まず、メディアインタフェース部150が、記録媒体4に記録された低解像度MPEG動画像データを読み出し、読み出した低解像度MPEG動画像データを動画コーデック部130に出力する。続いて、動画コーデック部130は、メディアインタフェース部150から入力された低解像度MPEG動画像データに対してMPEG伸張処理(デコード)を施して表示用の動画像データを生成し、表示処理部160に出力する。これにより、表示処理部160が、動画コーデック部130から入力された表示用の動画像データに対して表示処理を施し、表示処理部を施した後の表示用の画像データを、接続されている表示デバイス5に出力して表示させる。
例えば、まず、メディアインタフェース部150が、記録媒体4に記録されたVGAサイズの低解像度MPEG動画像データを読み出して動画コーデック部130に出力し、動画コーデック部130が、メディアインタフェース部150から入力されたVGAサイズの低解像度MPEG動画像データに対してMPEG伸張処理を施して生成したVGAサイズの表示用の動画像データを表示処理部160に出力する。これにより、表示処理部160が、動画コーデック部130から入力されたVGAサイズの表示用の動画像データに対して表示処理を施した後の表示用の画像データを表示デバイス5に出力して表示させる。
このように、第2の再生動作では、第1の再生動作と同様に、動画記録再生装置1に備えた1つの画像処理装置10が画像処理を行うことによって、高解像度の動画像と同じ画角で画素数が少ない低解像度の動画像に応じた表示用の動画像データを、低解像度の画像に対応した表示デバイス5に表示させる。例えば、画像処理装置10が、4K2K(3840×2160)サイズの動画像データと関連付けて記録媒体4に記録されたVGAサイズの動画像データを読み出して画像処理を行うことによって、画像処理装置10のみでVGAサイズの動画像を表示デバイス5に表示させる。
このように、動画記録再生装置1では、第2の再生動作でも、VGAサイズの画像を表示する表示デバイス5が接続されている場合に、記録した4K2Kサイズの動画像データに対応するVGAサイズの動画像における表示用の動画像データへの変換を行うことなく、接続されている表示デバイス5にVGAサイズの動画像を表示させることができる。
なお、第2の再生動作において、画像処理装置10と画像処理装置20とが連携して並列に動作することによって、記録媒体4に記録されている高解像度MPEG動画像データに応じた表示用の動画像データを表示させる動作は、図4に示した第1Aの再生動作と同様である。従って、高解像度MPEG動画像データに応じた表示用の動画像データを表示させる際のそれぞれの構成要素の動作に関する詳細な説明は省略する。
上記に述べたように、動画記録再生装置1では、第2の記録動作によっても、同様の構成の画像処理装置10と画像処理装置20とが連携して並列に動作することによって、撮像部2が撮像した高解像度の動画像を記録媒体4に記録するのと同時に、同じ画角の低解像度の動画像を記録媒体4に記録する。そして、動画記録再生装置1では、第2の再生動作によっても、接続されている表示デバイス5が対応する画像の解像度に応じて、記録媒体4に記録されている記録用の動画像データのいずれかを適切に選択し、表示デバイス5が対応する画像の解像度に応じた表示用の動画像を表示させることができる。このことにより、動画記録再生装置1では、第2の再生動作によっても、低解像度の動画像を表示デバイス5に表示する際の遅延時間の短縮、および低消費電力化を実現することができる。
本実施形態によれば、高解像度の動画像におけるそれぞれのフレームの画像信号が入力されると、この画像信号の領域を第1の領域(左側の領域)と第2の領域(右側の領域)とに分割し、左側の領域の画像信号に対して動画像処理(MPEG圧縮処理(エンコード))を施した第1の動画像データ(左側MPEG動画像データ)を生成する画像処理装置である第1の画像処理装置(画像処理装置10)と、右側の領域の画像信号に対して動画像処理(MPEG圧縮処理(エンコード))を施した第2の動画像データ(右側MPEG動画像データ)を生成する画像処理装置である第2の画像処理装置(画像処理装置20)と、を備え、左側MPEG動画像データと右側MPEG動画像データとを合わせた高解像度の動画像に対応する高解像度の動画像データ(MPEG動画像データまたは高解像度MPEG動画像データ)と、少なくとも画像処理装置10および画像処理装置20のいずれか一方によって生成した、高解像度の動画像と同じ画角の低解像度の動画像に対応した低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)とを関連付けて記録すると共に、接続された表示デバイス(表示デバイス5)が対応する画像の解像度に応じて、記録した高解像度の動画像データ(MPEG動画像データまたは高解像度MPEG動画像データ)または低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)のいずれか一方を選択する動画記録再生装置(動画記録再生装置1)が構成される。
また、本実施形態によれば、動画記録再生装置1は、低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)に基づいた動画像を表示デバイス5に表示させる際に、画像処理装置10または画像処理装置20のいずれか一方によって、表示デバイス5に表示させるための、低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)に基づいた動画像(表示用の動画像データ)を生成する動画記録再生装置1が構成される。
また、本実施形態によれば、動画記録再生装置1は、画像信号の領域を、予め定めた割合で左側の領域と右側の領域とに分割し、画像処理装置10と画像処理装置20とは、対応する領域の画像信号に対する動画像処理(MPEG圧縮処理(エンコード))を並列に行う動画記録再生装置1が構成される。
また、本実施形態によれば、低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)も生成する画像処理装置は、対応する領域の画像信号に対して施す動画像処理(MPEG圧縮処理(エンコード))が終了した後に、高解像度の動画像における画像信号から画素数を少なくした画像信号に基づいて、低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)を生成する動画記録再生装置1が構成される。
また、本実施形態によれば、動画記録再生装置1は、画像信号の領域を左側の領域と右側の領域とに分割する割合を不均一にし、ここで分割した領域に含まれる画像信号の数が少ない領域に対応する画像処理装置は、高解像度の動画像における画像信号から画素数を少なくした画像信号に基づいて、低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)を生成する動画記録再生装置1が構成される。
また、本実施形態によれば、動画記録再生装置1は、画像処理装置10または画像処理装置20のいずれか一方のみが、低解像度の動画像データ(モーションJPEG動画像データまたは低解像度MPEG動画像データ)を生成するように、画像信号の領域を左側の領域と右側の領域とに分割する割合を決定する動画記録再生装置1が構成される。
上記に述べたとおり、本発明を実施するための形態によれば、動画記録再生装置を構成する同様の構成の2つの画像処理装置が連携して並列に動作することによって、高解像度の動画像を記録するのと同時に、高解像度の動画像に対応する同じ画角の低解像度の動画像を記録する。これにより、本発明を実施するための形態では、動画記録再生装置に接続されている表示デバイスが対応する画像の解像度に応じて、記録されている高解像度の動画像または低解像度の動画像のいずれかを適切に選択し、表示デバイスが対応する画像の解像度に応じた表示をさせることができる。このとき、本発明を実施するための形態では、動画記録再生装置に低解像度の画像を表示する表示デバイスが接続されている場合に、低解像度の動画像を表示するための処理を、1つの画像処理装置(実施形態においては、画像処理装置10)のみで行う。これにより、本発明を実施するための形態では、動画記録再生装置が、従来の技術を動画記録再生装置に適用した場合のように、高解像度の動画像から低解像度の動画像への変換やそれぞれの画像処理装置の間で動画像データの送受信を行うことなく、高解像度の動画像に対応する低解像度の動画像を表示させることができる。このことにより、本発明を実施するための形態では、動画記録再生装置が低解像度の動画像を表示デバイスに表示する際の遅延時間を短縮することができる。
また、本発明を実施するための形態では、動画記録再生装置に低解像度の画像を表示する表示デバイスが接続されている場合に、低解像度の動画像を表示するための処理を1つの画像処理装置(実施形態においては、画像処理装置10)のみで行うことができるため、低解像度の動画像を表示するための処理を行っていない他の画像処理装置(実施形態においては、画像処理装置20)を、低消費電力モードにすることができる。このことにより、本発明を実施するための形態では、動画記録再生装置が低解像度の動画像を表示デバイスに表示する際の消費電力を低減することができる。
なお、本実施形態においては、動画記録再生装置1を構成する画像処理装置10と画像処理装置20とが同じ構成の画像処理装置である場合について説明したが、動画記録再生装置1を構成する画像処理装置10の構成要素と、画像処理装置20の構成要素とは、本発明を実施するための形態に限定されるものではなく、異なる構成要素を備えた画像処理装置によって、動画記録再生装置を構成してもよい。例えば、本実施形態において動画記録再生装置1を構成する画像処理装置20が、画像縮小部210、画像処理部222、JPEG処理部240、メディアインタフェース(I/F)部250、および表示処理部260を備えていない構成であってもよい。
また、本実施形態においては、例えば、動画記録再生装置1を構成する画像処理装置10に備えた画像処理部121と画像処理部122とのそれぞれは、画像信号に対して同様の画像処理を施す画像処理部である場合について説明したが、画像処理部121と画像処理部122とのそれぞれが画像信号に対して施す画像処理は、本発明を実施するための形態に限定されるものではなく、異なる画像処理であってもよい。例えば、画像処理部122が、本実施形態の動画記録再生装置1を搭載した撮像システムにおいて撮影する被写体を確認するための動画を表示デバイス5に表示させる、いわゆる、ライブビュー機能に応じた画像処理を行う画像処理部であってもよい。
また、本実施形態においては、動画記録再生装置1を構成する画像処理装置10に、表示デバイス5が接続されている構成について説明したが、表示デバイス5が接続される画像処理装置は、本発明を実施するための形態に限定されるものではなく、画像処理装置20、または画像処理装置10と画像処理装置20との両方に表示デバイスが接続された構成であってもよい。そして、画像処理装置10と画像処理装置20との両方に表示デバイスが接続される場合、それぞれの画像処理装置に接続される表示デバイスが対応する画像の解像度は、異なる解像度であってもよい。例えば、画像処理装置10にVGAサイズの画像を表示する低解像度の画像に対応した表示デバイス5が接続され、画像処理装置20に4K2Kサイズの画像を表示する高解像度の画像に対応した表示デバイスが接続される構成であってもよい。
また、本実施形態においては、動画記録再生装置1を構成する画像処理装置10および画像処理装置20に備えたそれぞれの構成要素が、直接接続されている構成を示した。つまり、前段の構成要素の出力が、後段の構成要素に直接入力される構成を示した。しかし、動画記録再生装置を構成する構成要素同士の接続は、本発明を実施するための形態に限定されるものではない。例えば、動画記録再生装置を構成する画像処理装置10および画像処理装置20に備えたそれぞれの構成要素がバスに接続され、処理を行う画像データ(画像信号や動画像データ)を、同じバスに接続されたDRAM(Dynamic Random Access Memory)などの一時記憶用のメモリを介して、DMA(Direct Memory Access)によってやり取りする構成にすることもできる。また、例えば、動画記録再生装置を構成するそれぞれの画像処理装置内で、画像処理装置に備えたそれぞれの構成要素がバスに接続され、それぞれの画像処理装置に専用または共通に接続されたDRAMに対するDMAによって、処理を行う画像データ(画像信号や動画像データ)をやり取りする構成にすることもできる。このような構成の動画記録再生装置においても、本発明の考え方を適用することによって、本実施形態の動画記録再生装置1と同様の動作をすることができる。つまり、2つの動画コーデック部が連携して並列に動作することによって高解像度の動画像を記録するのと同時に、JPEG処理部や動画コーデック部が、高解像度の動画像に対応する同じ画角の低解像度の動画像を記録することができる。そして、この構成の動画記録再生装置に接続されている表示デバイスが対応する画像の解像度に応じて、記録されている高解像度の動画像または低解像度の動画像を、表示デバイスに表示させることができる。
また、本実施形態においては、動画記録再生装置1を構成する画像処理装置10と画像処理装置20との2つの画像処理装置が連携して並列に動作する場合について説明した。このため、本実施形態においては、1フレームの4K2K(3840×2160)サイズの動画像の領域を左右の2つの領域に分割し、左側半分の領域の動画像に対する画像処理を画像処理装置10が行い、右側半分の領域の動画像に対する画像処理を画像処理装置20が行う場合について説明した。しかし、動画像の領域を分割する方法は、本発明を実施するための形態に限定されるものではない。例えば、1フレームの4K2K(3840×2160)サイズの動画像の領域を上下の2つの領域に分割し、上側半分の領域の動画像に対する画像処理を画像処理装置10が行い、下側半分の領域の動画像に対する画像処理を画像処理装置20が行う構成にすることもできる。また、画像処理装置10と画像処理装置20とのそれぞれが画像処理を行う領域の割合を異ならせた構成にすることもできる。
また、本実施形態においては、動画記録再生装置1を構成する画像処理装置10と画像処理装置20との2つの画像処理装置が連携して並列に動作する場合について説明した。しかし、連携して並列に動作する画像処理装置の数は、本発明を実施するための形態に限定されるものではなく、さらに多くの画像処理装置が連携して並列に動作する構成にすることもできる。例えば、動画記録再生装置を構成する4つの画像処理装置が連携して並列に動作する構成にすることもできる。この構成においては、例えば、1フレームの4K2K(3840×2160)サイズの動画像の領域を4つの領域に分割し、分割したそれぞれの領域の動画像に対する画像処理を、連携して並列に動作する4つの画像処理装置のそれぞれが行う構成にすることもできる。この場合には、それぞれの画像処理装置に備えた動画コーデックの動作クロックの周波数を、4K2Kサイズの動画像に対応した動画コーデックの1/4の周波数にすることができる。すなわち、本発明を実施するための形態では、連携して並列に動作する画像処理装置の数に応じて、1フレームの動画像の領域の分割数を多くすることによって、動画記録再生装置に備えた構成要素が動作するクロックの周波数を抑える、つまり、(1/画像処理装置の数)の周波数に抑えることができる。
また、本実施形態においては、動画記録再生装置1を構成する画像処理装置10と画像処理装置20との2つの画像処理装置が連携して並列に動作することによって、それぞれの画像処理装置に備えた動画コーデック部(動画コーデック部130および動画コーデック部230)が対応するフルHD(1920×1080)の大きさ(サイズ)の動画像よりも大きい(高精細な)、4K2K(3840×2160)の大きさ(サイズ)の動画像に対応した高解像度の動画像データを記録する場合について説明した。しかし、動画記録再生装置1を構成する複数の画像処理装置が連携して並列に動作することによって対応することができる動画像の大きさ(サイズ)は、本発明を実施するための形態に限定されるものではない。すなわち、動画記録再生装置1を構成する画像処理装置の構成に応じて、本発明の考え方を適用することによって、4K2K(3840×2160)の大きさ(サイズ)の動画像よりもさらに高精細な、つまり、さらに大きなサイズの動画像に対する動画記録再生装置を構成することができる。
また、本実施形態においては、動画記録再生装置1に接続された表示デバイス5が表示することができる画像の解像度を設定する構成、つまり、動画像を表示デバイス5に表示させる際に、記録媒体4に記録されている高解像度の動画像または低解像度の動画像のいずれの動画像を読み出して画像処理を実行するのかを切り替える構成に関しては、特に規定していない。この動画記録再生装置1において記録媒体4から読み出す動画像データの切り替えは、例えば、本実施形態の動画記録再生装置1を搭載した撮像システムを製造する際に事前に設定しておく構成や、撮像システムに備えたユーザインタフェース部3をユーザが操作して設定する構成にすることが考えられる。また、表示デバイスが動画記録再生装置1に接続された際に、接続された表示デバイスから取得して設定する構成にすることもできる。
また、本実施形態においては、動画像の領域を分割するそれぞれの領域に関しては、特に規定していない。この動画像の領域を分割するそれぞれの領域は、単純に領域を分割するのみではなく、例えば、分割したそれぞれの領域の境界部分が互いに重複する、いわゆる、オーバーラップする領域を設けることもできる。このオーバーラップする領域を設けることによって、分割したそれぞれの領域の画像信号や動画像データに対して別々に画像処理を行った場合でも、表示デバイスに表示される表示処理を施した後の表示用の画像データにおいて、分割したそれぞれの領域の繋ぎ目を目立たなくすることができる。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。