JP2011244506A - Imaging apparatus, imaging method, program and recording medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus that can easily generate still image data of a desired timing in a high-definition state.SOLUTION: An imaging apparatus comprises an imaging unit and a motion compensator, the imaging unit imaging first video data having a plurality of frames and second video data which has a higher definition than that of the first video frames, and the motion compensator being configured such that when a differential value indicating a difference between first image data and second image data is larger than a predetermined value, the first image data being generated through motion compensation based on motion vectors between the frames included in the first video data and the frames included in the second video data higher than the first video frames in definition, and the second image data being obtained by converting the definition of the first video data frames to the same as the second video data frames, then the second image data is output as an image data subjected to the motion compensation.

Description

本発明は、撮像装置、撮像方法、プログラム、及び記録媒体に関する。   The present invention relates to an imaging apparatus, an imaging method, a program, and a recording medium.

最近、デジタル映像データ（以下、映像データ）の配信に関する技術が大きく発展してきている。とりわけ、高画質な映像データの配信や記録に関する技術の発展には目を見張るものがある。その中でも、映像データの符号化及び復号に関する技術に注目が集まっている。高い空間解像度及び時間解像度を有する映像データは、そのデータサイズが非常に大きいため、その映像データを符号化した上で効率良く圧縮して配信又は記録される必要がある。そのため、高画質の映像データをより高い圧縮率で圧縮できるようにする符号化技術や、より高い空間解像度で再生できるように復号技術が求められている。   Recently, technologies related to distribution of digital video data (hereinafter referred to as video data) have been greatly developed. In particular, the development of technology related to the distribution and recording of high-quality video data is remarkable. Among them, attention is focused on techniques related to encoding and decoding of video data. Since video data having a high spatial resolution and temporal resolution has a very large data size, the video data needs to be encoded or distributed and recorded efficiently. Therefore, an encoding technique that enables high-quality video data to be compressed at a higher compression rate and a decoding technique that can be reproduced at a higher spatial resolution are required.

例えば、下記の特許文献１及び２には、空間解像度は低いが時間解像度の高い第１の映像データ（例えば、動画データ等）と、空間解像度は高いが時間解像度が低い第２の映像データ（例えば、静止画データの系列等）とを組み合わせて、高い空間解像度及び時間解像度を有する映像データを生成するための基礎となる技術が開示されている。この技術は、第１の映像データからフレーム間の動きベクトルを予測し、その動きベクトルと第２の映像データとを用いて、第１の映像データの高周波成分を補償するというものである。当該技術は、第２の映像データにフレームが含まれない任意時点のフレームを第１の映像データから検出された動きベクトルと、その任意時点に近い時点における第２の映像データのフレームとを用いて生成するというものである。また、下記の特許文献１及び２には、前記の技術を用いて高い空間解像度及び時間解像度を有する映像データを生成するための画像データ記録再生装置に関する記載がある。   For example, in Patent Documents 1 and 2 below, first video data (for example, moving image data) with a low spatial resolution but a high temporal resolution and a second video data with a high spatial resolution but a low temporal resolution (for example, video data). For example, a technology that is a basis for generating video data having high spatial resolution and temporal resolution in combination with a still image data series or the like is disclosed. In this technique, a motion vector between frames is predicted from first video data, and the high-frequency component of the first video data is compensated using the motion vector and the second video data. The technique uses a motion vector detected from the first video data for a frame at an arbitrary time point that does not include a frame in the second video data, and a frame of the second video data at a time point close to the arbitrary time point. Is generated. Patent Documents 1 and 2 listed below describe image data recording / reproducing apparatuses for generating video data having high spatial resolution and temporal resolution using the above technique.

特開２００４−３１２２７６号公報JP 2004-31276 A 特開２００４−３１２２７７号公報JP 2004-31277 A

しかしながら、前記の画像データ記録再生装置は、動き予測と動き補償とをそれぞれ異なる空間解像度の映像データを用いて行っているため、前記の動き予測が外れると、動き補償により得られる映像データの高周波成分にノイズが付加されてしまう。   However, since the image data recording / reproducing apparatus performs motion prediction and motion compensation using video data having different spatial resolutions, if the motion prediction is not achieved, the high frequency of the video data obtained by motion compensation is high. Noise is added to the component.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、低い空間解像度の画像データ系列で動き予測し、高い空間解像度の画像データを用いて動き補償して高い空間解像度の画像データを生成しようとした場合に、その画像データの高周波成分にノイズが付加されることを予防することが可能な、新規かつ改良された撮像装置、撮像方法、プログラム、及び記録媒体を提供することにある。   Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to perform motion prediction using a low spatial resolution image data sequence, and to perform motion compensation using high spatial resolution image data. A new and improved imaging device, imaging method, program, and program capable of preventing noise from being added to the high-frequency component of the image data when trying to generate high spatial resolution image data It is to provide a recording medium.

上記課題を解決するために、本発明のある観点によれば、複数のフレームを含む第１映像データと、前記第１映像データのフレームよりも高い解像度を有する第２映像データとを撮像する撮像部と、前記第１映像データを圧縮する第１の圧縮処理部と、前記第１の圧縮処理部により圧縮された第１映像データを格納する第１の記憶部と、前記第２映像データを圧縮する第２の圧縮処理部と、前記第２の圧縮処理部により圧縮された第２映像データを格納する第２の記憶部と、前記第１の記憶部に格納された圧縮後の第１映像データを伸張する第１の伸張処理部と、前記第２の記憶部に格納された圧縮後の第２映像データを伸張する第２の伸張処理部と、前記第１の伸張処理部により伸張された第１映像データに含まれるフレーム間の動きベクトルと、前記第２の伸張処理部により伸張された第２映像データのフレームとに基づいて動き補償された第１の画像データと、前記第１の伸張処理部により伸張された第１映像データのフレームを前記第２映像データのフレームと同じ解像度に変更した第２の画像データと、の差分を表す差分値が所定値より大きい場合に、前記第２の画像データを、動き補償された画像データとして出力する動き補償部と、を備える、撮像装置が提供される。   In order to solve the above-described problem, according to an aspect of the present invention, imaging that captures first video data including a plurality of frames and second video data having a higher resolution than the frame of the first video data. A first compression processing unit that compresses the first video data, a first storage unit that stores the first video data compressed by the first compression processing unit, and the second video data A second compression processing unit that compresses, a second storage unit that stores the second video data compressed by the second compression processing unit, and a compressed first stored in the first storage unit A first decompression processing unit for decompressing video data, a second decompression processing unit for decompressing compressed second video data stored in the second storage unit, and decompression by the first decompression processing unit Motion vector between frames included in the first video data And first image data motion-compensated based on the frame of the second video data expanded by the second expansion processing unit, and first video data expanded by the first expansion processing unit When the difference value representing the difference between the second image data and the second image data obtained by changing the frame of the second image data to the same resolution as the frame of the second video data is larger than a predetermined value, the second image data is converted into a motion compensated image. There is provided an imaging apparatus including a motion compensation unit that outputs data.

また、上記課題を解決するために、本発明の別のある観点によれば、複数のフレームを含む第１映像データと、前記第１映像データのフレームよりも高い解像度を有する第２映像データとを撮像する撮像工程と、前記第１映像データを圧縮する第１の圧縮工程と、前記第１の圧縮工程で圧縮された第１映像データを記録する第１の記録工程と、前記第２映像データを圧縮する第２の圧縮工程と、前記第２の圧縮工程で圧縮された第２映像データを記録する第２の記録工程と、前記第１の記録工程で記録された圧縮後の第１映像データを伸張する第１の伸張工程と、前記第２の記録工程で記録された圧縮後の第２映像データを伸張する第２の伸張工程と、前記第１の伸張工程で伸張された第１映像データに含まれるフレーム間の動きベクトルと、前記第２の伸張工程で伸張された第２映像データのフレームとに基づいて動き補償された第１の画像データと、前記第１の伸張工程で伸張された第１映像データのフレームを前記第２映像データのフレームと同じ解像度に変更した第２の画像データと、の差分を表す差分値が所定値より大きい場合に、前記第２の画像データを、動き補償された画像データとして出力する動き補償工程と、を含む、撮像方法が提供される。   In order to solve the above-described problem, according to another aspect of the present invention, first video data including a plurality of frames, second video data having a resolution higher than a frame of the first video data, An image capturing step for capturing the image, a first compression step for compressing the first video data, a first recording step for recording the first video data compressed in the first compression step, and the second video A second compression step for compressing data; a second recording step for recording the second video data compressed in the second compression step; and a first post-compression recorded in the first recording step A first decompression step of decompressing the video data; a second decompression step of decompressing the compressed second video data recorded in the second recording step; and a first decompression step decompressed in the first decompression step. A motion vector between frames included in one video data; The first image data motion-compensated based on the second video data frame expanded in the second expansion step, and the first video data frame expanded in the first expansion step are converted into the first video data frame. A motion for outputting the second image data as motion compensated image data when a difference value representing a difference between the second image data changed to the same resolution as a frame of two video data and a difference value larger than a predetermined value; An imaging method comprising a compensation step.

また、上記課題を解決するために、本発明の別のある観点によれば、複数のフレームを含む第１映像データと、前記第１映像データのフレームよりも高い解像度を有する第２映像データとを撮像する撮像機能と、前記第１映像データを圧縮する第１の圧縮処理機能と、前記第１の圧縮処理機能により圧縮された第１映像データを記憶する第１の記憶機能と、前記第２映像データを圧縮する第２の圧縮処理機能と、前記第２の圧縮処理機能により圧縮された第２映像データを記憶する第２の記憶機能と、前記第１の記憶機能により記憶された圧縮後の第１映像データを伸張する第１の伸張処理機能と、前記第２の記憶機能により記憶された圧縮後の第２映像データを伸張する第２の伸張処理機能と、前記第１の伸張処理機能により伸張された第１映像データに含まれるフレーム間の動きベクトルと、前記第２の伸張処理機能により伸張された第２映像データのフレームとに基づいて動き補償された第１の画像データと、前記第１の伸張処理機能により伸張された第１映像データのフレームを前記第２映像データのフレームと同じ解像度に変更した第２の画像データと、の差分を表す差分値が所定値より大きい場合に、前記第２の画像データを、動き補償された画像データとして出力する動き補償機能と、をコンピュータに実現させるためのプログラムが提供される。また、上記課題を解決するために、本発明の別のある観点によれば、当該プログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。   In order to solve the above-described problem, according to another aspect of the present invention, first video data including a plurality of frames, second video data having a resolution higher than a frame of the first video data, An image capturing function for capturing the image, a first compression processing function for compressing the first video data, a first storage function for storing the first video data compressed by the first compression processing function, and the first A second compression processing function for compressing two video data, a second storage function for storing second video data compressed by the second compression processing function, and a compression stored by the first storage function A first decompression function for decompressing the subsequent first video data; a second decompression function for decompressing the second video data after compression stored by the second storage function; and the first decompression. Expanded by the processing function First image data motion-compensated based on a motion vector between frames included in video data and a frame of second video data expanded by the second expansion processing function, and the first expansion processing When the difference value representing the difference between the first image data frame expanded by the function and the second image data changed to the same resolution as the second image data frame is larger than a predetermined value, the second image data A program for causing a computer to realize a motion compensation function for outputting image data as motion compensated image data is provided. In order to solve the above problems, according to another aspect of the present invention, a computer-readable recording medium on which the program is recorded is provided.

以上説明したように本発明によれば、低い空間解像度の画像データ系列で動き予測し、高い空間解像度の画像データを用いて動き補償して高い空間解像度の画像データを生成しようとした場合に、その画像データの高周波成分にノイズが付加されることを予防することが可能になる。   As described above, according to the present invention, when motion prediction is performed with a low spatial resolution image data sequence and high spatial resolution image data is generated by performing motion compensation using high spatial resolution image data, It is possible to prevent noise from being added to the high frequency component of the image data.

高解像度生成画像の生成方法を説明するための説明図である。It is explanatory drawing for demonstrating the production | generation method of a high-resolution production | generation image. 本発明の一実施形態に係る画像処理装置の装置構成を示す説明図である。It is explanatory drawing which shows the apparatus structure of the image processing apparatus which concerns on one Embodiment of this invention. 本実施形態に係る画像生成ブロックの動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of the image generation block which concerns on this embodiment. 本実施形態に係る差分画像判定回路の動作フローを示す説明図である。It is explanatory drawing which shows the operation | movement flow of the difference image determination circuit which concerns on this embodiment. 本実施形態に係る画像生成ブロックの動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of the image generation block which concerns on this embodiment. 本実施形態に係る画像処理装置の機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。It is explanatory drawing which shows the hardware constitutions of the information processing apparatus which can implement | achieve the function of the image processing apparatus which concerns on this embodiment. 本実施形態の一変形例に係る高解像度画像の生成方法を示す説明図であるIt is explanatory drawing which shows the production | generation method of the high resolution image which concerns on the modification of this embodiment.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. However, in the present specification and drawings, components having substantially the same function are denoted by the same reference numerals, and redundant description is omitted.

（高解像度画像の生成方法）
まず、本発明の実施形態に係る画像処理装置、及び画像処理方法について説明するに先立ち、図１を参照しながら、低い空間解像度で連続する映像が記録された画像データ系列（以下、動画データ）と、その動画データに含まれる適当なフレーム（以下、低解像度記録画像（ＬＲＰ；Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ Ｐｉｃｔｕｒｅ））に対応して離散的に記録された高空間解像度の画像データ（以下、静止画データ、又は高解像度記録画像（ＨＲＰ；Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｐｉｃｔｕｒｅ））とを用いて、前記動画データに含まれる任意のフレームに対応する高空間解像度の画像データ（以下、生成画像（ＣＰ；Ｃｒｅａｔｅｄ Ｐｉｃｔｕｒｅ）、又は高解像度生成画像）を生成するアイデアについて簡単に説明する。図１は、高解像度画像の生成方法の一例を示す説明図である。 (High-resolution image generation method)
First, prior to describing an image processing apparatus and an image processing method according to an embodiment of the present invention, an image data sequence (hereinafter referred to as moving image data) in which a continuous video is recorded at a low spatial resolution with reference to FIG. And high spatial resolution image data (hereinafter referred to as still image data or discrete image) recorded in correspondence with an appropriate frame (hereinafter referred to as low resolution recorded image (LRP)) included in the moving image data. Using high-resolution recorded images (HRP), high spatial resolution image data (hereinafter referred to as a generated image (CP)) or high resolution corresponding to an arbitrary frame included in the moving image data The idea of generating a generated image will be briefly described. FIG. 1 is an explanatory diagram illustrating an example of a method for generating a high-resolution image.

図１には、高解像度記録画像ＨＲＰ（ｔ）と、低解像度記録画像ＬＲＰ（ｔ）、ＬＲＰ（ｔ＋ｈ）と、拡大スケーリング画像（ＭＰ；Ｍａｇｎｉｆｉｅｄ Ｐｉｃｔｕｒｅ）ＭＰ（ｔ）、ＭＰ（ｔ＋ｈ）、生成画像ＣＰ（ｔ＋ｈ）とが描画されている。以下、カッコ内の文字は、撮影時刻を表すものとする。例えば、生成画像ＣＰ（ｔ＋ｈ）は、時刻ｔ＋ｈに撮影された低解像度記録画像ＬＲＰ（ｔ＋ｈ）に対応する生成画像を表す。   FIG. 1 shows a high-resolution recorded image HRP (t), a low-resolution recorded image LRP (t), LRP (t + h), an enlarged scaled image (MP; MP (t), MP (t + h), generation An image CP (t + h) is drawn. Hereinafter, the characters in parentheses represent the shooting time. For example, the generated image CP (t + h) represents a generated image corresponding to the low-resolution recording image LRP (t + h) taken at time t + h.

生成画像ＣＰは、低解像度記録画像ＬＲＰを用いて検出された動きベクトルと高解像度記録画像ＨＲＰとを用いて動き補償することによって生成された画像データである。例えば、図１に示すように、低解像度記録画像ＬＲＰ（ｔ）を拡大スケーリングして生成された拡大スケーリング画像ＭＰ（ｔ）と、低解像度記録画像ＬＲＰ（ｔ＋ｈ）を拡大スケーリングして生成された拡大スケーリング画像ＭＰ（ｔ＋ｈ）とを用いて、時刻ｔと時刻ｔ＋ｈとの間の動きベクトル（ＭＶ；Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）が検出される（Ｓ１）。次いで、動きベクトルＭＶに基づき、低解像度記録画像ＬＲＰ（ｔ）の参照ブロック（ＢＬＫ）に対応する高解像度記録画像ＨＲＰ（ｔ）の参照ブロックが抽出される。次いで、その参照ブロックの画素と拡大スケーリング画像ＭＰ（ｔ＋ｈ）の画素とが所定の比率で合成されて、生成画像ＣＰ（ｔ＋ｈ）が生成される（Ｓ２）。   The generated image CP is image data generated by performing motion compensation using the motion vector detected using the low resolution recorded image LRP and the high resolution recorded image HRP. For example, as illustrated in FIG. 1, an enlarged scaled image MP (t) generated by enlarging and scaling a low resolution recorded image LRP (t) and an enlarged scaled image of the low resolution recorded image LRP (t + h) are generated. A motion vector (MV; Motion Vector) between time t and time t + h is detected using the enlarged scaled image MP (t + h) (S1). Next, based on the motion vector MV, a reference block of the high resolution recorded image HRP (t) corresponding to the reference block (BLK) of the low resolution recorded image LRP (t) is extracted. Next, the pixel of the reference block and the pixel of the enlarged scaled image MP (t + h) are combined at a predetermined ratio to generate a generated image CP (t + h) (S2).

上記の例では、動き予測と動き補償とが実質的に異なる画像を用いて実行される。低解像度記録画像ＬＲＰを拡大スケーリングして生成された拡大スケーリング画像ＭＰは、高解像度記録画像ＨＲＰと同じ空間解像度に拡大してはいるものの、高解像度記録画像ＨＲＰに比べて高周波成分が欠落している。そのため、拡大スケーリング画像ＭＰを用いて検出された動きベクトルと高解像度記録画像ＨＲＰが本来有すべき動きベクトルとにズレが生じる可能性がある。動き予測の精度が低い場合、高解像度記録画像ＨＲＰの中の参照ブロックの位置がズレてしまうため、動き補償して生成された生成画像ＣＰの高周波成分にノイズが付加されてしまう。そこで、互いに異なる空間解像度を有する複数の画像データに基づいて動き補償を実行する場合に、動き補償に起因してノイズが付加されることを抑制する技術が求められている。   In the above example, motion prediction and motion compensation are performed using substantially different images. The enlarged scaling image MP generated by enlarging and scaling the low resolution recorded image LRP is enlarged to the same spatial resolution as the high resolution recorded image HRP, but lacks high frequency components compared to the high resolution recorded image HRP. Yes. For this reason, there is a possibility that a difference occurs between the motion vector detected using the enlarged scaled image MP and the motion vector that the high-resolution recorded image HRP should originally have. When the accuracy of motion prediction is low, the position of the reference block in the high-resolution recorded image HRP is shifted, so that noise is added to the high-frequency component of the generated image CP generated by motion compensation. Therefore, there is a need for a technique for suppressing the addition of noise due to motion compensation when motion compensation is performed based on a plurality of image data having different spatial resolutions.

以下で説明するように、本発明の一実施形態に係る画像処理装置は、互いに異なる空間解像度を有する複数の画像データに基づいて動き補償を実行する場合に、動きベクトルに基づいて高解像度記録画像ＨＲＰの参照ブロックと、動き補償に際して合成される拡大スケーリング画像ＭＰの参照ブロックとを比較し、その比較結果に応じて適応的に動き補償に係る処理を切り替える機能を有する。その機能により、動き補償に起因してノイズが付加されることを予め防止することが可能になるという効果を奏する。   As will be described below, the image processing apparatus according to an embodiment of the present invention performs high-resolution recorded images based on motion vectors when performing motion compensation based on a plurality of image data having different spatial resolutions. The HRP reference block is compared with the reference block of the enlarged scaling image MP synthesized at the time of motion compensation, and the function related to motion compensation is adaptively switched according to the comparison result. With this function, it is possible to prevent in advance that noise is added due to motion compensation.

＜本発明の一実施形態＞
以下、本発明の一実施形態に係る画像処理装置１００について詳細に説明する。 <One Embodiment of the Present Invention>
Hereinafter, an image processing apparatus 100 according to an embodiment of the present invention will be described in detail.

［画像処理装置１００の装置構成］
まず、図２を参照しながら、本実施形態に係る画像処理装置１００の装置構成について説明する。図２は、本実施形態に係る画像処理装置１００の装置構成の一例を示す説明図である。 [Apparatus Configuration of Image Processing Apparatus 100]
First, the apparatus configuration of the image processing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 2 is an explanatory diagram illustrating an example of the apparatus configuration of the image processing apparatus 100 according to the present embodiment.

図２に示すように、画像処理装置１００は、主に、撮像レンズ１０２と、撮像素子１０４と、カメラ信号処理ブロック１１０と、動画像記録再生ブロック１２０と、動画像記録再生ブロック１２０と、画像生成ブロック１４０と、画像生成タイミングコントローラ１０６と、表示回路１０８とを有する。   As shown in FIG. 2, the image processing apparatus 100 mainly includes an imaging lens 102, an imaging element 104, a camera signal processing block 110, a moving image recording / reproducing block 120, a moving image recording / reproducing block 120, and an image. A generation block 140, an image generation timing controller 106, and a display circuit 108 are included.

撮像レンズ１０２は、光を集光させて被写体の像（以下、集光画像）を形成するための光学レンズである。撮像素子１０４は、撮像レンズ１０２が集光した光を電気信号に変換する光電素子である。撮像素子１０４には、例えば、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の半導体素子が用いられる。また、撮像素子１０４は、動画データが持つ空間解像度の有効画素数よりも多い画素を有している。表示回路１０８は、画像データを記録又は再生する際、或いは、その画像データを確認する際に、図示しない表示装置に対して前記の画像データを表示させる。画像生成タイミングコントローラ１０６は、動画データを再生している途中でオペレータが静止画データを取得するように指示する装置である。   The imaging lens 102 is an optical lens for condensing light to form an image of a subject (hereinafter referred to as a condensed image). The imaging element 104 is a photoelectric element that converts light collected by the imaging lens 102 into an electrical signal. For example, a semiconductor element such as a CCD image sensor (Charge Coupled Device Image Sensor) or a CMOS image sensor (Complementary Metal Oxide Semiconductor Image Sensor) is used for the imaging element 104. In addition, the image sensor 104 has more pixels than the number of effective pixels of spatial resolution that the moving image data has. The display circuit 108 displays the image data on a display device (not shown) when recording or reproducing the image data or when confirming the image data. The image generation timing controller 106 is an apparatus that instructs the operator to acquire still image data while reproducing moving image data.

（カメラ信号処理ブロック１１０）
カメラ信号処理ブロック１１０は、図２に示すように、Ａ／Ｄ変換器１１２と、デジタル信号処理回路１１４とを含む。 (Camera signal processing block 110)
The camera signal processing block 110 includes an A / D converter 112 and a digital signal processing circuit 114 as shown in FIG.

Ａ／Ｄ変換器１１２は、入力されたアナログ信号をデジタル信号に変換して出力するアナログ・デジタル変換器（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）である。Ａ／Ｄ変換器１１２は、撮像素子１０４から入力された集光画像のアナログ信号をデジタル信号に変換してデジタル信号処理回路１１４に出力する。デジタル信号処理回路１１４は、Ａ／Ｄ変換器１１２から入力された集光画像のデジタル信号（以下、画像データ）に対し、ホワイトバランスの調整やガンマ補正等の処理を行う。   The A / D converter 112 is an analog-to-digital converter that converts an input analog signal into a digital signal and outputs the digital signal. The A / D converter 112 converts an analog signal of the condensed image input from the image sensor 104 into a digital signal and outputs the digital signal to the digital signal processing circuit 114. The digital signal processing circuit 114 performs processing such as white balance adjustment and gamma correction on the digital signal (hereinafter, image data) of the condensed image input from the A / D converter 112.

（動画像記録再生ブロック１２０）
動画像記録再生ブロック１２０は、図２に示すように、画像密度変換回路１２６と、動画像圧縮／伸長回路１２４と、記憶部１２２とを含む。 (Moving image recording / reproducing block 120)
As shown in FIG. 2, the moving image recording / reproducing block 120 includes an image density conversion circuit 126, a moving image compression / decompression circuit 124, and a storage unit 122.

画像密度変換回路１２６は、動画データの記録に際し、デジタル信号処理回路１１４から入力された画像データの系列（動画データ）に対して間引き処理（例えば、フレーム間差分符号化等）を施す。画像密度変換回路１２６は、その間引き処理後の動画データを動画像圧縮／伸長回路１２４に出力する。動画像圧縮／伸長回路１２４は、画像密度変換回路１２６から入力された前記間引き後の動画データを圧縮処理し、その圧縮された動画データを記憶部１２２に記録する。   When recording moving image data, the image density conversion circuit 126 performs a thinning process (for example, interframe difference encoding) on the series of image data (moving image data) input from the digital signal processing circuit 114. The image density conversion circuit 126 outputs the moving image data after the thinning process to the moving image compression / decompression circuit 124. The moving image compression / decompression circuit 124 compresses the thinned moving image data input from the image density conversion circuit 126 and records the compressed moving image data in the storage unit 122.

一方、動画データの再生に際し、動画像圧縮／伸長回路１２４は、記憶部１２２に記録された前記の動画データを読出して伸長処理を施す。そして、動画像圧縮／伸長回路１２４は、その伸長された動画データを画像密度変換回路１２６に対して出力する。画像密度変換回路１２６は、動画像圧縮／伸長回路１２４から入力された動画データに対して補間処理（例えば、差分化されたデータの復元等）を施す。   On the other hand, when reproducing moving image data, the moving image compression / decompression circuit 124 reads out the moving image data recorded in the storage unit 122 and performs expansion processing. Then, the moving image compression / decompression circuit 124 outputs the decompressed moving image data to the image density conversion circuit 126. The image density conversion circuit 126 performs interpolation processing (for example, restoration of differentiated data) on the moving image data input from the moving image compression / decompression circuit 124.

（静止画像記録再生ブロック１３０）
静止画像記録再生ブロック１３０は、図２に示すように、静止画像圧縮／伸長回路１３４と、記憶部１３２とを含む。但し、記憶部１３２は、前記の記憶部１２２と共通の記憶装置を用いて、その機能を実現することもできる。 (Still image recording / reproducing block 130)
As shown in FIG. 2, the still image recording / reproducing block 130 includes a still image compression / decompression circuit 134 and a storage unit 132. However, the function of the storage unit 132 can be realized by using a storage device common to the storage unit 122 described above.

静止画像圧縮／伸長回路１３４は、静止画データの記録に際し、デジタル信号処理回路１１４から入力された画像データに圧縮処理を施して記憶部１３２に出力する。一方、静止画データの再生に際し、静止画像圧縮／伸長回路１３４は、記憶部１２２に記録された画像データを読出して伸長処理を施す。   When recording still image data, the still image compression / decompression circuit 134 performs compression processing on the image data input from the digital signal processing circuit 114 and outputs the compressed image data to the storage unit 132. On the other hand, when reproducing still image data, the still image compression / decompression circuit 134 reads out the image data recorded in the storage unit 122 and performs decompression processing.

（画像生成ブロック１４０）
図２に示すように、画像生成ブロック１４０は、主に、動き予測回路１４２と、動き補償回路１４４と、差分画像判定回路１４６とを含む。なお、動き予測回路１４２は、上記の動き予測部の一例である。また、動き補償回路１４４は、上記の画像生成部の一例である。 (Image generation block 140)
As shown in FIG. 2, the image generation block 140 mainly includes a motion prediction circuit 142, a motion compensation circuit 144, and a difference image determination circuit 146. The motion prediction circuit 142 is an example of the motion prediction unit. The motion compensation circuit 144 is an example of the image generation unit.

動き予測回路１４２は、動画像記録再生ブロック１２０から伝送された動画データについて、フレーム間の動き予測を実行して動きベクトルを検出する。例えば、動き予測回路１４２は、所定時刻に記録されたフレームに最も近い時点で記録された静止画データを選択する。そして、動き予測回路１４２は、その静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出する。このとき、動き予測回路１４２は、参照する各フレーム（ＬＲＰ）を拡大スケーリングして拡大スケーリング画像（ＭＰ）に変換し、該当する拡大スケーリング画像間で動きベクトルを検出する。   The motion prediction circuit 142 performs motion prediction between frames on the moving image data transmitted from the moving image recording / playback block 120 to detect a motion vector. For example, the motion prediction circuit 142 selects still image data recorded at the time closest to the frame recorded at a predetermined time. Then, the motion prediction circuit 142 performs motion prediction between a frame corresponding to the still image data and a frame recorded at a predetermined time, and detects a motion vector between the frames. At this time, the motion prediction circuit 142 enlarges and scales each referenced frame (LRP) to convert it to an enlarged scaling image (MP), and detects a motion vector between the corresponding enlarged scaling images.

他の例として、動き予測回路１４２は、所定時刻に記録されたフレームに近い時点で記録された複数の静止画データを抽出した上で、前記の所定時刻に記録されたフレームに最も近似した静止画データに対応するフレームを選択することもできる。そして、動き予測回路１４２は、その選択された静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出してもよい。また、動き予測回路１４２は、各フレーム（ＬＲＰ）を拡大スケーリングせずに、該当するフレーム間で動きベクトルを検出し、生成画像（ＣＰ）の空間解像度に適合するように前記動きベクトルを拡大することも可能である。   As another example, the motion prediction circuit 142 extracts a plurality of still image data recorded at a time close to a frame recorded at a predetermined time, and then the stillness closest to the frame recorded at the predetermined time. A frame corresponding to image data can also be selected. Then, the motion prediction circuit 142 may detect motion vectors between frames by performing motion prediction between a frame corresponding to the selected still image data and a frame recorded at a predetermined time. Further, the motion prediction circuit 142 detects a motion vector between corresponding frames without enlarging each frame (LRP), and expands the motion vector so as to match the spatial resolution of the generated image (CP). It is also possible.

動き補償回路１４４は、動き予測回路１４２から入力された動きベクトルの情報と、動画像記録再生ブロック１２０から入力された静止画データとに基づいて動き補償を実行する。例えば、動き補償回路１４４は、所定時刻に記録されたフレームの参照ブロックに対応する静止画データの参照ブロックを前記の動きベクトルに基づいて特定する。動き補償回路１４４は、その特定された静止画データの参照ブロックと、所定時刻に記録されたフレームの参照ブロックとを所定の比率で合成して画像データ（生成画像ＣＰ’）を生成する。そして、動き補償回路１４４は、その生成画像ＣＰ’を差分画像判定回路１４６に出力する。   The motion compensation circuit 144 executes motion compensation based on the motion vector information input from the motion prediction circuit 142 and the still image data input from the moving image recording / playback block 120. For example, the motion compensation circuit 144 specifies a reference block of still image data corresponding to a reference block of a frame recorded at a predetermined time based on the motion vector. The motion compensation circuit 144 combines the specified still image data reference block and the frame reference block recorded at a predetermined time at a predetermined ratio to generate image data (generated image CP ′). Then, the motion compensation circuit 144 outputs the generated image CP ′ to the difference image determination circuit 146.

差分画像判定回路１４６は、動き補償回路１４４により入力された前記の生成画像ＣＰ’と、その時刻に記録されたフレームの拡大スケーリング画像ＭＰとを比較する。差分画像判定回路１４６は、前記の拡大スケーリング画像ＭＰと生成画像ＣＰ’との差分画像を生成するか、或いは、その両画像（ＭＰ、ＣＰ’）の差分を表す差分値を算出する。なお、差分画像判定回路１４６は、上記の差分量算出部の一例である。   The difference image determination circuit 146 compares the generated image CP ′ input by the motion compensation circuit 144 with the enlarged scaling image MP of the frame recorded at that time. The difference image determination circuit 146 generates a difference image between the enlarged scaled image MP and the generated image CP ′, or calculates a difference value representing a difference between the two images (MP, CP ′). The difference image determination circuit 146 is an example of the difference amount calculation unit.

前記の両画像（ＭＰ、ＣＰ’）の差が許容範囲内の場合、差分画像判定回路１４６は、動き補償により生成された生成画像ＣＰ’を出力するように前記の動き補償回路１４４を制御する。一方、前記の両画像（ＭＰ、ＣＰ’）の差が許容範囲を超える場合、差分画像判定回路１４６は、前記の拡大スケーリング画像ＭＰをそのまま出力するように動き補償回路１４４を制御する。このとき、差分画像判定回路１４６は、例えば、前記の差分値と所定の設定値との間の大小関係に応じて動き補償回路１４４の制御方法を切り替える。   When the difference between the two images (MP, CP ′) is within an allowable range, the difference image determination circuit 146 controls the motion compensation circuit 144 to output the generated image CP ′ generated by the motion compensation. . On the other hand, when the difference between the two images (MP, CP ′) exceeds the allowable range, the difference image determination circuit 146 controls the motion compensation circuit 144 so as to output the enlarged scaled image MP as it is. At this time, the difference image determination circuit 146 switches the control method of the motion compensation circuit 144 according to the magnitude relationship between the difference value and a predetermined set value, for example.

以上、本実施形態に係る画像処理装置１００の装置構成について説明した。上記の装置構成を適用すると、画像処理装置１００は、動きベクトルの予測精度に起因してノイズが発生することを予め防止することができる。   The apparatus configuration of the image processing apparatus 100 according to the present embodiment has been described above. When the above apparatus configuration is applied, the image processing apparatus 100 can prevent in advance the occurrence of noise due to the motion vector prediction accuracy.

［画像データの記録動作］
次に、本実施形態に係る画像処理装置１００による画像データの記録動作について簡単に説明する。 [Recording operation of image data]
Next, an image data recording operation by the image processing apparatus 100 according to the present embodiment will be briefly described.

まず、オペレータが画像処理装置１００に記録動作の開始を指示する（Ｓ１０）。その指示を受け、画像処理装置１００は、動画データを構成するフレームの連続記録を開始する（Ｓ１２）。画像処理装置１００は、撮像レンズ１０２を介して集光画像を取得する（Ｓ１４）。次いで、画像処理装置１００は、その集光画像を撮像素子１０４により光電変換してアナログ信号を生成する（Ｓ１６）。次いで、画像処理装置１００は、そのアナログ信号をＡ／Ｄ変換器１１２に入力してデジタル信号に変換する（Ｓ１８）。次いで、画像処理装置１００は、そのデジタル信号をデジタル信号処理回路１１４に入力して、そのデジタル信号に対応する画像データのホワイトバランスの調整やガンマ補正等の処理を実行する（Ｓ２０）。画像処理装置１００は、前記の画像データを蓄積して動画データを形成することができる。   First, the operator instructs the image processing apparatus 100 to start a recording operation (S10). In response to the instruction, the image processing apparatus 100 starts continuous recording of the frames constituting the moving image data (S12). The image processing apparatus 100 acquires a condensed image through the imaging lens 102 (S14). Next, the image processing apparatus 100 photoelectrically converts the condensed image by the image sensor 104 to generate an analog signal (S16). Next, the image processing apparatus 100 inputs the analog signal to the A / D converter 112 and converts it into a digital signal (S18). Next, the image processing apparatus 100 inputs the digital signal to the digital signal processing circuit 114, and executes processing such as white balance adjustment and gamma correction of image data corresponding to the digital signal (S20). The image processing apparatus 100 can accumulate the image data and form moving image data.

次いで、画像処理装置１００は、画像密度変換回路１２６により、上記の動画データに間引き処理を施す（Ｓ２２）。ステップＳ２２を実行する際、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｔｅｅ）方式、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式、又はＩＳＤＢ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ）方式等の各ビデオ信号フォーマットにおける有効画素数が得られる。次いで、画像処理装置１００は、動画像圧縮／伸長回路１２４により、前記の間引き処理が施された動画データを圧縮処理し（Ｓ２４）、記憶部１２２に記録する（Ｓ２５）。また、画像処理装置１００は、静止画像圧縮／伸長回路１３４により、所定の時間間隔で間歇的に前記の画像データ（静止画データ）を取得して圧縮処理し（Ｓ３２）、記憶部１３２に記録する（Ｓ３４）。   Next, the image processing apparatus 100 performs a thinning process on the moving image data by the image density conversion circuit 126 (S22). When step S22 is executed, the number of effective pixel signals in each video signal format such as NTSC (National Television Standard Committee), PAL (Phase Alternation By Line), or ISDB (Integrated Services Digital Broadcasting) is obtained. Next, the image processing apparatus 100 uses the moving image compression / decompression circuit 124 to compress the moving image data that has been subjected to the thinning process (S24), and records it in the storage unit 122 (S25). The image processing apparatus 100 obtains the image data (still image data) intermittently at predetermined time intervals by the still image compression / decompression circuit 134 and performs compression processing (S 32) and records it in the storage unit 132. (S34).

［画像データの再生動作］
次に、本実施形態に係る画像処理装置１００による画像データの再生動作について簡単に説明する。 [Image data playback operation]
Next, an image data reproduction operation by the image processing apparatus 100 according to the present embodiment will be briefly described.

画像処理装置１００に対し、オペレータが画像生成タイミングコントローラ１０６を用いて再生動作の開始を指示する（Ｓ５０）。その指示を受け、画像処理装置１００は、前記の動画データよりも空間解像度が高く、かつ、前記の静止画データが記録されていない記録時点における高画質画像データの生成を開始する（Ｓ５２）。画像処理装置１００は、記憶部１２２に記録された圧縮処理後の動画データを読み出し（Ｓ５４）、動画像圧縮／伸長回路１２４により伸長処理を実行する（Ｓ５６）。次いで、画像処理装置１００は、画像密度変換回路１２６により、伸長処理された動画データの補間処理を実行する（Ｓ５８）。ステップＳ５８により、前記の動画データの各フレームは、静止画データと同一画素数を有する画像データに変換される。そして、その動画データは、画像生成ブロック１４０に伝送される（Ｓ６０）。   The operator instructs the image processing apparatus 100 to start the reproduction operation using the image generation timing controller 106 (S50). In response to the instruction, the image processing apparatus 100 starts generating high-quality image data at a recording time point when the spatial resolution is higher than that of the moving image data and the still image data is not recorded (S52). The image processing apparatus 100 reads the compressed moving image data recorded in the storage unit 122 (S54), and executes a decompression process by the moving image compression / decompression circuit 124 (S56). Next, the image processing apparatus 100 performs interpolation processing on the decompressed moving image data by the image density conversion circuit 126 (S58). In step S58, each frame of the moving image data is converted into image data having the same number of pixels as the still image data. Then, the moving image data is transmitted to the image generation block 140 (S60).

また、画像処理装置１００は、静止画像圧縮／伸長回路１３４により、記憶部１３２に記録された静止画データを読み出して伸長し（Ｓ７２）、画像生成ブロック１４０に伝送する（Ｓ７４）。   Further, the image processing apparatus 100 reads and expands the still image data recorded in the storage unit 132 by the still image compression / decompression circuit 134 (S72), and transmits it to the image generation block 140 (S74).

（画像生成ブロック１４０の動作）
ここで、図３を参照しながら、画像生成ブロック１４０の処理動作について説明する。図３は、画像生成ブロック１４０の処理動作を説明するための説明図である。 (Operation of the image generation block 140)
Here, the processing operation of the image generation block 140 will be described with reference to FIG. FIG. 3 is an explanatory diagram for explaining the processing operation of the image generation block 140.

図３には、撮影時刻に対応するように、高解像度記録画像ＨＲＰ（ｔ）と、複数の低解像度記録画像ＬＲＰ（ｔ）、ＬＲＰ（ｔ＋ｈ）と、生成画像ＣＰ（ｔ＋ｈ）とが描画されている。尚、図３は、時刻ｔ＋ｈに記録された低解像度記録画像ＬＲＰ（ｔ＋ｈ）に対応する生成画像ＣＰ（ｔ＋ｈ）を生成する処理動作を具体的に説明するものである。   In FIG. 3, a high-resolution recording image HRP (t), a plurality of low-resolution recording images LRP (t) and LRP (t + h), and a generated image CP (t + h) are drawn so as to correspond to the shooting time. ing. FIG. 3 specifically illustrates the processing operation for generating the generated image CP (t + h) corresponding to the low-resolution recording image LRP (t + h) recorded at time t + h.

但し、高解像度記録画像ＨＲＰは、水平画素数がＮ、垂直画素数がＭ、フレームレートが１／ΔＴ［ｆｐｓ］であるものと仮定する。また、低解像度記録画像ＬＲＰは、水平画素数がｎ、垂直画素数がｍ、フレームレートが１／Δｔ［ｆｐｓ］であるものと仮定する。そして、各変数は、Ｎ≧ｎ、Ｍ≧ｍ、ΔＴ≧ｔの関係を満たすものと仮定する。さらに、変数ｈは、０≦ｈ≦ΔＴの関係を満たすものと仮定する。   However, the high resolution recorded image HRP is assumed to have N horizontal pixels, M vertical pixels, and a frame rate of 1 / ΔT [fps]. The low resolution recorded image LRP is assumed to have n horizontal pixels, m vertical pixels, and a frame rate of 1 / Δt [fps]. Each variable is assumed to satisfy the relationship of N ≧ n, M ≧ m, and ΔT ≧ t. Furthermore, it is assumed that the variable h satisfies the relationship 0 ≦ h ≦ ΔT.

以下、図３の例を参照しながら、時刻ｔの高解像度記録画像ＨＲＰ（ｔ）と、時刻ｔ＋ｈの低解像度記録画像ＬＲＰ（ｔ＋ｈ）とを用いて、時刻ｔ＋ｈの高解像度生成画像ＣＰ（ｔ＋ｈ）を生成する方法について説明する。但し、本実施形態に係る画像処理装置１００の処理方法は、これに限定されるものではない。例えば、図示しない他の時刻ｔ＋ΔＴの高解像度記録画像ＨＲＰ（ｔ＋ΔＴ）を併せて参照しながら、生成画像ＣＰ（ｔ＋ｈ）を生成することもできる。その際、画像処理装置１００は、被写体の動きの大きさや速度等に応じて参照すべき高解像度記録画像ＨＲＰを選択するといった処理を行ってもよい。   Hereinafter, with reference to the example of FIG. 3, the high-resolution generated image CP (t + h) at time t + h using the high-resolution recorded image HRP (t) at time t and the low-resolution recorded image LRP (t + h) at time t + h. ) Will be described. However, the processing method of the image processing apparatus 100 according to the present embodiment is not limited to this. For example, the generated image CP (t + h) can be generated while referring to the high-resolution recording image HRP (t + ΔT) at another time t + ΔT (not shown). At that time, the image processing apparatus 100 may perform processing such as selecting a high-resolution recorded image HRP to be referred to according to the magnitude and speed of the movement of the subject.

（Ｓ１）
まず、画像処理装置１００は、動き予測回路１４２により、低解像度記録画像ＬＲＰ（ｔ）及びＬＲＰ（ｔ＋ｈ）を用いて動き予測を実行する。このとき、動き予測回路１４２は、低解像度記録画像ＬＲＰ（ｔ）及びＬＲＰ（ｔ＋ｈ）を拡大スケーリングして拡大スケーリング画像ＭＰ（ｔ）及びＭＰ（ｔ＋ｈ）を生成する。次いで、動き予測回路１４２は、拡大スケーリング画像ＭＰ（ｔ）とＭＰ（ｔ＋ｈ）とを比較してＭＰ（ｔ）とＭＰ（ｔ＋ｈ）との間の動きベクトルＭＶを検出する。尚、動き予測の方法として、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等を本実施形態に適用することができる。 (S1)
First, the image processing apparatus 100 uses the motion prediction circuit 142 to perform motion prediction using the low-resolution recorded images LRP (t) and LRP (t + h). At this time, the motion prediction circuit 142 enlarges and scales the low-resolution recorded images LRP (t) and LRP (t + h) to generate enlarged scaling images MP (t) and MP (t + h). Next, the motion prediction circuit 142 compares the enlarged scaled images MP (t) and MP (t + h) and detects a motion vector MV between MP (t) and MP (t + h). As a motion prediction method, for example, a block matching method, a phase correlation method, an optical flow method, or the like can be applied to this embodiment.

（Ｓ２）
次いで、画像処理装置１００は、動き補償回路１４４により、前記の動きベクトルＭＶと高解像度記録画像ＨＲＰ（ｔ）とを用いて動き補償を実行する。動き補償回路１４４は、前記の動きベクトルＭＶを利用して、拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックに対応する高解像度記録画像ＨＲＰ（ｔ）の参照ブロックを特定する。そして、動き補償回路１４４は、その参照ブロックと前記の拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックとを所定の比率で合成して、暫定的に生成画像ＣＰ’（ｔ＋ｈ）を生成する。 (S2)
Next, the image processing apparatus 100 uses the motion compensation circuit 144 to perform motion compensation using the motion vector MV and the high-resolution recorded image HRP (t). The motion compensation circuit 144 specifies the reference block of the high-resolution recorded image HRP (t) corresponding to the reference block of the enlarged scaled image MP (t + h) using the motion vector MV. Then, the motion compensation circuit 144 synthesizes the reference block and the reference block of the enlarged scaled image MP (t + h) at a predetermined ratio to tentatively generate a generated image CP ′ (t + h).

もし、動き予測と動き補償とが同一の画像間で行われているならば、前記の生成画像ＣＰ’（ｔ＋ｈ）が生成画像ＣＰ（ｔ＋ｈ）として出力されても前記の動き予測精度に起因して生成画像ＣＰ（ｔ＋ｈ）にノイズが発生することは少ない。しかし、本実施形態に係る画像処理装置１００は、低解像度記録画像ＬＲＰを用いて動き予測を行うため、高解像度記録画像ＨＲＰを用いて動き補償をする際に、その高解像度記録画像ＨＲＰに含まれる高周波成分の情報にノイズが発生する可能性がある。つまり、動き予測の精度に依存して動き補償に用いる高解像度記録画像ＨＲＰの参照ブロックと、それに対応する拡大スケーリング画像ＭＰの参照ブロックとの間の相関が低くなる可能性が懸念されるのである。   If motion prediction and motion compensation are performed between the same images, the generated image CP ′ (t + h) is output as the generated image CP (t + h) because of the motion prediction accuracy. Thus, noise hardly occurs in the generated image CP (t + h). However, since the image processing apparatus 100 according to the present embodiment performs motion prediction using the low-resolution recorded image LRP, it is included in the high-resolution recorded image HRP when performing motion compensation using the high-resolution recorded image HRP. There is a possibility that noise will be generated in the information of high frequency components. That is, there is a concern that the correlation between the reference block of the high-resolution recorded image HRP used for motion compensation and the reference block of the enlarged scaling image MP corresponding thereto may be lowered depending on the accuracy of motion prediction. .

例えば、高解像度記録画像ＨＲＰと低解像度記録画像ＬＲＰとが同一の時刻に記録されたとしても、低解像度記録画像ＬＲＰは、高解像度記録画像ＨＲＰに含まれる高周波成分を含んでいない。そのため、低解像度記録画像ＬＲＰを高解像度記録画像ＨＲＰと同じ空間解像度に拡大して動き予測を実行したとしても、高解像度記録画像ＨＲＰを比較して得られる動きベクトルを精度良く予測することは難しい。また、低解像度記録画像ＬＲＰを伸長せずに比較して検出された動きベクトルを拡大しても、低解像度記録画像ＬＲＰに高周波成分に相当する情報が含まれていない点において同じであるため、動きベクトルを精度良く予測することは難しい。   For example, even if the high-resolution recording image HRP and the low-resolution recording image LRP are recorded at the same time, the low-resolution recording image LRP does not include a high-frequency component included in the high-resolution recording image HRP. Therefore, even if motion prediction is performed by enlarging the low resolution recorded image LRP to the same spatial resolution as the high resolution recorded image HRP, it is difficult to accurately predict the motion vector obtained by comparing the high resolution recorded image HRP. . Further, since the low resolution recorded image LRP is the same in that the detected motion vector is expanded without being expanded, the low resolution recorded image LRP does not include information corresponding to the high frequency component. It is difficult to accurately predict motion vectors.

そこで、本実施形態に係る画像処理装置１００は、動き補償に用いる高解像度記録画像ＨＲＰの参照ブロックと、それに対応する拡大スケーリング画像ＭＰとの間の相関が低い場合に、そのフレームに関しては動き補償が施された画像を用いないように制御する差分画像判定回路１４６を有しているのである。   Therefore, when the correlation between the reference block of the high-resolution recorded image HRP used for motion compensation and the corresponding enlarged scaling image MP is low, the image processing apparatus 100 according to this embodiment performs motion compensation for the frame. The difference image determination circuit 146 is controlled so as not to use the image subjected to.

差分画像判定回路１４６は、例えば、暫定的に生成された生成画像ＣＰ’（ｔ＋ｈ）と拡大スケーリング画像ＭＰ（ｔ＋ｈ）とを比較して差分量を算出する。その差分量が所定値よりも大きい場合、差分画像判定回路１４６は、両画像（ＣＰ’、ＭＰ）の相関が低いものと判断し、生成画像ＣＰ（ｔ＋ｈ）として、拡大スケーリング画像ＭＰ（ｔ＋ｈ）をそのまま出力する。一方、前記の差分量が所定値よりも小さい場合、差分画像判定回路１４６は、両画像（ＣＰ’、ＭＰ）の相関が高いものと判断し、生成画像ＣＰ’（ｔ＋ｈ）を生成画像ＣＰ（ｔ＋ｈ）として出力する。その結果、差分画像判定回路１４６は、動きベクトルの予測精度に起因して高周波成分に発生するノイズを低減させることができる。   For example, the difference image determination circuit 146 compares the generated image CP ′ (t + h) tentatively generated with the enlarged scaling image MP (t + h) to calculate the difference amount. When the difference amount is larger than the predetermined value, the difference image determination circuit 146 determines that the correlation between both images (CP ′, MP) is low, and generates the enlarged scaled image MP (t + h) as the generated image CP (t + h). Is output as is. On the other hand, when the difference amount is smaller than the predetermined value, the difference image determination circuit 146 determines that the correlation between both images (CP ′, MP) is high, and generates the generated image CP ′ (t + h) as the generated image CP ( t + h). As a result, the difference image determination circuit 146 can reduce noise generated in high frequency components due to motion vector prediction accuracy.

（差分画像判定回路１４６の動作フロー）
ここで、図４を参照しながら、本実施形態に係る差分画像判定回路１４６の動作フローについて説明する。図４は、本実施形態に係る差分画像判定回路１４６の動作フローを示す説明図である。 (Operation Flow of Difference Image Determination Circuit 146)
Here, an operation flow of the difference image determination circuit 146 according to the present embodiment will be described with reference to FIG. FIG. 4 is an explanatory diagram showing an operation flow of the difference image determination circuit 146 according to the present embodiment.

まず、差分画像判定回路１４６は、動き予測回路１４２により検出された動きベクトル（参照ブロックＯ → 参照ブロックＣ）に基づき、拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックＯ（参照値Ｏ［ｉ，ｊ］）と、高解像度記録画像ＨＲＰ（ｔ）の参照ブロックＣ（参照値Ｃ［ｉ，ｊ］）との間の差分量Ｄを算出する（Ｓ１０２）。差分画像判定回路１４６は、例えば、ＭＳＥ法（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ ｍｅｔｈｏｄ）やＳＡＤ法（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）等の方法を用いて差分量Ｄ［ｉ，ｊ］を算出することができる。ＳＡＤ法を用いる場合、差分画像判定回路１４６は、下式（１）に従って差分量Ｄを算出する。   First, the difference image determination circuit 146 is based on the motion vector (reference block O → reference block C) detected by the motion prediction circuit 142, and the reference block O (reference value O [i, j] of the enlarged scaled image MP (t + h). ]) And the reference block C (reference value C [i, j]) of the high-resolution recorded image HRP (t) (S102). The difference image determination circuit 146 can calculate the difference amount D [i, j] by using a method such as an MSE method (Mean Square Error method) or a SAD method (Sum of Absolute Difference method), for example. When using the SAD method, the difference image determination circuit 146 calculates the difference amount D according to the following equation (1).

但し、ｉ及びｊは、それぞれ、動き予測の際に参照する単位ブロック内に含まれる水平及び垂直方向の画素位置を表す指標である。また、上式（１）の和は、単位ブロックに含まれる全ての画素の位置ｉ，ｊに関するものである。   Here, i and j are indices representing the pixel positions in the horizontal and vertical directions included in the unit block to be referred to in motion prediction, respectively. Further, the sum of the above equation (1) relates to the positions i and j of all the pixels included in the unit block.

次いで、差分画像判定回路１４６は、所定の設定パラメータＴｈ（以下、閾値）と前記の差分量Ｄとを比較して、その大小関係を判定する（Ｓ１０４）。但し、閾値Ｔｈは、必要に応じて変更されうる。例えば、閾値Ｔｈは、画像データに動きの速い被写体が含まれる状況や、複雑な模様が含まれる状況等が想定される場合に、比較的大きな値に設定される。これらの状況は、動き予測の精度が低下しやすい状況であり、前記の差分値Ｄが比較的大きな値になりやすい。そのため、こうした状況下では、本実施形態に係る画像処理方法の適用範囲を広げるため、前記の閾値Ｔｈを比較的大きめに設定する方が好ましい。   Next, the difference image determination circuit 146 compares a predetermined setting parameter Th (hereinafter referred to as a threshold) with the difference amount D, and determines the magnitude relationship (S104). However, the threshold value Th can be changed as necessary. For example, the threshold value Th is set to a relatively large value when a situation where a fast moving subject is included in the image data or a situation where a complicated pattern is included is assumed. These situations are situations in which the accuracy of motion prediction tends to decrease, and the difference value D tends to be a relatively large value. Therefore, in such a situation, it is preferable to set the threshold value Th relatively large in order to widen the application range of the image processing method according to the present embodiment.

判定結果がＤ＞Ｔｈの場合、この結果は、前記の参照ブロックＣと参照ブロックＯとが大きく相違していることを示している。また、この相違は、例えば、動き予測の精度が低いために誤った動き補償が行われたためか、或いは、時刻ｔに存在しなかった被写体が時刻ｔ＋ｈに出現したために生じる。結果として、画像処理装置１００は、拡大スケーリング画像ＭＰ（ｔ＋ｈ）に対して高解像度記録画像ＨＲＰ（ｔ）に含まれる高周波成分を補償することができない。そこで、差分画像判定回路１４６は、前記の参照ブロックＯを生成画像ＣＰ（ｔ＋ｈ）（参照値ＯＵＴ［ｉ，ｊ］＝Ｏ［ｉ，ｊ］）に設定してノイズの発生を防止する（Ｓ１０６）。   When the determination result is D> Th, this result indicates that the reference block C and the reference block O are greatly different. Further, this difference occurs because, for example, erroneous motion compensation is performed due to low accuracy of motion prediction, or a subject that does not exist at time t appears at time t + h. As a result, the image processing apparatus 100 cannot compensate the high frequency component included in the high resolution recorded image HRP (t) with respect to the enlarged scaled image MP (t + h). Therefore, the difference image determination circuit 146 sets the reference block O to the generated image CP (t + h) (reference value OUT [i, j] = O [i, j]) to prevent noise generation (S106). ).

判定結果がＤ≦Ｔｈの場合、この結果は、前記の参照ブロックＣと参照ブロックＯとが高い相関を有することを示している。そのため、画像処理装置１００は、拡大スケーリング画像ＭＰ（ｔ＋ｈ）に対し、動き補償を用いて、高解像度記録画像ＨＲＰ（ｔ）に含まれる高周波成分を補償することができる。そこで、差分画像判定回路１４６は、前記の参照ブロックＣを用いて拡大スケーリング画像ＭＰ（ｔ＋ｈ）の参照ブロックＯを補償し、その補償された画像を生成画像ＣＰ（ｔ＋ｈ）（参照値ＯＵＴ［ｉ，ｊ］＝Ｃ［ｉ，ｊ］）に設定する（Ｓ１０８）。   When the determination result is D ≦ Th, this result indicates that the reference block C and the reference block O have a high correlation. Therefore, the image processing apparatus 100 can compensate the high frequency component included in the high resolution recorded image HRP (t) by using motion compensation for the enlarged scaled image MP (t + h). Therefore, the difference image determination circuit 146 compensates the reference block O of the enlarged scaled image MP (t + h) using the reference block C, and generates the compensated image as a generated image CP (t + h) (reference value OUT [i , J] = C [i, j]) (S108).

上記のように、差分画像判定回路１４６は、動きベクトルの参照元と参照先とに該当する参照ブロックを予め比較評価することにより、動き予測の精度が低いことに起因してノイズが発生することを防止することができる。その結果、本実施形態に係る画像処理装置１００は、ノイズが発生するような動き予測精度の低い場面では動き補償を行わずにノイズを防止し、その他の場面では動き補償を行って高画質の画像データを生成することができる。その結果、異なる空間解像度を有する画像データ系列を用いて動き補償をする場合において、より高画質の画像データ系列を生成することができる。   As described above, the difference image determination circuit 146 generates noise due to the low accuracy of motion prediction by comparing and evaluating the reference blocks corresponding to the motion vector reference source and the reference destination in advance. Can be prevented. As a result, the image processing apparatus 100 according to the present embodiment prevents noise without performing motion compensation in a scene with low motion prediction accuracy where noise is generated, and performs motion compensation in other scenes to achieve high image quality. Image data can be generated. As a result, a higher quality image data sequence can be generated when motion compensation is performed using image data sequences having different spatial resolutions.

（画像処理方法）
ここで、図５を参照しながら、本実施形態に係る画像処理方法について説明する。図５は、本実施形態に係る画像生成処理の流れを説明するための説明図である。 (Image processing method)
Here, the image processing method according to the present embodiment will be described with reference to FIG. FIG. 5 is an explanatory diagram for explaining the flow of image generation processing according to the present embodiment.

まず、動き予測回路１４２は、低解像度記録画像ＬＲＰを拡大スケーリングして高解像度記録画像ＨＲＰと同じ空間解像度を有する拡大スケーリング画像ＭＰを生成する（Ｓ２０２）。次いで、参照ブロックの位置を示すパラメータｂが初期化される（Ｓ２０４）。次いで、パラメータｂがパラメータｂの最大値ｂ＿ｍａｘを超えているか否かが判定される（Ｓ２０６）。但し、ｂ＿ｍａｘは、フレームに含まれるブロック数である。   First, the motion prediction circuit 142 generates an enlarged scaled image MP having the same spatial resolution as the high resolution recorded image HRP by enlarging and scaling the low resolution recorded image LRP (S202). Next, the parameter b indicating the position of the reference block is initialized (S204). Next, it is determined whether or not the parameter b exceeds the maximum value b_max of the parameter b (S206). However, b_max is the number of blocks included in the frame.

ｂ≧ｂ＿ｍａｘの場合、画像生成ブロック１４０は、画像生成処理を終了する。ｂ＜ｂ＿ｍａｘの場合、動き予測回路１４２は、カレントフレーム（ＭＰ（ｔ））からキーフレーム（ＭＰ（ｔ＋ｈ））への動き予測を実行する（Ｓ２０８）。次いで、画像生成ブロック１４０は、予測残差信号の大きさに基づいて動き補償を実行可能か否かを判定する（Ｓ２１０）。   If b ≧ b_max, the image generation block 140 ends the image generation process. If b <b_max, the motion prediction circuit 142 performs motion prediction from the current frame (MP (t)) to the key frame (MP (t + h)) (S208). Next, the image generation block 140 determines whether motion compensation can be performed based on the magnitude of the prediction residual signal (S210).

ステップＳ２１０において、動き補償の実行が不可であると判定された場合、動き補償回路１４４は、ステップＳ２０２で拡大スケーリング画像ＭＰ（ｔ＋ｈ）を生成画像ＣＰ（ｔ＋ｈ）として出力する（Ｓ２１６）。一方、ステップＳ２１０において、動き補償の実行が可能であると判定された場合、動き補償回路１４４は、キーフレームに対応する高解像度記録画像ＨＲＰ（ｔ）と拡大スケーリング画像ＭＰ（ｔ＋ｈ）とを用いて差分画像判定（前記の「Ｄ＞Ｔｈ」ｏｒ「Ｄ≦Ｔｈ」判定）を実行し、動き補償が可能か否かを判定する（Ｓ２１２）。   If it is determined in step S210 that the motion compensation cannot be performed, the motion compensation circuit 144 outputs the enlarged scaled image MP (t + h) as the generated image CP (t + h) in step S202 (S216). On the other hand, if it is determined in step S210 that motion compensation can be performed, the motion compensation circuit 144 uses the high-resolution recorded image HRP (t) and the enlarged scaled image MP (t + h) corresponding to the key frame. Then, the difference image determination (the above-mentioned “D> Th” or “D ≦ Th” determination) is executed to determine whether motion compensation is possible (S212).

ステップＳ２１２において、動き補償が可能であると判定された場合、動き補償回路１４４は、高解像度記録画像ＨＲＰ（ｔ）を用いて動き補償を実行する（Ｓ２１４）。このとき、動き補償回路１４４は、ステップＳ２０８で得られたカレントフレームからキーフレームへの動きベクトル、単位ブロックサイズ、又は参照フレーム情報等を利用する。一方、ステップＳ２１２において、動き補償の実行が不可であると判定された場合、動き補償回路１４４は、拡大スケーリング画像ＭＰ（ｔ＋ｈ）を生成画像ＣＰ（ｔ＋ｈ）として出力する（Ｓ２１６）。   If it is determined in step S212 that motion compensation is possible, the motion compensation circuit 144 performs motion compensation using the high-resolution recorded image HRP (t) (S214). At this time, the motion compensation circuit 144 uses the motion vector from the current frame to the key frame, the unit block size, or reference frame information obtained in step S208. On the other hand, if it is determined in step S212 that the motion compensation cannot be performed, the motion compensation circuit 144 outputs the enlarged scaled image MP (t + h) as the generated image CP (t + h) (S216).

次いで、画像生成ブロック１４０は、パラメータｂをインクリメントし（Ｓ２１８）、再びステップＳ２０６から始まる処理を実行する。このように、画像生成ブロック１４０は、動き補償する際に前記の差分画像判定を実行しながら、動き補償が可能か否かを判定する。そのため、画像生成ブロック１４０は、動き補償に起因して生成画像ＣＰ（ｔ＋ｈ）にノイズが発生することを抑制できる。   Next, the image generation block 140 increments the parameter b (S218), and executes the process starting from step S206 again. As described above, the image generation block 140 determines whether or not motion compensation is possible while performing the difference image determination when performing motion compensation. Therefore, the image generation block 140 can suppress noise from being generated in the generated image CP (t + h) due to motion compensation.

以上、本実施形態に係る画像処理装置１００について説明した。上記の通り、本実施形態に係る画像処理装置１００は、差分画像判定回路１４６を有し、動き予測の精度に応じて生成画像ＣＰとして出力する画像データを切り替えることができる。その結果、画像処理装置１００は、異なる空間解像度を有する画像データ系列を用いて動き予測と動き補償とを実行する場合において、動き予測精度に関わらず、高画質な生成画像ＣＰを生成することができる。また、差分画像判定回路１４６は、動き予測精度に起因して生成画像ＣＰにノイズが発生するか否かを検出する際にも利用することができる。   The image processing apparatus 100 according to the present embodiment has been described above. As described above, the image processing apparatus 100 according to the present embodiment includes the difference image determination circuit 146 and can switch image data to be output as the generated image CP according to the accuracy of motion prediction. As a result, when performing motion prediction and motion compensation using image data sequences having different spatial resolutions, the image processing apparatus 100 can generate a high-quality generated image CP regardless of motion prediction accuracy. it can. The difference image determination circuit 146 can also be used when detecting whether or not noise is generated in the generated image CP due to the motion prediction accuracy.

尚、画像処理装置１００の各構成要素が実現する機能は、例えば、以下に例示する情報処理装置を用いて所定のプログラムにより実現することも可能である。   Note that the functions realized by the components of the image processing apparatus 100 can be realized by a predetermined program using an information processing apparatus exemplified below, for example.

［ハードウェア構成］
上記の画像処理装置１００が有する機能は、例えば、図６に示すハードウェア構成を有する情報処理装置によっても実現することが可能である。図６は、上記の画像処理装置１００の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成例を示す説明図である。 [Hardware configuration]
The functions of the image processing apparatus 100 can be realized by an information processing apparatus having the hardware configuration shown in FIG. FIG. 6 is an explanatory diagram illustrating a hardware configuration example of an information processing apparatus capable of realizing the functions of the respective components of the image processing apparatus 100 described above.

図６に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。   As shown in FIG. 6, the information processing apparatus mainly includes a CPU (Central Processing Unit) 902, a ROM (Read Only Memory) 904, a RAM (Random Access Memory) 906, a host bus 908, and a bridge. 910, an external bus 912, an interface 914, an input unit 916, an output unit 918, a storage unit 920, a drive 922, a connection port 924, and a communication unit 926.

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。   The CPU 902 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation of each component or a part thereof based on various programs recorded in the ROM 904, the RAM 906, the storage unit 920, or the removable recording medium 928. . The ROM 904 stores, for example, a program read by the CPU 902 and data used for calculation. The RAM 906 temporarily or permanently stores, for example, a program that is read into the CPU 902 and various parameters that change as appropriate when the program is executed. These components are connected to each other by, for example, a host bus 908 capable of high-speed data transmission. The host bus 908 is connected to an external bus 912 having a relatively low data transmission speed via a bridge 910, for example.

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。   The input unit 916 is an operation unit such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever. The input unit 916 may be remote control means (so-called remote controller) capable of transmitting a control signal using infrared rays or other radio waves. Note that the input unit 916 includes an input control circuit for transmitting information input using the above-described operation means to the CPU 902 as an input signal.

出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。   The output unit 918 is, for example, a display device such as a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), or an ELD (Electro-Luminescence Display), an audio device such as a speaker, a headphone, or the like. It is a device capable of visually or audibly notifying acquired information to a user, such as a mobile phone or a facsimile.

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。   The storage unit 920 is a device for storing various data, and includes, for example, a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device. Is done.

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ−ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。   The drive 922 is a device that reads information recorded on a removable recording medium 928 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 928. The removable recording medium 928 is, for example, a DVD medium, a Blu-ray medium, an HD-DVD medium, a compact flash (CF) (registered trademark), a memory stick, or an SD memory card (Secure Digital memory card). Of course, the removable recording medium 928 may be, for example, an IC card (Integrated Circuit Card) on which a non-contact IC chip is mounted, an electronic device, or the like.

接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。   The connection port 924 is a port for connecting an external connection device 930 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there. The external connection device 930 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、放送、又は衛星通信等である。   The communication unit 926 is a communication device for connecting to the network 932. For example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB), optical communication A router, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communications. The network 932 connected to the communication unit 926 is configured by a wired or wireless network, and is, for example, the Internet, a home LAN, infrared communication, broadcasting, or satellite communication.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to the example which concerns. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.

例えば、上記の実施形態の説明においては、後方のフレームを参照して動き予測、及び動き補償を実行する方法について述べたが、本発明の技術的範囲はこれに限定されず、前方のフレーム、或いは、前後のフレームを参照して動き予測、及び動き補償を実行することも可能である。   For example, in the above description of the embodiment, the method for performing motion prediction and motion compensation with reference to the rear frame has been described. However, the technical scope of the present invention is not limited to this, and the front frame, Alternatively, motion prediction and motion compensation can be executed with reference to the previous and subsequent frames.

［変形例］
ここで、図７を参照しながら、前後のフレームに基づき、動き予測／動き補償の処理を実行して高画質の画像を生成する方法について説明する。図７は、前後のフレームに基づき、動き予測／動き補償の処理を逐次実行して高画質の画像を生成する方法を説明するための説明図である。図７に示すように、所望の撮影時刻の前後に高解像度記録画像ＨＲＰが記録されている場合、拡大スケーリング画像ＭＰ（ｔ＋ｈ）と、高解像度記録画像ＨＲＰ（ｔ）及びＨＲＰ（ｔ＋ｈ）とを用いて動き補償を施すことができる。 [Modification]
Here, a method for generating a high-quality image by executing motion prediction / motion compensation processing based on the previous and subsequent frames will be described with reference to FIG. FIG. 7 is an explanatory diagram for explaining a method of generating a high-quality image by sequentially executing motion prediction / compensation processing based on previous and subsequent frames. As shown in FIG. 7, when the high-resolution recording image HRP is recorded before and after the desired shooting time, the enlarged scaling image MP (t + h) and the high-resolution recording images HRP (t) and HRP (t + h) are Motion compensation can be applied.

しかし、どちらかの高解像度記録画像ＨＲＰから生成された暫定的な生成画像ＣＰ’（ｔ＋ｈ）にノイズが発生すると、最終的に生成された生成画像ＣＰ（ｔ＋ｈ）にもノイズが発生してしまう。そのため、拡大スケーリング画像ＭＰ（ｔ＋ｈ）との相関が高い暫定的な生成画像ＣＰ’（ｔ＋ｈ）のみを用いて生成画像ＣＰ（ｔ＋ｈ）を生成することも可能である。その結果、動き補償を適用可能なケースが増すため、より高画質な画像データ系列を生成することができる。   However, if noise is generated in the temporary generated image CP ′ (t + h) generated from one of the high-resolution recorded images HRP, noise is also generated in the finally generated generated image CP (t + h). . Therefore, it is also possible to generate the generated image CP (t + h) using only the provisional generated image CP ′ (t + h) having a high correlation with the enlarged scaling image MP (t + h). As a result, the number of cases where motion compensation can be applied increases, so that a higher-quality image data sequence can be generated.

１００ 画像処理装置
１０２ 撮像レンズ
１０４ 撮像素子
１０６ 画像生成タイミングコントローラ
１０８ 表示回路
１１０ カメラ信号処理ブロック
１１２ Ａ／Ｄ変換器
１１４ デジタル信号処理回路
１２０ 動画像記録再生ブロック
１２２、１３２ 記憶部
１２４ 動画像圧縮／伸長回路
１２６ 画像密度変換回路
１３０ 静止画像記録再生ブロック
１３４ 静止画像圧縮／伸長回路
１４０ 画像生成ブロック
１４２ 動き予測回路
１４４ 動き補償回路
１４６ 差分画像判定回路
ＨＲＰ 高解像度記録画像
ＬＲＰ 低解像度記録画像
ＭＰ 拡大スケーリング画像
ＣＰ、ＣＰ’ 生成画像 DESCRIPTION OF SYMBOLS 100 Image processing apparatus 102 Imaging lens 104 Image pick-up element 106 Image generation timing controller 108 Display circuit 110 Camera signal processing block 112 A / D converter 114 Digital signal processing circuit 120 Moving image recording / reproducing block 122, 132 Storage unit 124 Moving image compression / Decompression circuit 126 Image density conversion circuit 130 Still image recording / reproduction block 134 Still image compression / decompression circuit 140 Image generation block 142 Motion prediction circuit 144 Motion compensation circuit 146 Difference image determination circuit HRP High-resolution recording image LRP Low-resolution recording image MP Enlarged scaling Image CP, CP 'generated image

Claims (10)

複数のフレームを含む第１映像データと、前記第１映像データのフレームよりも高い解像度を有する第２映像データとを撮像する撮像部と、
前記第１映像データを圧縮する第１の圧縮処理部と、
前記第１の圧縮処理部により圧縮された第１映像データを格納する第１の記憶部と、
前記第２映像データを圧縮する第２の圧縮処理部と、
前記第２の圧縮処理部により圧縮された第２映像データを格納する第２の記憶部と、
前記第１の記憶部に格納された圧縮後の第１映像データを伸張する第１の伸張処理部と、
前記第２の記憶部に格納された圧縮後の第２映像データを伸張する第２の伸張処理部と、
前記第１の伸張処理部により伸張された第１映像データに含まれるフレーム間の動きベクトルと、前記第２の伸張処理部により伸張された第２映像データのフレームとに基づいて動き補償された第１の画像データと、前記第１の伸張処理部により伸張された第１映像データのフレームを前記第２映像データのフレームと同じ解像度に変更した第２の画像データと、の差分を表す差分値が所定値より大きい場合に、前記第２の画像データを、動き補償された画像データとして出力する動き補償部と、
を備える、
撮像装置。 An imaging unit that captures first video data including a plurality of frames and second video data having a resolution higher than a frame of the first video data;
A first compression processing unit for compressing the first video data;
A first storage unit for storing the first video data compressed by the first compression processing unit;
A second compression processing unit for compressing the second video data;
A second storage unit for storing the second video data compressed by the second compression processing unit;
A first decompression processing unit for decompressing the compressed first video data stored in the first storage unit;
A second decompression processing unit for decompressing the compressed second video data stored in the second storage unit;
Motion compensation is performed based on a motion vector between frames included in the first video data expanded by the first expansion processing unit and a frame of the second video data expanded by the second expansion processing unit. A difference representing a difference between the first image data and the second image data obtained by changing the frame of the first video data expanded by the first expansion processing unit to the same resolution as the frame of the second video data. A motion compensation unit that outputs the second image data as motion compensated image data when the value is greater than a predetermined value;
Comprising
Imaging device. 前記動き補償部は、前記差分値が前記所定値よりも小さい場合に、前記第１の画像データを出力する、
請求項１に記載の撮像装置。 The motion compensation unit outputs the first image data when the difference value is smaller than the predetermined value.
The imaging device according to claim 1. 前記動き補償部は、前記差分値が前記所定値よりも大きい場合、前記動き補償を行う際に前記動きベクトルの参照元である前記第１映像データのフレームと前記動きベクトルの参照先である前記第２映像データのフレームとを合成する比率を、前記差分値に応じて変更する、
請求項１に記載の撮像装置。 When the difference value is greater than the predetermined value, the motion compensation unit is the frame of the first video data that is the reference source of the motion vector and the reference destination of the motion vector when performing the motion compensation Changing the ratio of combining with the frame of the second video data according to the difference value;
The imaging device according to claim 1. 前記第１映像データと前記第２映像データとを記憶する記憶部をさらに備える、
請求項１に記載の撮像装置。 A storage unit for storing the first video data and the second video data;
The imaging device according to claim 1. 前記第１映像データは、前記第２映像データよりも空間解像度が低い、
請求項１に記載の撮像装置。 The first video data has a lower spatial resolution than the second video data;
The imaging device according to claim 1. 前記第１映像データは、前記第２映像データよりも時間解像度が高い、
請求項１に記載の撮像装置。 The first video data has a higher temporal resolution than the second video data.
The imaging device according to claim 1. 前記第１映像データは、前記撮像部により撮像された画像データをダウンサンプリング処理して得られた画像データである、
請求項１に記載の撮像装置。 The first video data is image data obtained by downsampling image data captured by the imaging unit.
The imaging device according to claim 1. 複数のフレームを含む第１映像データと、前記第１映像データのフレームよりも高い解像度を有する第２映像データとを撮像する撮像工程と、
前記第１映像データを圧縮する第１の圧縮工程と、
前記第１の圧縮工程で圧縮された第１映像データを記録する第１の記録工程と、
前記第２映像データを圧縮する第２の圧縮工程と、
前記第２の圧縮工程で圧縮された第２映像データを記録する第２の記録工程と、
前記第１の記録工程で記録された圧縮後の第１映像データを伸張する第１の伸張工程と、
前記第２の記録工程で記録された圧縮後の第２映像データを伸張する第２の伸張工程と、
前記第１の伸張工程で伸張された第１映像データに含まれるフレーム間の動きベクトルと、前記第２の伸張工程で伸張された第２映像データのフレームとに基づいて動き補償された第１の画像データと、前記第１の伸張工程で伸張された第１映像データのフレームを前記第２映像データのフレームと同じ解像度に変更した第２の画像データと、の差分を表す差分値が所定値より大きい場合に、前記第２の画像データを、動き補償された画像データとして出力する動き補償工程と、
を含む、
撮像方法。 An imaging step of imaging first video data including a plurality of frames and second video data having a higher resolution than a frame of the first video data;
A first compression step of compressing the first video data;
A first recording step of recording the first video data compressed in the first compression step;
A second compression step of compressing the second video data;
A second recording step of recording the second video data compressed in the second compression step;
A first decompression step of decompressing the compressed first video data recorded in the first recording step;
A second expansion step of expanding the compressed second video data recorded in the second recording step;
The first motion compensated based on the motion vector between frames included in the first video data expanded in the first expansion step and the frame of the second video data expanded in the second expansion step. A difference value indicating a difference between the image data of the first image data and the second image data obtained by changing the frame of the first video data expanded in the first expansion step to the same resolution as the frame of the second video data. A motion compensation step of outputting the second image data as motion compensated image data if greater than a value;
including,
Imaging method. 複数のフレームを含む第１映像データと、前記第１映像データのフレームよりも高い解像度を有する第２映像データとを撮像する撮像機能と、
前記第１映像データを圧縮する第１の圧縮処理機能と、
前記第１の圧縮処理機能により圧縮された第１映像データを記憶する第１の記憶機能と、
前記第２映像データを圧縮する第２の圧縮処理機能と、
前記第２の圧縮処理機能により圧縮された第２映像データを記憶する第２の記憶機能と、
前記第１の記憶機能により記憶された圧縮後の第１映像データを伸張する第１の伸張処理機能と、
前記第２の記憶機能により記憶された圧縮後の第２映像データを伸張する第２の伸張処理機能と、
前記第１の伸張処理機能により伸張された第１映像データに含まれるフレーム間の動きベクトルと、前記第２の伸張処理機能により伸張された第２映像データのフレームとに基づいて動き補償された第１の画像データと、前記第１の伸張処理機能により伸張された第１映像データのフレームを前記第２映像データのフレームと同じ解像度に変更した第２の画像データと、の差分を表す差分値が所定値より大きい場合に、前記第２の画像データを、動き補償された画像データとして出力する動き補償機能と、
をコンピュータに実現させるためのプログラム。 An imaging function for imaging first video data including a plurality of frames and second video data having a higher resolution than the frame of the first video data;
A first compression processing function for compressing the first video data;
A first storage function for storing the first video data compressed by the first compression processing function;
A second compression processing function for compressing the second video data;
A second storage function for storing the second video data compressed by the second compression processing function;
A first decompression function for decompressing the compressed first video data stored by the first storage function;
A second expansion processing function for expanding the compressed second video data stored by the second storage function;
Motion compensation is performed based on a motion vector between frames included in the first video data expanded by the first expansion processing function and a frame of the second video data expanded by the second expansion processing function. A difference representing a difference between the first image data and the second image data obtained by changing the frame of the first video data expanded by the first expansion processing function to the same resolution as the frame of the second video data. A motion compensation function for outputting the second image data as motion compensated image data when the value is greater than a predetermined value;
A program to make a computer realize. 複数のフレームを含む第１映像データと、前記第１映像データのフレームよりも高い解像度を有する第２映像データとを撮像する撮像機能と、
前記第１映像データを圧縮する第１の圧縮処理機能と、
前記第１の圧縮処理機能により圧縮された第１映像データを記憶する第１の記憶機能と、
前記第２映像データを圧縮する第２の圧縮処理機能と、
前記第２の圧縮処理機能により圧縮された第２映像データを記憶する第２の記憶機能と、
前記第１の記憶機能により記憶された圧縮後の第１映像データを伸張する第１の伸張処理機能と、
前記第２の記憶機能により記憶された圧縮後の第２映像データを伸張する第２の伸張処理機能と、
前記第１の伸張処理機能により伸張された第１映像データに含まれるフレーム間の動きベクトルと、前記第２の伸張処理機能により伸張された第２映像データのフレームとに基づいて動き補償された第１の画像データと、前記第１の伸張処理機能により伸張された第１映像データのフレームを前記第２映像データのフレームと同じ解像度に変更した第２の画像データと、の差分を表す差分値が所定値より大きい場合に、前記第２の画像データを、動き補償された画像データとして出力する動き補償機能と、
をコンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体。 An imaging function for imaging first video data including a plurality of frames and second video data having a higher resolution than the frame of the first video data;
A first compression processing function for compressing the first video data;
A first storage function for storing the first video data compressed by the first compression processing function;
A second compression processing function for compressing the second video data;
A second storage function for storing the second video data compressed by the second compression processing function;
A first decompression function for decompressing the compressed first video data stored by the first storage function;
A second expansion processing function for expanding the compressed second video data stored by the second storage function;
Motion compensation is performed based on a motion vector between frames included in the first video data expanded by the first expansion processing function and a frame of the second video data expanded by the second expansion processing function. A difference representing a difference between the first image data and the second image data obtained by changing the frame of the first video data expanded by the first expansion processing function to the same resolution as the frame of the second video data. A motion compensation function for outputting the second image data as motion compensated image data when the value is greater than a predetermined value;
A computer-readable recording medium on which a program for causing the computer to be realized is recorded.

Images