JP2005318548A - Imaging system, image data train forming device, image generating device, image data train generating system, and image transmission system - Google Patents
Imaging system, image data train forming device, image generating device, image data train generating system, and image transmission system Download PDFInfo
- Publication number
- JP2005318548A JP2005318548A JP2005092764A JP2005092764A JP2005318548A JP 2005318548 A JP2005318548 A JP 2005318548A JP 2005092764 A JP2005092764 A JP 2005092764A JP 2005092764 A JP2005092764 A JP 2005092764A JP 2005318548 A JP2005318548 A JP 2005318548A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- resolution
- data sequence
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システムに関する。より特定的には、同一視野を有する2つの画像データ列を取り扱う撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システムに関する。 The present invention relates to an imaging system, an image data sequence creation device, an image generation device, an image data sequence generation device, an image data sequence generation system, and an image transmission system. More specifically, the present invention relates to an imaging system that handles two image data sequences having the same field of view, an image data sequence creation device, an image generation device, an image data sequence generation device, an image data sequence generation system, and an image transmission system.
映像の高解像度化は、高臨場感の要素として映像配信において強く望まれているが、解像度の向上に伴い、当然ながら画像データの容量は著しく増加する。そのため、ネットワークや放送を通じた配信伝送や、アーカイブ保存においても、大きな転送容量および保存容量を必要とする。このため、映像の高解像度化の実現は困難である。 Higher resolution of video is strongly desired in video distribution as an element of high presence, but naturally, as the resolution improves, the capacity of image data increases remarkably. For this reason, a large transfer capacity and storage capacity are required for distribution transmission through networks and broadcasts and archive storage. For this reason, it is difficult to realize high resolution of the video.
ハイビジョンなどの高精細カメラは、一般的なNTSC(National Television Standards Committee)カメラに対して、解像度は4倍程度であるのに対して(例えば、特許文献1参照。)、コストはカメラやその周辺機器すべてにわたり、1ケタ以上高価になる。また、それ以上の解像度を望むと、市販の機材は存在しないため入手は困難で、コスト的にも現実的ではない。 A high-definition camera such as a high-definition camera has a resolution approximately four times that of a general NTSC (National Television Standards Committee) camera (see, for example, Patent Document 1), but the cost is the camera and its surroundings. Over all the equipment, it becomes more expensive than a single digit. If a higher resolution is desired, it is difficult to obtain because there is no commercially available equipment, and it is not realistic in terms of cost.
一般的な動画入力のできるビデオカメラとしては、NTSCクラス(640x480画素、30フレーム/秒)のカメラが長年使われてきた。一方、近年のディジタルカメラの急速な発展と高機能化により、高解像度のカメラが次々と現れ、現状で4000x4000画素を持つ高解像度のカメラも市販されている。 As a video camera capable of inputting a general moving image, a camera of NTSC class (640 × 480 pixels, 30 frames / second) has been used for many years. On the other hand, due to the rapid development and enhancement of functions of digital cameras in recent years, high-resolution cameras appear one after another, and high-resolution cameras having 4000 × 4000 pixels are also commercially available.
また、高解像動画像を圧縮する際には、一般的には、MPEG(Moving Picture Experts Group)などの動画像圧縮方法が用いられる。MPEGでは、高解像動画像を、離散的な高解像度画像フレーム(I(Intra)フレーム)と予測画像(P(Predictive)フレーム、B(Bidirectionally Predictive)フレーム)に必要な動き補償情報や差分情報とに変換することにより、圧縮を行っている。すなわち、低フレームレートの高解像度情報と高フレームレートの動き補償情報とにより高解像度動画像を低いデータレートで再現している。
しかしながら、ビデオカメラやデジタルスチルカメラは高解像度になるにつれ、フレームレートが低下し、リアルタイムで撮像することが困難であるという問題点がある。例えば、4000x4000画素のカメラの場合、現状では1秒間に1フレーム程度の速度である。実時間入力(30フレーム/秒)できるビデオカメラとしては、NTSC(640x480画素)クラスの画像サイズがほとんどである。このため、高解像度かつ高フレームレートな映像を生成可能なカメラを低コストで提供するのは困難であるという問題がある。 However, video cameras and digital still cameras have a problem in that the frame rate decreases as the resolution increases, and it is difficult to capture in real time. For example, in the case of a 4000 × 4000 pixel camera, the current speed is about one frame per second. Most video cameras capable of real-time input (30 frames / second) have an NTSC (640 × 480 pixel) class image size. For this reason, there is a problem that it is difficult to provide a camera capable of generating a high resolution and high frame rate video at low cost.
また、従来の高フレームレートかつ高解像度の撮像では、データ量が膨大になる。そのため、カメラだけでなく、録画機材、編集機材および配信機材なども大容量のデータを扱うことができる特殊なものを必要とする。すなわち、従来の高精細動画像撮像では、そのデータ量の大きさから画像蓄積、画像圧縮および画像転送などの面からも問題がある。 In addition, in the conventional high frame rate and high resolution imaging, the amount of data is enormous. For this reason, not only cameras but also recording equipment, editing equipment, distribution equipment, etc. need special ones that can handle large volumes of data. In other words, conventional high-definition moving image capturing has problems in terms of image accumulation, image compression, image transfer, and the like due to the size of the data amount.
本発明は、上述の課題を解決するためになされたもので、高解像度かつ高フレームレートな映像を生成可能な撮像システム、画像生成装置、画像データ列生成装置および画像データ列生成システムを低コストで提供することを第1の目的とする。 The present invention has been made in order to solve the above-described problems. An imaging system, an image generation apparatus, an image data string generation apparatus, and an image data string generation system capable of generating a high-resolution and high-frame-rate video are provided at low cost. The first object is to provide the service.
また、効果的に動画像圧縮および転送を行なうことができる画像データ列作成装置を提供することを第2の目的とする。 It is a second object of the present invention to provide an image data sequence creation device that can effectively perform moving image compression and transfer.
上記目的を達成するために、本発明のある局面に係る撮像システムは、第1のフレームレートで、第1の解像度を有する第1の画像データ列を生成する第1の画像データ列生成手段と、前記第1のフレームレート以下の第2のフレームレートで、前記第1の解像度以上の第2の解像度を有する第2の画像データ列を生成する第2の画像データ列生成手段とを備え、前記第1の画像データ列生成手段の視野と第2の画像データ列生成手段の視野とは同一であることを特徴とする。 In order to achieve the above object, an imaging system according to an aspect of the present invention includes a first image data sequence generation unit configured to generate a first image data sequence having a first resolution at a first frame rate. A second image data sequence generating means for generating a second image data sequence having a second resolution equal to or higher than the first resolution at a second frame rate equal to or lower than the first frame rate; The visual field of the first image data string generation unit and the visual field of the second image data string generation unit are the same.
第1の画像データ列(低解像度かつ高フレームレートの画像データ列)と第2の画像データ列(高解像度かつ低フレームレートの画像データ列)とが同一の視野を有するように撮像可能である。このため、2つの画像データ列を統合して画像処理を行なうことにより、高解像度かつ高フレームレートな映像を生成することが可能である。なお、高解像度かつ高フレームレートの画像データ列を撮像可能なカメラを用いる場合と比べ、第1の画像データ列生成手段と第2の画像データ列生成手段とを備える方が処理部の個数は多くなるものの全体的に見れば安価である。このため、高解像度かつ高フレームレートな映像を生成するための撮像システムを低コストで提供することができる。 The first image data sequence (low resolution and high frame rate image data sequence) and the second image data sequence (high resolution and low frame rate image data sequence) can be imaged so as to have the same field of view. . For this reason, it is possible to generate a high-resolution and high-frame-rate video by integrating two image data strings and performing image processing. Note that the number of processing units is greater when the first image data sequence generation unit and the second image data sequence generation unit are provided than when a camera capable of capturing an image data sequence with a high resolution and a high frame rate is used. Although it increases, it is inexpensive as a whole. For this reason, it is possible to provide an imaging system for generating an image with a high resolution and a high frame rate at a low cost.
上述の撮像システムは、さらに、全方位からの入射光を集光する全方位視覚センサを備え、前記第1の画像データ列生成手段および前記第2の画像データ列生成手段は、前記全方位視覚センサにより集光された入射光より前記第1の画像データ列および前記第2の画像データ列をそれぞれ生成するように構成されていてもよい。 The imaging system further includes an omnidirectional visual sensor that collects incident light from all directions, and the first image data sequence generation unit and the second image data sequence generation unit include the omnidirectional vision sensor. The first image data string and the second image data string may be respectively generated from incident light collected by a sensor.
これにより、高解像度のパノラマ画像や透視投影変換画像(通常のカメラから見た画像)を生成するための撮像システムを低コストで提供することができる。 Accordingly, it is possible to provide an imaging system for generating a high-resolution panoramic image or a perspective projection conversion image (an image viewed from a normal camera) at a low cost.
また、上述の撮像システムは、さらに、前記第1の画像データ列および前記第2の画像データ列を外部に配信する配信手段を備えていてもよい。 The imaging system described above may further include a distribution unit that distributes the first image data sequence and the second image data sequence to the outside.
第1の画像データ列は高解像度ではあるが低フレームレートであるため容量が少ない。また、第2の画像データ列は高フレームレートではあるが低解像度であるため容量が少ない。このため、外部に配信されるデータ容量を少なくすることができ、低速通信回線においても映像配信やライブ配信を可能にすることができる。 The first image data string has a high resolution but a low frame rate, and therefore has a small capacity. The second image data string has a small capacity because it has a high frame rate but a low resolution. For this reason, it is possible to reduce the volume of data distributed to the outside, and to enable video distribution and live distribution over a low-speed communication line.
上述の撮像システムは、さらに、前記第1の画像データ列および前記第2の画像データ列を蓄積する蓄積手段を備えていてもよい。 The above-described imaging system may further include storage means for storing the first image data sequence and the second image data sequence.
上述のように第1の画像データ列および第2の画像データ列はデータ容量が少ない。このため、蓄積手段の蓄積容量を小さくすることができ、安価に動画像蓄積を行なうことができる。 As described above, the first image data string and the second image data string have a small data capacity. For this reason, the storage capacity of the storage means can be reduced, and moving image storage can be performed at low cost.
本発明の他の局面に係る画像データ列作成装置は、所定の画像データ列より、フレームレートまたは解像度が異なる2つの画像データ列を作成する画像データ列作成装置であって、前記所定の画像データ列より、第1のフレームレートで、第1の解像度の第1の画像データ列を作成する第1の画像データ列作成手段と、前記所定の画像データ列より、前記第1のフレームレート以下の第2のフレームレートで、前記第1の解像度以上の第2の解像度の第2の画像データ列を作成する第2の画像データ列作成手段とを備える。 An image data sequence creation device according to another aspect of the present invention is an image data sequence creation device that creates two image data sequences having different frame rates or resolutions from a predetermined image data sequence, the predetermined image data A first image data sequence generating means for generating a first image data sequence having a first resolution at a first frame rate from the sequence, and a first frame rate lower than the first frame rate from the predetermined image data sequence. And a second image data string creating means for creating a second image data string having a second resolution equal to or higher than the first resolution at a second frame rate.
所定の画像データ列(高解像度かつ高フレームレート)は、データ容量が大きいが、第1の画像データ列および第2の画像データ列はデータ容量が小さい。このため、効果的に動画像蓄積をすることができる。 The predetermined image data string (high resolution and high frame rate) has a large data capacity, but the first image data string and the second image data string have a small data capacity. For this reason, it is possible to store moving images effectively.
前記第1の解像度および前記第2のフレームレートは、前記所定の画像データ列の解像度およびフレームレートとそれぞれ同一であってもよい。 The first resolution and the second frame rate may be the same as the resolution and the frame rate of the predetermined image data string, respectively.
2つの画像データ列を統合して画像処理を行なうことにより、上記所定の画像データ列と同等な映像を生成することが可能である。 By integrating the two image data strings and performing image processing, it is possible to generate a video equivalent to the predetermined image data string.
また、上述の画像データ列作成装置は、さらに、前記第1の画像データ列および前記第2の画像データ列を外部に配信する配信手段を備えていてもよい。 In addition, the above-described image data string creation device may further include a distribution unit that distributes the first image data string and the second image data string to the outside.
上述のように第1の画像データ列および第2の画像データ列のデータ容量は小さい。このため、効果的に動画像転送を行なうことができる。 As described above, the data capacities of the first image data string and the second image data string are small. For this reason, moving picture transfer can be performed effectively.
本発明のさらに他の局面に係る画像生成装置は、フレームレートおよび解像度の異なる同一視野の2つの画像データ列より他の画像データ列を生成する画像データ列生成装置であって、第1のフレームレートおよび第1の解像度を有する第1の画像データ列から動き情報を抽出する動き情報抽出手段と、抽出された前記第1の画像データ列の動き情報に基づいて、前記第1のフレームレート以下の第2のフレームレートおよび前記第1の解像度以上の第2の解像度を有する第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第2の画像データ列に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データを生成する画像データ生成手段とを備える。 An image generation device according to still another aspect of the present invention is an image data sequence generation device that generates another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions, and the first frame A motion information extracting means for extracting motion information from a first image data sequence having a rate and a first resolution, and the first frame rate or less based on the extracted motion information of the first image data sequence The motion information of the image data having the second resolution is estimated for frames not included in the second image data sequence having the second frame rate and the second resolution equal to or higher than the first resolution. Based on the motion information estimated by the motion information estimating unit, the motion information estimated by the motion information estimating unit, and the second image data sequence. Against over beam, and an image data generation means for generating image data having the second resolution.
フレームレートが高い第1の画像データ列より動き情報を抽出し、その動き情報に基づいて第2の画像データ列の動き情報を推定している。よって、密な動き情報を得ることができる。一方、第2の画像データ列は、第1の画像データ列に比べて高解像度である。このため、第1の動き情報および第2の画像データ列に基づいて画像データを生成することにより、高解像度かつ高フレームな画像データ列を生成することができる。 The motion information is extracted from the first image data sequence having a high frame rate, and the motion information of the second image data sequence is estimated based on the motion information. Therefore, dense motion information can be obtained. On the other hand, the second image data sequence has a higher resolution than the first image data sequence. Therefore, by generating image data based on the first motion information and the second image data sequence, it is possible to generate a high-resolution and high-frame image data sequence.
前記動き情報抽出手段は、前記第1の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、前記動き情報推定手段は、前記第2の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、前記第1の画像データ列の動き情報、前記第1の画像データ列および前記第2の画像データ列に基づいて、前記第2の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、前記第2の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第2の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、前記画像データ生成手段は、前記第1の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、前記動き補償された前記第2の解像度を有する画像データの周波数信号成分と、前記第1の画像データ列の周波数信号成分とを合成する合成手段と、合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備えていてもよい。 The motion information extraction unit receives the first image data sequence, extracts motion information using a phase correlation method, and the motion information estimation unit performs frequency conversion on the second image data sequence. Based on the high-resolution frequency signal component extraction means for extracting the frequency signal component, the motion information of the first image data sequence, the first image data sequence, and the second image data sequence, the second Differential image generation means for generating a difference image between an image included in the image data sequence and an image not included, and a difference image frequency component for extracting a frequency signal component by performing the frequency conversion on the difference image Based on the extraction means, the frequency signal component of the second image data sequence, and the frequency signal component of the difference image, the frequency signal component of the image data having the second resolution subjected to motion compensation. A low-resolution frequency signal component extracting unit for extracting a frequency signal component by performing the frequency conversion on the first image data sequence, and the motion compensation. The frequency signal component of the image data having the second resolution and the frequency signal component of the first image data sequence, and the frequency conversion of the synthesized frequency signal component. Inverse frequency conversion means for performing reverse conversion may be provided.
2つの画像データ列を周波数領域で統合することにより、高解像度かつ高フレームな画像データ列を得ている。このため、ハードウェア実装が容易で、かつ高速に処理を実行することができる。よって、低コストで画像生成装置を提供することができる。 By integrating the two image data sequences in the frequency domain, a high resolution and high frame image data sequence is obtained. For this reason, hardware implementation is easy and a process can be performed at high speed. Therefore, an image generation apparatus can be provided at low cost.
前記動き情報抽出手段は、前記第1の画像データ列より、動領域および背景領域を抽出する第1の動領域抽出手段と、前記第2の画像データ列より、動領域および背景領域を抽出する第2の動領域抽出手段と、抽出された前記第1の画像データの動領域に基づいて、前記第1の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、前記動き情報推定手段は、前記第2の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第2の画像データ列には含まれないフレームの動領域を生成し、前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第2の動領域抽出手段で前記第2の画像データ列より抽出された前記背景領域とを重ねあわせるようにしてもよい。 The motion information extraction unit extracts a moving region and a background region from the first moving region extracting unit that extracts a moving region and a background region from the first image data sequence, and a second moving image data sequence from the second image data sequence. A second moving area extracting means; and a plane projective transformation matrix estimating means for estimating a plane projecting transformation matrix for the moving area of the first image data sequence based on the extracted moving area of the first image data. The motion information estimation means performs an operation using the planar projective transformation matrix on the moving region of the second image data sequence, and the frame information not included in the second image data sequence. A moving region is generated, and the image data generating unit includes the moving region estimated by the motion information estimating unit, and the background region extracted from the second image data sequence by the second moving region extracting unit. To overlap It may be.
平面射影変換行列により動領域の動きを表現している。このため、動領域が変形等をした場合であっても、高解像度かつ高フレームな画像データ列を得ることができる。 The motion of the moving area is expressed by a planar projective transformation matrix. For this reason, even when the moving region is deformed, an image data string having a high resolution and a high frame can be obtained.
前記動き情報抽出手段は、前記第1の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第2の画像データ列に含まれないフレームの動きベクトルを補間し、前記画像データ生成手段は、前記特徴点抽出手段で抽出された特徴点を前記第2の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第2の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、前記第2の画像データ列より、背景領域を抽出する背景領域抽出手段と、前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備えるようにしてもよい。 The motion information extracting unit extracts a motion vector by associating a plurality of feature points from image data included in the first image data sequence with a feature point extracting unit that associates the plurality of feature points between frames. A motion vector extraction unit, wherein the motion information estimation unit interpolates a motion vector of a frame not included in the second image data sequence based on the motion vector extracted by the motion vector extraction unit, The image data generating means applies the feature points extracted by the feature point extracting means to the second image data sequence, and divides the region surrounded by the feature points as polygons, and the polygon dividing means Morphing is performed on the divided polygon area based on the motion vector estimated by the motion information estimation means, and the polygon area is included in the second image data sequence. A moving region generating unit that generates a moving region of a frame that is not, a background region extracting unit that extracts a background region from the second image data sequence, a moving region generated by the moving region generating unit, and the background You may make it provide the superimposition means which superimposes the said background area | region extracted by the area | region extraction means.
高フレームレートの第1の画像データ列からポリゴンの形状と動き情報とを得ている。このため、正確な動き情報を得ることができる。一方、ポリゴン内部のテクスチャ情報は第2の画像データ列より得て、モーフィングを施すことにより、そのポリゴンを変形させている。このため、高解像度の動領域を得ることができ、それに伴い、高解像度かつ高フレームレートの画像データ列を得ることができる。モーフィングを用いることにより、動領域の変化に対して追従しやすい。 The polygon shape and motion information are obtained from the first image data string having a high frame rate. For this reason, accurate motion information can be obtained. On the other hand, the texture information inside the polygon is obtained from the second image data string, and the polygon is deformed by morphing. Therefore, it is possible to obtain a high-resolution moving area, and accordingly, it is possible to obtain a high-resolution and high-frame-rate image data string. By using morphing, it is easy to follow changes in the dynamic region.
また、特徴点の対応付けは非剛体物体に対しては、困難であるが、高フレームレートでサンプリングされた第1の画像データ列に基づいて特徴点の対応付けを行なっている。このため、非剛体物体のように動領域の形状が変化するような物体であっても、隣接するフレーム間で対応を取ることにより、正確な対応付けを行なうことができる。 Further, although it is difficult to associate feature points with non-rigid bodies, feature points are associated based on the first image data sequence sampled at a high frame rate. For this reason, even if it is an object whose shape of a moving region changes like a non-rigid body object, exact matching can be performed by taking correspondence between adjacent frames.
好ましくは、前記第1の画像データ列および前記第2の画像データ列は、請求項1〜5のいずれか1項に記載の撮像システムにおいて生成される。 Preferably, the first image data string and the second image data string are generated in the imaging system according to any one of claims 1 to 5.
2つの画像データ列を撮像システムより得ており、この2系統に分けて撮像すること自体がデータの削減になる。このため、MPEGなどのように、画像データ列を予め圧縮する必要がなく、ライブの映像を配信する際などに圧縮のための時間が必要なくなるため、効果的である。当然ながら、2つの画像データ列をMPEG等により圧縮することで、更なるデータ圧縮を行なうことも可能である。 Two image data strings are obtained from the image pickup system, and the image pickup itself divided into the two systems itself reduces the data. Therefore, unlike MPEG, it is not necessary to compress the image data sequence in advance, and it is effective because time for compression is not required when distributing live video. Of course, it is possible to perform further data compression by compressing two image data strings by MPEG or the like.
本発明のさらに他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の2つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、前記2つの画像データ列を配信する画像データ列配信装置と、前記画像データ列配信装置に接続され、請求項11〜18のいずれか1項に記載の画像データ列生成装置とを備え、前記画像データ列配信装置は、請求項5に記載の撮像システムまたは請求項9に記載の画像データ列作成装置であることを特徴とする。 An image data sequence generation system according to still another aspect of the present invention is an image data sequence generation system that generates another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions, An image data string distribution device that distributes one image data string; and the image data string generation device according to any one of claims 11 to 18 connected to the image data string distribution device, wherein the image data string The distribution apparatus is an imaging system according to a fifth aspect or an image data string creation apparatus according to a ninth aspect.
このシステムで用いられる画像データ列生成装置は、高解像度かつ高フレームレートな映像を生成可能である。それを利用した画像データ列生成システムも同様の効果を奏する。 An image data string generation apparatus used in this system can generate a video with high resolution and high frame rate. An image data string generation system using the same has the same effect.
本発明のさらに他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の2つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、前記2つの画像データ列のうち一方の画像データ列より得られる動き情報と他方の画像データ列とを配信する配信装置と、前記配信装置より配信された前記動き情報および前記他方の画像データ列に基づいて、画像データ列を生成する画像データ列生成装置とを備え、前記配信装置は、請求項1〜6のいずれか1項に記載の撮像システムと、前記撮像システムで撮像された前記第1の画像データ列から動き情報を抽出する動き情報抽出手段と、前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第2の画像データ列とを配信する配信手段とを備え、前記画像データ列生成装置は、配信された前記第1の画像データ列の動き情報に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第2の画像データ列に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データを生成する画像データ生成手段とを備えることを特徴とする。 An image data sequence generation system according to still another aspect of the present invention is an image data sequence generation system that generates another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions, Based on the distribution device that distributes the motion information obtained from one of the image data sequences and the other image data sequence, the motion information distributed from the distribution device, and the other image data sequence An image data sequence generation device that generates an image data sequence, and the distribution device includes the imaging system according to any one of claims 1 to 6 and the first image captured by the imaging system. Motion information extracting means for extracting motion information from the data string, motion information extracted by the motion information extracting means, and the second image captured by the imaging system And the image data sequence generation device is not included in the second image data sequence based on the motion information of the distributed first image data sequence. Based on the motion information estimation means for estimating the motion information of the image data having the second resolution for the frame, the motion information estimated by the motion information estimation means, and the second image data sequence, Image data generating means for generating image data having the second resolution for a frame not included in the second image data string is provided.
このシステムでは、2つの画像データ列のうち一方に関しては、動き情報のみを配信している。このため、画像データ列を配信する場合に比べ、通信容量を小さくすることができる。 In this system, only motion information is distributed for one of the two image data strings. For this reason, compared with the case where an image data sequence is distributed, communication capacity can be made small.
本発明のさらに他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の2つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、画像データ列を配信する画像データ列配信装置と、前記画像データ列配信装置より配信された前記画像データ列を受信する画像データ列受信装置とを備え、前記画像データ列配信装置は、第1のフレームレートおよび第1の解像度を有する第1の画像データ列を配信する第1の配信手段と、前記画像データ列受信装置より、前記第1の画像データ列に含まれる画像データ内の領域に関する情報を受信する領域受信手段と、前記第1の画像データ列から動き情報を抽出する動き情報抽出手段と、抽出された前記第1の画像データ列の動き情報に基づいて、前記第1のフレームレート以下の第2のフレームレートおよび前記第1の解像度以上の第2の解像度を有する第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第2の画像データ列に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データを生成する画像データ生成手段と、前記第2の画像データ列および前記画像データ生成手段で生成された前記画像データのうち、前記領域受信手段で受信された情報で特定される領域部分の画像データを配信する第2の配信手段とを備え、画像データ列受信装置は、前記第1の配信手段より配信される第1の画像データ列を受信する第1の受信手段と、ユーザから、前記第1の画像データ列に含まれる画像データ内の領域の指定を受付け、当該領域に関する情報を送信する領域送信手段と、前記第2の配信手段より配信される画像データを受信する第2の受信手段とを備えることを特徴とする
ユーザにより指定された領域内についてのみ、画像データが配信される。このため、通信容量を結果的には少なくすることができる。
An image data sequence generation system according to still another aspect of the present invention is an image data sequence generation system that generates another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions, An image data string distribution device that distributes a sequence; and an image data sequence reception device that receives the image data sequence distributed from the image data sequence distribution device, wherein the image data sequence distribution device has a first frame rate. And a first distribution means for distributing a first image data sequence having a first resolution, and information relating to an area in the image data included in the first image data sequence from the image data sequence receiving device. Region receiving means, motion information extracting means for extracting motion information from the first image data sequence, and motion information of the extracted first image data sequence On the basis of the second frame rate that is not included in the second image data sequence having the second frame rate equal to or lower than the first frame rate and the second resolution equal to or higher than the first resolution. Included in the second image data sequence based on the motion information estimation means for estimating the motion information of the image data having resolution, the motion information estimated by the motion information estimation means and the second image data sequence Image data generating means for generating image data having the second resolution for a frame that is not, and the region of the image data generated by the second image data sequence and the image data generating means. A second distribution unit that distributes the image data of the area specified by the information received by the reception unit, and the image data string reception device distributes the image data from the first distribution unit. First receiving means for receiving the first image data sequence, and region transmitting means for receiving designation of an area in the image data included in the first image data string from the user and transmitting information relating to the area And second receiving means for receiving the image data distributed by the second distributing means. The image data is distributed only within the area designated by the user. For this reason, the communication capacity can be reduced as a result.
本発明のさらに他の局面に係る画像伝送システムは、画像送信装置と画像受信装置とからなる画像伝送システムであって、前記画像送信装置は、同一視野を持つ2つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、前記動画像取得手段で取得された低解像度画像に基づいて、前記動画像取得手段で取得された高解像度画像のフレーム間差分を生成する差分生成手段と、前記動画像取得手段で取得された低解像度画像及び高解像度画像並びに前記差分生成手段で生成されたフレーム間差分に対して周波数変換を施すことにより、それぞれ、低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを生成する変換手段と、前記変換手段で得られた低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを前記画像受信装置に送信する送信手段とを備え、前記画像受信装置は、前記画像送信装置から送られてくる低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを受信する受信手段と、前記受信手段で受信された高解像度画像のスペクトルとフレーム間差分のスペクトルとを周波数領域で足し合わせることにより、動き補償された高解像度画像のスペクトルを生成する加算手段と、前記加算手段で得られた高解像度画像のスペクトルと前記受信手段で受信された低解像度スペクトルとを合成する合成手段と、前記合成手段で得られたスペクトルに対して逆周波数変換を施すことにより、高解像度画像を生成する画像生成手段とを備える。 An image transmission system according to still another aspect of the present invention is an image transmission system including an image transmission device and an image reception device, wherein the image transmission device is two moving images having the same field of view, In particular, a moving image acquisition unit that acquires a low resolution image that is a moving image with a low resolution and a high frame rate, and a high resolution image that is a moving image with a relatively high resolution and a low frame rate, and the moving image acquisition unit Based on the low resolution image acquired in step 1, the difference generation means for generating the inter-frame difference of the high resolution image acquired by the moving image acquisition means, the low resolution image and the high resolution acquired by the moving image acquisition means By applying frequency conversion to the image and the inter-frame difference generated by the difference generation means, the spectrum of the low resolution image, the spectrum of the high resolution image, and the frame are respectively obtained. Conversion means for generating an inter-frame difference spectrum, and transmission means for transmitting the low-resolution image spectrum, the high-resolution image spectrum, and the inter-frame difference spectrum obtained by the conversion means to the image receiving apparatus. The image receiving device includes: a receiving unit that receives a spectrum of a low resolution image, a spectrum of a high resolution image, and a spectrum of inter-frame difference transmitted from the image transmitting device; and the high resolution image received by the receiving unit. Adding means for generating a motion-compensated high-resolution image spectrum by adding the spectrum of the frame and the inter-frame difference spectrum in the frequency domain, and the high-resolution image spectrum obtained by the adding means and the receiving means Combining means for synthesizing the low-resolution spectrum received in step (1) and the spectrum obtained by the combining means. By performing inverse frequency conversion on the Le, and an image generating means for generating a high resolution image.
この構成によれば、前述と同様に、前記低解像度画像と前記高解像度画像とから高解像度で高フレームレートの動画像が得られることはもちろん、動画像情報がスペクトルの形式で前記画像送信装置から前記画像受信装置へと伝送されるので、高度に圧縮された小容量の情報を用いて動画像を伝送することが可能となる。その結果、例えば、インターネット配信といった動画像のネットワーク伝送に適した画像伝送システムが実現される。 According to this configuration, as described above, a moving image having a high resolution and a high frame rate can be obtained from the low resolution image and the high resolution image, and the moving image information is in the form of a spectrum. Therefore, it is possible to transmit a moving image using highly compressed small-capacity information. As a result, for example, an image transmission system suitable for network transmission of moving images such as Internet distribution is realized.
本発明のさらに他の局面に係る画像伝送システムは、画像送信装置と画像受信装置とからなる画像伝送システムであって、前記画像送信装置は、同一視野を持つ2つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、前記動画像取得手段で取得された低解像度画像の各画素に対して動きベクトルを算出する動き推定手段と、前記動画像取得手段で取得された高解像度画像に対してウェーブレット変換を施すことにより、高解像度画像のスペクトルを生成する変換手段と、前記動画像取得手段で取得された低解像度画像、前記動き推定手段で算出された動きベクトル及び前記変換手段で得られた高解像度画像のスペクトルを前記画像受信装置に送信する送信手段とを備え、前記画像受信装置は、前記画像送信装置から送られてくる低解像度画像、動きベクトル及び高解像度画像のスペクトルを受信する受信手段と、前記受信手段で受信された動きベクトルを用いて、前記受信手段で受信された高解像度画像の高周波成分に対して動き補償をする動き補償手段と、前記動き補償手段で得られた高周波成分と前記受信手段で受信された低解像度画像とをスペクトル合成する合成手段と、前記合成手段で得られたスペクトルに対して逆ウェーブレット変換を施すことにより、高解像度画像を生成する画像生成手段とを備える。 An image transmission system according to still another aspect of the present invention is an image transmission system including an image transmission device and an image reception device, wherein the image transmission device is two moving images having the same field of view, In particular, a moving image acquisition unit that acquires a low resolution image that is a moving image with a low resolution and a high frame rate, and a high resolution image that is a moving image with a relatively high resolution and a low frame rate, and the moving image acquisition unit A motion estimation unit that calculates a motion vector for each pixel of the low-resolution image acquired in step (b), and a wavelet transform on the high-resolution image acquired by the moving image acquisition unit, thereby obtaining a spectrum of the high-resolution image. Conversion means for generating a low resolution image acquired by the moving image acquisition means, a motion vector calculated by the motion estimation means, and a high resolution obtained by the conversion means Transmitting means for transmitting the spectrum of the image to the image receiving device, the image receiving device receiving means for receiving the spectrum of the low resolution image, the motion vector and the high resolution image sent from the image transmitting device; A motion compensation unit that performs motion compensation on a high-frequency component of a high-resolution image received by the reception unit using a motion vector received by the reception unit; and a high-frequency component obtained by the motion compensation unit, Combining means for spectrally synthesizing the low resolution image received by the receiving means, and image generating means for generating a high resolution image by performing inverse wavelet transform on the spectrum obtained by the synthesizing means. .
この構成によれば、前述と同様に、前記低解像度画像と前記高解像度画像とから高解像度で高フレームレートの動画像が得られることはもちろん、スペクトルの形式で動画像情報が前記画像送信装置から前記画像受信装置へと伝送されるので、高度に圧縮された小容量の情報を用いて動画像を伝送することが可能となる。さらには、周波数領域においても画像空間情報が保持されるというウェーブレット変換の特徴のために、前記低解像度画像には周波数変換を施すことなく前記スペクトル合成に用いることが可能となり、スペクトル合成に係る計算コストの削減が達成される。 According to this configuration, as described above, a moving image having a high resolution and a high frame rate can be obtained from the low resolution image and the high resolution image, and moving image information in the form of a spectrum can be obtained. Therefore, it is possible to transmit a moving image using highly compressed small-capacity information. Furthermore, because of the feature of wavelet transform that image space information is retained even in the frequency domain, the low-resolution image can be used for the spectrum synthesis without performing frequency transformation. Cost reduction is achieved.
本発明によると、高解像度かつ高フレームレートのカメラを用いなくても、高解像度かつ高フレームな画像データ列を生成することができる。よって、撮像システム、画像生成装置、画像データ列生成装置および画像データ列生成システムを低コストで提供することができる。 According to the present invention, a high-resolution and high-frame image data sequence can be generated without using a high-resolution and high-frame-rate camera. Therefore, an imaging system, an image generation device, an image data string generation device, and an image data string generation system can be provided at low cost.
また、効果的に動画像圧縮および転送を行なうことができる画像データ列作成装置を提供することができる。 In addition, it is possible to provide an image data string creation device that can effectively perform moving picture compression and transfer.
また、本発明では、画像入力時から入力画像データ列のデータ容量が少ない。したがって、データ転送時の通信容量を小さくすることができる。 Further, in the present invention, the data capacity of the input image data string is small from the time of image input. Therefore, the communication capacity at the time of data transfer can be reduced.
また、入力画像データ列を小さい容量で蓄積することができる。このため、通常は、低解像度かつ高フレームレートの画像データをユーザに見せるようにし、詳細な画像を見たい場合にのみ高解像度かつ高フレームレートの画像データを生成するようにしてもよい。このようにすることにより、監視用途等に使用することができるようになる。 Further, the input image data string can be stored with a small capacity. For this reason, usually, image data with low resolution and high frame rate may be shown to the user, and image data with high resolution and high frame rate may be generated only when a detailed image is desired to be viewed. By doing so, it can be used for monitoring purposes and the like.
[実施の形態1]
以下、図面を参照しながら本発明の実施の形態1に係る画像処理システムについて説明する。
[画像処理システムの構成]
図1は、本実施の形態に係る画像処理システムの構成を示す機能ブロック図である。画像処理システム20は、高解像度かつ高フレームレートの画像データを生成するためのシステムであり、複合センサカメラ22と、配信サーバ24と、クライアント装置26とを備えている。
[Embodiment 1]
Hereinafter, an image processing system according to Embodiment 1 of the present invention will be described with reference to the drawings.
[Configuration of image processing system]
FIG. 1 is a functional block diagram showing the configuration of the image processing system according to the present embodiment. The image processing system 20 is a system for generating image data with high resolution and high frame rate, and includes a composite sensor camera 22, a distribution server 24, and a client device 26.
複合センサカメラ22は、同一視野を有する2種類の画像データを取り込むためのカメラであり、高解像度低フレームレートカメラ28と、低解像度高フレームレートカメラ30とを備えている。高解像度低フレームレートカメラ28は、例えば、高解像度(4000x4000画素)の画像データを、低フレームレート(1フレーム/秒)で撮像することが可能なセンサである。また、低解像度高フレームレートカメラ30は、高解像度低フレームレートカメラ28と同一視野を有し、例えば、NTSCクラスの低解像度(640x480画素)の画像データを、高フレームレート(30フレーム/秒)で撮像することが可能なセンサである。複合センサカメラ22の構成については後に詳述する。 The composite sensor camera 22 is a camera for capturing two types of image data having the same field of view, and includes a high resolution low frame rate camera 28 and a low resolution high frame rate camera 30. The high resolution low frame rate camera 28 is a sensor that can image high resolution (4000 × 4000 pixels) image data at a low frame rate (1 frame / second), for example. The low resolution high frame rate camera 30 has the same field of view as the high resolution low frame rate camera 28. For example, NTSC class low resolution (640 × 480 pixels) image data is converted into a high frame rate (30 frames / second). It is a sensor that can take an image with. The configuration of the composite sensor camera 22 will be described in detail later.
配信サーバ24は、複合センサカメラ22で撮像された2種類の画像データを放送波やインターネットに代表されるコンピュータネットワーク等を介してクライアント装置26に配信する装置であり、高解像度画像配信部32と、低解像度画像配信部34とを備えている。 The distribution server 24 is a device that distributes two types of image data captured by the composite sensor camera 22 to the client device 26 via a broadcast wave, a computer network typified by the Internet, and the like. And a low-resolution image distribution unit 34.
高解像度画像配信部32は、複合センサカメラ22の高解像度低フレームレートカメラ28で撮像された高解像度かつ低フレームレート(以下、適宜「高解像度」という。)の画像データを配信する処理部である。また、高解像度画像配信部32は、クライアント装置26から画像データ中の位置指定があった場合には、高解像度画像データよりその一部を切り出してクライアント装置26に配信する。 The high-resolution image distribution unit 32 is a processing unit that distributes high-resolution and low-frame-rate image data (hereinafter referred to as “high-resolution” as appropriate) captured by the high-resolution low-frame-rate camera 28 of the composite sensor camera 22. is there. In addition, when a position in the image data is specified from the client device 26, the high resolution image distribution unit 32 cuts out a part of the high resolution image data and distributes it to the client device 26.
低解像度画像配信部34は、複合センサカメラ22の低解像度高フレームレートカメラ30で撮像された低解像度かつ高フレームレート(以下、適宜「低解像度」という。)の画像データを配信する処理部である。また、低解像度画像配信部34は、クライアント装置26から画像データ中の位置指定が合った場合には、低解像度画像データよりその一部を切り出してクライアント装置26に配信する。 The low resolution image distribution unit 34 is a processing unit that distributes low resolution and high frame rate (hereinafter referred to as “low resolution” as appropriate) image data captured by the low resolution high frame rate camera 30 of the composite sensor camera 22. is there. In addition, when the position designation in the image data is matched from the client device 26, the low resolution image delivery unit 34 cuts out a part of the low resolution image data and delivers it to the client device 26.
クライアント装置26は、配信サーバ24より配信される2種類の画像データを受信し、それらの画像データより、高解像度かつ高フレームレートの画像データを生成する処理装置であり、位置指定部36と、高解像度画像生成処理部38とを備えている。 The client device 26 is a processing device that receives two types of image data distributed from the distribution server 24 and generates image data having a high resolution and a high frame rate from the image data. And a high-resolution image generation processing unit 38.
高解像度画像生成処理部38は、配信サーバ24より配信される高解像度画像データおよび低解像度画像データに基づいて、高解像度かつ高フレームレートの画像データを生成し、出力する処理部である。高解像度画像生成処理部38より出力された画像データは表示部(図示せず)に表示される。高解像度画像生成処理部38で実行される処理については後に詳述する。 The high resolution image generation processing unit 38 is a processing unit that generates and outputs high resolution and high frame rate image data based on the high resolution image data and the low resolution image data distributed from the distribution server 24. The image data output from the high resolution image generation processing unit 38 is displayed on a display unit (not shown). The processing executed by the high resolution image generation processing unit 38 will be described in detail later.
位置指定部36は、表示部に表示された画像データのうち、拡大位置をユーザ入力により受付け、当該位置情報を配信サーバ24の高解像度画像配信部32および低解像度画像配信部34に送信する処理部である。
[複合センサカメラの構成]
図2は、複合センサカメラ22の内部構成を示す図である。複合センサカメラ22は、同一視野を有する2種類の画像データを取り込むためのカメラであり、プリズムやハーフミラー等の分光素子42と、2枚のレンズ44と、高解像度低フレームレートカメラ28と、低解像度高フレームレートカメラ30とを備えている。
The position designation unit 36 receives an enlarged position from the image data displayed on the display unit by user input, and transmits the position information to the high resolution image distribution unit 32 and the low resolution image distribution unit 34 of the distribution server 24. Part.
[Composition of compound sensor camera]
FIG. 2 is a diagram illustrating an internal configuration of the composite sensor camera 22. The composite sensor camera 22 is a camera for capturing two types of image data having the same field of view, and includes a spectroscopic element 42 such as a prism and a half mirror, two lenses 44, a high resolution low frame rate camera 28, And a low resolution high frame rate camera 30.
分光素子42は、入射した光の一部を反射させる。2枚のレンズ44は分光素子42で反射した光および透過した光をそれぞれ集光する。低解像度高フレームレートカメラ30は、一方のレンズ44で集光された光を低解像度かつ高フレームレートで撮像するセンサである。高解像度低フレームレートカメラ28は、他方のレンズ44で集光された光を高解像度かつ低フレームレートで撮像するセンサである。 The spectroscopic element 42 reflects a part of the incident light. The two lenses 44 collect the light reflected by the spectroscopic element 42 and the transmitted light, respectively. The low resolution and high frame rate camera 30 is a sensor that captures light collected by one lens 44 at a low resolution and a high frame rate. The high resolution low frame rate camera 28 is a sensor that images light collected by the other lens 44 at a high resolution and a low frame rate.
以上のような構成の複合センサカメラ22を用いることにより、同一視野を有する映像を高解像度低フレームレートカメラ28および低解像度高フレームレートカメラ30で撮像し、高解像度画像データと低解像度画像データとをそれぞれ得ることができる。
[高解像度画像生成処理]
次に、複合センサカメラ22で撮像され、配信サーバ24により配信される高解像度画像データおよび低解像度画像データを用いて高解像度かつ高フレームレートの画像データを生成する処理について説明する。この処理は、図1に示したクライアント装置26の高解像度画像生成処理部38において実行される。
By using the composite sensor camera 22 configured as described above, an image having the same field of view is captured by the high resolution low frame rate camera 28 and the low resolution high frame rate camera 30, and the high resolution image data and the low resolution image data are recorded. Can be obtained respectively.
[High-resolution image generation processing]
Next, processing for generating high-resolution and high-frame-rate image data using high-resolution image data and low-resolution image data captured by the composite sensor camera 22 and distributed by the distribution server 24 will be described. This process is executed in the high resolution image generation processing unit 38 of the client device 26 shown in FIG.
図3は、高解像度画像生成処理部38で実行される処理の概要を説明するための図である。(a)は、高解像度画像生成処理部38への入力画像データを説明するための図であり、(b)は、高解像度画像生成処理部38からの出力画像データを説明するための図である。すなわち、図3(a)に示されるように、高解像度画像生成処理部38は、高解像度かつ低フレームレートの画像データ52(高解像度画像データ52)と、低解像度かつ高フレームレートの画像データ54(低解像度画像データ54)とを入力として受ける。その後、高解像度画像生成処理部38は、高解像度画像データ52および低解像度画像データ54に基づいて、図3(b)に示されるような高解像度かつ高フレームレートの画像データ56を生成し、出力する。 FIG. 3 is a diagram for explaining an outline of processing executed by the high-resolution image generation processing unit 38. (A) is a figure for demonstrating the input image data to the high resolution image generation process part 38, (b) is a figure for demonstrating the output image data from the high resolution image generation process part 38. is there. That is, as shown in FIG. 3A, the high-resolution image generation processing unit 38 performs high-resolution and low-frame-rate image data 52 (high-resolution image data 52) and low-resolution and high-frame-rate image data. 54 (low-resolution image data 54) as an input. Thereafter, the high resolution image generation processing unit 38 generates high resolution and high frame rate image data 56 as shown in FIG. 3B based on the high resolution image data 52 and the low resolution image data 54, Output.
本実施の形態では、画像データの周波数特性を利用することにより、高解像度かつ高フレームレートの画像データ56を生成する。図4は、高解像度画像生成処理部38で実行される処理の概要を説明する他の図である。図4(a)に示されるように高解像カメラ、すなわち高解像度低フレームレートカメラ28で撮像された高解像度画像データ52は、空間周波数は高いが時間周波数は低いという特性を有する。一方、低解像カメラ、すなわち低解像度高フレームレートカメラ30で撮像された低解像度画像データ54は、空間周波数は低いものの時間周波数は高いという特性を有する。これらの画像データ52および54に基づいて、図4(b)に示されるような空間周波数および時間周波数ともに高い画像データを生成する。すなわち、この画像データは、高解像度かつ高フレームレートの画像データ56の特性を示していることになる。 In the present embodiment, high-resolution and high-frame-rate image data 56 is generated by using the frequency characteristics of the image data. FIG. 4 is another diagram for explaining the outline of processing executed by the high-resolution image generation processing unit 38. As shown in FIG. 4A, the high resolution image data 52 captured by the high resolution camera, that is, the high resolution low frame rate camera 28 has a characteristic that the spatial frequency is high but the temporal frequency is low. On the other hand, the low resolution image data 54 captured by the low resolution camera, that is, the low resolution high frame rate camera 30, has a characteristic that the temporal frequency is high although the spatial frequency is low. Based on these image data 52 and 54, image data having high spatial frequency and temporal frequency as shown in FIG. 4B is generated. That is, this image data indicates the characteristics of the image data 56 with high resolution and high frame rate.
高解像度画像生成処理部38の内部では、2つのセンサ28および30より得られる動画像データ、すなわち、高解像度画像データ52および低解像度画像データ54をそれぞれ3次元空間データとして扱い、3次元空間でそれら2つの画像データを統合させることにより、高解像度化された画像データ56を生成する。すなわち、高解像度画像データ52および低解像度画像データ54の周波数特性に基づいて、動きベクトル推定および高解像度画像の動き補償を行なうことにより、時空間周波数の広帯域化を行うことで高解像度画像を生成する。広帯域化による高解像度画像生成とは、図4(b)の右上領域まで有効信号成分を含ませることを意味する。通常、この領域には信号の折り返し成分(エイリアス成分、ノイズ)が含まれている。このため、高解像度画像および低解像度画像の周波数信号成分の合成を行なうことによりエイリアス成分をより高周波に移動させ、図4(b)の右上領域まで有効信号成分を含ませることができるようにする。 Inside the high-resolution image generation processing unit 38, moving image data obtained from the two sensors 28 and 30, that is, the high-resolution image data 52 and the low-resolution image data 54 are treated as three-dimensional space data, respectively, in a three-dimensional space. By integrating these two image data, the image data 56 having a higher resolution is generated. That is, based on the frequency characteristics of the high-resolution image data 52 and the low-resolution image data 54, a high-resolution image is generated by widening the spatio-temporal frequency by performing motion vector estimation and motion compensation of the high-resolution image. To do. The generation of a high-resolution image by widening the band means that an effective signal component is included up to the upper right region in FIG. Normally, this region includes a signal folding component (alias component, noise). Therefore, by synthesizing the frequency signal components of the high resolution image and the low resolution image, the alias component is moved to a higher frequency so that the effective signal component can be included up to the upper right region of FIG. 4B. .
図5は、高解像度画像生成処理部38で実行される処理のフローチャートであり、図6は、その処理の具体的なイメージを示した図である。 FIG. 5 is a flowchart of processing executed by the high-resolution image generation processing unit 38, and FIG. 6 is a diagram showing a specific image of the processing.
まず、低解像度画像データ54に対して2次元DCT(Discrete Cosine Transform)を施し、フレームごとにDCTスペクトルを抽出する(S2)。2次元DCTは、例えば、8x8画素のブロックを単位として行なわれる。なお、本実施の形態では、周波数変換の一例として、直交変換の一種である2次元DCTを用いるが、ウェーブレット変換、ウォルシュ・アダマール変換(WHT)、離散フーリエ変換(DFT)、離散サイン変換(DST)、ハール変換、スラント変換、カルーネン/レーベ変換(KLT)などの他の直交変換であってもよい。なお、直交変換はこれらには限られず、それ以外のものであってもよいのは言うまでもない。 First, two-dimensional DCT (Discrete Cosine Transform) is applied to the low resolution image data 54, and a DCT spectrum is extracted for each frame (S2). The two-dimensional DCT is performed in units of 8 × 8 pixel blocks, for example. In this embodiment, two-dimensional DCT, which is a kind of orthogonal transform, is used as an example of frequency transform, but wavelet transform, Walsh Hadamard transform (WHT), discrete Fourier transform (DFT), discrete sine transform (DST) ), Other orthogonal transforms such as Haar transform, slant transform, Karoonen / Loeve transform (KLT). It goes without saying that the orthogonal transform is not limited to these, and may be other than that.
同様に、高解像度画像データ52に対して2次元DCTを施し、フレームごとにDCTスペクトルを抽出する(S4)。ここで、説明の簡単化のため高解像度画像データ52のサイズは、低解像度画像データ54の2倍であるものとする。この場合、2次元DCTは、16x16画素のブロックを単位として行なわれる。 Similarly, two-dimensional DCT is performed on the high resolution image data 52, and a DCT spectrum is extracted for each frame (S4). Here, for simplification of explanation, it is assumed that the size of the high resolution image data 52 is twice that of the low resolution image data 54. In this case, the two-dimensional DCT is performed in units of 16 × 16 pixel blocks.
次に、高解像度画像データ52には含まれないフレーム(図6中の目的フレーム)に対する高解像度の画像データを得るために、低解像度画像データ54より動きベクトルの推定を行なう。(S6)。動きベクトルの推定は、位相相関法を用いることにより行なう。位相相関法とは、フーリエ変換して得られる振幅成分と位相成分のうち、位相成分のみを用いて相関関数を計算する手法である。図7は、位相相関法の概要を説明するための図である。低解像度画像データ54の連続する2枚の画像をf(x,y)およびg(x,y)とする。f(x,y)およびg(x,y)に対して所定の前処理を施し、それぞれに対して2次元FFTを施した結果をF(u,v)およびG(u,v)とする。F(u,v)およびG(u,v)を入力として正規化相互パワースペクトルC(u,v)を計算する。C(u,v)は、以下の式に基づき算出される。 Next, a motion vector is estimated from the low-resolution image data 54 in order to obtain high-resolution image data for a frame not included in the high-resolution image data 52 (the target frame in FIG. 6). (S6). The motion vector is estimated by using a phase correlation method. The phase correlation method is a method of calculating a correlation function using only a phase component among amplitude components and phase components obtained by Fourier transform. FIG. 7 is a diagram for explaining the outline of the phase correlation method. Two continuous images of the low resolution image data 54 are defined as f (x, y) and g (x, y). Predetermined preprocessing is performed on f (x, y) and g (x, y), and the result of performing two-dimensional FFT on each is defined as F (u, v) and G (u, v). . A normalized mutual power spectrum C (u, v) is calculated with F (u, v) and G (u, v) as inputs. C (u, v) is calculated based on the following equation.
C(u,v)=F(u,v)G*(u,v)/|F(u,v)G*(u,v)|
ただし、G*(u,v)はG(u,v)の複素共役を表す。
C (u, v) = F (u, v) G * (u, v) / | F (u, v) G * (u, v) |
However, G * (u, v) represents the complex conjugate of G (u, v).
C(u,v)を逆FFTすることにより位相相関関数c(x,y)が求められる。位相相関関数c(x,y)のピークは入力画像の移動量に応じた位置に現れる。このため、位相相関関数c(x,y)のピークを検出することにより、動きベクトルの候補を求める。次に、求められた動きベクトルの候補に基づいて、2枚の入力画像に含まれるブロック間でブロックマッチングを行なうことにより、動きベクトルの推定を行なう。位相相関法については、特開平9−231374号公報等に詳しく開示されているため、参照により援用する。 A phase correlation function c (x, y) is obtained by performing inverse FFT on C (u, v). The peak of the phase correlation function c (x, y) appears at a position corresponding to the amount of movement of the input image. Therefore, motion vector candidates are obtained by detecting the peak of the phase correlation function c (x, y). Next, the motion vector is estimated by performing block matching between the blocks included in the two input images based on the obtained motion vector candidates. Since the phase correlation method is disclosed in detail in Japanese Patent Laid-Open No. 9-231374, etc., it is incorporated by reference.
次に、高解像度画像生成処理部38は、目的フレームの高解像度画像の位相成分を得るために、周波数変換処理(S4)で抽出された高解像度画像データ52のDCTスペクトルを用いて、高解像度の目的フレームの動き補償を行なう(S8)。具体的には、S6の処理で求められた高解像度画像データ52の動きベクトルと、目的フレームに最も近い高解像度画像と、低解像度画像データ54とに基づいて、目的フレームに最も近い高解像度画像と目的フレームとの間の高解像度のフレーム間差分画像を推定する。推定されたフレーム間差分画像に対し、16x16画素の単位のDCTを施し、フレーム間差分画像のDCTスペクトルを求める。また、フレーム間差分画像のDCTスペクトルと周波数変換処理で求められた目的フレームに最も近い高解像度画像のDCTスペクトルとを合成することにより、動き補償された高解像度画像のDCTスペクトルを抽出する。 Next, the high resolution image generation processing unit 38 uses the DCT spectrum of the high resolution image data 52 extracted in the frequency conversion process (S4) to obtain the phase resolution of the high resolution image of the target frame. The motion compensation of the target frame is performed (S8). Specifically, the high-resolution image closest to the target frame based on the motion vector of the high-resolution image data 52 obtained in the process of S6, the high-resolution image closest to the target frame, and the low-resolution image data 54. A high-resolution inter-frame difference image between the target frame and the target frame is estimated. The estimated inter-frame difference image is subjected to DCT in units of 16 × 16 pixels to obtain a DCT spectrum of the inter-frame difference image. Further, the DCT spectrum of the motion-compensated high-resolution image is extracted by combining the DCT spectrum of the inter-frame difference image and the DCT spectrum of the high-resolution image closest to the target frame obtained by the frequency conversion process.
次に、高解像度画像生成処理部38は、動き補償された高解像度画像のDCTスペクトルと、それに対応する位置の低解像度画像のDCTスペクトルとを合成する(S10)。具体的には、高解像度画像の低周波側のDCTスペクトル成分と低解像度画像のDCTスペクトル成分との重み付け線形和を求めることにより求める。ここで、重みは、折り返しノイズ低減項とエネルギー係数補正項とからなる。 Next, the high-resolution image generation processing unit 38 synthesizes the DCT spectrum of the motion-compensated high-resolution image and the DCT spectrum of the low-resolution image at the corresponding position (S10). Specifically, it is obtained by obtaining a weighted linear sum of the DCT spectral component on the low frequency side of the high resolution image and the DCT spectral component of the low resolution image. Here, the weight includes a aliasing noise reduction term and an energy coefficient correction term.
最後に、高解像度画像生成処理部38は、合成されたDCTスペクトルに対し、16x16画素のブロックを単位とするIDCT(Inverse Discrete Cosine Transform)を施すことにより、目的フレームにおける高解像度の画像データ56を生成する。 Finally, the high-resolution image generation processing unit 38 performs IDCT (Inverse Discrete Cosine Transform) with a block of 16 × 16 pixels as a unit on the synthesized DCT spectrum, thereby generating high-resolution image data 56 in the target frame. Generate.
以上述べた処理を高解像度画像データ52が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。 By performing the processing described above for all the frames for which the high-resolution image data 52 is not obtained, it is possible to obtain image data with a high resolution and a high frame rate.
なお、得られた高解像度かつ高フレームレートの画像データは、表示部に表示される。ユーザが、表示部に表示された画像の一部を拡大したいと考えた場合には、拡大したい領域を指定する。例えば、マウス等を用いることにより領域指定することが可能である。指定された領域のデータは、位置指定部36に入力され、位置指定部36より高解像度画像配信部32および低解像度画像配信部34に送信される。高解像度画像配信部32および低解像度画像配信部34は、指定された領域の高解像度画像データおよび低解像度画像データを高解像度画像生成処理部38に送信する。高解像度画像生成処理部38では、上述した方法と同様の方法により、指定された領域の高解像度画像データが生成され、その画像データが表示部に表示される。 The obtained high-resolution and high-frame-rate image data is displayed on the display unit. When the user wants to enlarge a part of the image displayed on the display unit, the user designates an area to be enlarged. For example, it is possible to specify an area by using a mouse or the like. The data of the designated area is input to the position designation unit 36 and transmitted from the position designation unit 36 to the high resolution image distribution unit 32 and the low resolution image distribution unit 34. The high resolution image distribution unit 32 and the low resolution image distribution unit 34 transmit the high resolution image data and the low resolution image data of the designated area to the high resolution image generation processing unit 38. The high-resolution image generation processing unit 38 generates high-resolution image data of the designated area by the same method as described above, and displays the image data on the display unit.
以上説明したように、本実施の形態によると、複合センサカメラ22から出力される2種類の画像データの容量がすでに小さい。このため、データ転送時の通信容量や、データ蓄積時の蓄積容量を少なくすることができる。また、MPEGのように、圧縮する必要がないため、ライブの映像配信などに効果的である。このように、2種類の時間的、時空間的特性の異なるセンサを複合することで、高解像度動画情報を空間分解能優先と時間分解能優先の動画情報にわけて効率よく取得することができる。 As described above, according to the present embodiment, the capacities of the two types of image data output from the composite sensor camera 22 are already small. For this reason, the communication capacity at the time of data transfer and the storage capacity at the time of data storage can be reduced. In addition, unlike MPEG, it is not necessary to compress, so it is effective for live video distribution. Thus, by combining two types of sensors having different temporal and spatio-temporal characteristics, it is possible to efficiently acquire high-resolution moving image information by dividing it into moving image information with priority on spatial resolution and priority on temporal resolution.
また、高解像度画像生成処理部38は、画像データを一旦周波数領域に変換した後、定型的な処理により高解像度画像データを生成している。このため、ハードウェア実装が容易で、かつ高速に処理を実行することができる。 The high resolution image generation processing unit 38 once converts the image data into the frequency domain, and then generates high resolution image data by routine processing. For this reason, hardware implementation is easy and a process can be performed at high speed.
また、高解像度画像配信部32より出力される高解像度画像データは低フレームレートであり、かつ低解像度画像配信部34より出力される低解像度画像データは解像度が低い。このため、配信サーバ24とクライアント装置26との間の通信容量を小さくすることができる。よって、低速通信回線における映像配信やライブ配信等が可能になる。
[実施の形態2]
次に、本発明の実施の形態2に係る画像処理システムについて説明する。実施の形態2に係る画像処理システムは、クライアント装置26の高解像度画像生成処理部38での内部処理が異なるのみで、その他の構成は実施の形態1と同様である。以下では、高解像度画像生成処理部38が実行する高解像度画像生成処理について説明する。本実施の形態では、平面射影変換(ホモグラフィ)を用いて高解像度画像の生成を行なう。
The high resolution image data output from the high resolution image distribution unit 32 has a low frame rate, and the low resolution image data output from the low resolution image distribution unit 34 has a low resolution. For this reason, the communication capacity between the distribution server 24 and the client device 26 can be reduced. Therefore, video distribution, live distribution, and the like over a low-speed communication line are possible.
[Embodiment 2]
Next, an image processing system according to Embodiment 2 of the present invention will be described. The image processing system according to the second embodiment is the same as the first embodiment except for the internal processing in the high-resolution image generation processing unit 38 of the client device 26. Hereinafter, the high resolution image generation processing executed by the high resolution image generation processing unit 38 will be described. In the present embodiment, a high-resolution image is generated using planar projective transformation (homography).
図8は、高解像度画像生成処理部38で実行される処理のフローチャートであり、図9は、その処理の具体的なイメージを示した図である。 FIG. 8 is a flowchart of processing executed by the high-resolution image generation processing unit 38, and FIG. 9 is a diagram showing a specific image of the processing.
まず、低解像度画像データ54から動領域を抽出する(S24)。また、高解像度画像データ52の背景領域を抽出する(S26)。さらに、高解像度画像データ52の動領域を抽出する(S28)。動画像データから動領域を抽出する手法および背景領域を抽出する手法は種々提案されており、一般的な手法として、フレーム間での画像データの差分値を用いる手法が知られている。これらの手法は周知の技術であるため、ここではその詳細な説明は繰返さない。 First, a moving area is extracted from the low resolution image data 54 (S24). Further, the background area of the high resolution image data 52 is extracted (S26). Further, the moving area of the high resolution image data 52 is extracted (S28). Various methods for extracting a moving region and a background region from moving image data have been proposed, and as a general method, a method using a difference value of image data between frames is known. Since these methods are well-known techniques, detailed description thereof will not be repeated here.
その後、高解像度画像データ52には含まれないフレーム(図9中の目的フレーム)に対応する高解像度の画像データを得るために、低解像度画像データ54より抽出された動領域に基づいて平面射影変換行列(ホモグラフィ)を推定する(S30)。平面射影変換行列とは、幾何学的な画像変換を表す行列であり、平面射影変換行列により動領域の幾何学的な変化(動き)を表現することができる。 Thereafter, in order to obtain high-resolution image data corresponding to a frame not included in the high-resolution image data 52 (the target frame in FIG. 9), a planar projection is performed based on the moving region extracted from the low-resolution image data 54. A transformation matrix (homography) is estimated (S30). The planar projective transformation matrix is a matrix representing geometric image transformation, and the geometric change (motion) of the moving region can be expressed by the planar projective transformation matrix.
例えば、図9に示すように、高解像度画像データ52が存在するフレーム72と同一のフレーム74の低解像度画像データ54の動領域と、目的フレーム76の低解像度画像データ54の動領域との対応付けを行ない、平面射影変換行列Hiを求める。対応付けは、所定の大きさのブロックごとのパターンマッチングにより行なわれる。平面射影変換行列Hiもブロックごとに求められる。平面射影変換行列Hiにより、ブロック間での並進移動、回転、伸縮、歪等を表現することができる。なお、パターンマッチングは、たとえば、ブロックに含まれる画素の輝度の差の絶対値和が最小となる位置を求めることにより行なわれる。パターンマッチングの手法は周知の技術である。このため、その詳細な説明はここでは繰返さない。 For example, as shown in FIG. 9, the correspondence between the moving area of the low-resolution image data 54 in the same frame 74 as the frame 72 in which the high-resolution image data 52 exists and the moving area of the low-resolution image data 54 in the target frame 76 Then, a planar projective transformation matrix Hi is obtained. The association is performed by pattern matching for each block having a predetermined size. A planar projective transformation matrix Hi is also obtained for each block. The plane projective transformation matrix Hi can represent translation, rotation, expansion / contraction, distortion, etc. between blocks. Note that pattern matching is performed, for example, by obtaining a position where the sum of absolute values of differences in luminance of pixels included in a block is minimized. The pattern matching technique is a well-known technique. Therefore, detailed description thereof will not be repeated here.
次に、フレーム72における高解像度画像データ52の動領域に対し、平面射影変換行列Hiを施すことにより、高解像度の動領域を画像変換し、目的フレーム76における高解像度の動領域を生成する(S32)。画像変換後の動領域と高解像度画像データ52の背景領域とを重ね合わせることにより、画像データ56を生成する(S34)。 Next, the plane projection transformation matrix Hi is applied to the moving area of the high-resolution image data 52 in the frame 72 to convert the high-resolution moving area into an image and generate the high-resolution moving area in the target frame 76 ( S32). Image data 56 is generated by superimposing the moving area after image conversion and the background area of the high-resolution image data 52 (S34).
以上述べた処理を高解像度画像データ52が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。 By performing the processing described above for all the frames for which the high-resolution image data 52 is not obtained, it is possible to obtain image data with a high resolution and a high frame rate.
以上説明したように、本実施の形態によると、平面射影変換行列Hiを求めることにより、動領域の動き推定を容易かつ安定に行なうことができる。 As described above, according to the present embodiment, it is possible to easily and stably estimate the motion region by obtaining the planar projective transformation matrix Hi.
なお、人間などの非剛体物体であっても、剛体として近似できる小ブロックに分割し、小ブロックごとに平面射影変換行列Hiを求め、本手法を適用することにより、非剛体物体の動きに対しても高精細な画像を求めることができる。
[実施の形態3]
次に、本発明の実施の形態3に係る画像処理システムについて説明する。実施の形態3に係る画像処理システムは、クライアント装置26の高解像度画像生成処理部38での内部処理が異なるのみで、その他の構成は実施の形態1と同様である。以下では、高解像度画像生成処理部38が実行する高解像度画像生成処理について説明する。本実施の形態では、モーフィングを用いて高解像度画像の生成を行なう。
Note that even a non-rigid object such as a human is divided into small blocks that can be approximated as a rigid body, and a planar projective transformation matrix Hi is obtained for each small block. Even high-definition images can be obtained.
[Embodiment 3]
Next, an image processing system according to Embodiment 3 of the present invention will be described. The image processing system according to the third embodiment is the same as the first embodiment except for the internal processing in the high-resolution image generation processing unit 38 of the client device 26. Hereinafter, the high resolution image generation processing executed by the high resolution image generation processing unit 38 will be described. In the present embodiment, a high-resolution image is generated using morphing.
図10は、高解像度画像生成処理部38で実行される処理のフローチャートであり、図11は、その処理の具体的なイメージを示した図である。 FIG. 10 is a flowchart of processing executed by the high-resolution image generation processing unit 38, and FIG. 11 is a diagram showing a specific image of the processing.
まず、高解像度画像データ52のあるフレーム86に対応する低解像度画像データ54のフレーム82より特徴点を抽出する(S42)。例えば、所定の大きさのブロックを低解像度画像データ54上で走査し、画像中のコーナーやエッジなど追跡しやすい点を特徴点として抽出する。特徴点の抽出手法は、種々提案されており、周知の技術であるため、ここではその詳細な説明は繰返さない。 First, feature points are extracted from the frame 82 of the low resolution image data 54 corresponding to the frame 86 having the high resolution image data 52 (S42). For example, a block having a predetermined size is scanned on the low-resolution image data 54, and points that are easy to trace such as corners and edges in the image are extracted as feature points. Various methods for extracting feature points have been proposed and are well-known techniques, and therefore detailed description thereof will not be repeated here.
次に、抽出された特徴点の対応付けを低解像度画像データ54のフレーム間で行い、特徴点を追跡し、特徴点の動きベクトルを抽出する(S44)。前フレームの特徴点近傍位置において、同様の特徴点を探索することにより、特徴点の追跡を行なう。また、対象の特徴点の過去の移動履歴や近傍特徴点の運動から探索範囲に拘束をかけることにより、追跡の安定性を向上させることができる。この追跡結果より任意の特徴点の動きベクトルを求めることができる。 Next, the extracted feature points are associated between the frames of the low-resolution image data 54, the feature points are tracked, and the motion vectors of the feature points are extracted (S44). The feature point is tracked by searching for a similar feature point in the vicinity of the feature point in the previous frame. In addition, the tracking stability can be improved by constraining the search range based on the past movement history of the target feature point and the motion of neighboring feature points. A motion vector of an arbitrary feature point can be obtained from the tracking result.
その後、高解像度画像データ52には含まれないフレーム(図11中の目的フレーム84)に対応するフレーム88の高解像度の画像データを得るために、高解像度画像データ52のフレーム86に含まれる特徴点の動きを推定する(S46)。低解像度画像データ54と高解像度画像データ52とは同一視野を有しており、解像度が異なるのみである。従って、特徴点の相対的な位置は、両画像データのフレーム間で共通する。このため、このため、低解像度画像データ54で求められた特徴点および動きベクトルを高解像度画像データ52の解像度に合わせて当てはめることにより、高解像度画像データ52での特徴点の動きが推定される。 Thereafter, in order to obtain the high-resolution image data of the frame 88 corresponding to the frame not included in the high-resolution image data 52 (the target frame 84 in FIG. 11), the characteristics included in the frame 86 of the high-resolution image data 52 The movement of the point is estimated (S46). The low resolution image data 54 and the high resolution image data 52 have the same field of view and differ only in resolution. Therefore, the relative positions of the feature points are common between the frames of both image data. Therefore, by applying the feature points and motion vectors obtained from the low resolution image data 54 according to the resolution of the high resolution image data 52, the motion of the feature points in the high resolution image data 52 is estimated. .
次に、補間する目的フレーム88の近傍高解像度フレーム86および89について、対応する特徴点に基づいてポリゴン分割を行なう(S48)。なお、ポリゴン分割には、例えば、ドロネー分割を用いてもよい。追跡により得られた動きベクトルに基づいて、高解像度フレーム86の任意のポリゴンと高解像度フレーム89の任意のポリゴンとを対応付け、モーフィング処理を行なう。これにより、目的フレーム88の任意のポリゴンを生成し、ポリゴン画像を生成する(S50)。図12は、ポリゴン分割処理およびモーフィング処理を説明するための図である。図12(a)に示されるような低解像度の画像データから特徴点92として、目や口など輝度の分散が大きい部分が選択されたものとする。また、図12(b)に示すように、特徴点92に対応する特徴点94が求められたものとする。特徴点92および特徴点94をそれぞれ線でつなぐことにより、図12(c)および図12(d)に示すような3角形のポリゴン96および98が生成される。各ポリゴンの対応関係は特徴点の動きベクトルから分かっている。このため、フレーム86および89で得られているポリゴン内のテクスチャ情報を対応するポリゴンにあうように変形させて貼り付けることにより、フレーム88に示すような動領域が得られる。 Next, polygon division is performed on the high-resolution frames 86 and 89 near the target frame 88 to be interpolated based on the corresponding feature points (S48). For example, Delaunay division may be used for polygon division. Based on the motion vector obtained by the tracking, an arbitrary polygon of the high resolution frame 86 and an arbitrary polygon of the high resolution frame 89 are associated with each other, and morphing processing is performed. Thereby, an arbitrary polygon of the target frame 88 is generated, and a polygon image is generated (S50). FIG. 12 is a diagram for explaining the polygon dividing process and the morphing process. It is assumed that a part having a large luminance dispersion, such as an eye or a mouth, is selected as the feature point 92 from the low-resolution image data as shown in FIG. Further, as shown in FIG. 12B, it is assumed that a feature point 94 corresponding to the feature point 92 is obtained. By connecting the feature point 92 and the feature point 94 with lines, triangular polygons 96 and 98 as shown in FIG. 12C and FIG. 12D are generated. The correspondence between each polygon is known from the motion vector of the feature points. For this reason, the texture information in the polygons obtained in the frames 86 and 89 is deformed and pasted so as to match the corresponding polygons, so that a moving area as shown in the frame 88 is obtained.
次に、高解像度画像データ52より背景画像を生成する(S52)。背景画像を生成する手法は、上述したように周知の技術である。 Next, a background image is generated from the high resolution image data 52 (S52). The technique for generating the background image is a known technique as described above.
モーフィング処理により得られた動領域を背景画像上に重ね合わせることにより、高解像度の画像データ56を生成する(S54)。 By superimposing the moving area obtained by the morphing process on the background image, high-resolution image data 56 is generated (S54).
以上述べた処理を高解像度画像データ52が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。 By performing the processing described above for all the frames for which the high-resolution image data 52 is not obtained, it is possible to obtain image data with a high resolution and a high frame rate.
以上説明したように、本実施の形態によると、ポリゴン分割処理およびモーフィング処理を行なうことにより、実施の形態1および2で説明した処理と比較して、動領域の変化に対してより追従しやすくなる。 As described above, according to the present embodiment, by performing the polygon division process and the morphing process, it is easier to follow the change of the moving area as compared with the processes described in the first and second embodiments. Become.
なお、好適には、特徴点抽出処理(S42)の前に、低解像度画像データ54に基づきフレーム間差分を行なうことにより、動領域を抽出し、動領域と静止領域とを二値画像で表現したマスク画像を作成するのがよい。このようにして作成されたマスク画像を用いて、動領域内でのみ特徴点の抽出や、動きベクトルの抽出等のその後の処理を行なうことにより、計算コストの削減を行なうことができる。 Preferably, before the feature point extraction process (S42), by performing inter-frame difference based on the low-resolution image data 54, the moving area is extracted, and the moving area and the still area are expressed as a binary image. It is preferable to create a mask image. Calculation costs can be reduced by performing subsequent processing such as feature point extraction and motion vector extraction only within the moving region using the mask image created in this way.
本実施の形態では、高フレームレートでサンプリングされた低解像度画像データ54に基づいて特徴点の対応付けを行なっている。このため、非剛体物体のように動領域の形状が変化するような物体であっても、隣接するフレーム間で対応を取ることにより、正確な対応付けを行なうことができる。 In the present embodiment, feature points are associated based on low-resolution image data 54 sampled at a high frame rate. For this reason, even if it is an object whose shape of a moving region changes like a non-rigid body object, exact matching can be performed by taking correspondence between adjacent frames.
以上、本発明の実施の形態に係る画像処理システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。 The image processing system according to the embodiment of the present invention has been described based on the embodiment, but the present invention is not limited to this embodiment.
例えば、複合センサカメラ22のかわりに、図13に示すような双曲面ミラー104を備えた複合センサカメラ102を使用してもよい。双曲面ミラー104は周囲360°の光を反射することができるミラーであり、この双曲面ミラー104を用いることにより周囲360°のシームレスな画像を取得することができる。複合センサカメラ102を用いる場合には、高解像度画像生成処理部38は、高解像度のパノラマ画像や透視投影変換画像(通常のカメラから見た画像)を生成するようにしてもよい。なお、双曲面ミラー104を用いたパノラマ画像の生成方法や透視投影変換画像の生成方法については、本願の出願人が以前に出願した特開平6−295333号公報に詳しく開示されている。 For example, instead of the composite sensor camera 22, a composite sensor camera 102 including a hyperboloid mirror 104 as shown in FIG. 13 may be used. The hyperboloidal mirror 104 is a mirror that can reflect light having a surrounding angle of 360 °. By using the hyperboloidal mirror 104, a seamless image having a surrounding angle of 360 ° can be acquired. When the composite sensor camera 102 is used, the high-resolution image generation processing unit 38 may generate a high-resolution panoramic image or a perspective projection conversion image (an image viewed from a normal camera). Note that a panoramic image generation method and a perspective projection conversion image generation method using the hyperboloid mirror 104 are disclosed in detail in Japanese Patent Application Laid-Open No. Hei 6-295333 previously filed by the applicant of the present application.
なお、周囲360°の映像を取得することができるのであれば、ミラーの形状は双曲面には限られず、放物面や、円錐形や、半円球などであってもよい。 Note that the shape of the mirror is not limited to a hyperboloid as long as a 360 ° surrounding image can be acquired, and may be a paraboloid, a cone, a hemisphere, or the like.
また、ミラーの数は1つには限られず2つ以上あってもよい。例えば、図14(a)に示すように平面鏡110と双曲面鏡112との組み合わせであってもよいし、図14(b)に示すように楕円面鏡114と双曲面鏡116との組み合わせであってもよいし、図14(c)に示すように放物面鏡117および118の組み合わせであってもよい。なお、2枚のミラーを用いた全方位視覚系については、本願の出願人が以前に出願した特開平11−331654号公報に詳しく開示されている。 Further, the number of mirrors is not limited to one and may be two or more. For example, a combination of a plane mirror 110 and a hyperboloidal mirror 112 as shown in FIG. 14A may be used, or a combination of an ellipsoidal mirror 114 and a hyperboloidal mirror 116 as shown in FIG. It may also be a combination of parabolic mirrors 117 and 118 as shown in FIG. Note that an omnidirectional visual system using two mirrors is disclosed in detail in Japanese Patent Application Laid-Open No. 11-331654 previously filed by the applicant of the present application.
また、図1に示した画像処理システム20では配信サーバ24が高解像度画像と低解像度画像とを送信しているが、図15に示すような画像処理システム120の構成であってもよい。画像処理システム120は、配信サーバ122と、クライアント装置124とを備える。配信サーバ122は、高解像度画像配信部32と、動領域解析部126とを備えている。動領域解析部126では、低解像度画像データ中の動領域を解析し、動き情報をクライアント装置124に配信する。具体的には、低解像度画像データの位相成分を求め、配信したり、低解像度画像データより平面射影変換行列を求め、配信したり、低解像度画像データより特徴点および動きベクトルを求め、配信したりする。また、クライアント装置124に含まれる高解像度画像生成処理部128は、配信サーバ122より送信される高解像度画像データと低解像度画像データの動き情報とに基づいて、高解像度かつ高フレームの画像データを生成する。このようにすることにより、低解像度画像データを配信する場合に比べて配信サーバ122とクライアント装置124との間の通信量を少なくすることができる。 In the image processing system 20 shown in FIG. 1, the distribution server 24 transmits the high resolution image and the low resolution image, but the configuration of the image processing system 120 as shown in FIG. 15 may be used. The image processing system 120 includes a distribution server 122 and a client device 124. The distribution server 122 includes a high-resolution image distribution unit 32 and a moving region analysis unit 126. The moving area analysis unit 126 analyzes the moving area in the low-resolution image data and distributes the movement information to the client device 124. Specifically, the phase component of the low-resolution image data is obtained and distributed, the plane projection transformation matrix is obtained from the low-resolution image data, and the feature points and motion vectors are obtained from the low-resolution image data and distributed. Or The high-resolution image generation processing unit 128 included in the client device 124 generates high-resolution and high-frame image data based on the high-resolution image data transmitted from the distribution server 122 and the motion information of the low-resolution image data. Generate. By doing so, it is possible to reduce the amount of communication between the distribution server 122 and the client device 124 compared to the case of distributing low-resolution image data.
また、図16に示すように、高解像度画像生成処理部38を配信サーバ132内部に設け、クライアント装置136へは高解像度かつ高フレームレートの画像データを送信するようにしてもよい。この場合には、ユーザにより指定された領域内の画像データのみをクライアント装置に配信するようにすれば、通信容量を少なくすることができる。 Further, as shown in FIG. 16, a high resolution image generation processing unit 38 may be provided inside the distribution server 132, and high resolution and high frame rate image data may be transmitted to the client device 136. In this case, if only the image data within the area specified by the user is distributed to the client device, the communication capacity can be reduced.
また、画像処理システム20または画像処理システム120に複合センサカメラ22で撮像された画像を蓄積するような装置または記憶部を設けてもよい。 In addition, an apparatus or a storage unit that accumulates images captured by the composite sensor camera 22 may be provided in the image processing system 20 or the image processing system 120.
また、本実施の形態で説明した手法を画像圧縮および画像復元に応用してもよい。すなわち、高解像度かつ高フレームレートの画像データから、解像度のみを落とした低解像度かつ高フレームレートの画像データと、画像データの間引きを行なった高解像度かつ低フレームレートの画像データとの2種類の画像データを作成することにより画像圧縮を行なう。また、圧縮された画像は、上述の高解像度画像生成処理部38が実行する処理に従い、高解像度かつ高フレームレートの画像データに復元される。 The method described in this embodiment may be applied to image compression and image restoration. That is, two types of image data of low resolution and high frame rate obtained by reducing only the resolution and image data of high resolution and low frame rate obtained by thinning out the image data from high resolution and high frame rate image data. Image compression is performed by creating image data. In addition, the compressed image is restored to high-resolution and high-frame-rate image data according to the processing executed by the high-resolution image generation processing unit 38 described above.
また、通常は低解像度かつ高フレームレートの画像または高解像度かつ低フレームの画像のみを表示させるようにし、ユーザの指示があった場合にのみ高解像度かつ低フレームレートの画像を表示させるようにしてもよい。
[実施の形態4]
次に、本発明の実施の形態4に係る画像伝送(画像処理)システムについて説明する。実施の形態4に係る画像伝送システムは、実施の形態1で説明した画像処理システムと同様、全く同一の視野を持つ2種類の動画像(高解像度・低フレームレート動画像、低解像度・高フレームレート動画像)から、画像処理によって高解像度・高フレームレート動画像を生成する画像伝送システムである。
Normally, only low-resolution and high-frame-rate images or only high-resolution and low-frame images are displayed, and high-resolution and low-frame-rate images are displayed only when the user gives instructions. Also good.
[Embodiment 4]
Next, an image transmission (image processing) system according to Embodiment 4 of the present invention will be described. Similar to the image processing system described in the first embodiment, the image transmission system according to the fourth embodiment has two types of moving images (high resolution / low frame rate moving images, low resolution / high frames) having exactly the same field of view. This is an image transmission system that generates a high resolution / high frame rate moving image from a rate moving image) by image processing.
この画像処理システムは、基本的に実施の形態1と同様の方法を用いて高解像度・高フレームレート動画像を得るための時空間アップサンプリングを行うが、サーバ側、及びクライアント側それぞれの機能分担を変更することによって、ネットワークを介した画像伝送により適した構成を実現する。 This image processing system performs spatio-temporal upsampling to obtain a high-resolution / high-frame-rate moving image using the same method as in the first embodiment. By changing the above, a configuration more suitable for image transmission via a network is realized.
この画像伝送システムでは高解像度・高フレームレート動画像を得るための新しいアプローチとして、全く同一の視野を持った2種類の動画像(高解像度・低フレームレート動画像、低解像度・高フレームレート動画像)を同時に撮影できる複合センサカメラを考える。 In this image transmission system, as a new approach to obtaining high resolution and high frame rate moving images, two types of moving images with the same field of view (high resolution and low frame rate moving images, low resolution and high frame rate movies) Consider a composite sensor camera that can take images simultaneously.
そして、複合センサカメラから得られる2種類の動画像から、画像処理によって高解像度・高フレームレート動画像を生成する2種類の方法を開発する。ひとつは離散コサイン変換(DCT; Discrete Cosine Transform)を利用する方法、もうひとつは離散ウェーブレット変換(DWT; DiscreteWavelet Transform)を利用する方法である。各手法の有効性を確かめるため、MPEGテストシーケンスに対して各手法を適用し、高解像度動画像を生成するシミュレーション実験を行った。DWTを利用する方法では、使用するウェーブレットとしてHaarウェーブレット、Daubechies 4-tapフィルタ、および整数2/6ウェーブレットを選択した。また、生成画像のピーク信号対雑音比(PSNR)を測定し各手法の性能を比較した。 Then, two types of methods for generating a high resolution and high frame rate moving image by image processing from two types of moving images obtained from the composite sensor camera will be developed. One is a method using a Discrete Cosine Transform (DCT), and the other is a method using a Discrete Wavelet Transform (DWT). In order to confirm the effectiveness of each method, we applied each method to the MPEG test sequence and performed a simulation experiment to generate high-resolution video. In the method using DWT, Haar wavelet, Daubechies 4-tap filter, and integer 2/6 wavelet were selected as wavelets to be used. We also measured the peak signal-to-noise ratio (PSNR) of the generated images and compared the performance of each method.
複合センサカメラの考え方により、既存のカメラを利用することでコストを低く抑えつつ、高品質な動画像を得ることができる。また、動画像を蓄積する場合、その符号量を小さくできるという利点もある。 By using an existing camera, it is possible to obtain a high-quality moving image while keeping the cost low by using a composite sensor camera. In addition, when moving images are stored, there is an advantage that the amount of codes can be reduced.
従来、超解像やフレームレート変換として知られている技術では空間または時間の一方のみをアップサンプリングするが、本研究では複合センサカメラから全く同一の視野をもつ2種類の動画像が得られることを利用して、時空間アップサンプリングを行う方法を提案する。提案する方法は、高解像度全方位映像配信システムの将来の実用化を想定し、動画像のインターネット配信を前提としたものとする。
[複合センサカメラ]
この画像処理システムが備える複合センサカメラは、図2に示すように高解像度・低フレームレートの動画像を撮影できる高解像度CCD28と、低解像度・高フレームレートの動画像を撮影できる低解像度CCD30の2つのCCDセンサを有する。カメラに入射した光はプリズム42によって分割され、高解像度CCD28と低解像度CCD30に到達する。本実施の形態では、説明の便宜のため、この複合センサカメラについて以下の2つの仮定を設ける。
(仮定1)複合センサカメラの2つのCCDから得られる画像は、解像度は異なるが同一の視野を持つとする。厳密には、図17のようなサンプル点の位置関係を仮定する(ただし、図17は画像サイズ比2:1の場合を示す)。
(仮定2)複合センサカメラは、2つのCCDの外部同期を取ることができる。つまり、カメラ外部からパルスを入力することにより、図18に示されるような、時間的なずれのない高解像度画像と低解像度画像の組が得られるとする。なお、以降このようなフレームのことをキーフレームと呼ぶこととする。
Conventionally, technologies known as super-resolution and frame rate conversion up-sample only one of space or time, but in this research, two types of moving images with exactly the same field of view can be obtained from the composite sensor camera. We propose a method to perform spatio-temporal upsampling using. The proposed method assumes the future practical application of a high-resolution omnidirectional video distribution system and assumes the Internet distribution of moving images.
[Composite sensor camera]
As shown in FIG. 2, the composite sensor camera included in this image processing system includes a high resolution CCD 28 that can capture a high resolution / low frame rate moving image and a low resolution CCD 30 that can capture a low resolution / high frame rate moving image. Has two CCD sensors. The light incident on the camera is divided by the prism 42 and reaches the high resolution CCD 28 and the low resolution CCD 30. In the present embodiment, for the convenience of explanation, the following two assumptions are provided for this composite sensor camera.
(Assumption 1) Assume that images obtained from two CCDs of a composite sensor camera have the same field of view, but with different resolutions. Strictly speaking, the positional relationship of the sample points as shown in FIG. 17 is assumed (however, FIG. 17 shows a case where the image size ratio is 2: 1).
(Assumption 2) The composite sensor camera can synchronize the two CCDs externally. In other words, it is assumed that a set of a high-resolution image and a low-resolution image without time lag as shown in FIG. 18 is obtained by inputting a pulse from the outside of the camera. Hereinafter, such a frame will be referred to as a key frame.
ただし、これらの仮定は技術的に必須なものではなく、他の画像サイズ比が用いられる場合や、得られる高解像度画像と低解像度画像とが時間的に同期していない場合であっても、例えば、空間的及び時間的な補間を行うなどして、以降に説明する処理を適用できることに注意する。
[高解像度動画像の生成]
本画像処理システムでは複合センサカメラから得られた動画像をインターネット配信することを想定している。動画像のもつデータ量は非常に大きいため、通常は動画像をインターネット配信する場合に符号化するが、各フレームは符号化処理の過程で何らかの周波数変換により周波数領域へ移される。したがって、動画像をインターネット配信するという前提の下では、高解像度画像の生成処理を画像空間領域と周波数領域の両方で行うことが可能である。
However, these assumptions are not technically essential, even when other image size ratios are used, or even when the resulting high resolution image and low resolution image are not synchronized in time, Note that the processing described below can be applied, for example, by performing spatial and temporal interpolation.
[Generation of high-resolution video]
In this image processing system, it is assumed that a moving image obtained from a composite sensor camera is distributed over the Internet. Since the data amount of a moving image is very large, encoding is usually performed when moving images are distributed over the Internet, but each frame is moved to the frequency domain by some frequency conversion in the course of encoding processing. Therefore, under the assumption that moving images are distributed over the Internet, high-resolution image generation processing can be performed in both the image space domain and the frequency domain.
画像を周波数空間に移す周波数変換はこれまでに様々な方法が提案され、実用化されているが、本発明ではDCTを用いる方法、およびDWTを用いる方法を提案する。それぞれの方法の内容については、後で詳しく述べる。 Various methods have been proposed and put to practical use for frequency conversion for moving an image to a frequency space. In the present invention, a method using DCT and a method using DWT are proposed. The contents of each method will be described in detail later.
はじめに、準備として位相相関法による動き推定の手順を説明する。提案手法では、位相相関法を用いて低解像度画像中の動きを推定し、得られた情報を後の処理で利用する。
[位相相関法による動き推定]
連続する2つのフレームIk、Ik+1の間で単純な並進移動(dx、dy)が生じていると仮定する。すなわち
First, as a preparation, a procedure for motion estimation by the phase correlation method will be described. In the proposed method, the motion in the low-resolution image is estimated using the phase correlation method, and the obtained information is used in later processing.
[Motion estimation by phase correlation method]
Assume that a simple translation (d x , d y ) occurs between two consecutive frames I k , I k + 1 . Ie
連続するフレームIkとIk+1の間の正規化相互パワースペクトルは次式で定義される。 The normalized mutual power spectrum between successive frames I k and I k + 1 is defined by
位相相関関数のインパルスの座標を調べることにより、画像中に含まれる動きベクトルを知ることができる。しかし、動きベクトルが画像中のどこに対応するかは、位相相関関数からはわからない。そこで、位相相関法による動き推定は、実施の形態1と同様、図7に示すような処理の流れで画像の各ピクセルに動きベクトルを割り当てる。 By examining the coordinates of the impulse of the phase correlation function, it is possible to know the motion vector included in the image. However, it is not known from the phase correlation function where the motion vector corresponds in the image. Therefore, in the motion estimation by the phase correlation method, as in the first embodiment, a motion vector is assigned to each pixel of the image by the processing flow as shown in FIG.
以下、図7の各ブロックの処理を、図20及び図21を用いてより詳細に説明する。
前処理部は、まず、画像を24×24画素のブロックに分割する(図20(a)の破線)。次に、24×24ブロックを縦に2つ、横に2つ並べた48×48ブロックを取る(図20(a)の灰色のブロック)。これにより、例えば図20(a)の点Pを含むような48×48ブロックは4つとなり、これらのブロックの少なくとも1つで点Pの動きが検出できる。その後、ブロックの境界で連続になるようにするため、48×48ブロックを64×64ブロックに拡張する(図20(b))。以降の処理はすべてこの64×64ブロックごとに行う。そして、ブロックを拡張した部分に対して、ブロックの周囲で白と黒の中間色(mid-grey)になるようなぼかし処理を施す。ぼかし処理は次のように行う。ぼかしの重み関数を
Hereinafter, the processing of each block in FIG. 7 will be described in more detail with reference to FIGS.
The preprocessing unit first divides the image into blocks of 24 × 24 pixels (broken line in FIG. 20A). Next, a 48 × 48 block in which two 24 × 24 blocks are arranged vertically and two horizontally is taken (gray block in FIG. 20A). Thereby, for example, there are four 48 × 48 blocks including the point P in FIG. 20A, and the movement of the point P can be detected by at least one of these blocks. Thereafter, the 48 × 48 block is expanded to a 64 × 64 block so as to be continuous at the block boundary (FIG. 20B). All subsequent processing is performed for each 64 × 64 block. Then, a blurring process is performed on the extended part of the block so as to obtain a mid-grey color between white and black around the block. The blurring process is performed as follows. Blur weight function
FFT部は、前処理で得られた64×64ブロックI"に対してFourier変換を実行する。
正規化相互パワースペクトルの計算部は、2つの画像の対応する位置の64×64ブロック同士で正規化相互パワースペクトルΦk,k+1(式(4))を計算する。
The FFT unit performs Fourier transform on the 64 × 64 block I ″ obtained by the preprocessing.
The normalized mutual power spectrum calculation unit calculates the normalized mutual power spectrum Φ k, k + 1 (formula (4)) between 64 × 64 blocks at corresponding positions of the two images.
IFFT部は、正規化相互パワースペクトルΦk,k+1に対して逆Fourier変換を実行し、位相相関関数ck,k+1を求める。 IFFT unit performs an inverse Fourier transform on the normalized cross power spectrum Φ k, k + 1, determined phase correlation function c k, a k + 1.
ピーク検出部は、次の式で表される集合Λの各要素(座標)について、位相相関関数の値を調べる。 The peak detector checks the value of the phase correlation function for each element (coordinate) of the set Λ represented by the following equation.
本発明では位相相関関数のピーク検出のしきい値を、例えばT=300とする。
ブロックマッチング部は、画像の各画素に対して動きベクトルvを割り当てる。動きベクトルの候補リストVの各要素について、動きベクトルを求めたい画素を中心とした3×3ブロックによるブロックマッチングを行う。Vの要素の中で輝度値の絶対値差分が最も小さいものを、その画素の動きベクトルとする。すなわち、
In the present invention, the peak detection threshold value of the phase correlation function is, for example, T = 300.
The block matching unit assigns a motion vector v to each pixel of the image. For each element of the motion vector candidate list V, block matching is performed using 3 × 3 blocks centered on the pixel for which a motion vector is desired. The element with the smallest absolute value difference of luminance values among the elements of V is set as the motion vector of the pixel. That is,
DCTを用いた高解像度画像生成手法では、生成する高解像度画像の高周波成分と低周波成分を異なる方法によって推定する。
・生成画像の高周波成分は、画像空間上で動き補償を行った高解像度画像のスペクトルをそのまま利用する。シーン中の動きは低解像度画像を用いて推定する。ただし、補償できない部分については低解像度画像から補間する。
・生成画像の低周波成分は、画像空間上で動き補償された高解像度画像のスペクトルに低解像度画像のスペクトルを合成することによって生成する。
[画像生成手順]
本画像伝送システムのDCTを用いた場合の一構成例、及びそこでの高解像度画像生成処理の流れを図22に示す。ただし、2種類の動画像の画像サイズ比を2:1とする。また、以下の処理は、1はY(輝度成分)のみを利用して行い、その他の処理はYCrCbの各成分ごとに行う。
In a high-resolution image generation method using DCT, a high-frequency component and a low-frequency component of a generated high-resolution image are estimated by different methods.
The high-frequency component of the generated image uses the spectrum of the high-resolution image that has undergone motion compensation in the image space as it is. The motion in the scene is estimated using a low resolution image. However, the portion that cannot be compensated is interpolated from the low resolution image.
The low-frequency component of the generated image is generated by combining the spectrum of the low-resolution image with the spectrum of the high-resolution image that has been motion compensated in the image space.
[Image generation procedure]
FIG. 22 shows an example of the configuration of the present image transmission system using DCT and the flow of high-resolution image generation processing there. However, the image size ratio of the two types of moving images is 2: 1. In the following processing, 1 is performed using only Y (luminance component), and the other processing is performed for each component of YCrCb.
高解像度画像の生成は次の手順で行う。
1. 前述した位相相関法により低解像度画像の各画素に対して動きベクトルを求める。
2. 1で求めた動きベクトルを用いて高解像度画像のフレーム間差分を推定する。ただし、動きベクトルが推定できなかった部分は、図17に示される画素の位置関係に基づき、双一次補間法により低解像度画像から画素値を補間する。
3. 高解像度画像とフレーム間差分に対してサイズ16×16のブロックDCTを実行する。また、低解像度画像に対してサイズ8×8のブロックDCTを実行する。
4. 高解像度画像とフレーム間差分のそれぞれのDCTスペクトルをDCT領域で足し合わせることにより、動き補償された高解像度画像のDCTスペクトルを求める。
5. 動き補償された高解像度画像のDCTスペクトルに対し、低解像度画像の対応する位置のDCTスペクトルを合成する。
6. 合成したスペクトルに対してIDCT(逆離散コサイン変換)を実行することにより、高解像度画像を生成する。
The high-resolution image is generated according to the following procedure.
1. The motion vector is obtained for each pixel of the low resolution image by the phase correlation method described above.
2. Estimate the inter-frame difference of the high-resolution image using the motion vector obtained in 1. However, in the portion where the motion vector could not be estimated, the pixel value is interpolated from the low resolution image by the bilinear interpolation based on the positional relationship of the pixels shown in FIG.
3. Perform block DCT of size 16x16 on high resolution image and interframe difference. In addition, a block DCT of size 8 × 8 is executed on the low resolution image.
4. The DCT spectrum of the motion-compensated high-resolution image is obtained by adding the DCT spectra of the high-resolution image and the inter-frame difference in the DCT region.
5. The DCT spectrum of the corresponding position of the low-resolution image is synthesized with the DCT spectrum of the motion-compensated high-resolution image.
6. Generate high-resolution images by performing IDCT (Inverse Discrete Cosine Transform) on the synthesized spectrum.
なお、動画像のインターネット配信への適用を考慮して、本画像伝送システムでは、上の1から3までをサーバ側での処理(図22のサーバ)、4から6までをクライアント側での処理(図22のクライアント)とする。 In consideration of application to the Internet distribution of moving images, in this image transmission system, processes 1 to 3 on the server side (server in FIG. 22) and processes 4 to 6 on the client side are performed. (Client in FIG. 22).
以下、動き補償の原理とフレーム間差分の推定手順を詳細に示し、その後、DCTスペクトル合成について詳細に述べる。
[フレーム間差分を用いた動き補償]
動画像をインターネット配信する場合、動き補償処理をクライアントで行うとクライアント側の負担が大きくなる。そこで、フレーム間差分を用いて周波数領域で動き補償を行う。この原理について述べる。
In the following, the principle of motion compensation and the estimation procedure of inter-frame differences are shown in detail, and then DCT spectrum synthesis is described in detail.
[Motion compensation using inter-frame difference]
When moving images are distributed over the Internet, if the motion compensation process is performed by the client, the burden on the client side increases. Therefore, motion compensation is performed in the frequency domain using inter-frame differences. This principle will be described.
今、k番目のフレームをIk、k番目とk+1番目のフレーム間差分をSk,k+1で表すと Now, if the k-th frame is represented by I k and the k-th and k + 1-th frame difference is represented by S k, k + 1
次に、高解像度画像の1周期分のフレーム間差分を推定する処理の流れを説明する。ここで、高解像度画像と低解像度画像のフレームレート比は1:R(R∈N)、画像サイズ比は2:1(σ=2)とする。
Step 1 高解像度画像の1周期に対応する低解像度画像系列I0、I1、…、IRについて、隣接する低解像度フレーム間で位相相関法による後ろ向き動き推定(ME)を行い、動きベクトルの候補リストV1,0、V2,1、…、VR,R-1を作成する(図23(a))。
Step 2 bk=1、fw=R-1とする。
Step 3 (bk番目の高解像度画像の推定)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVbk,bk-1を用いて、低解像度画像IbkとIbk-1の間でブロックマッチング(式(15))を行い、低解像度画像Ibkの各画素に対して後ろ向きの動きベクトルを割り当てる。今、bk番目の低解像度画像Ibkの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
Next, the flow of processing for estimating the inter-frame difference for one period of the high-resolution image will be described. Here, the frame rate ratio between the high resolution image and the low resolution image is 1: R (R∈N), and the image size ratio is 2: 1 (σ = 2).
Step 1 For the low-resolution image sequence I 0 , I 1 ,..., I R corresponding to one period of the high-resolution image, backward motion estimation (ME) is performed by the phase correlation method between adjacent low-resolution frames, and the motion vector Candidate lists V 1,0 , V 2,1 ,..., V R, R-1 are created (FIG. 23 (a)).
Step 2 Set bk = 1 and fw = R-1.
Step 3 (Estimation of bk-th high-resolution image)
1. Using the backward motion vector candidate list V bk, bk-1 found in Step 1, block matching (Equation (15)) is performed between the low resolution images I bk and I bk-1 to obtain a low resolution A backward motion vector is assigned to each pixel of the image I bk . Now, assuming that the motion vector assigned to the point (x, y) of the bk-th low-resolution image I bk is v (x, y) = (v x , v y ) T ,
2. Ibkを起点として前向きに動きベクトルを追跡し、Ifw+1番目のフレームまでの動きの軌道を推定する(図23(b)の点線)。この処理は次のように行う。今、動きベクトルの推定に失敗したIbkの点を(x'、y')とおく。 2. The motion vector is traced forward from I bk as a starting point, and the motion trajectory up to the I fw + 1- th frame is estimated (dotted line in FIG. 23B). This process is performed as follows. Now, let the point of I bk that failed to estimate the motion vector be (x ′, y ′).
(a) γ=bk、α'=x'、β'=y'とする。
(b) ここでγ=fw+1ならば(e)へ進む。そうでなければα=α'、β=β'として(c)へ進む。
(a) γ = bk, α ′ = x ′, β ′ = y ′.
(b) If γ = fw + 1, proceed to (e). Otherwise, proceed to (c) with α = α ′ and β = β ′.
(c) 点(α、β)について低解像度画像IγとIγ+1の間のブロックマッチングを行う。Step 1で求めた動きベクトルの候補リストVγ+1,γの各要素の逆ベクトルからなるリストVγ,γ+1=V-γ+1,γを用いて、次式によりIγの点(α、β)の動きベクトルを求める。 (c) Perform block matching between the low resolution images Iγ and Iγ + 1 for the point (α, β). Using the list Vγ , γ +1 = V - γ +1, γ consisting of the inverse vector of each element of the motion vector candidate list Vγ +1, γ found in Step 1, the point of Iγ (α, Find the motion vector of β).
、v0 y)Tとおく。前と同様に、式(20)の括弧内の値(絶対値差分)がτより大きければ、動きベクトルの割り当てに失敗したとして終了する。
, V 0 y ) T. As before, if the value in parentheses in equation (20) (absolute value difference) is greater than τ, the motion vector allocation has failed and the process ends.
(d) α'=α+v0 x、β'=β+v0 yとする。γに1を加え、(b)へ戻る。
(e) fw+1番目の高解像度画像〜Ifw+1から、次式によってbk番目の高解像度画像〜Ibkの画素値を求める。
(d) α ′ = α + v 0 x and β ′ = β + v 0 y . Add 1 to γ and return to (b).
(e) The pixel values of the bk-th high-resolution image to I bk are obtained from the fw + 1-th high-resolution image to I fw + 1 by the following equation.
3. 図17に示される画素の位置関係に基づき、次式(双一次補間法)により画素値を低解像度画像から補間する。 3. Based on the positional relationship of the pixels shown in FIG. 17, the pixel value is interpolated from the low resolution image by the following equation (bilinear interpolation method).
5. bkに1を加える。
本発明では絶対値差分に関するしきい値を、例えばτ=100とする。
Step 4 ここでbk=fwならば終了する。そうでなければStep 5に進む。
Step 5 (fw番目の高解像度画像の推定)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVfw+1,fwの各要素の逆ベクトルからなるリストVfw,fw+1=V- fw+1,fwを用いて、低解像度画像IfwとIfw+1の間でブロックマッチング(式(15))を行い、低解像度画像Ifwの各画素に対して前向きの動きベクトルを割り当てる。今、fw番目の低解像度画像Ifwの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
5. Add 1 to bk.
In the present invention, the threshold for the absolute value difference is, for example, τ = 100.
Step 4 If bk = fw, exit. Otherwise go to Step 5.
Step 5 (Estimation of the fw-th high-resolution image)
1. Using the list V fw, fw + 1 = V - fw + 1, fw consisting of the inverse vector of each element of the backward motion vector candidate list V fw + 1, fw obtained in Step 1, the low resolution image Block matching (Expression (15)) is performed between I fw and I fw + 1 , and a forward motion vector is assigned to each pixel of the low resolution image I fw . Now, assuming that the motion vector assigned to the point (x, y) of the fw-th low-resolution image I fw is v (x, y) = (v x , v y ) T ,
2. Ifwを起点として後ろ向きに動きベクトルを追跡し、Ibk-1番目のフレームまでの動きの軌道を推定する(図23(c)の点線)。この処理は次のように行う。今、動きベクトルの推定に失敗したIfwの点を(x'、y')とおく。 2. The motion vector is traced backward starting from I fw and the motion trajectory up to the I bk-1 frame is estimated (dotted line in FIG. 23 (c)). This process is performed as follows. Now, let the point of I fw that failed to estimate the motion vector be (x ′, y ′).
(a) η=fw、α'=x'、β'=y'とする。
(b) ここでη=bk-1ならば(e)へ進む。そうでなければα=α'、β=β'として(c)へ進む。
(a) η = fw, α ′ = x ′, β ′ = y ′.
(b) If η = bk−1, proceed to (e). Otherwise, proceed to (c) with α = α ′ and β = β ′.
(c) 点(α、β)について低解像度画像IηとIη-1の間のブロックマッチングを行う。Step 1で求めた動きベクトルの候補リストVη,η-1を用いて、次式によりIηの点(α、β)の動きベクトルを求める。 (c) Perform block matching between the low-resolution images Iη and Iη- 1 for the point (α, β). Using the motion vector candidate list Vη , η −1 obtained in Step 1, the motion vector of the point (α, β) of Iη is obtained by the following equation.
(d) α'=α+v0 x、β'=β+v0 yとする。ηから1を引き、(b)へ戻る。
(e) bk-1番目の高解像度画像〜Ibk-1から、次式によってfw番目の高解像度画像〜Ifwの画素値を求める。
(d) α ′ = α + v 0 x and β ′ = β + v 0 y . Subtract 1 from η and return to (b).
(e) The pixel values of the fw-th high-resolution image to I fw are obtained from the bk-1-th high-resolution image to I bk-1 by the following equation.
3. 双一次補間法(式(22)のbkをfwに置き換える)により画素値を低解像度画像から補間する。 3. Interpolate the pixel values from the low resolution image by bilinear interpolation (replace bk in equation (22) with fw).
4. fw+1番目の高解像度画像〜Ifw+1と、推定したfw番目の高解像度画像〜Ifwの間のフレーム間差分 4. Inter-frame difference between fw + 1st high-resolution image ~ Ifw + 1 and estimated fwth high-resolution image ~ Ifw
5. fwから1を引く。
Step 6 bk=fwになるまでStep 3からStep 5までの処理を繰り返す。
[DCTスペクトル合成]
一般的な画像信号は低周波成分を多くもつという性質がある。つまり、画像のもつ情報の大部分は低周波成分に集中しているということが言える。したがって、動き補償を行った高解像度画像の低周波成分に低解像度画像のスペクトルを合成することによって、生成画像を真の高解像度画像に近づけることができる。
5. Subtract 1 from fw.
Step 6 Repeat steps 3 to 5 until bk = fw.
[DCT spectrum synthesis]
A general image signal has a property of having many low-frequency components. In other words, it can be said that most of the information of the image is concentrated on the low frequency component. Therefore, the generated image can be brought close to a true high-resolution image by synthesizing the spectrum of the low-resolution image with the low-frequency component of the high-resolution image subjected to motion compensation.
今、動き補償された高解像度画像のDCTスペクトル(サイズNh×Nh)をCh(u、v)とし、それに対応する位置の低解像度画像のDCTスペクトル(サイズNl×Nl)をCl(u、v)とする(ただしNh=σNl)。このとき、合成されたDCTスペクトルC(u、v)を Now, let the DCT spectrum (size N h × N h ) of the motion-compensated high-resolution image be C h (u, v), and the DCT spectrum (size N l × N l ) of the low-resolution image at the corresponding position. Let C l (u, v) (where N h = σN l ). At this time, the synthesized DCT spectrum C (u, v)
[DWTを用いた高解像度動画像生成]
離散ウェーブレット変換(DWT)は周波数変換の一種で、静止画像符号化の最新の国際標準規格であるJPEG2000にも採用されている。DWTは離散Fourier変換やDCTなどの他の多くの周波数変換とは異なり、周波数領域においても画像空間情報を保持しているという特徴がある。また、一枚の画像に対してDWTを実行すると、異なる解像度を有する階層的な表現が得られる(オクターブ分割)。提案手法では、DWTがもつこれらの特徴を利用する。
[High-resolution video generation using DWT]
Discrete wavelet transform (DWT) is a type of frequency transform, and is also used in JPEG 2000, the latest international standard for still image coding. Unlike many other frequency transforms such as discrete Fourier transform and DCT, DWT is characterized in that it retains image space information in the frequency domain. In addition, when DWT is performed on one image, hierarchical representations having different resolutions are obtained (octave division). The proposed method uses these features of DWT.
最初にDWTの定義を示した後、shift-invariantなウェーブレット変換である冗長ウェーブレット変換を説明する。
[冗長ウェーブレット変換]
DWTとその逆変換はフィルタバンクによって実現することができる。フィルタバンクによる1次元DWTとその逆変換の実現を図25に示す。図25において、fは1次元の入力信号、f'は復元された信号である。h(-k)とg(-k)はそれぞれ分解のローパスフィルタ(LPF)とハイパスフィルタ(HPF)を表す。一方、合成のローパスフィルタ、ハイパスフィルタはh(k)、g(k)である。Lf(j)とHf(j)は入力信号fに対するレベルjの低周波成分、高周波成分を表す。DWT分解を式で表現すると
First, after showing the definition of DWT, the redundant wavelet transform, which is a shift-invariant wavelet transform, will be described.
[Redundant wavelet transform]
DWT and its inverse transform can be realized by a filter bank. FIG. 25 shows realization of the one-dimensional DWT and its inverse transformation by the filter bank. In FIG. 25, f is a one-dimensional input signal, and f ′ is a restored signal. h (-k) and g (-k) represent a decomposition low pass filter (LPF) and a high pass filter (HPF), respectively. On the other hand, the combined low-pass filter and high-pass filter are h (k) and g (k). Lf (j) and Hf (j) represent a low-frequency component and a high-frequency component at level j with respect to the input signal f. Expressing DWT decomposition as an expression
上述のDWTに対応する合成は The synthesis corresponding to the above DWT is
上で述べたDWTはshift-variantであることが知られている。したがって、例えばある画像とそれを1ピクセルだけシフトさせた画像のウェーブレット係数は一般に大きく異なる。この性質のため、DWT領域での動き補償は多くの場合に不都合が生じる。 The DWT mentioned above is known to be a shift-variant. Therefore, for example, the wavelet coefficients of an image and an image obtained by shifting it by one pixel generally differ greatly. Because of this property, motion compensation in the DWT region is often inconvenient.
DWTがshift-variantとなるのは、変換にダウンサンプリング処理を含むからである。そこで、データが過剰になることを許して、ダウンサンプリングしないDWTを考える。このようなDWTは冗長ウェーブレット変換(RDWT; Redundant DWT)または過完備ウェーブレット変換(ODWT; Overcomplete DWT)などと呼ばれている。RDWTは連続ウェーブレット変換を近似したものになっており、shift-invariantである。 DWT becomes shift-variant because the conversion includes downsampling processing. Therefore, let us consider a DWT that does not downsample, allowing data to be excessive. Such DWT is called redundant wavelet transform (RDWT; Redundant DWT) or overcomplete wavelet transform (ODWT). RDWT is an approximation of continuous wavelet transform and is shift-invariant.
1次元RDWTとその逆変換のフィルタバンクによる実現を図26に示す。記号^はRDWT係数であることを表す。DWTと異なるのは、スケールの増加に合わせてフィルタ係数をアップサンプリングする点である。レベルj+1におけるフィルタはレベルjのフィルタを2倍アップサンプリングしたものとなる。すなわち FIG. 26 shows the realization of the one-dimensional RDWT and its inverse transform using a filter bank. The symbol ^ represents an RDWT coefficient. The difference from DWT is that the filter coefficients are upsampled as the scale increases. The filter at level j + 1 is a double upsampling of the level j filter. Ie
なお、RDWT係数が持っている冗長な情報は、DWTではダウンサンプリングにより失われるだけであり、両者の係数の間には次の関係がある。 Note that redundant information possessed by RDWT coefficients is only lost by downsampling in DWT, and there is the following relationship between both coefficients.
[画像生成手順]
本画像伝送システムのRDWTを用いた場合の一構成例、及びそこでの高解像度画像生成処理の流れを図27に示す。
[Image generation procedure]
FIG. 27 shows a configuration example when the RDWT of this image transmission system is used, and the flow of high-resolution image generation processing there.
DWTを用いた高解像度画像の生成のアイデアを以下に示す。ここで、高解像度画像と低解像度画像の画像サイズ比を2α:1(α∈N)とする。また、以下の処理は、1はY(輝度成分)のみを利用して行い、その他の処理はYCrCbの各成分ごとに行う。
1. 位相相関法を用いて低解像度画像の各画素に対して動きベクトルを求める(DCT法と同様)。
2. 高解像度画像に対して、RDWTをレベルαまで繰り返す。ただし、レベルαの低周波成分LL^(α)はこの後の画像生成に使用しないので求める必要はない。
3. 2で求めた動きベクトルを用いて、高解像度画像の高周波成分に対して動き補償を行う(この後で詳細に説明する)。ただし、動きベクトルが推定できなかった部分については、高周波成分に0を代入する。
4. 式(41)、(42)の関係を用い、各高周波成分をダウンサンプリングする。また、レベルαの低周波成分として低解像度画像を適用する。すなわちLL〜Ik (α)=Ikとする。
5. 4の処理により得られるウェーブレット係数に対してDWT合成(逆DWT)を実行し、高解像度画像を生成する。
なお、動画像のネットワーク配信への適用を考慮して、本画像伝送システムでは、上の1と2をサーバ側での処理(図27のサーバ)、3から5をクライアント側での処理(図27のクライアント)とする。
The idea of generating high-resolution images using DWT is shown below. Here, it is assumed that the image size ratio between the high resolution image and the low resolution image is 2α: 1 (α∈N). In the following processing, 1 is performed using only Y (luminance component), and the other processing is performed for each component of YCrCb.
1. Find the motion vector for each pixel in the low-resolution image using the phase correlation method (similar to the DCT method).
2. Repeat RDWT to level α for high resolution images. However, it is not necessary to obtain the low-frequency component LL ^ ( α ) at the level α because it is not used for the subsequent image generation.
3. Motion compensation is performed on the high-frequency component of the high-resolution image using the motion vector obtained in (2). However, 0 is substituted for the high-frequency component for the part where the motion vector could not be estimated.
4. Downsamp each high frequency component using the relationship of equations (41) and (42). Also, a low resolution image is applied as a low frequency component of level α. That is, LL to I k ( α ) = I k .
5. Perform DWT synthesis (inverse DWT) on the wavelet coefficients obtained by the process in 4 to generate a high-resolution image.
In consideration of application to network distribution of moving images, in this image transmission system, the above 1 and 2 are processing on the server side (server in FIG. 27), and 3 to 5 are processing on the client side (FIG. 27 clients).
次に、上の手順3の流れについて詳しく説明する。
[ウェーブレット領域における動き補償]
DWTを用いる方法での動き補償は、RDWTの分解によって得られる高周波成分すべてに対して同様に実行する。動き補償の大部分の処理は、前述したDCTを用いる方法と類似している。前述と同様に、高解像度画像と低解像度画像の画像サイズ比を2α:1(α∈N)とする。
Step 1 高解像度画像の1周期に対応する低解像度画像系列I0、I1、…、IRについて、隣接する低解像度フレーム間で位相相関法による後ろ向き動き推定(ME)を行い、動きベクトルの候補リストV1,0、V2,1、…、VR,R-1を作成する。
Step 2 bk=1、fw=R-1とする。
Step 3 (bk番目の高解像度画像の高周波成分に対する動き補償)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVbk,bk-1を用いて、低解像度画像IbkとIbk-1の間でブロックマッチング(式(15))を行い、低解像度画像Ibkの各画素に対して後ろ向きの動きベクトルを割り当てる。今、bk番目の低解像度画像Ibkの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
Next, the flow of step 3 above will be described in detail.
[Motion compensation in wavelet domain]
Motion compensation by the method using DWT is performed in the same manner for all high-frequency components obtained by the decomposition of RDWT. Most of the motion compensation processing is similar to the method using DCT described above. As described above, the image size ratio between the high resolution image and the low resolution image is 2α: 1 (α∈N).
Step 1 For the low-resolution image sequence I 0 , I 1 ,..., I R corresponding to one period of the high-resolution image, backward motion estimation (ME) is performed by the phase correlation method between adjacent low-resolution frames, and the motion vector Candidate lists V 1,0 , V 2,1 ,..., V R, R-1 are created.
Step 2 Set bk = 1 and fw = R-1.
Step 3 (Motion compensation for high frequency components of bkth high resolution image)
1. Using the backward motion vector candidate list V bk, bk-1 found in Step 1, block matching (Equation (15)) is performed between the low resolution images I bk and I bk-1 to obtain a low resolution A backward motion vector is assigned to each pixel of the image I bk . Now, assuming that the motion vector assigned to the point (x, y) of the bk-th low-resolution image I bk is v (x, y) = (v x , v y ) T ,
2. Ibkを起点として前向きに動きベクトルを追跡し、Ifw+1番目のフレームまでの動きの軌道を推定する。動きベクトルの推定に失敗したIbkの点を(x'、y')とおく。DCTを用いる場合について前述した手順のStep 3の2の(a)から(d)まで同様の処理を行う。そして、(e)の処理を次のように変更する。 2. Trace the motion vector forward from I bk and estimate the motion trajectory up to the I fw + 1 frame. The point of I bk that failed to estimate the motion vector is set as (x ′, y ′). In the case of using DCT, the same processing is performed from (a) to (d) of Step 3-2 of the procedure described above. Then, the process (e) is changed as follows.
(e) fw+1番目の高解像度画像〜Ifw+1の各周波数成分から、次式によってbk番目の高解像度画像〜Ibkの各周波数成分を求める。 (e) From the frequency components of the fw + 1st high-resolution image to I fw + 1 , the frequency components of the bkth high-resolution image to Ibk are obtained by the following equation.
3. 動き補償ができなかった部分は、高周波成分に0を代入する。すなわち 3. Assign 0 to the high-frequency component for the part where motion compensation could not be performed. Ie
4. bkに1を加える。
Step 4 ここでbk=fwならば終了する。そうでなければStep 5に進む。
Step 5 (fw番目の高解像度画像の高周波成分に対する動き補償)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVfw+1,fwの各要素の逆ベクトルからなるリストVfw,fw+1=V- fw+1,fwを用いて、低解像度画像IfwとIfw+1の間でブロックマッチング(式(15))を行い、低解像度画像Ifwの各画素に対して前向きの動きベクトルを割り当てる。今、fw番目の低解像度画像Ifwの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
4. Add 1 to bk.
Step 4 If bk = fw, exit. Otherwise go to Step 5.
Step 5 (Motion compensation for high-frequency components of the fw-th high-resolution image)
1. Using the list V fw, fw + 1 = V - fw + 1, fw consisting of the inverse vector of each element of the backward motion vector candidate list V fw + 1, fw obtained in Step 1, the low resolution image Block matching (Expression (15)) is performed between I fw and I fw + 1 , and a forward motion vector is assigned to each pixel of the low resolution image I fw . Now, assuming that the motion vector assigned to the point (x, y) of the fw-th low-resolution image I fw is v (x, y) = (v x , v y ) T ,
2. Ifwを起点として前向きに動きベクトルを追跡し、Ibk-1番目のフレームまでの動きの軌道を推定する。動きベクトルの推定に失敗したIfwの点を(x'、y')とおく。DCTを用いる場合について前述した手順のStep 5の2の(a)から(d)まで同様の処理を行う。そして、(e)の処理を次のように変更する。 2. Trace the motion vector forward from I fw and estimate the motion trajectory up to the I bk-1 frame. The point of I fw that failed to estimate the motion vector is set as (x ′, y ′). In the case of using DCT, the same processing is performed from 2 (a) to (d) of Step 5 of the procedure described above. Then, the process (e) is changed as follows.
(e) fw+1番目の高解像度画像〜Ifw+1の各周波数成分から、次式によってbk番目の高解像度画像〜Ibkの各周波数成分を求める。 (e) From the frequency components of the fw + 1st high-resolution image to I fw + 1 , the frequency components of the bkth high-resolution image to Ibk are obtained by the following equation.
3. 動き補償ができなかった部分は、高周波成分に0を代入する。すなわち 3. Assign 0 to the high-frequency component for the part where motion compensation could not be performed. Ie
4. fwから1を引く。
Step 6 bk=fwになるまでStep 3からStep 5までの処理を繰り返す。
[評価]
ここまでに説明した画像処理システムによる画像生成の実験方法とその結果を、以下に示す。最初に、画像評価の指標であるPSNRの定義を与える。
[PSNRの定義]
画像サイズがM×N、フレーム数がKである2つの映像信号Ik(x、y)と^Ik(x、y)の間の平均二乗誤差(MSE)は次式で定義される。
4. Subtract 1 from fw.
Step 6 Repeat steps 3 to 5 until bk = fw.
[Evaluation]
An experimental method and results of image generation by the image processing system described so far are shown below. First, the definition of PSNR that is an index of image evaluation is given.
[Definition of PSNR]
The mean square error (MSE) between two video signals I k (x, y) and ^ I k (x, y) having an image size of M × N and a frame number of K is defined by the following equation.
[実験結果]
複合センサカメラから得られる2種類の動画像をシミュレートするため、MPEGテストシーケンス(30[fps])を用いて高解像度画像生成実験を行った。図17に示される2種類の動画像の画素の位置関係に基づき、サイズM×Nのテスト画像〜I(x、y)に対して次式に基づいて50%の画像縮小を行い(σ=2)、サイズM/2×N/2の低解像度画像I(x、y)を生成する。
[Experimental result]
In order to simulate two types of moving images obtained from a composite sensor camera, a high-resolution image generation experiment was performed using an MPEG test sequence (30 [fps]). Based on the positional relationship between the pixels of the two types of moving images shown in FIG. 17, 50% image reduction is performed on the size M × N test image to I (x, y) based on the following equation (σ = 2) A low-resolution image I (x, y) of size M / 2 × N / 2 is generated.
本研究の実験に使用したMPEGテストシーケンスを表1に示す。 Table 1 shows the MPEG test sequences used in the experiments in this study.
“Football”の58番目のフレームの生成結果を図28と図29に示す。各図において、原画像および低解像度を拡大した画像を共に示してある。同様に、“Foreman”の82番目のフレームの生成結果を図30と図31に、“Flower garden”の28番目のフレームの生成結果を図32と図33に、“Hall monitor”の196番目のフレームの生成結果を図34と図35に示す。
The results of generating the 58th frame of “Football” are shown in FIGS. In each figure, both an original image and an image with an enlarged low resolution are shown. Similarly, the generation result of the 82nd frame of “Foreman” is shown in FIGS. 30 and 31, the generation result of the 28th frame of “Flower garden” is shown in FIGS. 32 and 33, and the 196th frame of “Hall monitor” is shown. The results of frame generation are shown in FIGS.
提案する各手法を“Coastguard”に対して適用し、フレームごとのPSNRの変化を測定した。この結果を図36に示す。ただし、キーフレームは原画像と同一であるため、PSNRが計算できない。このため、図36において、キーフレームについては生成画像のPSNRの値を描画していない。つまり、線の途切れている部分がキーフレームである。また、2倍拡大した低解像度画像のPSNRも合わせて描画している。同様に、“Flower garden”のPSNRを図37に、“Football”のPSNRを図38に、“Foreman”のPSNRを図39に、“Hall monitor”のPSNRを図40に、“Mobile”のPSNRを図41に示す。 The proposed method was applied to “Coastguard” and the change of PSNR for each frame was measured. The result is shown in FIG. However, since the key frame is the same as the original image, the PSNR cannot be calculated. Therefore, in FIG. 36, the PSNR value of the generated image is not drawn for the key frame. That is, the part where the line is broken is the key frame. In addition, the PSNR of the low-resolution image enlarged twice is also drawn. Similarly, PSNR of “Flower garden” is shown in FIG. 37, PSNR of “Football” is shown in FIG. 38, PSNR of “Foreman” is shown in FIG. 39, PSNR of “Hall monitor” is shown in FIG. Is shown in FIG.
各テストシーケンスのPSNR 測定結果を表2に示す。表2には、拡大した低解像度画像のPSNRも併記してある。なお、表に示してあるPSNRは生成したフレームのPSNRの平均値である。 Table 2 shows the PSNR measurement results for each test sequence. Table 2 also shows the PSNR of the enlarged low resolution image. The PSNR shown in the table is an average value of the PSNR of the generated frame.
次に、各手法を比較すると、6種類のテストシーケンスのうち4種類について、整数2/6ウェーブレットを用いた場合のPSNRが最大となった。一方、全てのテストシーケンスについて、拡大した低解像度画像のPSNRは他のどの提案手法よりも悪くなった。よって、提案手法により真の高解像度画像に近い画像が得られたということができる。 Next, when comparing each method, PSNR was maximized when using integer 2/6 wavelet for 4 types of 6 test sequences. On the other hand, for all test sequences, the PSNR of the enlarged low-resolution image was worse than any other proposed method. Therefore, it can be said that an image close to a true high-resolution image was obtained by the proposed method.
実験に使用した3種類のウェーブレットの性能を比較する。まず、Haarウェーブレットを用いた場合の生成画像を見ると、細かいブロックノイズが画像中の一部分に現れている。これは動き推定に失敗したために「高周波成分=0」とおいた部分で発生している。この原因はHaarウェーブレットが不連続で滑らかでないからである。また、Daubechies 4-tapフィルタを用いて生成した画像を、整数2/6ウェーブレットを用いて生成した画像と比較すると、視覚的にはそれほど違いがない。ところが、前者のPSNRの値はいずれのテストシーケンスに対しても、4種類の提案手法の中で最もPSNRが悪くなった。この結果から、Daubechies 4-tapフィルタは本研究で想定している高解像度画像生成の用途には不向きであると言える。 Compare the performance of the three wavelets used in the experiment. First, looking at the generated image using the Haar wavelet, fine block noise appears in a part of the image. This occurs in a portion where “high frequency component = 0” because motion estimation failed. This is because the Haar wavelet is discontinuous and not smooth. Moreover, when an image generated using the Daubechies 4-tap filter is compared with an image generated using an integer 2/6 wavelet, there is not much difference visually. However, the PSNR value of the former was the worst among the four proposed methods for any test sequence. From this result, it can be said that the Daubechies 4-tap filter is not suitable for the high-resolution image generation assumed in this study.
テストシーケンス“Flower garden”と“Football”、“Mobile”ではPSNRの値が25[dB]以下と、他の3つのシーケンスよりも結果が悪かった。結果が悪かったこれら3つのテストシーケンスには、シーン中に占める動領域が大きいという共通点がある。このため、動きベクトルの推定に失敗し、低解像度画像から補間を行った画素が生成画像中に多く含まれていたためにPSNRが下がったことが考えられる。
[スペクトル合成の有効性]
提案手法におけるDCTスペクトル合成の有効性を検証するため、テストシーケンス“Foreman”を用いて、DCTスペクトル合成処理を行わずに画像を生成した。“Foreman”の82番目のフレームの生成結果を図42に示す。なお、図42の(a)、(b)は図30の(e)、(f)と同じである。
The test sequences “Flower garden”, “Football” and “Mobile” had a PSNR value of 25 [dB] or less, which was worse than the other three sequences. These three test sequences, which had poor results, have the common feature of a large dynamic area in the scene. For this reason, it is conceivable that the estimation of the motion vector failed and the PSNR was lowered because many pixels interpolated from the low resolution image were included in the generated image.
[Effectiveness of spectrum synthesis]
In order to verify the effectiveness of DCT spectrum synthesis in the proposed method, an image was generated without DCT spectrum synthesis using the test sequence “Foreman”. FIG. 42 shows the generation result of the 82nd frame of “Foreman”. Note that (a) and (b) in FIG. 42 are the same as (e) and (f) in FIG.
スペクトル合成を行わなかった場合、シーケンス全体のPSNRは28.84[dB]となった。これを表2の結果と比較すると、DCTスペクトル合成によって+1.20[dB]のゲインが得られていることになる。したがって、スペクトル合成により、生成画像が真の高解像度画像に近づいているということができる。このため、提案手法によって得られる生成画像の画質は動き推定や動き補償の性能に大きく依存するということがわかる。
[まとめ]
本発明では、高解像度CCDと低解像度CCDをもつ複合センサカメラを考え、このカメラから得られる同一視野の2種類の動画像から、高解像度・高フレームレートの動画像を画像処理によって生成する2種類の方法を提案した。1つはDCTを用いる方法、もう1つはDWTを用いる方法である。今回は3種類のウェーブレット関数を使用した。そして、MPEGテストシーケンスを用いたシミュレーション実験と生成画像の数値的評価を各手法について行い、2種類の画像のサイズ比が2:1、フレームレート比が1:6の場合には、真の高解像度画像に近い画像が提案手法によって得られることを確認した。特に、実験に用いた6種類のテストシーケンスのうち4種類で、整数2/6ウェーブレットを使用した場合にPSNRが最高となった。これらの結果から、提案手法のスペクトル合成が高画質化に寄与していることが明らかになった。
When spectrum synthesis was not performed, the PSNR of the entire sequence was 28.84 [dB]. When this is compared with the result of Table 2, a gain of +1.20 [dB] is obtained by DCT spectrum synthesis. Therefore, it can be said that the generated image is approaching a true high-resolution image by spectrum synthesis. For this reason, it can be seen that the image quality of the generated image obtained by the proposed method greatly depends on the performance of motion estimation and motion compensation.
[Summary]
In the present invention, a composite sensor camera having a high-resolution CCD and a low-resolution CCD is considered, and a high-resolution and high-frame-rate moving image is generated by image processing from two types of moving images having the same field of view obtained from this camera. Kinds of methods are proposed. One is a method using DCT, and the other is a method using DWT. This time, three kinds of wavelet functions were used. A simulation experiment using the MPEG test sequence and numerical evaluation of the generated images were performed for each method.If the size ratio of the two images was 2: 1 and the frame rate ratio was 1: 6, the true high It was confirmed that an image close to the resolution image can be obtained by the proposed method. In particular, PSNR was the highest when 4 of the 6 test sequences used in the experiment were used with integer 2/6 wavelets. From these results, it was clarified that the spectrum synthesis of the proposed method contributed to high image quality.
本発明は、画像データ生成、画像圧縮、画像転送等の画像処理に適用可能であり、特に、遠隔からのモニタリング、セキュリティシステム、遠隔会議、遠隔医療、遠隔教育、コンサートやスポーツなどのインタラクティブ放送などに適用可能である。 The present invention is applicable to image processing such as image data generation, image compression, and image transfer, and in particular, remote monitoring, security system, remote conference, telemedicine, remote education, interactive broadcasting such as concerts and sports, etc. It is applicable to.
20 画像処理システム
22 複合センサカメラ
24 配信サーバ
26 クライアント装置
28 高解像度低フレームレートカメラ
30 低解像度高フレームレートカメラ
38 高解像度画像生成処理部
42 分光素子
44 レンズ
DESCRIPTION OF SYMBOLS 20 Image processing system 22 Compound sensor camera 24 Distribution server 26 Client apparatus 28 High resolution low frame rate camera 30 Low resolution high frame rate camera 38 High resolution image generation process part 42 Spectroscopic element 44 Lens
Claims (48)
前記第1のフレームレート以下の第2のフレームレートで、前記第1の解像度以上の第2の解像度を有する第2の画像データ列を生成する第2の画像データ列生成手段とを備え、
前記第1の画像データ列生成手段の視野と第2の画像データ列生成手段の視野とは同一である
ことを特徴とする撮像システム。 First image data sequence generation means for generating a first image data sequence having a first resolution at a first frame rate;
Second image data sequence generation means for generating a second image data sequence having a second resolution equal to or higher than the first resolution at a second frame rate equal to or lower than the first frame rate;
The field of view of the first image data string generation unit and the field of view of the second image data string generation unit are the same.
前記第1の画像データ列生成手段は、前記入射光分離手段で分離された一方の入射光より前記第1の画像データ列を生成し、
前記第2の画像データ列生成手段は、前記入射光分離手段で分離された他方の入射光より前記第2の画像データ列を生成する
ことを特徴とする請求項1に記載の撮像システム。 Furthermore, an incident light separating means for separating the incident light into two is provided,
The first image data string generation means generates the first image data string from one incident light separated by the incident light separation means,
The imaging system according to claim 1, wherein the second image data string generation unit generates the second image data string from the other incident light separated by the incident light separation unit.
前記第1の画像データ列生成手段および前記第2の画像データ列生成手段は、前記全方位視覚センサにより集光された入射光より前記第1の画像データ列および前記第2の画像データ列をそれぞれ生成する
ことを特徴とする請求項1または2に記載の撮像システム。 In addition, it has an omnidirectional visual sensor that collects incident light from all directions,
The first image data string generation unit and the second image data string generation unit are configured to convert the first image data string and the second image data string from incident light collected by the omnidirectional visual sensor. The imaging system according to claim 1, wherein each of the imaging systems is generated.
ことを特徴とする請求項3に記載の撮像システム。 The imaging system according to claim 3, wherein the omnidirectional visual sensor includes a plurality of mirrors each capable of collecting incident light from all directions.
ことを特徴とする請求項1〜4のいずれか1項に記載の撮像システム。 The imaging system according to claim 1, further comprising distribution means for distributing the first image data string and the second image data string to the outside.
ことを特徴とする請求項1〜5のいずれか1項に記載の撮像システム。 The imaging system according to claim 1, further comprising storage means for storing the first image data string and the second image data string.
前記所定の画像データ列より、第1のフレームレートで、第1の解像度の第1の画像データ列を作成する第1の画像データ列作成手段と、
前記所定の画像データ列より、前記第1のフレームレート以下の第2のフレームレートで、前記第1の解像度以上の第2の解像度の第2の画像データ列を作成する第2の画像データ列作成手段とを備える
ことを特徴とする画像データ列作成装置。 An image data sequence creation device for creating two image data sequences having different frame rates or resolutions from a predetermined image data sequence,
A first image data string creating means for creating a first image data string having a first resolution at a first frame rate from the predetermined image data string;
A second image data sequence for creating a second image data sequence having a second resolution equal to or higher than the first resolution at a second frame rate equal to or lower than the first frame rate from the predetermined image data sequence. An image data string creation device comprising: creation means.
ことを特徴とする請求項7に記載の画像データ列作成装置。 The image data sequence creation apparatus according to claim 7, wherein the first resolution and the second frame rate are the same as the resolution and the frame rate of the predetermined image data sequence, respectively.
ことを特徴とする請求項7または8に記載の画像データ列作成装置。 The image data string creation device according to claim 7 or 8, further comprising distribution means for distributing the first image data string and the second image data string to the outside.
ことを特徴とする請求項7〜9のいずれか1項に記載の画像データ列作成装置。 The image data string creation device according to any one of claims 7 to 9, further comprising storage means for storing the first image data string and the second image data string.
第1のフレームレートおよび第1の解像度を有する第1の画像データ列から動き情報を抽出する動き情報抽出手段と、
抽出された前記第1の画像データ列の動き情報に基づいて、前記第1のフレームレート以下の第2のフレームレートおよび前記第1の解像度以上の第2の解像度を有する第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
前記動き情報推定手段で推定された動き情報および前記第2の画像データ列に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データを生成する画像データ生成手段とを備える
ことを特徴とする画像生成装置。 An image data sequence generation device that generates another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions,
Motion information extraction means for extracting motion information from a first image data sequence having a first frame rate and a first resolution;
Based on the extracted motion information of the first image data string, a second image data string having a second frame rate equal to or lower than the first frame rate and a second resolution equal to or higher than the first resolution. Motion information estimation means for estimating motion information of image data having the second resolution with respect to a frame not included in
Based on the motion information estimated by the motion information estimation means and the second image data sequence, image data having the second resolution is obtained for frames not included in the second image data sequence. An image generation apparatus comprising: image data generation means for generating.
前記動き情報推定手段は、
前記第2の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
前記第1の画像データ列の動き情報、前記第1の画像データ列および前記第2の画像データ列に基づいて、前記第2の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
前記第2の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第2の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
前記画像データ生成手段は、
前記第1の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
前記動き補償された前記第2の解像度を有する画像データの周波数信号成分と、前記第1の画像データ列の周波数信号成分とを合成する合成手段と、
合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
ことを特徴とする請求項11に記載の画像生成装置。 The motion information extraction unit receives the first image data sequence, extracts motion information using a phase correlation method,
The motion information estimating means includes
High-resolution frequency signal component extraction means for extracting a frequency signal component by performing frequency conversion on the second image data sequence;
Based on the motion information of the first image data sequence, the first image data sequence, and the second image data sequence, between the image included in the second image data sequence and the image not included Difference image generation means for generating a difference image;
Differential image frequency component extraction means for extracting a frequency signal component by performing the frequency conversion on the difference image;
Motion compensation means for obtaining a frequency signal component of the image data having the second resolution subjected to motion compensation based on the frequency signal component of the second image data sequence and the frequency signal component of the difference image;
The image data generating means
Low-resolution frequency signal component extraction means for extracting a frequency signal component by performing the frequency conversion on the first image data sequence;
Synthesizing means for synthesizing the frequency signal component of the image data having the second resolution subjected to the motion compensation and the frequency signal component of the first image data sequence;
The image generation apparatus according to claim 11, further comprising: an inverse frequency conversion unit that performs an inverse conversion of the frequency conversion on the synthesized frequency signal component.
ことを特徴とする請求項12に記載の画像生成装置。 The image generation apparatus according to claim 12, wherein the frequency transformation is orthogonal transformation.
ことを特徴とする請求項13に記載の画像生成装置。 The image generation apparatus according to claim 13, wherein the orthogonal transform is a discrete cosine transform.
ことを特徴とする請求項13に記載の画像生成装置 The image generation apparatus according to claim 13, wherein the orthogonal transform is a wavelet transform.
ことを特徴とする請求項12〜15のいずれか1項に記載の画像生成装置。 The motion information extraction unit receives the first image data sequence and extracts motion information using a phase correlation method using fast Fourier transform. The image generating apparatus described in 1.
前記第1の画像データ列より、動領域および背景領域を抽出する第1の動領域抽出手段と、
前記第2の画像データ列より、動領域および背景領域を抽出する第2の動領域抽出手段と、
抽出された前記第1の画像データの動領域に基づいて、前記第1の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
前記動き情報推定手段は、前記第2の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第2の画像データ列には含まれないフレームの動領域を生成し、
前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第2の動領域抽出手段で前記第2の画像データ列より抽出された前記背景領域とを重ねあわせる
ことを特徴とする請求項11に記載の画像生成装置。 The movement information extraction means includes
A first moving region extracting means for extracting a moving region and a background region from the first image data sequence;
Second moving region extraction means for extracting a moving region and a background region from the second image data sequence;
A plane projection transformation matrix estimation means for estimating a plane projection transformation matrix for the moving area of the first image data sequence based on the extracted moving area of the first image data;
The motion information estimation means performs an operation using the planar projective transformation matrix on the moving region of the second image data sequence, and determines a moving region of a frame not included in the second image data sequence. Generate
The image data generation means superimposes the motion area estimated by the motion information estimation means and the background area extracted from the second image data string by the second motion area extraction means. The image generation apparatus according to claim 11.
前記第1の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、
前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、
前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第2の画像データ列に含まれないフレームの動きベクトルを補間し、
前記画像データ生成手段は、
前記特徴点抽出手段で抽出された特徴点を前記第2の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、
前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第2の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、
前記第2の画像データ列より、背景領域を抽出する背景領域抽出手段と、
前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備える
ことを特徴とする請求項11に記載の画像生成装置。 The movement information extraction means includes
Feature point extracting means for extracting a plurality of feature points from the image data included in the first image data sequence;
A plurality of feature points associated with each other between frames, and motion vector extraction means for extracting a motion vector,
The motion information estimation means interpolates a motion vector of a frame not included in the second image data sequence based on the motion vector extracted by the motion vector extraction means,
The image data generating means
Polygon dividing means for applying the feature points extracted by the feature point extracting means to the second image data sequence, and dividing an area surrounded by the feature points as polygons;
A motion that generates a motion region of a frame that is not included in the second image data sequence by performing morphing on the polygon region divided by the polygon dividing device based on the motion vector estimated by the motion information estimating device. Region generation means;
Background area extraction means for extracting a background area from the second image data sequence;
The image generating apparatus according to claim 11, further comprising a superimposing unit that superimposes the moving region generated by the moving region generating unit and the background region extracted by the background region extracting unit.
ことを特徴とする請求項11〜18のいずれか1項に記載の画像生成装置。 The first image data string and the second image data string are generated in the imaging system according to any one of claims 1 to 5. The image generation apparatus according to item.
ことを特徴とする請求項11〜18のいずれか1項に記載の画像生成装置。 The first image data string and the second image data string are created by the image data string creating device according to claim 7 or 7. The image generating apparatus described.
前記2つの画像データ列を配信する画像データ列配信装置と、
前記画像データ列配信装置に接続され、請求項11〜18のいずれか1項に記載の画像データ列生成装置とを備え、
前記画像データ列配信装置は、請求項5に記載の撮像システムまたは請求項9に記載の画像データ列作成装置である
ことを特徴とする画像データ列生成システム。 An image data sequence generation system for generating another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions,
An image data string distribution device for distributing the two image data strings;
Connected to the image data string distribution device, comprising the image data string generation device according to any one of claims 11 to 18,
The image data string distribution device is the image pickup system according to claim 5 or the image data string creation device according to claim 9.
前記画像データ列配信装置は、さらに、前記フレームに関する情報を受信するフレーム受信手段を備え、
前記配信手段は、前記フレームに関する情報で指定されたフレームの画像データを生成するのに必要な前記第1の画像データおよび前記第2の画像データを配信する
ことを特徴とする請求項21に記載の画像データ列生成装置。 The image data sequence generation device further includes a frame transmission unit that accepts designation of a frame from a user and transmits information about the designated frame to the image data sequence distribution device,
The image data string distribution device further includes a frame receiving unit that receives information about the frame,
The distribution unit distributes the first image data and the second image data necessary to generate image data of a frame specified by information about the frame. Image data string generation apparatus.
前記2つの画像データ列のうち一方の画像データ列より得られる動き情報と他方の画像データ列とを配信する配信装置と、
前記配信装置より配信された前記動き情報および前記他方の画像データ列に基づいて、画像データ列を生成する画像データ列生成装置とを備え、
前記配信装置は、
請求項1〜6のいずれか1項に記載の撮像システムと、
前記撮像システムで撮像された前記第1の画像データ列から動き情報を抽出する動き情報抽出手段と、
前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第2の画像データ列とを配信する配信手段とを備え、
前記画像データ列生成装置は、
配信された前記第1の画像データ列の動き情報に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
前記動き情報推定手段で推定された動き情報および前記第2の画像データ列に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データを生成する画像データ生成手段とを備える
ことを特徴とする画像データ列生成システム。 An image data sequence generation system for generating another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions,
A distribution device for distributing motion information obtained from one of the two image data sequences and the other image data sequence;
An image data sequence generation device that generates an image data sequence based on the motion information and the other image data sequence distributed from the distribution device;
The distribution device includes:
The imaging system according to any one of claims 1 to 6,
Motion information extraction means for extracting motion information from the first image data sequence captured by the imaging system;
A distribution unit that distributes the motion information extracted by the motion information extraction unit and the second image data sequence captured by the imaging system;
The image data string generation device includes:
A motion for estimating motion information of image data having the second resolution with respect to a frame not included in the second image data sequence, based on the motion information of the first image data sequence distributed Information estimation means;
Based on the motion information estimated by the motion information estimation means and the second image data sequence, image data having the second resolution is obtained for frames not included in the second image data sequence. An image data string generation system comprising: an image data generation means for generating.
前記動き情報推定手段は、
前記第2の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
前記第1の画像データ列の動き情報、前記第1の画像データ列および前記第2の画像データ列に基づいて、前記第2の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
前記第2の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第2の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
前記画像データ生成手段は、
前記第1の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
前記動き補償された前記第2の解像度を有する画像データの周波数信号成分と、前記第1の画像データ列の周波数信号成分とを合成する合成手段と、
合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
ことを特徴とする請求項23に記載の画像データ列生成システム。 The motion information extraction unit receives the first image data sequence, extracts motion information using a phase correlation method,
The motion information estimating means includes
High-resolution frequency signal component extraction means for extracting a frequency signal component by performing frequency conversion on the second image data sequence;
Based on the motion information of the first image data sequence, the first image data sequence, and the second image data sequence, between an image included in the second image data sequence and an image not included in the second image data sequence Difference image generation means for generating a difference image;
Differential image frequency component extraction means for extracting a frequency signal component by performing the frequency conversion on the difference image;
Motion compensation means for obtaining a frequency signal component of the image data having the second resolution subjected to motion compensation based on the frequency signal component of the second image data sequence and the frequency signal component of the difference image;
The image data generating means
Low-resolution frequency signal component extraction means for extracting a frequency signal component by performing the frequency conversion on the first image data sequence;
Combining means for combining the frequency signal component of the image data having the second resolution subjected to the motion compensation and the frequency signal component of the first image data sequence;
24. The image data sequence generation system according to claim 23, further comprising: inverse frequency conversion means for performing inverse conversion of the frequency conversion on the synthesized frequency signal component.
ことを特徴とする請求項24に記載の画像データ列生成システム。 The image data sequence generation system according to claim 24, wherein the frequency transform is orthogonal transform.
ことを特徴とする請求項25に記載の画像データ列生成システム。 The image data string generation system according to claim 25, wherein the orthogonal transform is a discrete cosine transform.
ことを特徴とする請求項25に記載の画像データ列生成システム。 The image data string generation system according to claim 25, wherein the orthogonal transform is a wavelet transform.
ことを特徴とする請求項24〜27のいずれか1項に記載の画像データ列生成システム。 28. The motion information extraction unit receives the first image data string as input, and extracts motion information using a phase correlation method using a fast Fourier transform. The image data sequence generation system described in 1.
前記第1の画像データ列より、動領域および背景領域を抽出する第1の動領域抽出手段と、
前記第2の画像データ列より、動領域および背景領域を抽出する第2の動領域抽出手段と、
抽出された前記第1の画像データの動領域に基づいて、前記第1の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
前記動き情報推定手段は、前記第2の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第2の画像データ列には含まれないフレームの動領域を生成し、
前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第2の動領域抽出手段で前記第2の画像データ列より抽出された前記背景領域とを重ねあわせる
ことを特徴とする請求項23に記載の画像データ列生成システム。 The movement information extraction means includes
A first moving region extracting means for extracting a moving region and a background region from the first image data sequence;
Second moving region extraction means for extracting a moving region and a background region from the second image data sequence;
A plane projection transformation matrix estimation means for estimating a plane projection transformation matrix for the moving area of the first image data sequence based on the extracted moving area of the first image data;
The motion information estimation means performs an operation using the planar projective transformation matrix on the moving region of the second image data sequence, and determines a moving region of a frame not included in the second image data sequence. Generate
The image data generation means superimposes the motion area estimated by the motion information estimation means and the background area extracted from the second image data string by the second motion area extraction means. The image data string generation system according to claim 23.
前記第1の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、
前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、
前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第2の画像データ列に含まれないフレームの動きベクトルを補間し、
前記画像データ生成手段は、
前記特徴点抽出手段で抽出された特徴点を前記第2の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、
前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第2の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、
前記第2の画像データ列より、背景領域を抽出する背景領域抽出手段と、
前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備える
ことを特徴とする請求項23に記載の画像データ列生成システム。 The movement information extraction means includes
Feature point extracting means for extracting a plurality of feature points from the image data included in the first image data sequence;
A plurality of feature points associated with each other between frames, and motion vector extraction means for extracting a motion vector,
The motion information estimation means interpolates a motion vector of a frame not included in the second image data sequence based on the motion vector extracted by the motion vector extraction means,
The image data generating means
Polygon dividing means for applying the feature points extracted by the feature point extracting means to the second image data sequence, and dividing an area surrounded by the feature points as polygons;
A motion that generates a motion region of a frame that is not included in the second image data sequence by performing morphing on the polygon region divided by the polygon dividing device based on the motion vector estimated by the motion information estimating device. Region generation means;
Background area extraction means for extracting a background area from the second image data sequence;
24. The image data sequence generation according to claim 23, further comprising: an overlay unit that superimposes the motion region generated by the motion region generation unit and the background region extracted by the background region extraction unit. system.
前記画像データ列配信装置は、さらに、前記フレームに関する情報を受信するフレーム受信手段を備え、
前記配信手段は、前記フレームに関する情報で指定されたフレームの画像データを生成するのに必要な前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第2の画像データとを配信する
ことを特徴とする請求項23〜30のいずれか1項に記載の画像データ列生成装置。 The image data sequence generation device further includes a frame transmission unit that accepts designation of a frame from a user and transmits information about the designated frame to the image data sequence distribution device,
The image data string distribution device further includes a frame receiving unit that receives information about the frame,
The distribution unit includes the motion information extracted by the motion information extraction unit necessary for generating image data of a frame specified by the information related to the frame, and the second image data captured by the imaging system. The image data sequence generation device according to any one of claims 23 to 30, wherein the image data sequence generation device is distributed.
画像データ列を配信する画像データ列配信装置と、
前記画像データ列配信装置より配信された前記画像データ列を受信する画像データ列受信装置とを備え、
前記画像データ列配信装置は、
第1のフレームレートおよび第1の解像度を有する第1の画像データ列を配信する第1の配信手段と、
前記画像データ列受信装置より、前記第1の画像データ列に含まれる画像データ内の領域に関する情報を受信する領域受信手段と、
前記第1の画像データ列から動き情報を抽出する動き情報抽出手段と、
抽出された前記第1の画像データ列の動き情報に基づいて、前記第1のフレームレート以下の第2のフレームレートおよび前記第1の解像度以上の第2の解像度を有する第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
前記動き情報推定手段で推定された動き情報および前記第2の画像データ列に基づいて、前記第2の画像データ列には含まれないフレームに対して、前記第2の解像度を有する画像データを生成する画像データ生成手段と、
前記第2の画像データ列および前記画像データ生成手段で生成された前記画像データのうち、前記領域受信手段で受信された情報で特定される領域部分の画像データを配信する第2の配信手段とを備え、
画像データ列受信装置は、
前記第1の配信手段より配信される第1の画像データ列を受信する第1の受信手段と、
ユーザから、前記第1の画像データ列に含まれる画像データ内の領域の指定を受付け、当該領域に関する情報を送信する領域送信手段と、
前記第2の配信手段より配信される画像データを受信する第2の受信手段とを備える
ことを特徴とする画像データ列生成システム。 An image data sequence generation system for generating another image data sequence from two image data sequences of the same field of view with different frame rates and resolutions,
An image data string distribution device for distributing an image data string;
An image data string receiving device that receives the image data string distributed from the image data string distribution device;
The image data string distribution device includes:
First distribution means for distributing a first image data sequence having a first frame rate and a first resolution;
Area receiving means for receiving, from the image data string receiving device, information relating to an area in the image data included in the first image data string;
Motion information extraction means for extracting motion information from the first image data sequence;
Based on the extracted motion information of the first image data string, a second image data string having a second frame rate equal to or lower than the first frame rate and a second resolution equal to or higher than the first resolution. Motion information estimation means for estimating motion information of image data having the second resolution with respect to a frame not included in
Based on the motion information estimated by the motion information estimation means and the second image data sequence, image data having the second resolution is obtained for frames not included in the second image data sequence. Image data generating means for generating;
A second distribution unit that distributes image data of a region portion specified by the information received by the region reception unit out of the second image data sequence and the image data generated by the image data generation unit; With
The image data string receiving device
First receiving means for receiving a first image data stream distributed by the first distributing means;
An area transmitting means for receiving designation of an area in the image data included in the first image data sequence from the user and transmitting information related to the area;
An image data string generation system comprising: second receiving means for receiving image data distributed by the second distribution means.
前記第1の画像データ列を表示する第1の表示手段と、
前記第2の受信手段で受信した画像を表示する第2の表示手段とを備える
ことを特徴とする請求項32に記載の画像データ列生成システム。 The image data string receiving means further includes:
First display means for displaying the first image data string;
The image data string generation system according to claim 32, further comprising: second display means for displaying an image received by the second receiving means.
前記動き情報推定手段は、
前記第2の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
前記第1の画像データ列の動き情報、前記第1の画像データ列および前記第2の画像データ列に基づいて、前記第2の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
前記第2の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第2の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
前記画像データ生成手段は、
前記第1の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
前記動き補償された前記第2の解像度を有する画像データの周波数信号成分と、前記第1の画像データ列の周波数信号成分とを合成する合成手段と、
合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
ことを特徴とする請求項32または33に記載の画像データ列生成システム。 The motion information extraction unit receives the first image data sequence, extracts motion information using a phase correlation method,
The motion information estimating means includes
High-resolution frequency signal component extraction means for extracting a frequency signal component by performing frequency conversion on the second image data sequence;
Based on the motion information of the first image data sequence, the first image data sequence, and the second image data sequence, between the image included in the second image data sequence and the image not included Difference image generation means for generating a difference image;
Differential image frequency component extraction means for extracting a frequency signal component by performing the frequency conversion on the difference image;
Motion compensation means for obtaining a frequency signal component of the image data having the second resolution subjected to motion compensation based on the frequency signal component of the second image data sequence and the frequency signal component of the difference image;
The image data generating means
Low-resolution frequency signal component extraction means for extracting a frequency signal component by performing the frequency conversion on the first image data sequence;
Synthesizing means for synthesizing the frequency signal component of the image data having the second resolution subjected to the motion compensation and the frequency signal component of the first image data sequence;
34. The image data string generation system according to claim 32 or 33, further comprising: inverse frequency conversion means for performing inverse conversion of the frequency conversion on the synthesized frequency signal component.
ことを特徴とする請求項34に記載の画像データ列生成システム。 The image data sequence generation system according to claim 34, wherein the frequency transformation is orthogonal transformation.
ことを特徴とする請求項35に記載の画像データ列生成システム。 36. The image data string generation system according to claim 35, wherein the orthogonal transform is a discrete cosine transform.
ことを特徴とする請求項35に記載の画像データ列生成システム。 36. The image data string generation system according to claim 35, wherein the orthogonal transform is a wavelet transform.
ことを特徴とする請求項34〜37のいずれか1項に記載の画像データ列生成システム。 38. The motion information extraction unit receives the first image data sequence and extracts motion information using a phase correlation method using a fast Fourier transform. The image data sequence generation system described in 1.
前記第1の画像データ列より、動領域および背景領域を抽出する第1の動領域抽出手段と、
前記第2の画像データ列より、動領域および背景領域を抽出する第2の動領域抽出手段と、
抽出された前記第1の画像データの動領域に基づいて、前記第1の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
前記動き情報推定手段は、前記第2の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第2の画像データ列には含まれないフレームの動領域を生成し、
前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第2の動領域抽出手段で前記第2の画像データ列より抽出された前記背景領域とを重ねあわせる
ことを特徴とする請求項32または33に記載の画像データ列生成システム。 The movement information extraction means includes
A first moving region extracting means for extracting a moving region and a background region from the first image data sequence;
Second moving region extraction means for extracting a moving region and a background region from the second image data sequence;
A plane projection transformation matrix estimation means for estimating a plane projection transformation matrix for the moving area of the first image data sequence based on the extracted moving area of the first image data;
The motion information estimation means performs an operation using the planar projective transformation matrix on the moving region of the second image data sequence, and determines a moving region of a frame not included in the second image data sequence. Generate
The image data generation means superimposes the motion area estimated by the motion information estimation means and the background area extracted from the second image data string by the second motion area extraction means. The image data string generation system according to claim 32 or 33.
前記第1の画像データ列に含まれる画像データより複数の特徴点を抽出する特徴点抽出手段と、
前記複数の特徴点をフレーム間で対応付け、動きベクトルを抽出する動きベクトル抽出手段とを備え、
前記動き情報推定手段は、前記動きベクトル抽出手段で抽出された動きベクトルに基づいて、前記第2の画像データ列に含まれないフレームの動きベクトルを補間し、
前記画像データ生成手段は、
前記特徴点抽出手段で抽出された特徴点を前記第2の画像データ列に当てはめ、特徴点で囲まれた領域をポリゴンとして分割するポリゴン分割手段と、
前記ポリゴン分割手段で分割されたポリゴン領域に対し、前記動き情報推定手段で推定された動きベクトルに基づいてモーフィングを施し、前記第2の画像データ列に含まれないフレームの動領域を生成する動領域生成手段と、
前記第2の画像データ列より、背景領域を抽出する背景領域抽出手段と、
前記動領域生成手段で生成された動領域と、前記背景領域抽出手段で抽出された前記背景領域とを重ねあわせる重ね合わせ手段とを備える
ことを特徴とする請求項32または33に記載の画像データ列生成システム。 The movement information extraction means includes
Feature point extracting means for extracting a plurality of feature points from the image data included in the first image data sequence;
A plurality of feature points associated with each other between frames, and motion vector extraction means for extracting a motion vector,
The motion information estimation means interpolates a motion vector of a frame not included in the second image data sequence based on the motion vector extracted by the motion vector extraction means,
The image data generating means
Polygon dividing means for applying the feature points extracted by the feature point extracting means to the second image data sequence, and dividing an area surrounded by the feature points as polygons;
A motion that generates a motion region of a frame that is not included in the second image data sequence by performing morphing on the polygon region divided by the polygon dividing device based on the motion vector estimated by the motion information estimating device. Region generation means;
Background area extraction means for extracting a background area from the second image data sequence;
34. The image data according to claim 32 or 33, further comprising a superimposing unit that superimposes the moving region generated by the moving region generating unit and the background region extracted by the background region extracting unit. Column generation system.
前記画像送信装置は、
同一視野を持つ2つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、
前記動画像取得手段で取得された低解像度画像に基づいて、前記動画像取得手段で取得された高解像度画像のフレーム間差分を生成する差分生成手段と、
前記動画像取得手段で取得された低解像度画像及び高解像度画像並びに前記差分生成手段で生成されたフレーム間差分に対して周波数変換を施すことにより、それぞれ、低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを生成する変換手段と、
前記変換手段で得られた低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを前記画像受信装置に送信する送信手段とを備え、
前記画像受信装置は、
前記画像送信装置から送られてくる低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを受信する受信手段と、
前記受信手段で受信された高解像度画像のスペクトルとフレーム間差分のスペクトルとを周波数領域で足し合わせることにより、動き補償された高解像度画像のスペクトルを生成する加算手段と、
前記加算手段で得られた高解像度画像のスペクトルと前記受信手段で受信された低解像度スペクトルとを合成する合成手段と、
前記合成手段で得られたスペクトルに対して逆周波数変換を施すことにより、高解像度画像を生成する画像生成手段とを備える
ことを特徴とする画像伝送システム。 An image transmission system comprising an image transmission device and an image reception device,
The image transmission device includes:
Two moving images having the same field of view, a low resolution image that is a relatively low resolution and high frame rate moving image, and a high resolution image that is a relatively high resolution and low frame rate moving image Moving image acquisition means for acquiring;
Based on the low resolution image acquired by the moving image acquisition unit, a difference generation unit that generates an inter-frame difference of the high resolution image acquired by the moving image acquisition unit;
By applying frequency conversion to the low-resolution image and the high-resolution image acquired by the moving image acquisition unit and the inter-frame difference generated by the difference generation unit, the spectrum of the low-resolution image and the high-resolution image are respectively obtained. Conversion means for generating a spectrum and a spectrum of inter-frame difference;
Transmitting means for transmitting the spectrum of the low resolution image obtained by the conversion means, the spectrum of the high resolution image, and the spectrum of the difference between frames to the image receiving device,
The image receiving device includes:
Receiving means for receiving the spectrum of the low resolution image, the spectrum of the high resolution image and the spectrum of the inter-frame difference transmitted from the image transmission device;
Adding means for generating a motion-compensated high-resolution image spectrum by adding the spectrum of the high-resolution image received by the receiving means and the spectrum of the inter-frame difference in the frequency domain;
Combining means for combining the spectrum of the high resolution image obtained by the adding means and the low resolution spectrum received by the receiving means;
An image transmission system comprising: an image generation unit configured to generate a high-resolution image by performing inverse frequency conversion on the spectrum obtained by the synthesis unit.
前記低解像度画像の各画素に対して動きベクトルを算出する動き推定部と、
算出された動きベクトルを用いて前記高解像度画像のフレーム間差分を推定するフレーム間差分推定部とを有する
ことを特徴とする請求項41記載の画像伝送システム。 The difference generation means includes
A motion estimation unit that calculates a motion vector for each pixel of the low-resolution image;
42. The image transmission system according to claim 41, further comprising: an inter-frame difference estimation unit that estimates an inter-frame difference of the high-resolution image using the calculated motion vector.
ことを特徴とする請求項42記載の画像伝送システム。 43. The image transmission system according to claim 42, wherein the motion estimation unit calculates a motion vector for each pixel of the low resolution image by a phase correlation method.
ことを特徴とする請求項41記載の画像伝送システム。 The converting means performs a discrete cosine transform of 16 × 16 blocks on the high-resolution image and the inter-frame difference, and performs a discrete cosine transform of 8 × 8 blocks on the low-resolution image. 42. The image transmission system according to claim 41.
ことを特徴とする請求項41記載の画像伝送システム。 The image transmission system according to claim 41, wherein the synthesizing unit synthesizes the spectrum of the low resolution image with a low frequency component in the spectrum of the high resolution image.
前記画像送信装置は、
同一視野を持つ2つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、
前記動画像取得手段で取得された低解像度画像の各画素に対して動きベクトルを算出する動き推定手段と、
前記動画像取得手段で取得された高解像度画像に対してウェーブレット変換を施すことにより、高解像度画像のスペクトルを生成する変換手段と、
前記動画像取得手段で取得された低解像度画像、前記動き推定手段で算出された動きベクトル及び前記変換手段で得られた高解像度画像のスペクトルを前記画像受信装置に送信する送信手段とを備え、
前記画像受信装置は、
前記画像送信装置から送られてくる低解像度画像、動きベクトル及び高解像度画像のスペクトルを受信する受信手段と、
前記受信手段で受信された動きベクトルを用いて、前記受信手段で受信された高解像度画像の高周波成分に対して動き補償をする動き補償手段と、
前記動き補償手段で得られた高周波成分と前記受信手段で受信された低解像度画像とをスペクトル合成する合成手段と、
前記合成手段で得られたスペクトルに対して逆ウェーブレット変換を施すことにより、高解像度画像を生成する画像生成手段とを備える
ことを特徴とする画像伝送システム。 An image transmission system comprising an image transmission device and an image reception device,
The image transmission device includes:
Two moving images having the same field of view, a low resolution image that is a relatively low resolution and high frame rate moving image, and a high resolution image that is a relatively high resolution and low frame rate moving image Moving image acquisition means for acquiring;
Motion estimation means for calculating a motion vector for each pixel of the low resolution image acquired by the moving image acquisition means;
Conversion means for generating a spectrum of the high resolution image by performing wavelet transform on the high resolution image acquired by the moving image acquisition means;
A transmission means for transmitting the low-resolution image acquired by the moving image acquisition means, the motion vector calculated by the motion estimation means, and the spectrum of the high-resolution image obtained by the conversion means to the image receiving device;
The image receiving device includes:
Receiving means for receiving a spectrum of a low resolution image, a motion vector and a high resolution image sent from the image transmission device;
Motion compensation means for performing motion compensation on the high-frequency component of the high-resolution image received by the receiving means using the motion vector received by the receiving means;
Synthesizing means for spectrally synthesizing the high-frequency component obtained by the motion compensation means and the low-resolution image received by the receiving means;
An image transmission system comprising: an image generation unit configured to generate a high-resolution image by performing inverse wavelet transform on the spectrum obtained by the synthesis unit.
ことを特徴とする請求項46記載の画像伝送システム。 The image transmission system according to claim 46, wherein the motion estimation unit calculates a motion vector for each pixel of the low resolution image by a phase correlation method.
前記合成手段は、前記合成において、レベルαの低周波成分として、低解像度画像を適用する
ことを特徴とする請求項46記載の画像伝送システム。 The converting means repeats a redundant wavelet transform to the level α for the high-resolution image,
47. The image transmission system according to claim 46, wherein the synthesizing unit applies a low-resolution image as a low-frequency component of level α in the synthesis.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005092764A JP4453976B2 (en) | 2004-03-30 | 2005-03-28 | Image generation apparatus, image data string generation system, and image transmission system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004099050 | 2004-03-30 | ||
JP2005092764A JP4453976B2 (en) | 2004-03-30 | 2005-03-28 | Image generation apparatus, image data string generation system, and image transmission system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005318548A true JP2005318548A (en) | 2005-11-10 |
JP4453976B2 JP4453976B2 (en) | 2010-04-21 |
Family
ID=35445445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005092764A Expired - Fee Related JP4453976B2 (en) | 2004-03-30 | 2005-03-28 | Image generation apparatus, image data string generation system, and image transmission system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4453976B2 (en) |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286808A (en) * | 2006-04-14 | 2007-11-01 | Kddi Corp | Characteristic point extraction device |
WO2008032442A1 (en) * | 2006-09-14 | 2008-03-20 | Nikon Corporation | Image processing device, electronic camera and image processing program |
JP2008072428A (en) * | 2006-09-14 | 2008-03-27 | Nikon Corp | Image processor, electronic camera, and image processing program |
WO2008047664A1 (en) * | 2006-10-19 | 2008-04-24 | Panasonic Corporation | Image creating device and image creating method |
WO2008053765A1 (en) * | 2006-10-30 | 2008-05-08 | Panasonic Corporation | Image generating device and image generating method |
WO2008090730A1 (en) * | 2007-01-23 | 2008-07-31 | Nikon Corporation | Image processing device, electronic camera, image processing method, and image processing program |
EP1960833A2 (en) * | 2005-12-15 | 2008-08-27 | Mediapod LLC | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
WO2008156010A1 (en) * | 2007-06-18 | 2008-12-24 | Sony Corporation | Image processing device, image processing method, and program |
WO2008155972A1 (en) * | 2007-06-18 | 2008-12-24 | Sony Corporation | Image processing device, image processing method, and program |
WO2009011082A1 (en) * | 2007-07-17 | 2009-01-22 | Panasonic Corporation | Image processing device, image processing method, computer program, recording medium storing the computer program, frame-to-frame motion computing method, and image processing method |
WO2009019823A1 (en) | 2007-08-07 | 2009-02-12 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
WO2009019808A1 (en) * | 2007-08-03 | 2009-02-12 | Panasonic Corporation | Image data generating apparatus, method, and program |
WO2009019824A1 (en) | 2007-08-07 | 2009-02-12 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
WO2009072250A1 (en) * | 2007-12-04 | 2009-06-11 | Panasonic Corporation | Image generation device and image generation method |
WO2009087725A1 (en) | 2008-01-09 | 2009-07-16 | Panasonic Corporation | Image data generation device, image data generation method, and image data generation program |
JP2009218952A (en) * | 2008-03-11 | 2009-09-24 | Nec Corp | Moving video coding and decoding device and moving video coding and decoding method |
WO2009153983A1 (en) * | 2008-06-18 | 2009-12-23 | パナソニック株式会社 | Image processing device, imaging device, method, and program |
EP2138976A2 (en) | 2008-06-27 | 2009-12-30 | Sony Corporation | Synthesis of a panoramic high-resolution image from multiple images |
JP2010056953A (en) * | 2008-08-28 | 2010-03-11 | Sony Corp | Image capturing apparatus, image processing device and imaging system |
EP2180695A2 (en) * | 2008-10-23 | 2010-04-28 | Samsung Electronics Co., Ltd. | Apparatus and method for improving frame rate using motion trajectory |
JP2010157831A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Image processing apparatus and image processing method, and computer program and recording medium |
JP2010530669A (en) * | 2007-06-15 | 2010-09-09 | ソニー株式会社 | Shutter time compensation |
JP2011004282A (en) * | 2009-06-19 | 2011-01-06 | Canon Inc | Image processing apparatus, image processing method, program, and recording medium |
JP2011083025A (en) * | 2010-12-15 | 2011-04-21 | Active Optics Pty Ltd | Method of controlling image capturing system, image capturing system, and, digital camera |
US8077214B2 (en) | 2008-06-27 | 2011-12-13 | Sony Corporation | Signal processing apparatus, signal processing method, program and recording medium |
JP2012034402A (en) * | 2011-09-27 | 2012-02-16 | Sony Corp | Imaging device, imaging method, program and recording medium |
JP2012075082A (en) * | 2010-08-30 | 2012-04-12 | Canon Inc | Moving image playback system and image capturing apparatus |
JP2012531890A (en) * | 2009-06-30 | 2012-12-13 | アストン ユニバーシティ | Microplate vibration for biosensing to characterize the characteristics or behavior of biological cells |
JP2013009050A (en) * | 2011-06-22 | 2013-01-10 | Canon Inc | Image processing apparatus and image processing method |
JP2013021634A (en) * | 2011-07-14 | 2013-01-31 | Nippon Hoso Kyokai <Nhk> | Parallax picture generating apparatus and parallax picture generating program |
WO2016151734A1 (en) * | 2015-03-23 | 2016-09-29 | 日立マクセル株式会社 | Imaging device, image processing device, and digital camera |
JP2017528016A (en) * | 2014-06-12 | 2017-09-21 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Rule-based video importance analysis |
CN107197166A (en) * | 2017-08-01 | 2017-09-22 | 哈尔滨市舍科技有限公司 | A kind of dual resolution design integral type panorama camera device and method |
EP3470770A3 (en) * | 2017-09-26 | 2019-06-26 | Rosemount Aerospace Inc. | Seeker with dynamic resolution imaging |
JP2020119447A (en) * | 2019-01-28 | 2020-08-06 | キヤノン株式会社 | Image processing system, image processing method, and program |
KR102221317B1 (en) * | 2019-12-06 | 2021-03-02 | 중앙대학교 산학협력단 | Inspection apparatus and method based on deep learning |
CN112954251A (en) * | 2019-12-10 | 2021-06-11 | RealMe重庆移动通信有限公司 | Video processing method, video processing device, storage medium and electronic equipment |
JP2022011663A (en) * | 2020-06-30 | 2022-01-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | Device, imaging apparatus, movable body, program and method |
-
2005
- 2005-03-28 JP JP2005092764A patent/JP4453976B2/en not_active Expired - Fee Related
Cited By (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9167154B2 (en) | 2005-06-21 | 2015-10-20 | Cedar Crest Partners Inc. | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
US8319884B2 (en) | 2005-12-15 | 2012-11-27 | Mediapod Llc | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
EP1960833A2 (en) * | 2005-12-15 | 2008-08-27 | Mediapod LLC | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
JP2007286808A (en) * | 2006-04-14 | 2007-11-01 | Kddi Corp | Characteristic point extraction device |
WO2008032442A1 (en) * | 2006-09-14 | 2008-03-20 | Nikon Corporation | Image processing device, electronic camera and image processing program |
JP2008072428A (en) * | 2006-09-14 | 2008-03-27 | Nikon Corp | Image processor, electronic camera, and image processing program |
US8194148B2 (en) | 2006-09-14 | 2012-06-05 | Nikon Corporation | Image processing device, electronic camera and image processing program |
EP2059027A4 (en) * | 2006-09-14 | 2012-08-08 | Nikon Corp | Image processing device, electronic camera and image processing program |
EP2059027A1 (en) * | 2006-09-14 | 2009-05-13 | Nikon Corporation | Image processing device, electronic camera and image processing program |
WO2008047664A1 (en) * | 2006-10-19 | 2008-04-24 | Panasonic Corporation | Image creating device and image creating method |
US8094717B2 (en) | 2006-10-19 | 2012-01-10 | Panasonic Corporation | Image generation apparatus and image generation method |
WO2008053765A1 (en) * | 2006-10-30 | 2008-05-08 | Panasonic Corporation | Image generating device and image generating method |
US7907183B2 (en) | 2006-10-30 | 2011-03-15 | Panasonic Corporation | Image generation apparatus and image generation method for generating a new video sequence from a plurality of video sequences |
CN101485192B (en) * | 2006-10-30 | 2011-05-18 | 松下电器产业株式会社 | Image generating device and image generating method |
US8149283B2 (en) | 2007-01-23 | 2012-04-03 | Nikon Corporation | Image processing device, electronic camera, image processing method, and image processing program |
WO2008090730A1 (en) * | 2007-01-23 | 2008-07-31 | Nikon Corporation | Image processing device, electronic camera, image processing method, and image processing program |
JP2010530669A (en) * | 2007-06-15 | 2010-09-09 | ソニー株式会社 | Shutter time compensation |
CN101690189B (en) * | 2007-06-18 | 2012-10-10 | 索尼株式会社 | Image processing device, image processing method |
JP2008312161A (en) * | 2007-06-18 | 2008-12-25 | Sony Corp | Image processing apparatus, image processing method, and program |
US10587892B2 (en) | 2007-06-18 | 2020-03-10 | Sony Corporation | Image processing apparatus, image processing method, and program for generating motion compensated image data |
WO2008156010A1 (en) * | 2007-06-18 | 2008-12-24 | Sony Corporation | Image processing device, image processing method, and program |
US8885716B2 (en) | 2007-06-18 | 2014-11-11 | Sony Corporation | Image processing apparatus, image processing method, and program |
US8804832B2 (en) | 2007-06-18 | 2014-08-12 | Sony Corporation | Image processing apparatus, image processing method, and program |
WO2008155972A1 (en) * | 2007-06-18 | 2008-12-24 | Sony Corporation | Image processing device, image processing method, and program |
KR101049922B1 (en) | 2007-06-18 | 2011-07-15 | 소니 주식회사 | Image processing apparatus, image processing method and program |
JP4469018B2 (en) * | 2007-07-17 | 2010-05-26 | パナソニック株式会社 | Image processing apparatus, image processing method, computer program, recording medium recording the computer program, inter-frame motion calculation method, and image processing method |
JPWO2009011082A1 (en) * | 2007-07-17 | 2010-09-16 | パナソニック株式会社 | Image processing apparatus, image processing method, computer program, recording medium recording the computer program, inter-frame motion calculation method, and image processing method |
WO2009011082A1 (en) * | 2007-07-17 | 2009-01-22 | Panasonic Corporation | Image processing device, image processing method, computer program, recording medium storing the computer program, frame-to-frame motion computing method, and image processing method |
US7903156B2 (en) | 2007-07-17 | 2011-03-08 | Panasonic Corporation | Image processing device, image processing method, computer program, recording medium storing the computer program, frame-to-frame motion computing method, and image processing method |
JP4469019B2 (en) * | 2007-08-03 | 2010-05-26 | パナソニック株式会社 | Apparatus, method and program for generating image data |
US7868927B2 (en) | 2007-08-03 | 2011-01-11 | Panasonic Corporation | Image data generating apparatus, method and program |
US7973827B2 (en) | 2007-08-03 | 2011-07-05 | Panasonic Corporation | Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution |
JPWO2009019808A1 (en) * | 2007-08-03 | 2010-10-28 | パナソニック株式会社 | Apparatus, method and program for generating image data |
WO2009019808A1 (en) * | 2007-08-03 | 2009-02-12 | Panasonic Corporation | Image data generating apparatus, method, and program |
WO2009019824A1 (en) | 2007-08-07 | 2009-02-12 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
WO2009019823A1 (en) | 2007-08-07 | 2009-02-12 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
US8248495B2 (en) | 2007-08-07 | 2012-08-21 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
JP2009105992A (en) * | 2007-08-07 | 2009-05-14 | Panasonic Corp | Imaging processor |
US8018500B2 (en) | 2007-08-07 | 2011-09-13 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
JPWO2009072250A1 (en) * | 2007-12-04 | 2011-04-21 | パナソニック株式会社 | Image generation device |
JP2010239636A (en) * | 2007-12-04 | 2010-10-21 | Panasonic Corp | Image generation apparatus, image generation method and program |
JP4551486B2 (en) * | 2007-12-04 | 2010-09-29 | パナソニック株式会社 | Image generation device |
US8441538B2 (en) | 2007-12-04 | 2013-05-14 | Panasonic Corporation | Image generation apparatus and image generation method |
WO2009072250A1 (en) * | 2007-12-04 | 2009-06-11 | Panasonic Corporation | Image generation device and image generation method |
US7868925B2 (en) | 2008-01-09 | 2011-01-11 | Panasonic Corporation | Device, method, and program for generating high-resolution image data at a low data transfer rate |
WO2009087725A1 (en) | 2008-01-09 | 2009-07-16 | Panasonic Corporation | Image data generation device, image data generation method, and image data generation program |
JP2009218952A (en) * | 2008-03-11 | 2009-09-24 | Nec Corp | Moving video coding and decoding device and moving video coding and decoding method |
CN101889453B (en) * | 2008-06-18 | 2013-11-13 | 松下电器产业株式会社 | Image processing device, imaging device, method, and program |
CN101889453A (en) * | 2008-06-18 | 2010-11-17 | 松下电器产业株式会社 | Image processing device, imaging device, method, and program |
WO2009153983A1 (en) * | 2008-06-18 | 2009-12-23 | パナソニック株式会社 | Image processing device, imaging device, method, and program |
US7986352B2 (en) | 2008-06-18 | 2011-07-26 | Panasonic Corporation | Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same |
US8189960B2 (en) | 2008-06-27 | 2012-05-29 | Sony Corporation | Image processing apparatus, image processing method, program and recording medium |
US8077214B2 (en) | 2008-06-27 | 2011-12-13 | Sony Corporation | Signal processing apparatus, signal processing method, program and recording medium |
EP2138976A2 (en) | 2008-06-27 | 2009-12-30 | Sony Corporation | Synthesis of a panoramic high-resolution image from multiple images |
JP2010056953A (en) * | 2008-08-28 | 2010-03-11 | Sony Corp | Image capturing apparatus, image processing device and imaging system |
JP2015005995A (en) * | 2008-10-23 | 2015-01-08 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Apparatus and method for improving frame rate using motion trajectory |
KR101498124B1 (en) * | 2008-10-23 | 2015-03-05 | 삼성전자주식회사 | Apparatus and method for improving frame rate using motion trajectory |
EP2180695A3 (en) * | 2008-10-23 | 2014-07-09 | Samsung Electronics Co., Ltd. | Apparatus and method for improving frame rate using motion trajectory |
EP2180695A2 (en) * | 2008-10-23 | 2010-04-28 | Samsung Electronics Co., Ltd. | Apparatus and method for improving frame rate using motion trajectory |
JP2010103999A (en) * | 2008-10-23 | 2010-05-06 | Samsung Electronics Co Ltd | Apparatus and method for improving frame rate using motion trajectory |
JP2010157831A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Image processing apparatus and image processing method, and computer program and recording medium |
JP2011004282A (en) * | 2009-06-19 | 2011-01-06 | Canon Inc | Image processing apparatus, image processing method, program, and recording medium |
JP2012531890A (en) * | 2009-06-30 | 2012-12-13 | アストン ユニバーシティ | Microplate vibration for biosensing to characterize the characteristics or behavior of biological cells |
JP2012075082A (en) * | 2010-08-30 | 2012-04-12 | Canon Inc | Moving image playback system and image capturing apparatus |
US8442383B2 (en) | 2010-08-30 | 2013-05-14 | Canon Kabushiki Kaisha | Moving image playback system and image capturing apparatus |
JP2011083025A (en) * | 2010-12-15 | 2011-04-21 | Active Optics Pty Ltd | Method of controlling image capturing system, image capturing system, and, digital camera |
JP2013009050A (en) * | 2011-06-22 | 2013-01-10 | Canon Inc | Image processing apparatus and image processing method |
JP2013021634A (en) * | 2011-07-14 | 2013-01-31 | Nippon Hoso Kyokai <Nhk> | Parallax picture generating apparatus and parallax picture generating program |
JP2012034402A (en) * | 2011-09-27 | 2012-02-16 | Sony Corp | Imaging device, imaging method, program and recording medium |
JP2017528016A (en) * | 2014-06-12 | 2017-09-21 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Rule-based video importance analysis |
US10664687B2 (en) | 2014-06-12 | 2020-05-26 | Microsoft Technology Licensing, Llc | Rule-based video importance analysis |
WO2016151734A1 (en) * | 2015-03-23 | 2016-09-29 | 日立マクセル株式会社 | Imaging device, image processing device, and digital camera |
CN107197166A (en) * | 2017-08-01 | 2017-09-22 | 哈尔滨市舍科技有限公司 | A kind of dual resolution design integral type panorama camera device and method |
EP3470770A3 (en) * | 2017-09-26 | 2019-06-26 | Rosemount Aerospace Inc. | Seeker with dynamic resolution imaging |
US10462361B2 (en) | 2017-09-26 | 2019-10-29 | Rosemount Aerospace Inc. | Seeker with dynamic resolution imaging |
JP2020119447A (en) * | 2019-01-28 | 2020-08-06 | キヤノン株式会社 | Image processing system, image processing method, and program |
JP7330708B2 (en) | 2019-01-28 | 2023-08-22 | キヤノン株式会社 | Image processing device, image processing method, and program |
KR102221317B1 (en) * | 2019-12-06 | 2021-03-02 | 중앙대학교 산학협력단 | Inspection apparatus and method based on deep learning |
CN112954251A (en) * | 2019-12-10 | 2021-06-11 | RealMe重庆移动通信有限公司 | Video processing method, video processing device, storage medium and electronic equipment |
CN112954251B (en) * | 2019-12-10 | 2023-03-21 | RealMe重庆移动通信有限公司 | Video processing method, video processing device, storage medium and electronic equipment |
JP2022011663A (en) * | 2020-06-30 | 2022-01-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | Device, imaging apparatus, movable body, program and method |
Also Published As
Publication number | Publication date |
---|---|
JP4453976B2 (en) | 2010-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4453976B2 (en) | Image generation apparatus, image data string generation system, and image transmission system | |
EP1583357A2 (en) | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system | |
US5943445A (en) | Dynamic sprites for encoding video data | |
EP2668634B1 (en) | Method and system for acquisition, representation, compression, and transmission of three-dimensional data | |
CN111784578A (en) | Image processing method, image processing device, model training method, model training device, image processing equipment and storage medium | |
JPH08503088A (en) | Method and apparatus for creating high resolution still image using multiple images | |
CN111510691B (en) | Color interpolation method and device, equipment and storage medium | |
JP2002191051A (en) | Compression system, monitor system, and method for detecting scene change | |
JPH06243250A (en) | Method for synthesizing optical image | |
JPH09284798A (en) | Signal processor | |
WO2019124248A1 (en) | Image processing device, content processing device, content processing system, and image processing method | |
US7679676B2 (en) | Spatial signal conversion | |
US8717418B1 (en) | Real time 3D imaging for remote surveillance | |
JP5747378B2 (en) | Image transfer system, image transfer method, image receiving apparatus, image transmitting apparatus, and image capturing apparatus | |
JP3703034B2 (en) | Image signal processing method and image signal transmission apparatus | |
JP3759538B2 (en) | Image signal processing method and image signal transmission apparatus | |
JP4069468B2 (en) | Image forming device | |
Watanabe et al. | Video synthesis with high spatio-temporal resolution using motion compensation and image fusion in wavelet domain | |
JP3724008B2 (en) | Image information conversion device and coefficient data creation device | |
EP1636987B1 (en) | Spatial signal conversion | |
JP4515698B2 (en) | Moving picture composition method, apparatus, and program | |
JP4571370B2 (en) | Moving image composition method and apparatus, program, and digital camera | |
Matsuo et al. | Super-resolution method by registration of multi-scale components considering color sampling pattern and frequency spectrum power of UHDTV camera | |
Hua | A Bandwidth-Efficient Stereo Video Streaming System | |
Alvarez et al. | Multi-channel reconstruction of video sequences from low-resolution and compressed observations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100129 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |