JPH0935082A - Image processing method and image processor - Google Patents

Abstract

PROBLEM TO BE SOLVED: To deform an image wherein plural bodies are present so that the image does not become unnatural on the whole. SOLUTION: The original image 100 is separated into areas 110 and 115 by the bodies in the image. Then images 120 and 125 wherein the separated areas are deformed independently of each other are generated. The deformed images 120 and 125 are put together according to previously given priority so that pixels having high priority becomes effectively when pixels overlap with each other at the same position 130. A deficit part which is generated in the image is repaired by using pixel values at the periphery of the deficit part to obtain a final image 140.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、撮影された静止画像や
動画像に変形や、画像同士の混合等の画像処理を施し
て、新たな静止画像や動画像を生成する技術に関するも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for generating a new still image or moving image by subjecting a captured still image or moving image to image processing such as deformation or mixing of images. .

【０００２】[0002]

【従来の技術】従来、撮影された画像に変形や混合等の
画像処理を施して、元の画像とは異なる新たな画像を生
成する技術が知られている。現在、このような画像処理
によって生成された新たな画像は、プレゼンテーション
システムや訓練システム等において広く用いられるよう
になりつつある。2. Description of the Related Art Conventionally, there is known a technique of subjecting a photographed image to image processing such as deformation and mixing to generate a new image different from the original image. Currently, new images generated by such image processing are becoming widely used in presentation systems, training systems, and the like.

【０００３】また、複数の画像を混合して、複数の画像
の中間的な特徴を有する画像（以下、「中間画像」と呼
ぶ）を生成する技術として、以下の文献に記載の技術が
知られている。As a technique for mixing a plurality of images to generate an image having intermediate characteristics of the plurality of images (hereinafter referred to as "intermediate image"), the technique described in the following document is known. ing.

【０００４】（ａ）「Feature-Based Image Metamorpho
sis」 Computer Graphics Proc. vol.26, pp.35-42, (1
992) SGI, Pacific Data Image この文献には、２枚の画像から、中間画像を作るモ−フ
ィングの技術について記載されている。この技術では、
２枚の画像中の相互に対応する部分に、それぞれ定義さ
れた２本の線分の相互の位置関係に応じて、新たな画像
を元の２枚の画像から生成するための歪みの場を計算す
る。この技術によれば、線分のみを指定することによ
り、新たな画像を生成することができる。すなわち、少
ない作業量で出力画像が得られるという利点を有する。(A) "Feature-Based Image Metamorpho
sis '' Computer Graphics Proc. vol.26, pp.35-42, (1
992) SGI, Pacific Data Image This document describes a morphing technique for forming an intermediate image from two images. With this technology,
A distortion field for generating a new image from the original two images is provided in a portion corresponding to each other in the two images according to the mutual positional relationship of the two defined line segments. calculate. According to this technique, a new image can be generated by designating only the line segment. That is, there is an advantage that an output image can be obtained with a small amount of work.

【０００５】（ｂ）「View Interpolation for Image S
ynthesis」 Computer Graphics Proc.pp.279-288, (199
3) Apple Computer Inc. この文献は、系統的な視点位置でレンダリングしたＣＧ
画像の集合、あるいは、系統的な視点位置で撮影された
画像から、予め準備した歪み関数を用いてモ−フィング
の技術により中間画像を作成する技術に関するものであ
る。この技術は、Z-bufferなどの特別なハードウェアを
必要としないので、ヴァーチャルリアリティ（ＶＲ）ワ
−ルドにおいてウォークスルーする場合等に必要となる
表示画像の視点変更処理をパ−ソナルコンピュ−タ等に
おいて実現するのに適している。(B) “View Interpolation for Image S
computer graphics Proc.pp.279-288, (199
3) Apple Computer Inc. This document is CG rendered in a systematic viewpoint position.
The present invention relates to a technique for creating an intermediate image from a set of images or images taken at a systematic viewpoint position by a morphing technique using a distortion function prepared in advance. Since this technique does not require special hardware such as Z-buffer, the personal computer performs the viewpoint changing process of the display image, which is necessary when walking through in a virtual reality (VR) world. It is suitable for realization.

【０００６】（ｃ）「A Study on Image Editing Techn
ology for Synthetic Sensation」 ICAT'94 pp.63-70 University of Tokyo この文献記載の技術では、位置センサを取り付けたビデ
オカメラを用いて、映像の撮影と同時にカメラの位置を
計測し、撮影した映像と計測した位置を同期させて記録
する。そして、予め、記録した映像をデジタル化し、画
像データを、その画像データを撮影した位置に応じて仕
分ける。そして、前述した表示画像の視点変更処理の際
には、希望の視点に近い複数枚の画像を検索し、これら
に適当な幾何変換を加えた上で、組み合わせて表示する
ものである。この技術では、歪の場を用いるモ−フィン
グの技術は利用されていない。(C) "A Study on Image Editing Techn
`` For the Synthetic Sensation ''ICAT'94 pp.63-70 University of Tokyo In the technology described in this document, a video camera equipped with a position sensor is used to measure the camera position at the same time as the image is taken and The measured position is synchronized and recorded. Then, the recorded video is digitized in advance, and the image data is sorted according to the position where the image data was captured. Then, in the viewpoint changing process of the above-mentioned display image, a plurality of images close to the desired viewpoint are searched, suitable geometric transformations are added to these, and the combined images are displayed. In this technique, the technique of morphing using a distortion field is not used.

【０００７】[0007]

【発明が解決しようとする課題】前述した３つの文献記
載の技術にはそれぞれ、次のような問題点がある。Each of the techniques described in the above-mentioned three documents has the following problems.

【０００８】（１）文献（ａ）の技術は、対応する２つ
のオブジェクト（例えば犬の顔と人間の顔）の中間画
像、すなわち２つのオブジェクトの中間的な特徴を有す
るオブジェクトを作ることを目的とするものである。こ
のため、適当な特徴を有するオブジェクトを得ること
（たとえば、高画質な半犬半人間画像が得られること）
が評価の対象であり、得られた中間画像中において、オ
ブジェクトの周囲の物体（たとえば、顔の周囲の家具な
ど）が歪むことがあったとしても問題とされなかった。(1) The technique of the document (a) aims at creating an intermediate image of two corresponding objects (for example, a dog face and a human face), that is, an object having an intermediate feature of the two objects. It is what Therefore, obtain an object with appropriate characteristics (for example, obtain a high-quality half-dog, half-human image).
Is an object of evaluation, and even if an object around the object (for example, furniture around the face) is distorted in the obtained intermediate image, it is not a problem.

【０００９】しかし、実際には、この技術を、オブジェ
クト以外の物体も写っている一般的な画像２枚を用いて
これらの中間画像を作ることに適用すると、オブジェク
ト以外の物体も歪んでしまい、全体的に見たときに不自
然な変形をした画像しか得られないという問題が生じ
る。すなわち、文献（ａ）記載の技術は、各画像中に、
唯一の物体しか存在しないという条件の上でのみ、実用
に耐える良好な中間画像を得ることができる。However, in practice, when this technique is applied to create these intermediate images by using two general images in which objects other than objects are also reflected, objects other than objects are also distorted, There is a problem that only an image that is unnaturally deformed when viewed as a whole can be obtained. That is, the technique described in the document (a) is
Only under the condition that there is only one object, a good intermediate image that can be used practically can be obtained.

【００１０】（２）文献（ｂ）記載の技術では、中間画
像の元となる画像における物体同士の位置関係は同じで
ある必要がある。すなわち、たとえば、一方の画像にお
いて現れていた物体が、他の画像において他の物体の裏
側に隠れてしまうような場合は、この２つの画像より中
間画像を生成することができない。また、このこととも
関連して、元の画像における物体同士の位置関係と、同
じ物体同士の位置関係を有する中間画像しか生成するこ
とができない。(2) In the technique described in the document (b), the positional relationship between the objects in the original image of the intermediate image needs to be the same. That is, for example, when an object that appears in one image is hidden behind another object in another image, an intermediate image cannot be generated from these two images. Further, in connection with this, it is possible to generate only an intermediate image having a positional relationship between objects in the original image and a positional relationship between the same objects.

【００１１】したがい、この技術によって、ある物体が
他の物体の裏側に隠れた中間画像を複数の視点位置につ
いて生成したり、ある物体が他の物体の裏側に隠れずに
現れた中間画像を複数の視点位置について生成したりす
るためには、各位置関係について複数の画像を生成する
必要がある。すなわち、多数枚の画像を予め用意しなけ
ればならないが、このように多数の画像を用意すること
は、特に、実写映像を元の画像として用いる場合等には
過大な負担となる。Therefore, according to this technique, an intermediate image in which an object is hidden behind another object is generated for a plurality of viewpoint positions, or an intermediate image in which an object appears without being hidden behind another object is generated. In order to generate for each viewpoint position, it is necessary to generate a plurality of images for each positional relationship. That is, although it is necessary to prepare a large number of images in advance, preparing such a large number of images is an excessive burden, especially when a photographed image is used as an original image.

【００１２】（３）文献（ｃ）記載の技術は、さまざま
な位置から撮影した複数枚の画像に適当な幾何変換を施
した上で組み合わせることにより疑似的な視点変更を行
なう技術である。しかし、この技術の動物体が存在する
ような状況への拡張は、予め用意しなければならない画
像の数等の点より容易ではない。(3) The technique described in the document (c) is a technique for performing pseudo viewpoint change by combining a plurality of images photographed from various positions with appropriate geometric transformation and then combining them. However, it is not easy to extend this technique to a situation in which a moving object exists because of the number of images that must be prepared in advance.

【００１３】このように、前述した３つの文献記載の技
術には、それぞれ解決すべき点がある。As described above, the techniques described in the above-mentioned three documents have respective points to be solved.

【００１４】本発明は、このような点を考慮してなされ
たものであり、複数の物体が存在する画像に、任意の変
形を、全体として不自然な画像とならないように施すこ
とのできる画像処理方法を提供することを目的とする。The present invention has been made in consideration of such a point, and an image in which a plurality of objects are present can be arbitrarily deformed so as not to be an unnatural image as a whole. It is intended to provide a processing method.

【００１５】また、物体の位置関係が異なる複数の画像
にモ−フィングを施し、中間画像を生成することのでき
る画像処理方法を提供することを目的とする。Another object of the present invention is to provide an image processing method capable of generating an intermediate image by morphing a plurality of images in which the positional relationship of objects is different.

【００１６】また、さらに、これらの画像処理方法を、
種々の用途に拡張することを目的とする。Further, these image processing methods are
It is intended to be expanded to various uses.

【００１７】[0017]

【課題を解決するための手段】前記目的達成のために、
本発明は、画像を記憶する記憶装置と、画像を処理する
処理装置と、画像を表示する表示装置とを備えた装置に
おいて、前記処理装置によって記憶装置に記憶された画
像を加工した加工画像を生成する方法であって、記憶装
置に記憶された画像を、複数の領域に分割するステップ
と、分割した各領域を、それぞれ加工した、複数の加工
領域画像を生成するステップと、各加工領域画像に、そ
れぞれ優先順位を与えるステップと、各加工領域画像
を、与えられている優先順位に従って、同じ位置に異な
る加工領域画像の画素が重なる場合には、より優先順位
の高い加工領域画像の画素が有効となるように合成した
加工画像を生成するステップと、生成した加工画像を前
記表示装置に表示するステップとを有することを特徴と
する画像処理方法を提供する。To achieve the above object,
The present invention provides a processed image obtained by processing an image stored in a storage device by the processing device, in a device including a storage device that stores an image, a processing device that processes the image, and a display device that displays the image. A method of generating, a step of dividing an image stored in a storage device into a plurality of regions, a step of generating a plurality of processed region images obtained by processing each divided region, and each processed region image In the step of giving priority to each processing area image, and when the pixels of different processing area images are overlapped at the same position according to the given priority order, the pixels of the processing area image with higher priority are An image processing method comprising: a step of generating a processed image combined so as to be effective; and a step of displaying the generated processed image on the display device. Subjected to.

【００１８】ここで、画像の加工とは画像の変形や、当
該画像と他の画像とよりモ−フィングの技術によって中
間画像を生成したりすることを含む。Here, the processing of the image includes the deformation of the image and the generation of an intermediate image by the technique of morphing the image with another image.

【００１９】たとえば、この方法の、画像のモ−フィン
グへの適用は、以下のような方法によって実現できる。For example, application of this method to image morphing can be realized by the following method.

【００２０】すなわち、記憶装置に記憶された複数の画
像を複数の領域に分割するステップと、異なる画像間で
相互に対応する領域を定義するステップと、対応する領
域の組毎に、当該組に属する複数の領域の画像の特徴の
中間的な特徴を有する中間領域画像を生成するステップ
と、各中間領域画像に、それぞれ優先順位を与えるステ
ップと、各中間領域画像を、与えられている優先順位に
従って、同じ位置に異なる中間領域画像の画素が重なる
場合には、より優先順位の高い中間領域画像の画素が有
効となるように合成した中間画像を生成するステップ
と、生成した中間画像を前記表示装置に表示するステッ
プとを有することを特徴とする画像処理方法として実現
できる。That is, a step of dividing a plurality of images stored in a storage device into a plurality of areas, a step of defining mutually corresponding areas between different images, and a set of corresponding areas A step of generating an intermediate area image having intermediate characteristics of the characteristics of images of a plurality of areas to which it belongs, a step of giving priority to each intermediate area image, and a step of giving each intermediate area image a given priority According to the above, when pixels of different intermediate area images overlap at the same position, a step of generating a combined intermediate image so that the pixels of the intermediate area image with higher priority become effective, and the generated intermediate image is displayed as described above. And a step of displaying the image on a device.

【００２１】[0021]

【作用】本発明に係る画像処理方法を利用すれば、記憶
装置に記憶された画像を、たとえば当該画像中に映って
いる物体毎に複数の領域に分割し、分割した各領域を、
独立にそれぞれ加工し、複数の加工領域画像を生成し、
各加工領域画像に、それぞれ優先順位を、画像中におい
てより視点側に映っている物体に対応する領域にはより
高い優先順位を与えるようにし、各加工領域画像を、与
えられている優先順位に従って、同じ位置に異なる加工
領域画像の画素が重なる場合には、より優先順位の高い
加工領域画像の画素が有効となるように合成することに
より、複数の物体が存在する画像に、独立に任意の変形
やモ−フィング等の加工を施し、かつ、原画像の視点に
対する前後関係を維持した、全体として自然な画像を生
成することができる。If the image processing method according to the present invention is used, the image stored in the storage device is divided into a plurality of regions for each object shown in the image, and the divided regions are
Process each independently, generate multiple processed area images,
Each processed area image is given a priority, and an area corresponding to an object appearing on the viewpoint side in the image is given a higher priority, and each processed area image is given a priority according to the given priority. , When the pixels of different processed area images overlap at the same position, the pixels of the processed area images with higher priorities are combined so as to be effective, so that an image in which a plurality of objects exist can be independently and arbitrarily selected. It is possible to generate an image that is natural as a whole by performing processing such as deformation and morphing, and maintaining the context of the original image with respect to the viewpoint.

【００２２】[0022]

【実施例】以下、本発明の実施例を説明する。Embodiments of the present invention will be described below.

【００２３】まず、本発明の第１の実施例について説明
する。First, a first embodiment of the present invention will be described.

【００２４】本第１実施例は、１枚の静止画像を、当該
画像を分割した領域毎に変形し合成した変換画像を生成
する画像処理についてのものである。The first embodiment relates to image processing for generating a converted image by deforming and combining one still image for each divided region of the image.

【００２５】図１に、本実施例に係る画像処理を行う装
置の構成を示す。FIG. 1 shows the configuration of an apparatus for performing image processing according to this embodiment.

【００２６】図１において、カメラ３００は、静止画像
あるいは動画像を撮影する。図ではカメラ３００を１台
のみ示したが、実際には複数台設ける。カメラ３００で
撮影した画像がデジタルの画像データとして出力される
場合は、このデジタルの画像データが直接記憶装置３５
０に記録される。一方、カメラ３００で撮影した画像が
アナログデータとして出力される場合は、アナログデー
タをＡ／Ｄ変換装置３６０によって変換したデジタルの
画像データが記憶装置３５０に記録される。In FIG. 1, a camera 300 photographs a still image or a moving image. Although only one camera 300 is shown in the figure, a plurality of cameras are actually provided. When the image captured by the camera 300 is output as digital image data, this digital image data is directly stored in the storage device 35.
Recorded as 0. On the other hand, when the image captured by the camera 300 is output as analog data, digital image data obtained by converting the analog data by the A / D conversion device 360 is recorded in the storage device 350.

【００２７】また、表示装置３１０は、記憶装置３５０
に記録されたデジタルデータの表す画像や、生成した変
換画像や、その他の画像を表示する。また、キーボード
３２０やマウス３３０は指示情報の入力装置であり、後
述する画像間で特徴点の対応付けを行なう作業等におい
て、オペレ−タの指示を受け付ける。プロセッサ３４０
は、メモリ４００に記憶されているデータやプログラム
を用いて、後述する画像処理を行なう。プロセッサ３４
０の画像処理の結果得られる中間画像や、画像処理の途
中結果等も、また、メモリ４００や記憶装置３５０に記
憶される。高速バス３７０は、以上の構成要素を結合
し、データ等を相互に転送する。Further, the display device 310 is a storage device 350.
The image represented by the digital data recorded in, the generated converted image, and other images are displayed. Further, the keyboard 320 and the mouse 330 are instruction information input devices, and accept operator instructions in the operation of associating feature points between images, which will be described later. Processor 340
Performs image processing, which will be described later, using data and programs stored in the memory 400. Processor 34
Intermediate images obtained as a result of image processing of 0, intermediate results of image processing, and the like are also stored in the memory 400 or the storage device 350. The high-speed bus 370 connects the above components and transfers data and the like to each other.

【００２８】次に、図１に示した装置において、本実施
例に係る画像処理を実現するためのデータ構成を図２に
示す。Next, FIG. 2 shows a data structure for realizing the image processing according to the present embodiment in the apparatus shown in FIG.

【００２９】これらのデータは、、プロセッサ３４０内
に備えられたメモリ４００上に記憶装置３５０からロ−
ドもしくは作成される。These data are loaded from the storage device 350 onto the memory 400 provided in the processor 340.
Or created.

【００３０】図示するように、メモリ４００上のデータ
としては、カメラ３００から記憶装置３５０に入力した
実写の画像データ４１０と、当該画像データの表す画像
を、分割した領域を特定する領域データ４２０と、各領
域の優先順位を示す優先順序のデータ４３０が記憶され
る。また、後述する対応する点あるいは線分のデータ４
４０、画像データの表す画像を変換画像に変換するため
に必要となる画像の各点の歪みを表す歪みデータ４５
０、生成した変換画像データ４７０、本実施例に係る画
像処理を定義したソフトウェアのプログラム４７０等が
記憶される。As shown in the figure, as the data on the memory 400, there are real image data 410 input from the camera 300 to the storage device 350, and area data 420 for specifying the divided area of the image represented by the image data. , Priority order data 430 indicating the priority order of each area is stored. In addition, data 4 corresponding to the points or line segments described later
40, distortion data 45 representing distortion at each point of the image necessary for converting the image represented by the image data into a converted image
0, the generated converted image data 470, the software program 470 that defines the image processing according to the present embodiment, and the like are stored.

【００３１】なお、メモリ４００の容量は、扱う画像の
大きさに影響するが、例えば６４０×４８０画素のフル
カラー画像（３バイト／画素）を非圧縮で扱うとする
と、１枚の画像データだけでも１メガバイト必要である
ので、上記データを全て記憶し、快適に操作するために
は１６メガバイト程度は用意するのが望ましい。Although the capacity of the memory 400 affects the size of an image to be handled, if a full-color image of 640 × 480 pixels (3 bytes / pixel) is handled without being compressed, for example, only one image data will be processed. Since 1 megabyte is required, it is desirable to prepare about 16 megabytes in order to store all the above data and operate it comfortably.

【００３２】以下、メモリ４００上のソフトウェアのプ
ログラム４７０をプロセッサ３４０が実行することによ
り実現される画像処理について説明する。Image processing realized by the processor 340 executing the software program 470 on the memory 400 will be described below.

【００３３】図３に、本実施例に係る画像処理の手順を
示す。FIG. 3 shows the procedure of image processing according to this embodiment.

【００３４】また、図４に、図３中の各ステップによる
処理の結果を視覚的に示す。Further, FIG. 4 visually shows a result of processing by each step in FIG.

【００３５】この画像処理では、まず、オペレ−タの指
定に従って記憶装置３５０に予め記憶された画像データ
をメモリ４００に図２の画像データ４１０として読みだ
し、この画像データの表す画像を表示装置３１０に表示
し、この画像を当該画像中に含まれる物体毎の領域に分
割する（ステップ１０）。すなわち、図４の元の画像１
００を円内部の画像１１０と円の外部の画像１１５に分
離する。したがって、図２の１１０と１１５において、
画像内の空白部分には何もデータが無い。逆に、画像１
１０と画像１１５を重ね合わせると、元の画像１００が
完全に復元される。また、さらに多くの物体が存在する
場合は、分割する領域もそれに比例して増え、分離され
た画像の数もそれに伴って増加することになる。In this image processing, first, the image data stored in advance in the storage device 350 in accordance with the operator's designation is read into the memory 400 as the image data 410 in FIG. 2, and the image represented by this image data is displayed on the display device 310. And the image is divided into regions for each object included in the image (step 10). That is, the original image 1 of FIG.
00 is separated into an image 110 inside the circle and an image 115 outside the circle. Therefore, at 110 and 115 in FIG.
There is no data in the blank area in the image. Conversely, image 1
The superposition of 10 and image 115 completely restores the original image 100. In addition, when there are more objects, the area to be divided increases proportionally, and the number of separated images also increases accordingly.

【００３６】領域の分割は、例えば特開平０３−２１８
５８１「画像セグメンテーション方法」に述べられてい
るように行うことができる。Area division is performed by, for example, Japanese Patent Laid-Open No. 03-218.
581 "Image segmentation method".

【００３７】すなわち、まず、画像の２次微分を求め、
２次微分値が所定のしきい値より高い部分をエッジとし
て抽出して表示装置に表示し、表示上でオペレ−タから
分割したい領域のエッジを構成するエッジの選択をマウ
ス３３０等によって受け付ける。そして選択されたエッ
ジを繋ぎあわせ、繋ぎあわせた輪郭線で囲まれた閉領域
を一つの領域として分割する。また、この分割した領域
には、当該領域の識別子として、マスク値を与え領域の
情報と共に領域データ４２０として記憶する。That is, first, the second derivative of the image is obtained,
A portion having a second-order differential value higher than a predetermined threshold value is extracted as an edge and displayed on the display device, and the selection of the edge forming the edge of the area to be divided from the operator on the display is accepted by the mouse 330 or the like. Then, the selected edges are connected, and the closed area surrounded by the connected contour lines is divided as one area. In addition, a mask value is given to each of the divided areas as an identifier of the area and the area information 420 is stored together with the area information.

【００３８】領域の分割が終了したら、次に、オペレ−
タより各領域の優先順位を受け付ける。この際、オペレ
−タは、より前方にある物体を撮影した領域に高い優先
順位を与えるようにする（ステップ２０）。When the division of the area is completed, the operation is next performed.
The priority of each area is accepted from the computer. At this time, the operator gives a higher priority to the region where the object in front is photographed (step 20).

【００３９】例えば、図２の領域１１０に映っている物
体は領域１１５に映っている物体より視点（カメラ）の
近くにあるので、領域１１０は領域１１５のより優先順
位が上であるというようにする。For example, since the object shown in the area 110 of FIG. 2 is closer to the viewpoint (camera) than the object shown in the area 115, the area 110 has a higher priority than the area 115. To do.

【００４０】このようにして受け付けた各領域の優先順
位は、領域のマスク値と対応付けられた上で図２の優先
順位のデータ４３０として、メモリ４００に記憶する。The priority order of each area thus received is stored in the memory 400 as the priority order data 430 of FIG. 2 in association with the mask value of the area.

【００４１】次に、ステップ３０では、ステップ１０に
おいて分離したそれぞれの領域に対して、領域内の各画
素を何処に移動し、画像をどう歪ませるかを定義する。Next, in step 30, for each area separated in step 10, where each pixel in the area is moved and how the image is distorted is defined.

【００４２】この歪ませ方の定義方法は、例えば前記文
献（ａ）の「Feature-Based Image Metamorphosis」に
記載の方法を用いることができる。As a method of defining this distortion method, for example, the method described in the above-mentioned document (a) "Feature-Based Image Metamorphosis" can be used.

【００４３】すなわち、まず、例えば図５（ａ）に示す
ように、いま画像処理の対象としている画像１００を、
どのように変形したいかをラフに表したスケッチ画２０
０を予め用意し、これを画像１００と共に表示装置３１
０に表示する。そして、マウス３３０等を介して、オペ
レ−タより両画像中において、対応する部分の指定を受
け付ける。たとえば、図５（ａ）において、画像１００
上の線分２２０がスケッチ画像上の線分２２５に対応し
ている。この対応する線分の指定は、先に分割した領域
毎に一組または複数組受け付ける。また、対応する線分
が指定されなかった領域は、変形しない領域とする。That is, first, as shown in FIG. 5A, for example, the image 100 that is the target of image processing is
Sketch drawing 20 that roughly shows how you want to transform
0 is prepared in advance, and this is displayed together with the image 100 on the display device 31.
Display at 0. Then, via the mouse 330 or the like, the operator accepts designation of corresponding portions in both images. For example, in FIG. 5A, the image 100
The upper line segment 220 corresponds to the line segment 225 on the sketch image. The designation of the corresponding line segment is accepted for each of the previously divided regions. In addition, the area where the corresponding line segment is not specified is the area that is not deformed.

【００４４】なお、このスケッチ画像２００は、実際に
紙の上に描かれた画像を、カメラ３００やイメ−ジスキ
ャナ等の他の画像読み取り装置で取り込んで使用するよ
うにしてもよい。また、オペレ−タが画像１００上の線
分２２０をスケッチ画像２００上に複写し移動した線分
を、線分２２５として受け付けるようにしても良い。As the sketch image 200, an image actually drawn on paper may be taken in by another image reading device such as the camera 300 or an image scanner and used. The line segment 225 may be accepted as a line segment that the operator copied and moved the line segment 220 on the image 100 onto the sketch image 200.

【００４５】さて、このように対応する線分が定義され
ると、各領域を変形するための画像１００上の各画像の
移動ベクトルＤを数１によって求め（ステップ３０）、
メモリ４００に歪みデータ４５０として格納していく。
なお、この移動ベクトルＤの集合が、画像を変換するた
めの歪の場を表すことになる。また、移動ベクトルＤが
実際には、画像空間上の座標値によって表現される。Now, when the corresponding line segment is defined in this way, the movement vector D of each image on the image 100 for deforming each region is obtained by the equation 1 (step 30),
The distortion data 450 is stored in the memory 400.
It should be noted that this set of movement vectors D represents a distortion field for converting an image. Further, the movement vector D is actually represented by the coordinate value in the image space.

【００４６】[0046]

【数１】 [Equation 1]

【００４７】ただし、図６に示すように、Ｐ、Ｑは画像
１００に指定された線分２２０の両端を終点とする示す
ベクトル、Ｐ’、Ｑ’は画像２００に指定された線分２
２５の両端を終点とするベクトル、Ｘは移動ベクトルを
求める画像１００上の画素の位置を終点とするベクト
ル、Ｘ’はＸを移動した後の位置を終点とするベクトル
を示す。また、Perpendiclur（）は、（）内のベクトル
と同じ長さで、（）内のベクトルと垂直なベクトルを表
す。また、小文字で表したパラメ−タはスカラ−量を表
す。However, as shown in FIG. 6, P and Q are vectors indicating end points at both ends of the line segment 220 specified in the image 100, and P ′ and Q ′ are line segments 2 specified in the image 200.
25 is a vector whose end points are both ends of X, X is a vector whose end point is the position of a pixel on the image 100 for which a movement vector is to be obtained, and X ′ is a vector whose end point is the position after X is moved. Also, Perpendiclur () represents a vector having the same length as the vector in () and perpendicular to the vector in (). Also, the parameters shown in lower case represent the amount of scalar.

【００４８】なお、領域に線分２２０が複数定義されて
いる場合には、各線分ｉに対して移動ベクトルＤｉを求
め、求めた各Ｄｉに、線分の長さが長いほど大きくなり
線分までの距離が大きくなるほど小さくなるような重み
Ｗｉを乗じた値ＷｉＤｉの和を、Ｗｉの和で除した値を
移動ベクトルＤとするようにする。When a plurality of line segments 220 are defined in the area, the movement vector Di is obtained for each line segment i, and the longer the line segment becomes, the larger the obtained segment Di becomes. The value obtained by dividing the sum of the values WiDi multiplied by the weight Wi that becomes smaller as the distance to becomes larger becomes the movement vector D.

【００４９】この重み付き平均により求まる移動ベクト
ルＤは、数２で表すことができる。The movement vector D obtained by this weighted average can be expressed by equation 2.

【００５０】[0050]

【数２】 [Equation 2]

【００５１】なお。先の文献（ｂ）では、数３により定
まるＷｉを用いている。Incidentally, In the above-mentioned document (b), Wi determined by Equation 3 is used.

【００５２】[0052]

【数３】 (Equation 3)

【００５３】ただし、lengthは線分ｉの長さ、distは線
分ｉまでの距離、ａ，ｂ，ｐは定数である。However, length is the length of the line segment i, dist is the distance to the line segment i, and a, b, and p are constants.

【００５４】なお、このように線分を対応づけて各領域
を変形するための歪を求める方法の他にも、例えば図５
（ｂ）に示すように、画像処理の対象としてる画像１０
０上に設定した格子点をスケッチ画２４０上の格子点に
対応付けることで、画像の歪ませ方を定義する方法も用
いることができる。すなわち、画像２３０上の全ての格
子点について、例えば格子点２５０がスケッチ画像上の
格子点２５５に移動するといったように定義していく。
そうすると、画像１００中の全ての点の移動先は、例え
ば画像１００上の４つの格子点で囲まれた四角形を、対
応するスケッチ画像２４０上の４つの格子点で囲まれた
四角形に幾何変換する変換式によって求めることができ
るようになる。ただし、実際には、各格子が滑らかにつ
ながるように高次式によって変換式を表現するようにす
るのが一般的である。In addition to the method of obtaining the distortion for deforming each area by associating the line segments in this way, for example, FIG.
As shown in (b), the image 10 that is the target of the image processing.
It is also possible to use a method of defining how to distort the image by associating the grid points set on 0 with the grid points on the sketch image 240. That is, all the grid points on the image 230 are defined such that the grid point 250 moves to the grid point 255 on the sketch image.
Then, the destinations of all the points in the image 100 are geometrically transformed, for example, from a rectangle surrounded by four grid points on the image 100 into a rectangle surrounded by four grid points on the corresponding sketch image 240. It can be obtained by the conversion formula. However, in practice, it is general to express the conversion formula by a high-order formula so that the lattices are smoothly connected.

【００５５】さて、このようにして各領域について当該
領域内の各画素の移動ベクトルＤが求まったならば、こ
れに従い、各領域内の画像を変形する（ステップ４
０）。Now, when the movement vector D of each pixel in the area is obtained for each area in this way, the image in each area is transformed according to this (step 4).
0).

【００５６】すなわち、図４の１１０を１２０に変形
し、１１５を１２５に変形する。That is, 110 in FIG. 4 is transformed into 120, and 115 is transformed into 125.

【００５７】ただし、変形の程度については、領域内の
各画素を求めた移動ベクトルＤ分移動することにより図
５（ａ）の画像１００の線分２２０の位置の画素が、ス
ケッチ画像２００の線分２２５の位置に移動するように
歪ませることもできるし、たとえば、数１もしくは数２
の移動ベクトルＤの長さに１／２を乗じた移動ベクトル
分各画素を移動し、画像１００の線分２２０の位置の画
素が、スケッチ画像２００の線分２２５の位置との中間
の位置に移動するように歪ませることもできる。Regarding the degree of deformation, however, the pixel at the position of the line segment 220 in the image 100 of FIG. 5A is moved to the line of the sketch image 200 by moving each pixel in the region by the obtained movement vector D. It can be distorted so as to move to the position of the minute 225.
Each pixel is moved by a movement vector obtained by multiplying the length of the movement vector D of the above by 1/2, and the pixel at the position of the line segment 220 of the image 100 becomes an intermediate position from the position of the line segment 225 of the sketch image 200. It can also be distorted to move.

【００５８】さて、以上のような処理によって各領域に
ついて画像の変形が終了したならば（ステップ５０）、
ステップ６０の画像合成の処理に進む。When the image transformation is completed for each area by the above processing (step 50),
The process proceeds to the image combining process in step 60.

【００５９】ステップ６０において、ステップ１０で分
割した領域の変形画像をステップ２０で定義した優先順
位にもとづいて重畳合成する。すなわち、優先順位が高
いものほど（カメラに近いものほど）、より前方に位置
するように変形した各領域を重ねていく。具体的には、
優先順位が低いものから順に描画（上書き）していくこ
とにより合成を行う。たとえば、図４において、画像１
２５の手前にある（画像１２５より優先順位の高い）画
像１２０は、画像１２５の上に上がきする。In step 60, the deformed images of the areas divided in step 10 are superposed and synthesized based on the priority order defined in step 20. That is, the higher the priority is (the closer to the camera), the more the respective regions that are deformed to be located in the front. In particular,
Compositing is performed by drawing (overwriting) in order from the lowest priority. For example, in FIG. 4, image 1
The image 120 in front of 25 (higher priority than the image 125) rises above the image 125.

【００６０】さて、このようにすると、先に領域毎に定
義した歪に従い各領域を変形しているので、合成した画
像１３０には画素の欠損として空白部が残る場合があ
る。By doing so, since each area is deformed according to the distortion previously defined for each area, a blank portion may remain in the combined image 130 as a pixel loss.

【００６１】そこで、ステップ７０では、この欠損を修
復する処理を行い、最終的な変換画像１３０を生成し、
メモリ４００に変換画像データ４６０として格納する。
また、この変換画像を表示装置３１０に表示する。Therefore, in step 70, processing for repairing this defect is performed to generate the final converted image 130,
The converted image data 460 is stored in the memory 400.
Further, the converted image is displayed on the display device 310.

【００６２】欠損修復の方法は、例えば信学会論文誌86
/1 Vol.1.J69-D No.1 pp.91-97「欠損画像の修復処理
の一方式」に記載の技術等により行うことができる。す
なわち、たとえば、欠損部外周側から中央に向かって順
次欠損部内の画素の値を、当該画素周辺の欠損していな
い画素の値を参照して定めていく。欠損部内の画素の値
としては、単純に周辺の画素の値を用いたり、周辺の画
素の値の平均を用いたり、周辺の画像中に存在するエッ
ジの方向に沿った方向の画素の値を用いたりする等の方
法がある。A method for repairing defects is described in, for example, The Transactions of The Institute of Shinshu, 86.
/ 1 Vol.1.J69-D No.1 pp.91-97 "Technology for restoration of lost image" That is, for example, the values of the pixels in the defective portion are sequentially determined from the outer peripheral side of the defective portion toward the center with reference to the values of the non-defective pixels around the pixel. As the value of the pixel in the missing part, the value of the peripheral pixel is simply used, the average value of the peripheral pixels is used, or the value of the pixel along the direction of the edge existing in the peripheral image is used. There are methods such as using.

【００６３】また、欠損の修復としては、単純な繰り返
しパタ−ンのテクスチャー画像などでは、周囲の画像の
周波数成分を分析し、欠損部に分析した周波数成分を有
する周期パターンを発生させる方法等を用いることもで
きる。Further, as a method for repairing a defect, in a texture image of a simple repetitive pattern, etc., a method of analyzing the frequency components of the surrounding image and generating a periodic pattern having the analyzed frequency component in the defect part, etc. It can also be used.

【００６４】以上、本発明の第１実施例について説明し
た。The first embodiment of the present invention has been described above.

【００６５】なお、本第１実施例では、分割した領域に
対して優先順位を与えたが、画像１００の各画素につい
て優先順位を与えるようにしてもよい。このようにすれ
ば、ドーナツとドーナツの穴に通した棒の関係のよう
に、ドーナツのある部分は棒の手前にあるので見えてお
り、またドーナツのある部分は棒の後に隠れて見えない
という表現もできるようになる。ただし、このような表
現は、より細かく領域を分割することによっても実現す
ることができる。In the first embodiment, the divided areas are given priority, but each pixel of the image 100 may be given priority. In this way, like the relationship between the donut and the stick that went through the hole of the donut, the part with the donut is visible because it is in front of the stick, and the part with the donut is hidden behind the stick and cannot be seen. You can also express. However, such an expression can also be realized by dividing the area more finely.

【００６６】以下、本発明の第２の実施例について説明
する。The second embodiment of the present invention will be described below.

【００６７】本第２実施例は、前記第１実施例の領域毎
の画像処理と、優先順位を与えた画像処理後の領域合成
を、２つの画像のモ−フィング、すなわち、中間画像の
生成に適用したものである。本第２実施例も、先に図１
に示した装置を用いて実現される。In the second embodiment, the image processing for each area of the first embodiment and the area synthesis after the image processing in which the priority is given are morphed between two images, that is, an intermediate image is generated. It has been applied to. The second embodiment is also shown in FIG.
It is realized by using the device shown in.

【００６８】図７に、本第２実施例に係る画像処理の手
順を、図８に図７中の各ステップによる処理の結果を視
覚的に示す。FIG. 7 visually shows the procedure of the image processing according to the second embodiment, and FIG. 8 visually shows the result of the processing by each step in FIG.

【００６９】図８は、異なる２視点からほぼ同じ場所を
撮影した２枚の静止画像を用いて、その中間画像を作る
過程を説明している。FIG. 8 illustrates a process of forming an intermediate image by using two still images obtained by photographing almost the same place from two different viewpoints.

【００７０】図８において、視点Ａからカメラ３００で
撮影した画像が５００であり、少し前方に撮影位置を移
動してカメラ３００で撮影した画像が５１０である。こ
れら２枚の画像において、画像中の電柱に注目し、前記
第１実施例で説明した領域分割の手法を用いてこの電柱
領域と他の部分とを分離する。すなわち、画像５００に
ついては、電柱の画像５２０と電柱以外の背景画像５２
５に分離し、画像５１０については、電柱の画像５３０
と電柱以外の背景画像５３５に分離する（図７ステップ
１０１０）。そして、各領域に優先順位を与える。ここ
では、各画像５００、５１０それぞれの電柱の領域に優
先順位１を、背景の領域のそれぞれに優先順位２を与え
る（ステップ１０２０）。すなわち、前記第１実施例と
同様に、記憶装置３６０から両画像５００、５１０をプ
ロセッサ３４０がメモリ４００上に読みだし、読みだし
た両画像５００、５１０を表示装置３１０に表示し、こ
の表示上でオペレ−タよりマウス３３０を介して分割す
る領域と、その優先順位を受け付け、この指示に従って
領域を分割し、分割した優先順位を与える。ここまでの
処理によって、図２の画像データ、領域データ、優先順
位のデータが画像５００と５１０の、それぞれについて
作成されメモリ４００に記憶される。In FIG. 8, the image photographed by the camera 300 from the viewpoint A is 500, and the image photographed by the camera 300 by moving the photographing position slightly forward is 510. In these two images, paying attention to the electric poles in the images, the electric pole area and other portions are separated by the area dividing method described in the first embodiment. That is, for the image 500, a utility pole image 520 and a background image 52 other than the utility pole.
5, the image 510 is a telephone pole image 530.
And the background image 535 other than the power pole is separated (step 1010 in FIG. 7). Then, priority is given to each area. Here, priority areas 1 and 1 are assigned to the areas of the utility poles and the background areas of the images 500 and 510, respectively (step 1020). That is, as in the first embodiment, the processor 340 reads both images 500 and 510 from the storage device 360 on the memory 400, displays the read both images 500 and 510 on the display device 310, and displays them on this display. Then, the operator receives an area to be divided through the mouse 330 and its priority, divides the area according to this instruction, and gives the divided priority. By the processing up to this point, the image data, area data, and priority data of FIG. 2 are created for each of the images 500 and 510 and stored in the memory 400.

【００７１】次に、分離された電柱の画像５２０と５３
０について対応する部分を対応付ける。例えば、電柱の
右側面に相当する部分として線分５２２と線分５３２を
対応付け、電柱の左側面に相当する部分として線分５２
４と線分５３４を対応付ける（ステップ１０４０）。こ
の対応付けも、同様にマウス３３０を介して与えられた
オペレ−タよりの指示に従い行う。また、この対応付け
のデータは、対応する点、線分のデータ４４０としてメ
モリ４００に記憶される。Next, the separated utility pole images 520 and 53.
Corresponding parts corresponding to 0. For example, the line segment 522 and the line segment 532 are associated with each other as the portion corresponding to the right side surface of the telephone pole, and the line segment 52 is as the portion corresponding to the left side surface of the telephone pole.
4 is associated with the line segment 534 (step 1040). This association is also performed according to the instruction from the operator given via the mouse 330. Further, the data of this association is stored in the memory 400 as the data 440 of the corresponding points and line segments.

【００７２】そして、対応する領域毎に２枚の画像にお
いて対づけられた線分の中間位置に、２枚の画像中の各
線分上の点が移動するものと仮定して、電柱の中間画像
５６０を作成し、この中間画像に元となった領域に与え
られている優先順位１を与える（ステップ１０５０）。
中間位置への移動は、前述したように数１もしくは数２
を用いて求めた移動ベクトルＤの長さを１／２した移動
ベクトル分、各画素を移動することにより実現できる。
なお、この移動ベクトルは、前記第１実施例と同様に歪
データ４５０としてメモリ４００に記憶される。Then, assuming that a point on each line segment in the two images moves to the intermediate position of the line segment paired in the two images for each corresponding region, the intermediate image of the utility pole is displayed. 560 is created, and the priority 1 given to the original area is given to this intermediate image (step 1050).
As described above, the movement to the intermediate position is performed by the number 1 or the number 2
This can be realized by moving each pixel by a movement vector obtained by halving the length of the movement vector D obtained by using.
It should be noted that this movement vector is stored in the memory 400 as the distortion data 450 as in the first embodiment.

【００７３】さて、中間画像５６０の画素値は、５２０
もしくは５３０の画素値の一方をそのまま用いることも
できるし、５２０と５３０の画素値を半々に混ぜ合わせ
て用いることもできる。すなわち、たとえば、画像５２
０の画素を前記第１実施例と同様に、単に移動して中間
画像５６０を生成することができる。また、画像５２０
の画素と画像５３０の画素を共に移動し、同じ位置とな
った２つの画素の平均を、その位置の画素の値とするよ
うにすることもできる。ただし、後者の場合は、ある位
置に一つの画素しか移動して来なかった場合には、その
移動してきた画素の値を、そのまま、その位置の画素の
値として用いるようにする。なお、このようにして作成
された中間画像５６０のデータは変形画像データ４６０
としてメモリ４００に記憶される。The pixel value of the intermediate image 560 is 520.
Alternatively, one of the pixel values of 530 can be used as it is, or the pixel values of 520 and 530 can be used by mixing them in half. That is, for example, the image 52
The 0 pixel can be simply moved to generate the intermediate image 560, as in the first embodiment. Also, image 520
And the pixel of the image 530 may be moved together, and the average of two pixels at the same position may be used as the value of the pixel at that position. However, in the latter case, when only one pixel has moved to a certain position, the value of the moved pixel is used as it is as the value of the pixel at that position. The data of the intermediate image 560 created in this way is the modified image data 460.
Is stored in the memory 400 as

【００７４】また、同様に、電柱以外の背景画像につい
ても対応する点を決める作業を行なう（ステップ１０４
０）。例えば、道路脇の樹木の輪郭に対応する部分とし
て線分５４２と線分５５２を対応付け、路側帯にある植
え込みに対応する部分として線分５４４と線分５５４を
対応付け、背景画像の中間画像５７０を作成し（ステッ
プ１０５０）、元と成った背景画像の領域に与えられて
いる優先順位２を与える。中間画像５７０のデータも図
２の変形画像データ４６０としてメモリ４００に記憶さ
れる。Similarly, for the background images other than the power poles, the corresponding points are determined (step 104).
0). For example, the line segment 542 and the line segment 552 are associated with each other as the portion corresponding to the contour of the tree on the side of the road, and the line segment 544 and the line segment 554 are associated with each other as the portion corresponding to the planting on the roadside belt. 570 is created (step 1050) and the priority 2 given to the area of the original background image is given. The data of the intermediate image 570 is also stored in the memory 400 as the modified image data 460 of FIG.

【００７５】さて、ここで、背景画像５４０と背景画像
５５０には電柱部分を取り除いた時にできる欠損が存在
するが、視点が変わっているために相互に欠損部の画素
を補うことができる。すなわち、中間画像５７０を作る
ときには、背景画像５４０と５５０の両方の情報を用い
ることができ、欠損の無い画像を得ることができる。具
体的には、前述したように、画像５４０の画素と画像５
５０の画素を共に移動し、同じ位置となった２つの画素
の平均を、その位置の画素の値とするようにする。そし
て、ある位置に一つの画素しか移動して来なかった場合
には、その移動してきた画素の値を、そのまま、その位
置の画素の値として用いるようにする。Now, although there is a defect in the background image 540 and the background image 550 when the utility pole part is removed, the pixels in the defect part can be mutually supplemented because the viewpoints are changed. That is, when the intermediate image 570 is created, the information of both the background images 540 and 550 can be used, and an image without loss can be obtained. Specifically, as described above, the pixels of the image 540 and the image 5
The 50 pixels are moved together, and the average of two pixels at the same position is used as the value of the pixel at that position. Then, when only one pixel has moved to a certain position, the value of the moved pixel is used as it is as the value of the pixel at that position.

【００７６】最後に、中間画像５６０、５７０に与えた
優先順位に従い、電柱の中間画像５６０を背景の中間画
像５７０の上に重畳合成する（ステップ１０７０）こと
で、２枚の異視点画像から実際には撮影されていない位
置での画像５８０が作成されたことになる。また、この
後、もし欠損が生じた場合には欠損修復を行うようにす
る（ステップ１０８０）。このようにして作成された画
像を表す画素データが変換画像データ４６０として、メ
モリ４００に記憶されると共に、最終的に表示装置３１
０上に表示されることになる。Finally, according to the priority order given to the intermediate images 560 and 570, the intermediate image 560 of the telephone pole is superimposed and synthesized on the intermediate image 570 of the background (step 1070), and the two different viewpoint images are actually used. That is, the image 580 at the position not photographed is created. After that, if a defect occurs, the defect is repaired (step 1080). The pixel data representing the image created in this way is stored in the memory 400 as the converted image data 460, and finally, the display device 31.
0 will be displayed on top.

【００７７】なお、第２実施例では、分割した領域の優
先順位を前述したようにオペレ−タより受け付けてもよ
いが、以下のようにして優先順位を自動的に与えるよう
にしてもよい。In the second embodiment, the priorities of the divided areas may be accepted from the operator as described above, but the priorities may be automatically given as follows.

【００７８】すなわち、図９に示すように、物体が静止
しておりカメラだけが動く場合、一般的に近くにあるも
のほど画像内での動きが大きくなる。That is, as shown in FIG. 9, when the object is stationary and only the camera moves, the closer the object is, the greater the motion in the image.

【００７９】図９において、左にあるカメラ６００の画
像中心を６０５、右にあるカメラ６１０の画像中心を６
１５とし、遠方にある物体６２０のカメラ６００上での
投影像を６２２、その物体のカメラ６１０上での投影像
を６２４とし、物体６２０より近い位置にある物体６３
０のカメラ６００上での投影像を６３２、その物体のカ
メラ６１０上での投影像を６３４とする。このとき、２
枚の画像におけるそれぞれの点の位置を比較すると、遠
方点６２０の投影像６２２と６２４の差は、より近くに
ある点６３０の投影像６３２と６３４の差よりも小さく
なる。したがい、この差より、物体の遠近を判定し、よ
り近い位置にある物体の領域に、より高い優先順位を与
えることができる。すなわち、ステレオ計測の原理に基
づき、両画像における物体上の対応する部分の位置の差
に応じて、異なる物体間の前後関係を決めることができ
る。各物体上にある対応する部分としては、前述した対
応づけのための線分を用いることができる。In FIG. 9, the image center of the camera 600 on the left is 605, and the image center of the camera 610 on the right is 6
15, the projection image of the object 620 at a distance on the camera 600 is 622, and the projection image of the object on the camera 610 is at 624, and the object 63 at a position closer to the object 620 is
It is assumed that the projection image of 0 on the camera 600 is 632, and the projection image of the object on the camera 610 is 634. At this time, 2
Comparing the positions of the points in the images, the difference between the projected images 622 and 624 of the far point 620 is smaller than the difference between the projected images 632 and 634 of the closer point 630. Therefore, based on this difference, it is possible to determine the perspective of the object and give a higher priority to the region of the object located closer. That is, based on the principle of stereo measurement, the front-rear relationship between different objects can be determined according to the difference in the positions of corresponding parts on the objects in both images. As the corresponding portion on each object, the above-mentioned line segment for correspondence can be used.

【００８０】以上、本発明の第２の実施例について説明
した。The second embodiment of the present invention has been described above.

【００８１】以下、本発明の第３の実施例について説明
する。The third embodiment of the present invention will be described below.

【００８２】本第３実施例は、前記第１もしくは第２実
施例を、カメラ３００で作成した２枚の画像からアニメ
−ション画像を作成する処理に適用したものである。The third embodiment is an application of the first or second embodiment to a process for creating an animation image from two images created by the camera 300.

【００８３】図１０に、動きのある物体を異なる時刻
に、カメラ３００撮影した２枚の画像から。アニメーシ
ョンを作成する画像処理を視覚的に表す。FIG. 10 shows two images taken by the camera 300 of a moving object at different times. Visually represent the image processing that creates the animation.

【００８４】図１０において、画像７００は、人が両手
を挙げている時の画像であり、画像７１０は、人が両手
を下げている時の画像である。２枚の画像は、図３のス
テップ１０により既に領域分割されており、画像７００
は、右手領域７２０と左手領域７３０とそれ以外の領域
７４０に分けられており、画像７１０は、右手領域７２
５と左手領域７３５とそれ以外の領域７４５に分割さ
れ、また、各領域には、適当な優先順位が与えられてい
るものとする。In FIG. 10, an image 700 is an image when a person is raising both hands, and an image 710 is an image when the person is lowering both hands. The two images have already been segmented in step 10 in FIG.
Is divided into a right-hand area 720, a left-hand area 730, and an area 740 other than the right-hand area 720.
5, the left-hand area 735, and the other area 745, and each area is given an appropriate priority.

【００８５】この時、右手領域として線分７５０と線分
７５５を対応付け、左手領域として線分７６０と線分７
６５を対応付け、さらにそれ以外の領域として線分７７
０と線分７７５を対応付ける。At this time, the line segment 750 and the line segment 755 are associated with each other as the right-hand area, and the line segment 760 and the line segment 7 are associated with each other as the left-hand area.
65 is associated with the line segment 77
Correlate 0 with line segment 775.

【００８６】そして、それぞれの領域を独立に変形させ
たり、それぞれの領域の中間画像を生成したりし、これ
らを合成することにより、例えば右手だけを上下させる
アニメーションや、左手だけあるいは両手を同時に上下
させるアニメーションを作ることができる。たとえば、
前述した線分等により、画像７００の左手領域７３０と
画像７１０の左手領域７３５のみを対応付けて、画像７
００の左手領域７３０と画像７１０の左手領域７３５と
の中間の位置に左手領域が移動した画像を、背第１実施
例で説明したように画像７００の左手領域７３０（また
は画像７１０の左手領域７３５）を移動させることによ
り、もしくは、前記第２実施例で説明っしたように画像
７００の左手領域７３０と画像７１０の左手領域７３５
との中間画像を生成することにより生成し、これを、画
像７００の左手領域７３０以外の領域の画像７２０、７
４０に、優先順位に従って合成することにより、左手だ
けが半分下がった画像を得ることができる。このような
処理は、前記第１実施例の処理の各ステップを組合せる
ことにより実現される。Then, by deforming each area independently, generating an intermediate image of each area, and synthesizing them, for example, an animation in which only the right hand is moved up or down, or only the left hand or both hands are moved up and down at the same time. You can make an animation that makes you. For example,
Only the left-hand area 730 of the image 700 and the left-hand area 735 of the image 710 are associated with each other by the above-mentioned line segment and the like.
The left-hand area 730 of image 00 and the left-hand area 735 of image 710 are moved to an intermediate position between the left-hand area 730 of image 700 and the left-hand area 735 of image 710 (or the left-hand area 735 of image 710) as described in the first embodiment. ) Is moved, or as described in the second embodiment, the left-hand area 730 of the image 700 and the left-hand area 735 of the image 710.
And the images 720, 7 of the area other than the left-hand area 730 of the image 700.
By combining 40 in accordance with the priority order, an image in which only the left hand is lowered by half can be obtained. Such processing is realized by combining the steps of the processing of the first embodiment.

【００８７】以下、本発明の第４の実施例について説明
する。The fourth embodiment of the present invention will be described below.

【００８８】本第４実施例は、前述した第２実施例の画
像処理を４枚の画像から、これら４枚の画像の任意の比
率でブレンドした中間画像を、インタラクティブに生成
する処理に拡張したものである。In the fourth embodiment, the image processing of the second embodiment described above is extended to processing for interactively generating an intermediate image in which four images are blended at an arbitrary ratio of these four images. It is a thing.

【００８９】図１１に、４枚の画像を用いて、インタラ
クティブに任意位置の画像を観察するための仕組みを説
明する図である。FIG. 11 is a diagram for explaining a mechanism for interactively observing an image at an arbitrary position using four images.

【００９０】いま、カメラ３００として上下左右にずら
せた位置に４台のカメラ８００、８０５、８１０、８１
５を配置して撮影を行なう。例えば、カメラ８０５はカ
メラ８００の左で撮影を行い、カメラ８１０はカメラ８
００の下で撮影を行い、カメラ８１５はカメラ８００の
左下で撮影を行う。ここで、カメラ８００で撮影した画
像をａ、カメラ８０５で撮影した画像をｂ、カメラ８１
０で撮影した画像をｃ、カメラ８１５で撮影した画像を
ｄとする。Now, as the camera 300, the four cameras 800, 805, 810, 81 are arranged at positions vertically and horizontally shifted.
5 is arranged and a picture is taken. For example, the camera 805 photographs on the left side of the camera 800, and the camera 810 indicates the camera 8
00, the camera 815 shoots at the lower left of the camera 800. Here, the image taken by the camera 800 is a, the image taken by the camera 805 is b, and the camera 81
The image captured by 0 is represented by c, and the image captured by the camera 815 is represented by d.

【００９１】この時、この４つのカメラを結ぶ四角形の
内側の位置に仮想的なカメラ８４０を仮定し、この仮想
的なカメラ８４０で撮影したとき得られるであろう画像
を、４枚の画像ａ、ｂ、ｃ、ｄの中間画像として生成す
る。At this time, a virtual camera 840 is assumed at a position inside a rectangle connecting these four cameras, and an image obtained by the virtual camera 840 is taken as four images a. , B, c, d are generated as intermediate images.

【００９２】中間画像の生成は、次のようにして行う。The intermediate image is generated as follows.

【００９３】まず、前述した第２実施例と同様に、各画
像中の領域を分離し、各領域に優先順位を与える。そし
て対応する領域毎に、対応する部分を線分によって対応
づける。そして、各領域毎に、各画素の移動ベクトルＤ
を求める。First, as in the second embodiment described above, the regions in each image are separated and each region is given a priority. Then, for each corresponding area, the corresponding portion is associated with a line segment. Then, for each area, the movement vector D of each pixel
Ask for.

【００９４】移動ベクトルＤは、次のようにして求め
る。すなわち、たとえば、画像ａについては、各領域に
ついて、画像ａ中に定義された線分の位置の画素が画像
ｂ中に定義された線分の位置に移動するような画像ａの
各画素の移動ベクトルＤａｂと、画像ａ中に定義された
線分の位置の画素が画像ｃ中に定義された線分の位置に
一致するような画像ａの各画素の移動ベクトルＤａｃ
と、画像ａ中に定義された線分の位置の画素が画像ｄ中
に定義された線分の位置に一致するような画像ａの各画
素の移動ベクトルＤａｄの３つのベクトルを、それぞれ
数１もしくは数２によって求める。そして、このように
して、求めた３つの移動ベクトルを、４枚の画像ａ、
ｂ、ｃ、ｄの画像データや領域データや優先順位のデー
タと共に記憶装置３５０に記憶しておく。The movement vector D is obtained as follows. That is, for example, for image a, for each region, the movement of each pixel of image a such that the pixel at the position of the line segment defined in image a moves to the position of the line segment defined in image b. The vector Dab and the movement vector Dac of each pixel of the image a such that the pixel at the position of the line segment defined in the image a matches the position of the line segment defined in the image c.
And the three vectors of the movement vector Dad of each pixel of the image a such that the pixel at the position of the line segment defined in the image a matches the position of the line segment defined in the image d. Alternatively, it is calculated by the equation 2. Then, in this manner, the three movement vectors thus obtained are converted into four images a,
It is stored in the storage device 350 together with image data of b, c, and d, area data, and priority data.

【００９５】次に、インタラクティブに中間画像を生成
する際には、まず、前述した仮想的なカメラ８４０の位
置をマウス３３０等によりオペレ−タより受け付ける。
いま、受け付けた位置が、図１１下部に示したＳ１，Ｓ
２，Ｓ３，Ｓ４の面積比率をもつ４つの四角形の頂点が
集まる点であるとする。ここで、４つの四角形によって
構成される大きな四角形の４頂点は、実際に画像を撮影
した４台のカメラが配置されている位置に相当する。す
なわち、カメラ８００がＳ１側の頂点に、カメラ８０５
がＳ２側の頂点に、カメラ８１０がＳ３側の頂点に、カ
メラ８１５がＳ４側の頂点に相当する位置で撮影を行っ
たものである。Next, when interactively generating an intermediate image, first, the position of the virtual camera 840 described above is received from the operator by the mouse 330 or the like.
Now, the accepted positions are S1 and S shown in the lower part of FIG.
It is assumed that the vertices of four quadrangles having an area ratio of 2, S3 and S4 are gathered. Here, the four vertices of a large quadrangle formed by the four quadrangles correspond to the positions where the four cameras that actually took the images are arranged. That is, the camera 800 has the camera 805 at the apex on the S1 side.
Is at the apex on the S2 side, the camera 810 is at the apex on the S3 side, and the camera 815 is at a position corresponding to the apex on the S4 side.

【００９６】オペレタ−より仮想的なカメラ８４０に位
置が指定されたならば、まず、画像ａの各領域毎に、当
該領域内の画素の移動ベクトルＤをＤ＝Ｓ１×Ｄａｄ＋
Ｓ２×Ｄａｃ＋Ｓ３Ｄａｂによって求める。When the position is specified by the operator on the virtual camera 840, first, for each area of the image a, the movement vector D of the pixel in the area is set to D = S1 × Dad +.
It is calculated by S2 × Dac + S3Dab.

【００９７】ただし、Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４＝１とす
る また、画像ａの画素ｉの値Ｙａと、画像ａの画素ｉの位
置を移動ベクトルＤａｂ移動した位置における画像ｂの
画素ｉの値Ｙｂと、画像ａの画素ｉの位置を移動ベクト
ルＤａｃ移動した位置における画像ｃの画素の値Ｙｃ
と、画像ａの画素ｉの位置を移動ベクトルＤａｄ移動し
た位置における画像ｄの画素の値Ｙｄを用いて、画素ｉ
を先に求めた移動ベクトルＤ分移動した位置における中
間画像の画素の値Ｙを次式によって求める。However, S1 + S2 + S3 + S4 = 1. Further, the value Ya of the pixel i of the image a, the value Yb of the pixel i of the image b at the position where the position of the pixel i of the image a is moved by the movement vector Dab, and the value of the image a The value Yc of the pixel of the image c at the position where the position of the pixel i is moved by the movement vector Dac
And the value Yd of the pixel of the image d at the position where the position of the pixel i of the image a is moved by the movement vector Dad,
The value Y of the pixel of the intermediate image at the position moved by the movement vector D previously obtained is obtained by the following equation.

【００９８】 Ｙ＝Ｓ４×Ｙａ＋Ｓ３×Ｙｂ＋Ｓ２×Ｙｃ＋Ｓ１×Ｙｄ そして、各領域について中間画像が生成できたら、この
生成された領域を元となった画像の領域に与えられた優
先順位に従って前述したように合成する。Y = S4 × Ya + S3 × Yb + S2 × Yc + S1 × Yd Then, when an intermediate image can be generated for each area, as described above according to the priority given to the area of the original image based on this generated area. To synthesize.

【００９９】このように、あらかじめ領域の分離や、各
画像間の移動ベクトルを求めておくことにより、中間画
像を生成する際は、指定された仮想的カメラの位置に従
って、インタラクティブに、当該位置で撮影したものに
相当する中間画像を速やかに生成することができる。こ
のような処理によって、例えばカメラ８００からカメラ
８１５の位置に徐々に仮想的なカメラを動かした場合に
得られると考えられる中間画像をスムーズに生成し提供
することができる。In this way, when the intermediate image is generated by dividing the regions and obtaining the movement vector between the images in advance, interactively according to the position of the designated virtual camera, It is possible to quickly generate an intermediate image corresponding to the photographed one. By such processing, it is possible to smoothly generate and provide an intermediate image that is considered to be obtained when the virtual camera is gradually moved from the camera 800 to the position of the camera 815.

【０１００】以下、本発明の第５の実施例について説明
する。The fifth embodiment of the present invention will be described below.

【０１０１】本第５実施例は、前述した第１実施例の画
像処理を、事前処理と、実時間処理に分離し、利用する
際に予め実行した事前処理結果に対して実時間処理を実
行し、リアルタイムに変形画像を生成、表示するもので
ある。In the fifth embodiment, the image processing of the first embodiment described above is separated into pre-processing and real-time processing, and the real-time processing is executed for the pre-processing result executed in advance when used. However, the modified image is generated and displayed in real time.

【０１０２】図１２に、本第５実施例に係る処理の処理
手順を示す。FIG. 12 shows the processing procedure of the processing according to the fifth embodiment.

【０１０３】図１２において、ステップ９００から９５
０が事前準備にあたり、ステップ９６０以降が実時間処
理にあたる。In FIG. 12, steps 900 to 95 are performed.
0 corresponds to advance preparation, and step 960 and subsequent steps correspond to real-time processing.

【０１０４】事前処理では、ステップ９００において、
領域分割がされ、画像が幾つかの部分画像に分割され
る。次に、ステップ９１０において、分割された領域に
対し、それぞれの物体の相対的な位置関係から優先順位
が定義される。いま、最も遠方にあると定義されたもの
を背景（９３０）とし、それ以外のものを例えば前景１
（９２０）、前景２（９２５）とする。ただし、前景１
と前景２は重なりあっていないものとする。ここまでの
処理は、前記第１実施例の処理と全く同じである。In the preprocessing, in step 900,
Region segmentation is performed and the image is segmented into several partial images. Next, in step 910, priorities are defined for the divided areas from the relative positional relationship of the respective objects. What is defined to be the farthest now is the background (930), and the other ones are, for example, the foreground 1
(920) and foreground 2 (925). However, foreground 1
And the foreground 2 does not overlap. The processing up to this point is exactly the same as the processing of the first embodiment.

【０１０５】しかし、本第５実施例では、前記第１実施
例とは異なり、画像の合成に先立ち予め、背景とされた
領域の画像９３０について、ステップ９４０において欠
損修復を行なう。すなわち、このように、予め、背景と
なる画像の欠損を修復しておくことにより、画像合成後
に欠損が生じないようにするのである。However, in the fifth embodiment, unlike the first embodiment, the defect restoration is performed in step 940 for the image 930 in the area serving as the background prior to the image synthesis. That is, in this manner, the loss of the background image is restored in advance in this manner, so that the loss does not occur after the image combination.

【０１０６】さて、次に、ステップ９５０において、前
景の全て及び修復済み背景に歪みの定義を受付け、各画
素の移動ベクトルをメモリ４００に記憶する。Now, in step 950, the definition of distortion is accepted for all of the foreground and the repaired background, and the motion vector for each pixel is stored in memory 400.

【０１０７】ここまでの処理が、事前処理として変形画
像の利用に先立ち実行され、図２の領域データ４２０、
優先順位のデータ４３０、対応する点線分のデータ４４
０、歪データ４５０がメモリ４００上に作成される。こ
れらのデータは、この後、一旦、記憶装置３５０にセ−
ブされることになる。The processing up to this point is executed prior to the use of the deformed image as preprocessing, and the area data 420 of FIG.
Priority data 430 and corresponding dotted line data 44
0, distortion data 450 is created on the memory 400. After that, these data are temporarily stored in the storage device 350.
Will be

【０１０８】さて、変形画像を利用する際には、このデ
ータを読みだし、ステップ９６０において読み出し、そ
の内容に従って、各領域の変形を行ない（ステップ９６
０）、ステップ９７０においては、変形したそれぞれの
領域の画像をステップ９１０で定義した優先順位に基づ
いて合成する。When using the deformed image, this data is read out, read out in step 960, and each area is deformed according to the contents (step 96).
0), in step 970, the images of the deformed regions are combined based on the priority order defined in step 910.

【０１０９】前述したように、以上の処理、背景の欠損
部は実時間処理の前に修復されており、ステップ９７０
においては各領域を重畳合成するだけで欠損の無い画像
が得られることになる。また、以上の処理において、変
形画像を利用する際に、変形の比率を、領域毎にオペレ
−タより受付、この比率を、この比率を受け付けた領域
について事前処理で求めた移動ベクトルに乗じた移動ベ
クトルを用いて各領域の変形を行うようにしてもよい。As described above, the above-mentioned processing and the background defect portion are restored before the real-time processing.
In, the image without loss can be obtained only by superposing and synthesizing the respective areas. Further, in the above processing, when the deformed image is used, the deformation ratio is received from the operator for each area, and this ratio is multiplied by the movement vector obtained in the preprocessing for the area for which this ratio is received. You may make it deform | transform each area | region using a movement vector.

【０１１０】以下、本発明の第６の実施例について説明
する。The sixth embodiment of the present invention will be described below.

【０１１１】本第６実施例は、前述した第２実施例にお
ける異なる視点で撮影した２つの画像の中間画像を生成
画像処理を、動画像に拡張したものである。The sixth embodiment is an extension of the image processing for generating an intermediate image of two images taken from different viewpoints in the above-described second embodiment to a moving image.

【０１１２】すなわち、図１３において、カメラ１（１
０００）で撮影した映像１０１０の中の１枚が図８にお
ける視点Ａの画像（５００）になり、カメラ２（１０２
０）で撮影した映像１０３０の中の１枚が視点Ｂ画像
（５１０）になる。このとき、同時刻ｔに撮影した１０
１０と１０３０の画像から中間視点の仮想カメラ１０５
０で撮影した画像１０４０を、前述した第２実施例と同
様に作成する。これを各時刻の画像について行なうと仮
想カメラ１０５０で撮影した時の連続動画像１０４０が
得られる。同時刻の画像を選択する為には、カメラ１と
カメラ２の同期をとって録画するか、時刻カウンター等
を映像と同時に記録しておけばよい。That is, in FIG. 13, the camera 1 (1
000), one of the images 1010 captured is the image (500) of viewpoint A in FIG.
One of the images 1030 captured in 0) becomes the viewpoint B image (510). At this time, 10 taken at the same time t
Virtual camera 105 of the intermediate viewpoint from the images of 10 and 1030
An image 1040 photographed at 0 is created in the same manner as in the second embodiment described above. When this is performed for the images at each time, a continuous moving image 1040 taken by the virtual camera 1050 is obtained. In order to select the images at the same time, either the camera 1 and the camera 2 may be recorded in synchronization with each other, or a time counter or the like may be recorded at the same time as the video.

【０１１３】このような処理により、歩いている人や走
っている車などが映像中に存在しても静止画像と同様に
異なる視点から撮影した映像の中間画像の処理が可能と
なる。By such processing, even if a walking person or a running car is present in the video, it is possible to process an intermediate image of the video taken from a different viewpoint as with the still image.

【０１１４】ただし、静止画像の場合は高々数枚の画像
について、物体領域の切り出しや対応点（線分）の定義
をすれば良かったが、動画像になると１０秒程度のもの
でも３００枚を扱うことになり人手だけでは大変な作業
量になる。However, in the case of still images, it was sufficient to cut out the object area and define corresponding points (line segments) for at most several images, but when it comes to moving images, even about 10 seconds, 300 images can be obtained. It will be handled, and the amount of work will be a great deal if only by hand.

【０１１５】このような場合、領域を分離するための物
体の輪郭切り出しについては、例えば、International
Journal of ｃomputer Vision, pp.321-331(1988)「Sna
kes:ａctive ｃontour Models」の手法を用いて、動画
像における物体の輪郭線を抽出するようにしてもよい。In such a case, as for the contour cutting out of the object for separating the area, for example, International
Journal of computer Vision, pp.321-331 (1988) "Sna
The contour line of the object in the moving image may be extracted by using the method of "kes: active contour model".

【０１１６】すなわち、Ｅ＝Ｅｉｎ＋Ｅｃ＋Ｅｉｍによ
り定義されるエネルギ−が最小になるように、すなわ
ち、各カメラで撮影した映像のそれぞれについて、順
次、輪郭線を設定していく。ここで、Ｅｉｎは、形状に
関する拘束条件を表すエネルギ−関数であり、その値
は、輪郭線がなめらかに連続している程低い値を取る。
また、Ｅｉｍは、画像特徴に対する拘束条件を表すエネ
ルギ−関数であり、たとえば、輪郭線が画像中のエッジ
に一致している程低い値を取る。また、Ｅｃは、外部か
らの制御のためのエネルギ−関数であり、たとえば、輪
郭線がオペレ−タより指定された輪郭線に一致する程低
い値を取る。That is, the contour lines are sequentially set so that the energy defined by E = Ein + Ec + Eim− is minimized, that is, for each of the images taken by each camera. Here, Ein is an energy function that represents a constraint condition regarding the shape, and its value takes a lower value as the contour line continues smoothly.
Further, Eim is an energy function that represents a constraint condition for the image feature, and takes a lower value, for example, as the contour line matches the edge in the image. Further, Ec is an energy function for external control, and takes a lower value, for example, such that the contour line matches the contour line designated by the operator.

【０１１７】このようなエネルギ−Ｅを用いて、最初の
画像の次の画像では、最初の画像中にオペレ−タから定
義された輪郭線を中心に探索して、エネルギ−Ｅが最小
になるような輪郭線を求める。また、各画像について、
直前の画像について求められた輪郭線を中心に探索し
て、エネルギ−Ｅが最小になるような輪郭線を求める。By using such an energy E, the energy E is minimized in the next image of the first image by searching around the contour line defined by the operator in the first image. Find a contour like this. Also, for each image,
A search is performed centering on the contour line obtained for the immediately preceding image, and a contour line that minimizes energy E is obtained.

【０１１８】また、対応点（線分）の対応付けについて
は、例えば信学会論文誌D-2 Vol.J76-D-2 No.1 pp.40-49
(1993/1)「動画像解析に基づく動画像合成法と景観シミ
ュレーションへの応用」の手法を用いて、サブピクセル
の精度で、初めの２枚の画像について定義した対応点
（線分）の追跡を行なうようにしても良い。すなわち、
各カメラで撮影した映像のそれぞれについて、順次、定
義した線分に対応する各画像中の特徴部分の位置を、当
該特徴部分を含む部分をテンプレ−トとして探索するこ
とにより求め、求めた位置の変化相当の変化を、定義し
た線分に施すことにより、各画像における線分の位置を
追跡すればよい。ただし、線分を形が変化する特徴に対
応して与えた場合は、この技術では追跡を行うことが困
難である。そこで、このような場合は、線分を特徴たと
えば輪郭との関係で定義し、前述した輪郭追跡の技術に
よって輪郭を追跡し、追跡した輪郭との関係で線分を定
めていくようにすればよい。Regarding the correspondence of corresponding points (line segments), for example, the journal of the Institute of Electrical Engineers of Japan D-2 Vol.J76-D-2 No.1 pp.40-49
(1993/1) Using the method of "a moving image composition method based on moving image analysis and its application to landscape simulation", the corresponding points (line segments) defined for the first two images are defined with sub-pixel accuracy. You may make it track. That is,
For each of the images captured by each camera, the position of the characteristic part in each image corresponding to the defined line segment is sequentially obtained by searching the part including the characteristic part as a template, and The position of the line segment in each image may be tracked by applying a change corresponding to the change to the defined line segment. However, when a line segment is given corresponding to a feature whose shape changes, it is difficult to trace with this technique. Therefore, in such a case, if a line segment is defined in relation to a feature such as a contour, the contour is traced by the above-described contour tracking technique, and the line segment is determined in relation to the traced contour. Good.

【０１１９】以下、本発明の第７の実施例について説明
する。The seventh embodiment of the present invention will be described below.

【０１２０】本発明は、前記第２の実施例の２つの画像
より一つの中間画像を生成する処理を、２つの画像より
複数の中間画像を生成する処理に拡張したものである。The present invention extends the process of generating one intermediate image from two images of the second embodiment to a process of generating a plurality of intermediate images from two images.

【０１２１】図１４は、カメラによって異なる視点で撮
影した２枚の画像より、この２枚の画像を撮影した２つ
の視点の間をカメラの位置を少しずつずらせて撮影した
場合に得られる複数枚の中間画像を生成するようすを示
したものである。FIG. 14 shows a plurality of images obtained when two cameras are photographed from different viewpoints and the camera positions are slightly shifted between the two viewpoints photographed. 3 is a diagram showing how to generate an intermediate image of FIG.

【０１２２】元の２枚の画像の間に、このようにして生
成した複数枚の中間画像を連続的に並べることにより、
２枚の画像を撮影した２つの視点の間を視点を移動しな
がら撮影したものに相当する動画像を生成することがで
きることになる。By successively arranging a plurality of intermediate images generated in this way between the original two images,
This makes it possible to generate a moving image corresponding to an image captured while moving the viewpoint between two viewpoints where two images were captured.

【０１２３】図１４において、画像１１００と画像１１
６０は、前記第２実施例の説明に用いた図８における視
点Ａ画像５００と視点Ｂ画像５１０に対応する。図８の
場合は画像５００と画像５１０のちょうど中間の画像を
１枚作ったが、本実施例では、画像１１３０や画像１１
４０といった複数の中間画像を作成する。In FIG. 14, image 1100 and image 11
Reference numeral 60 corresponds to the viewpoint A image 500 and the viewpoint B image 510 in FIG. 8 used in the description of the second embodiment. In the case of FIG. 8, one image exactly intermediate between the image 500 and the image 510 was created, but in the present embodiment, the image 1130 and the image 11 are created.
A plurality of intermediate images such as 40 are created.

【０１２４】いま、画像１１００と画像１１６０の類似
度に関する距離を１とする。すなわち、画像１１００か
ら距離１にある画像は画像１１００そのもの（１１２
０）であり、距離が小さくなるにしたがって画像１１０
０に関する色や形状の類似点が少なくなり、画像１１０
０からの距離が０になったときには画像１１６０からの
距離が１になるので、画像１１６０そのもの（１１５
０）になる。このとき、画像１１００からａの距離、画
像１１６０から（１−ａ）の距離にある中間画像１１３
０を作成する。同様に、画像１１００からｂの距離、画
像１１６０から（１−ｂ）の距離にある中間画像１１４
０を作成する。ここで、ａ、ｂの値は０以上１以下の正
の数とし、例えばａあるいはｂを０．１づつ変化させる
と、画像１１２０と画像１１５０を含めて１１枚の画像
ができる。Now, let us say that the distance relating to the similarity between the image 1100 and the image 1160 is 1. That is, the image at the distance 1 from the image 1100 is the image 1100 itself (112
0), and the image 110 becomes smaller as the distance becomes smaller.
The number of similarities in color and shape regarding 0 is reduced, and the image 110
Since the distance from the image 1160 becomes 1 when the distance from 0 becomes 0, the image 1160 itself (115
0). At this time, the intermediate image 113 at the distance a from the image 1100 and the distance (1-a) from the image 1160.
Create 0. Similarly, the intermediate image 114 at the distance b from the image 1100 and the distance (1-b) from the image 1160.
Create 0. Here, the values of a and b are positive numbers of 0 or more and 1 or less. For example, when a or b is changed by 0.1, 11 images including the image 1120 and the image 1150 are formed.

【０１２５】たとえば、画像１１１０からａの距離にあ
る中間画像１１３０の生成の方法は、前記第２実施例と
ほぼ同様であるが、画像１１００の画素の移動ベクトル
として数１または数２で求めた移動ベクトルＤの長さに
（１−ａ）を乗じた移動ベクトルを用い、画像１１６０
の画素の移動ベクトルとして数１または数２で求めた移
動ベクトルＤの長さにａを乗じた移動ベクトルを用い
る。また、中間画像１１３０の各画素の値としては、画
像１１００から移動してきた画素の値にａを乗じた値
と、当該画素と同じ位置に画像１１５０から移動してき
た画素の値に（１−ａ）を乗じた値との和を用いる。For example, the method of generating the intermediate image 1130 at the distance a from the image 1110 is almost the same as that of the second embodiment, but the moving vector of the pixels of the image 1100 is obtained by the equation 1 or 2. Using a movement vector obtained by multiplying the length of the movement vector D by (1-a), the image 1160
The movement vector obtained by multiplying the length of the movement vector D obtained by the equation 1 or the equation 2 by a is used as the movement vector of the pixel. As the value of each pixel of the intermediate image 1130, a value obtained by multiplying a value of a pixel moved from the image 1100 by a and a value of a pixel moved from the image 1150 to the same position as the pixel (1-a ) Is used and the sum is used.

【０１２６】これらの画像１１２０、画像１１３０、画
像１１４０、画像１１５０を連続的に表示すれば、画像
１１００から画像１１１０へなだらかなに変化する動画
像を得ることができる。If these image 1120, image 1130, image 1140 and image 1150 are continuously displayed, a moving image in which the image 1100 changes smoothly to the image 1110 can be obtained.

【０１２７】以下、本発明の第８の実施例について説明
する。The eighth embodiment of the present invention will be described below.

【０１２８】本第８実施例は、前記第１、第２実施例の
画像処理の途中において生成した領域毎の変形画像もし
くは、領域毎の中間画像を記憶装置３５０に蓄積してお
き、必要に応じて読みだして組み合わせることによって
新たな画像を作るようにしたものである。In the eighth embodiment, the deformed image for each area or the intermediate image for each area generated during the image processing of the first and second embodiments is stored in the storage device 350, if necessary. A new image is created by reading it out and combining it accordingly.

【０１２９】図１５において画像１２００と画像１２１
０は、第１実施例の説明で用いた図４での画像１００に
相当する原画像である。画像１２００と画像１２１０を
そのまま合成すると、これらは全く無関係に撮影された
画像であるから、当然不自然な画像になってしまう。In FIG. 15, image 1200 and image 121
0 is an original image corresponding to the image 100 in FIG. 4 used in the description of the first embodiment. If the image 1200 and the image 1210 are combined as they are, these images are taken unrelated to each other, and thus naturally become unnatural images.

【０１３０】そこで、本第８実施例では、画像１２００
中の物体が映っている領域を前記第１実施例と同様にし
て分離し変形し、画像１２２０あるいは画像１２３０へ
変形する。例えば、画像１２００から画像１２２０への
変形量を２倍すると画像１２３０が得られるとする。同
様に、画像１２１０を画像１２４０あるいは画像１２５
０に変形する。このようにして予め変形した画像を作成
し、蓄積しており、必要に応じて、これらの中から、視
点が類似した画像１２２０と画像１２５０を選択し、こ
れらに前後関係を指定する優先順位を与え、この優先順
位に従って両者を合成し合成画像１２６０を作成する。
本第８実施例によれば、３次元モデルを持たない物体に
ついても、それらを組み合わせた場合の画像を観察する
ことができるようになる。なお、画像１２２０、１２３
０、１２４０、１２５０としては、前記第２、第６、第
７実施例等で説明した画像処理によって生成した領域毎
の中間画像を用いるようにしてもよい。Therefore, in the eighth embodiment, the image 1200
The region in which the object inside is reflected is separated and transformed in the same manner as in the first embodiment, and transformed into the image 1220 or the image 1230. For example, it is assumed that an image 1230 is obtained by doubling the deformation amount from the image 1200 to the image 1220. Similarly, the image 1210 is converted into the image 1240 or the image 125.
Deform to 0. In this way, pre-deformed images are created and stored, and if necessary, images 1220 and 1250 with similar viewpoints are selected from these, and the priority order for specifying the context is assigned to them. Then, the two are combined according to this priority order to create a combined image 1260.
According to the eighth embodiment, it is possible to observe an image of a combination of objects that does not have a three-dimensional model. Note that images 1220 and 123
As 0, 1240, and 1250, intermediate images for each area generated by the image processing described in the second, sixth, and seventh embodiments may be used.

【０１３１】以下、本発明の第９実施例について説明す
る。The ninth embodiment of the present invention will be described below.

【０１３２】本第９実施例は、カメラ３００で撮影した
実写の画像と、コンピュ−タグラフィックスによって人
為的に作成したＣＧ画像を組み合わせて合成画像を作る
処理に前記第２実施に係る画像処理を適用したものであ
る。In the ninth embodiment, the image processing according to the second embodiment is applied to the processing for producing a composite image by combining a photographed image taken by the camera 300 and a CG image artificially created by computer graphics. Is applied.

【０１３３】図１６に、本第９実施例に係る画像処理の
流れを視覚的に示す。FIG. 16 visually shows the flow of image processing according to the ninth embodiment.

【０１３４】図１６において、画像１３００および画像
１３１０は、カメラ３００で撮影した、前記第２実施例
の説明に用いた図８における画像５００あるいは画像５
１０に相当する実写画像になる。In FIG. 16, an image 1300 and an image 1310 are taken by the camera 300 and are the image 500 or the image 5 in FIG. 8 used in the description of the second embodiment.
It becomes a photographed image corresponding to 10.

【０１３５】いま、先に説明した第２実施例の処理によ
って、画像１３００と画像１３１０の中間画像１３２０
を作成する。この際の画像１３００と画像１３１０の対
応づけは直方体を、両画像中に定義することにより行
う。いま、画像１３００に対して直方体を当てはめたの
が画像１３３０であり、画像１３１０に対して同じ直方
体を当てはめたのが画像１３４０になる。Now, by the processing of the second embodiment described above, an intermediate image 1320 between the image 1300 and the image 1310.
Create At this time, the image 1300 and the image 1310 are associated with each other by defining a rectangular parallelepiped in both images. Now, an image 1330 is obtained by applying a rectangular parallelepiped to the image 1300, and an image 1340 is obtained by applying the same rectangular parallelepiped to the image 1310.

【０１３６】このようにすると、画像１３００と画像１
３１０間の直方体の移動ベクトルは、両直方体の頂点の
座標より求めることができる。In this way, image 1300 and image 1
The movement vector of the rectangular parallelepiped between 310 can be calculated from the coordinates of the vertices of both rectangular parallelepipeds.

【０１３７】したがい、画像１３００と画像１３１０か
ら生成した中間画像のの視点は、直方体の移動ベクトル
と画像１３００もしくは画像１３１０をカメラで撮影し
たときの視点より求めることができる。そこで、この中
間画像１３２０の視点に、ＣＧシステム１３５０におい
てコンピュ−タグラフィックスを用いて生成した３次元
モデルを投影すれば、中間画像１３２０と同じ視点から
見たＣＧ画像１３６０が得られる。Therefore, the viewpoint of the intermediate image generated from the image 1300 and the image 1310 can be obtained from the movement vector of the rectangular parallelepiped and the viewpoint when the image 1300 or the image 1310 is taken by the camera. Therefore, if a three-dimensional model generated by computer graphics in the CG system 1350 is projected onto the viewpoint of the intermediate image 1320, a CG image 1360 viewed from the same viewpoint as the intermediate image 1320 is obtained.

【０１３８】したがい、このＣＧ画像１３６０と実写の
変換画像１３２０は視点が一致していると考えられるか
ら、両画像間に前後関係を表す優先順位を与え、合成す
れば３次元的に違和感のない合成画像１３７０が得られ
ることになる。Therefore, since it is considered that the viewpoints of the CG image 1360 and the converted image 1320 of the real shot are the same, if the images are given a priority order indicating the context, and they are combined, there is no sense of discomfort in three dimensions. A composite image 1370 will be obtained.

【０１３９】[0139]

【発明の効果】以上のように、本発明によれば複数の物
体が存在する画像に、任意の変形を、全体として不自然
な画像とならないように施すことのできる画像処理方法
を提供することができる。As described above, according to the present invention, it is possible to provide an image processing method capable of subjecting an image in which a plurality of objects are present to arbitrary deformation so as not to give an unnatural image as a whole. You can

【０１４０】また、物体の位置関係が異なる複数の画像
にモ−フィングを施し、中間画像を生成することのでき
る画像処理方法を提供することができる。Further, it is possible to provide an image processing method capable of generating an intermediate image by performing morphing on a plurality of images having different positional relationships of objects.

【０１４１】また、さらに、これらの画像処理方法を、
種々の用途に拡張することができる。Furthermore, these image processing methods are
It can be expanded to various uses.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施例に係る画像処理を行う装置の構
成を示したブロック図である。FIG. 1 is a block diagram showing a configuration of an apparatus that performs image processing according to an exemplary embodiment of the present invention.

【図２】本発明の実施例に係る画像処理に用いるデータ
の構成を示した図である。FIG. 2 is a diagram showing a configuration of data used for image processing according to the embodiment of the present invention.

【図３】本発明の第１実施例に係る画像処理の手順を示
したフロ−チャ−トである。FIG. 3 is a flowchart showing a procedure of image processing according to the first embodiment of the present invention.

【図４】本発明の第１実施例に係る画像処理の手順を視
覚的に示した図である。FIG. 4 is a diagram visually showing a procedure of image processing according to the first embodiment of the present invention.

【図５】本発明の第１実施例に係る画像間の対応付けの
手法を示す図である。FIG. 5 is a diagram showing a method of associating images according to the first embodiment of the present invention.

【図６】画素の移動ベクトルの求め方を示す図である。FIG. 6 is a diagram showing how to obtain a movement vector of a pixel.

【図７】本発明の第２実施例に係る画像処理の手順を示
すフロ−チャ−トである。FIG. 7 is a flowchart showing the procedure of image processing according to the second embodiment of the present invention.

【図８】本発明の第２実施例に係る画像処理の手順を視
覚的に示した図である。FIG. 8 is a diagram visually showing a procedure of image processing according to a second embodiment of the present invention.

【図９】スレテオ測距の原理を示した図である。FIG. 9 is a diagram showing a principle of the stereo distance measurement.

【図１０】本発明の第３実施例に係る画像処理の手順を
視覚的に示した図である。FIG. 10 is a diagram visually showing a procedure of image processing according to the third embodiment of the present invention.

【図１１】本発明の第４実施例に係る画像処理の概要を
視覚的に示した図である。FIG. 11 is a diagram visually showing an outline of image processing according to a fourth embodiment of the present invention.

【図１２】本発明の第５実施例に係る画像処理の手順を
示したフロ−チャ−トである。FIG. 12 is a flowchart showing the procedure of image processing according to the fifth embodiment of the present invention.

【図１３】本発明の第６実施例に係る画像処理の概要を
視覚的に示した図である。FIG. 13 is a diagram visually showing an outline of image processing according to a sixth embodiment of the present invention.

【図１４】本発明の第７実施例に係る画像処理の概要を
視覚的に示した図である。FIG. 14 is a diagram visually showing an outline of image processing according to a seventh embodiment of the present invention.

【図１５】本発明の第８実施例に係る画像処理の概要を
視覚的に示した図である。FIG. 15 is a diagram visually showing an outline of image processing according to an eighth embodiment of the present invention.

【図１６】本発明の第９実施例に係る画像処理の概要を
視覚的に示した図である。FIG. 16 is a diagram visually showing an outline of image processing according to a ninth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

３００ カメラ ３１０ 表示装置 ３２０ キーボード ３３０ マウス ３４０ プロセッサ ３５０ 記憶装置 ３６０ Ａ／Ｄ変換装置 ３７０ 高速バス 300 camera 310 display device 320 keyboard 330 mouse 340 processor 350 storage device 360 A / D conversion device 370 high-speed bus

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 威裕 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 ─────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Takehiro Watanabe 1099, Ozenji, Aso-ku, Kawasaki-shi, Kanagawa Incorporated company Hitachi, Ltd. Systems Development Laboratory

Claims (10)

【特許請求の範囲】[Claims] 【請求項１】画像を記憶する記憶装置と、画像を処理す
る処理装置と、画像を表示する表示装置とを備えた装置
において、前記処理装置によって記憶装置に記憶された
画像を加工した加工画像を生成する方法であって、 記憶装置に記憶された画像を、複数の領域に分割するス
テップと、 分割した各領域を、それぞれ加工した、複数の加工領域
画像を生成するステップと、 各加工領域画像に、それぞれ優先順位を与えるステップ
と、 各加工領域画像を、与えられている優先順位に従って、
同じ位置に異なる加工領域画像の画素が重なる場合に
は、より優先順位の高い加工領域画像の画素が有効とな
るように合成した加工画像を生成するステップと、 生成した加工画像を前記表示装置に表示するステップと
を有することを特徴とする画像処理方法。1. A processed image obtained by processing an image stored in a storage device by the processing device, the device including a storage device for storing the image, a processing device for processing the image, and a display device for displaying the image. And a step of dividing the image stored in the storage device into a plurality of areas, a step of generating a plurality of processing area images obtained by processing each of the divided areas, and a processing area. The step of giving priority to each image, and each processed area image according to the given priority,
When pixels of different processed area images overlap at the same position, a step of generating a processed image combined so that pixels of a processed area image having a higher priority becomes effective, and the generated processed image on the display device. And a step of displaying the image processing method. 【請求項２】複数の画像を記憶する記憶装置と、画像を
処理する処理装置と、画像を表示する表示装置とを備え
た装置において、前記処理装置によって記憶装置に記憶
された複数の画像の特徴の中間的な特徴を有する中間画
像を生成する方法であって、 記憶装置に記憶された複数の画像を複数の領域に分割す
るステップと、 異なる画像間で相互に対応する領域を定義するステップ
と、 対応する領域の組毎に、当該組に属する複数の領域の画
像の特徴の中間的な特徴を有する中間領域画像を生成す
るステップと、 各中間領域画像に、それぞれ優先順位を与えるステップ
と、 各中間領域画像を、与えられている優先順位に従って、
同じ位置に異なる中間領域画像の画素が重なる場合に
は、より優先順位の高い中間領域画像の画素が有効とな
るように合成した中間画像を生成するステップと、 生成した中間画像を前記表示装置に表示するステップと
を有することを特徴とする画像処理方法。2. An apparatus comprising a storage device for storing a plurality of images, a processing device for processing the images, and a display device for displaying the images, wherein the plurality of images stored in the storage device by the processing device are stored. A method of generating an intermediate image having intermediate characteristics, the method comprising: dividing a plurality of images stored in a storage device into a plurality of areas; and defining mutually corresponding areas between different images. A step of generating an intermediate area image having intermediate characteristics of the image characteristics of a plurality of areas belonging to the corresponding area group, and giving a priority to each of the intermediate area images. , Each intermediate region image according to the given priority,
When pixels of different intermediate area images overlap at the same position, a step of generating an intermediate image combined so that the pixels of the intermediate area image with higher priority become effective, and the generated intermediate image on the display device. And a step of displaying the image processing method. 【請求項３】請求項１記載の画像処理方法であって、 生成された加工画像に画素が欠損している欠損部が存在
する場合に、欠損部周囲の画素の値に基づいて値を定め
た画素を欠損部内に補填するステップを有することを特
徴とする画像処理方法。3. The image processing method according to claim 1, wherein when the generated processed image has a defective portion in which pixels are defective, the value is determined based on the value of pixels around the defective portion. An image processing method, comprising the step of filling the defective portion with the defective pixel. 【請求項４】請求項２記載の画像処理方法であって、 生成された中間画像に画素が欠損している欠損部が存在
する場合に、欠損部周囲の画素の値に基づいて値を定め
た画素を欠損部内に補填するステップを有することを特
徴とする画像処理方法。4. The image processing method according to claim 2, wherein when the generated intermediate image has a defective portion in which the pixel is defective, the value is determined based on the value of pixels around the defective portion. An image processing method, comprising the step of filling the defective portion with the defective pixel. 【請求項５】請求項２記載の画像処理方法であって対応
する領域の組毎に、当該組に属する複数の領域の画像の
特徴の中間的な特徴を有する中間領域画像を生成するス
テップにおいて、当該組に属する複数の領域の画像の各
画素を、中間領域画像の各画素と対応づけ、中間領域画
像の各画素の値を、当該画素と対応する、異なる領域の
画素が複数ある場合には、当該対応する複数の画素の値
を混合して求めた値とし、当該画素と対応する前記領域
の画素が一つしか存在しない場合には、当該対応する画
素の値とすることを特徴とする画像処理方法。5. The image processing method according to claim 2, wherein, for each corresponding group of regions, a step of generating an intermediate region image having an intermediate feature of the features of the images of the plurality of regions belonging to the set. , When each pixel of the images of the plurality of regions belonging to the set is associated with each pixel of the intermediate region image, and the value of each pixel of the intermediate region image corresponds to the pixel, when there are a plurality of pixels of different regions Is a value obtained by mixing the values of the corresponding plurality of pixels, and when there is only one pixel in the region corresponding to the pixel, the value is the value of the corresponding pixel. Image processing method. 【請求項６】画像を記憶する記憶装置と、画像を処理す
る処理装置と、画像を表示する表示装置とを備えた装置
において、前記処理装置によって記憶装置に記憶された
画像を加工した加工画像を生成する方法であって、 記憶装置に記憶された画像を、当該画像に映っている複
数の物体に対応する複数の領域に分割するステップと、 分割した各領域に優先順位を与えるステップと、 最も低い優先順位が与えられている領域内に画素が欠損
している欠損部が存在する場合に、欠損部周囲の画素の
値に基づいて値を定めた画素を欠損部内に補填するステ
ップと、 分割した各領域を、それぞれ加工した、複数の加工領域
画像を生成するステップと、 各加工領域画像を、対応する領域に与えられている優先
順位に従って、同じ位置に異なる加工領域画像の画素が
重なる場合には、より優先順位の高い加工領域画像の画
素が有効となるように合成した加工画像を生成するステ
ップと、 生成した加工画像を前記表示装置に表示するステップと
を有することを特徴とする画像処理方法。6. A processed image obtained by processing an image stored in a storage device by the processing device, in a device including a storage device for storing the image, a processing device for processing the image, and a display device for displaying the image. A step of dividing the image stored in the storage device into a plurality of areas corresponding to a plurality of objects shown in the image, and a step of giving priority to each of the divided areas, When there is a defective portion in which pixels are defective in the region given the lowest priority, a step of filling the defective portion with a pixel whose value is determined based on the values of pixels around the defective portion, Each of the divided areas is processed to generate a plurality of processed area images, and each processed area image is processed in different positions at the same position according to the priority given to the corresponding area. When the pixels of the image overlap, the step of generating a processed image combined so that the pixel of the processed area image having a higher priority becomes effective, and the step of displaying the generated processed image on the display device An image processing method characterized by the above. 【請求項７】複数の動画像を記憶する記憶装置と、動画
像を処理する処理装置と、動画像を表示する表示装置と
を備えた装置において、前記処理装置によって記憶装置
に記憶された複数の動画像の特徴の中間的な特徴を有す
る中間動画像を生成する方法であって、 記憶装置に記憶された複数の各動画像を構成する複数の
静止画像のうちから、同じ時刻に対応付けられている静
止画像の組を、順次選択するステップと、 順次、選択された各静止画像の組に属する複数の静止画
像の特徴の中間的な特徴を有する中間静止画像を生成す
るステップと、 生成された中間画像を、対応する静止画像に対応づけら
れている時刻の順に、時間的に配置した中間動画像を生
成するステップと、 生成した中間静止画像を前記表示装置に表示するステッ
プとを有し、 前記中間静止画像を生成するステップは、 選択された各静止画像の組に属する各静止画像を、それ
ぞれ複数の領域に分割するステップと、 異なる静止画像間で相互に対応する領域を定義するステ
ップと、 対応する領域の組毎に、当該組に属する複数の領域の静
止画像の特徴の中間的な特徴を有する中間領域静止画像
を生成するステップと、 各中間領域静止画像に、それぞれ優先順位を与えるステ
ップと、 各中間領域静止画像を、与えられている優先順位に従っ
て、同じ位置に異なる中間領域静止画像の画素が重なる
場合には、より優先順位の高い中間領域静止画像の画素
が有効となるように合成した中間静止画像を生成するス
テップとを有し、 各静止画像を、それぞれ前記複数の領域に分割するステ
ップは、当該静止画像に映っている特徴部分の輪郭を、
当該静止画像の属する動画像に属する複数の静止画像中
において、当該静止画像が撮影された時間の流れに沿っ
て順次追跡し、追跡した輪郭内の領域を当該静止画像よ
り分割するステップであることを特徴とする画像処理方
法。7. An apparatus comprising a storage device for storing a plurality of moving images, a processing device for processing the moving images, and a display device for displaying the moving images, the plurality of devices being stored in the storage device by the processing device. A method of generating an intermediate moving image having an intermediate feature of the moving image features of the plurality of still images included in each of the plurality of moving images stored in the storage device. Sequentially selecting a set of still images that are selected, and sequentially generating an intermediate still image having intermediate features of the features of the plurality of still images belonging to each selected still image set, The generated intermediate images are temporally arranged in the order of the times associated with the corresponding still images, and the generated intermediate still images are displayed on the display device. Then, in the step of generating the intermediate still image, each of the still images belonging to the selected set of still images is divided into a plurality of regions, and regions corresponding to different still images are defined. And a step of generating, for each set of corresponding regions, an intermediate region still image having intermediate features of the features of the still images of a plurality of regions belonging to the set, and a priority order for each intermediate region still image. If the pixels of different intermediate region still images overlap each other in the same position according to the given priority order, the pixels of the intermediate region still image with higher priority are considered to be effective. And a step of generating an intermediate still image combined so that each still image is divided into the plurality of regions. The outline of the characteristic part
In a plurality of still images belonging to a moving image to which the still image belongs, the step of sequentially tracking the still image along the flow of time when the still image is captured, and dividing the area within the tracked contour from the still image. An image processing method characterized by: 【請求項８】コンピュ−タグラフィックス画像と、その
他の複数の画像を記憶する記憶装置と、画像を処理する
処理装置と、画像を表示する表示装置とを備えた装置に
おいて、前記処理装置によって記憶装置に記憶された複
数の画像の特徴の中間的な特徴を有する中間画像と、前
記コンピュ−タグラフィックス画像を合成した合成画像
を生成する方法であって、 記憶装置に記憶された複数の画像を当該画像に映ってい
る複数の物体に対応する複数の領域に分割するステップ
と、 各領域の対応する物体の画像に対して、それぞれ既知の
形状モデルを、当該物体の画像の形状と適合するように
設定するステップと、 各領域の対応する物体の画像に対して、それぞれ設定し
た既知の形状モデル間の位置の差を求めるステップと、 求めた位置の差に応じた位置の変化を、前記記憶装置に
記憶されたコンピュ−タグラフィックス画像に与えるス
テップと、 異なる画像間で相互に対応する領域を定義するステップ
と、 対応する領域の組毎に、当該組に属する複数の領域の画
像の特徴の中間的な特徴を有する中間領域画像を生成す
るステップと、 各中間領域画像と、位置の変化を与えたコンピュ−タグ
ラフィックス画像に、それぞれ優先順位を与えるステッ
プと、 各中間領域画像と位置の変化を与えたコンピュ−タグラ
フィックス画像とを、与えられている優先順位に従っ
て、同じ位置に異なる中間領域画像の画素が重なる場合
には、より優先順位の高い中間領域画像の画素が有効と
なるように合成した合成画像を生成するステップと、 生成した合成画像を前記表示装置に表示するステップと
を有することを特徴とする画像処理方法。8. An apparatus comprising a storage device for storing a computer graphics image and a plurality of other images, a processing device for processing the image, and a display device for displaying the image, wherein the processing device A method of generating a composite image by combining an intermediate image having intermediate characteristics of the characteristics of a plurality of images stored in a storage device and the computer graphics image, the method comprising: The step of dividing the image into a plurality of regions corresponding to the plurality of objects shown in the image, and a known shape model for each image of the corresponding object in each region is adapted to the shape of the image of the object. To determine the position difference between the known shape models that have been set for the image of the corresponding object in each region. A corresponding position change to the computer graphics image stored in the storage device, defining mutually corresponding regions between different images; A step of generating an intermediate area image having intermediate characteristics of the characteristics of the images of the plurality of areas belonging to, and giving priority to each of the intermediate area images and the computer graphics image having the changed position. If the pixels of different intermediate area images are overlapped at the same position according to the given priority order, the step and each intermediate area image and the computer graphics image to which the position change is given have a higher priority order. Generating a combined image in which the pixels of the high intermediate area image are effective, and displaying the generated combined image on the display device An image processing method characterized in that it comprises a. 【請求項９】画像を記憶する記憶装置と、画像を処理す
る処理装置と、画像を表示する表示装置とを備えた画像
処理装置であって、 前記処理装置は、 記憶装置に記憶された画像を、複数の領域に分割する手
段と、 分割した各領域を、それぞれ加工した、複数の加工領域
画像を生成する手段と、 各加工領域画像に、それぞれ優先順位を与える手段と、 各加工領域画像を、与えられている優先順位に従って、
同じ位置に異なる加工領域画像の画素が重なる場合に
は、より優先順位の高い加工領域画像の画素が有効とな
るように合成した加工画像を生成する手段と、 生成した加工画像を前記表示装置に表示する手段とを有
することを特徴とする画像処理装置。9. An image processing apparatus comprising a storage device for storing an image, a processing device for processing the image, and a display device for displaying the image, wherein the processing device is an image stored in the storage device. Into a plurality of areas, a method of processing each divided area to generate a plurality of processing area images, a means of giving priority to each processing area image, and a processing area image According to the given priority,
When pixels of different processed area images are overlapped at the same position, a means for generating a combined processed image so that the pixels of the processed area image with higher priority become effective, and the generated processed image on the display device. An image processing apparatus comprising: a display unit. 【請求項１０】複数の画像を記憶する記憶装置と、画像
を処理する処理装置と、画像を表示する表示装置とを備
えた画像処理装置であって、 前記処理装置は、 記憶装置に記憶された複数の画像を複数の領域に分割す
る手段と、 異なる画像間で相互に対応する領域を定義する手段と、 対応する領域の組毎に、当該組に属する複数の領域の画
像の特徴の中間的な特徴を有する中間領域画像を生成す
る手段と、 各中間領域画像に、それぞれ優先順位を与える手段と、 各中間領域画像を、与えられている優先順位に従って、
同じ位置に異なる中間領域画像の画素が重なる場合に
は、より優先順位の高い中間領域画像の画素が有効とな
るように合成した中間画像を生成する手段と、 生成した中間画像を前記表示装置に表示する手段とを有
することを特徴とする画像処理装置。10. An image processing apparatus comprising a storage device for storing a plurality of images, a processing device for processing the image, and a display device for displaying the image, wherein the processing device is stored in the storage device. Means for dividing a plurality of images into a plurality of areas, means for defining mutually corresponding areas between different images, and, for each pair of corresponding areas, intermediate characteristics of images of a plurality of areas belonging to the pair. Means for generating an intermediate area image having specific characteristics, a means for giving priority to each intermediate area image, and each intermediate area image according to the given priority
When pixels of different intermediate area images overlap at the same position, a means for generating an intermediate image combined so that the pixels of the intermediate area image with higher priority become effective, and the generated intermediate image on the display device. An image processing apparatus comprising: a display unit.