JP4392288B2 - Image processing method, image processing program, and image processing apparatus - Google Patents
Image processing method, image processing program, and image processing apparatus Download PDFInfo
- Publication number
- JP4392288B2 JP4392288B2 JP2004156568A JP2004156568A JP4392288B2 JP 4392288 B2 JP4392288 B2 JP 4392288B2 JP 2004156568 A JP2004156568 A JP 2004156568A JP 2004156568 A JP2004156568 A JP 2004156568A JP 4392288 B2 JP4392288 B2 JP 4392288B2
- Authority
- JP
- Japan
- Prior art keywords
- trajectory
- image
- straight line
- locus
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、画像処理方法、画像処理プログラム、および、画像処理装置に関する。 The present invention relates to an image processing method, an image processing program, and an image processing apparatus.
計算機は、カメラで撮影した映像をディジタル化して記憶した、映像あるいは動画像に対して検索処理や加工処理など様々な処理を行う。動画像の画像を構成するものをフレームあるいは画像と呼ぶ。また、互いに直交する２次元の空間軸および１次元の時間軸から成る３次元空間（ｘ，ｙ，ｔ）を時空間あるいは時空間構造体などと呼び、動画像の画像面を（ｘ，ｙ）平面と考えてフレーム番号を離散的な変数と捉え、動画像の任意の画素を座標値（ｘ，ｙ，ｔ）で指定できるように配置したものを時空間動画像とよぶ。 The computer performs various processes such as a search process and a processing process on a video or a moving image in which video captured by the camera is digitized and stored. What constitutes a moving image is called a frame or an image. A three-dimensional space (x, y, t) composed of a two-dimensional space axis and a one-dimensional time axis orthogonal to each other is called a spatio-temporal structure or a spatio-temporal structure, and the image plane of a moving image is represented by (x, y The frame number is considered as a discrete variable considering a plane, and an arrangement in which arbitrary pixels of a moving image can be designated by coordinate values (x, y, t) is called a spatio-temporal moving image.
各画素およびフレーム番号が離散的であることを強調する際には（ｉ，ｊ，ｆ）と書くこともある。各画素（ｉ，ｊ，ｆ）は入力された時点で、もとの第ｆフレームの（ｉ，ｊ）にある画素の色情報を有するものと考える。この（ｉ，ｊ，ｆ）は前記連続的な時空間動画像内の格子点と捉えてもよい。また、入力された時空間動画像に数学的な変換を施した結果も時空間動画像と呼ぶ。変換の結果、入力時の画素（ｉ，ｊ，ｆ）と、変換後の同じ座標位置（ｉ，ｊ，ｆ）が示す色情報とは、必ずしも一致しないことがある。 In order to emphasize that each pixel and frame number are discrete, (i, j, f) may be written. Each pixel (i, j, f) is considered to have color information of the pixel in (i, j) of the original f-th frame at the time of input. This (i, j, f) may be regarded as a grid point in the continuous spatio-temporal moving image. A result obtained by performing mathematical transformation on the input spatiotemporal moving image is also called a spatiotemporal moving image. As a result of the conversion, the pixel (i, j, f) at the time of input may not always match the color information indicated by the same coordinate position (i, j, f) after conversion.
本明細書において、前記ディジタル化された動画像の各フレームの画像サイズ（画素数）を、幅Ｗ、高さＨとする。また、前記動画像の開始時刻をＴstart、終了時刻をＴendとするが、この時刻を、例えばフレーム数をＦとしてＴstart＝０、Ｔend＝Ｆ−１としても差し支えない。図９（ａ）は、離散的時空間動画像の例を表した図であり、図９（ｂ）は、連続的時空間動画像の例を表した図である。 In this specification, the image size (number of pixels) of each frame of the digitized moving image is defined as a width W and a height H. Further, the start time of the moving image is T start and the end time is T end , but this time may be set to T start = 0 and T end = F−1, for example, when the number of frames is F. FIG. 9A is a diagram illustrating an example of a discrete spatiotemporal moving image, and FIG. 9B is a diagram illustrating an example of a continuous spatiotemporal moving image.
なお、色情報というときは、ディジタル化された画像の各画素が有する色あるいはこれに類する情報、例えばＲＧＢ値、奥行値その他画素が持ちえる情報などを表すものとする。通常のディジタル画像において、離散的な画素位置（格子点）（ｉ，ｊ）における色情報は、その画素が表す範囲、即ちｉ≦ｘ≦ｉ＋１，ｊ≦ｙ≦ｊ＋１の範囲における色情報を代表しているものとみなすことができ、実際的には前記範囲の中心部即ち（ｘ，ｙ）＝（ｉ＋０．５，ｊ＋０．５）における色情報を表していることが多い。 Note that the color information represents the color of each pixel of the digitized image or information similar thereto, such as the RGB value, depth value, and other information that the pixel can have. In a normal digital image, color information at discrete pixel positions (lattice points) (i, j) is representative of color information in the range represented by the pixel, that is, in the range of i ≦ x ≦ i + 1, j ≦ y ≦ j + 1. In practice, it often represents color information in the center of the range, that is, (x, y) = (i + 0.5, j + 0.5).
さて、動画像の各フレームを時間軸方向に（動画像を表す面に垂直に）並べた離散的な時空間動画像は、動画像解析や映像の新しい表現のために用いられている。 A discrete spatio-temporal moving image in which frames of a moving image are arranged in the time axis direction (perpendicular to a plane representing a moving image) is used for moving image analysis and new expression of video.
例えば、カメラが平行移動しながら一定間隔で、静止している被写体を撮影したと仮定した動画像を時空間動画像として記憶し、前記時空間動画像を、時間軸に平行な平面による切り口に現れる対応点の軌跡、即ち軌跡直線の集合として表し、この軌跡直線ひとつにつき１種類の色情報を付与することで、時空間画像を少ないデータ量で記述し、動画像の任意の（ｉ，ｊ，ｆ）の位置における色情報は、（ｉ，ｊ，ｆ）を通る軌跡直線の有する（１種類の）色情報を用いて再構成する手法が特許文献１に開示されている。
For example, a moving image that is assumed to have photographed a stationary subject at a fixed interval while the camera is moving in parallel is stored as a spatio-temporal moving image, and the spatio-temporal moving image is stored in a cut surface by a plane parallel to the time axis. The trajectory of the corresponding points that appear, that is, a set of trajectory straight lines, and by adding one type of color information to each trajectory straight line, the spatio-temporal image is described with a small amount of data, and any (i, j , F) is disclosed in
しかしながら、特許文献１における画素を表す直線は極めて理想的なものであり、現実には、カメラを正確に一定速度で移動させたり、カメラの撮影方向を正確に一方向に固定することは困難である。したがって、実際は画素軌跡は直線状にはならないが、これを直線状になるように修正する方法が、特許文献２に開示されている。また、これをもとに各画素の相対的な３次元座標値を求める方法が特許文献３に開示されている。
図１０は、動画像と隠蔽の様子を表した図である。例えば、図１０で示すようにカメラがＯ1→Ｏ2→Ｏ3と進み撮影し、動画像Ｉ1→Ｉ2→Ｉ3を撮影したような場合、Ｉ1，Ｉ3には点Ｐが撮影されるが、Ｉ2においては点ＰはＱに隠蔽され、写らない。このとき、Ｐの像は、Ｉ1，Ｉ2間、Ｉ2，Ｉ3間には対応点が発見されないが、Ｉ1，Ｉ3間には対応点が存在することになる。 FIG. 10 is a diagram illustrating a moving image and a state of concealment. For example, a camera as shown in Figure 10 is advances photographed with O 1 → O 2 → O 3 , when, as photographed moving image I 1 → I 2 → I 3 , a point P in the I 1, I 3 Photographed, but at I 2 , the point P is hidden by Q and not photographed. At this time, in the image of P, no corresponding point is found between I 1 and I 2 and between I 2 and I 3 , but there is a corresponding point between I 1 and I 3 .
このように、対象が静止しており、カメラが一定の撮影間隔で平行移動して撮影したとすると、前記動画像を２次元の有限な平面とみなし、互いに直行する２次元の空間軸および１次元の時間軸から成る３次元時空間において、画像面を前記２次元の空間軸（ｘｙ平面）に平行に配置し、時間軸方向（ｔ軸）に順に並べた時空間構造体を考え、例えばｙ＝一定となる面（ｘ−ｔ面、あるいはエピポーラ面）で切断すると、離散的な時空間動画像においては、Ｐ、Ｑの像は、図１１（ａ）に示すように見えるであろう。同様に、あるフレームにおける全ての画素の軌跡を追跡していき、それを連続的に図示すると図１１（ｂ）のように見えるであろう。 As described above, when the object is stationary and the camera moves and translates at a fixed shooting interval, the moving image is regarded as a two-dimensional finite plane, and a two-dimensional space axis orthogonal to each other and 1 Consider a spatio-temporal structure in which the image plane is arranged in parallel to the two-dimensional space axis (xy plane) and arranged in order in the time axis direction (t-axis) in a three-dimensional space-time consisting of a three-dimensional time axis. When cutting on a plane where y = constant (xt plane or epipolar plane), in a discrete spatio-temporal moving image, images of P and Q will appear as shown in FIG. . Similarly, if the trajectory of all the pixels in a certain frame is traced and continuously illustrated, it will look like FIG. 11B.
しかしながら、より手前にある物体の像により、奥にある物体の像は隠蔽されてしまうため、前記隠蔽された物体が再度現れて撮影された場合は、前記軌跡直線が途切れてしまい、１つの同一の点を２つの直線で表さなければならず、非効率であるという問題がある。例えば、本来１つの像に対応するデータ（画像データや像を説明する付加データなど）は、１つで済むはずであるが、同一の像のデータが複数の像として認識されてしまうと、複数の像のデータをそれぞれ作成および記憶する必要があるため、１つでは済まなくなってしまう。そのため、保存先の記憶手段（ハードディスクなど）の資源の浪費や、像のデータ処理に必要なＣＰＵ（Central Processing Unit）の処理能力の浪費により、非効率となってしまう。 However, since the image of the object in the back is concealed by the image of the object in the foreground, when the concealed object appears again and is photographed, the trajectory straight line is interrupted and one identical This point must be represented by two straight lines, which is inefficient. For example, data corresponding to one image (image data, additional data for describing the image, etc.) should be essentially one, but if the same image data is recognized as a plurality of images, a plurality of data Since it is necessary to create and store each of the image data, it is not enough to use one. For this reason, inefficiency occurs due to waste of storage means (such as a hard disk) as a storage destination and waste of processing capacity of a CPU (Central Processing Unit) necessary for image data processing.
本発明の目的は、前記問題を解決し、時空間動画像を色情報を有する軌跡直線として記憶する際に、同一の像は同一の軌跡直線とみなし、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与する動画像データ処理方法を提供することにある。 The object of the present invention is to solve the above-mentioned problem and store the spatio-temporal moving image as a trajectory line having color information, so that the same image is regarded as the same trajectory line and is concealed at the time of photographing. An object of the present invention is to provide a moving image data processing method for assigning the same identifier to the straight line even when the line is interrupted.
前記課題を解決するため、請求項１に記載の画像処理方法は、所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成された動画像を処理する画像処理装置が行う画像処理方法である。
そして、この画像処理方法は、前記画像処理装置が、前記動画像を記憶手段に記憶する手順と、前記記憶された動画像の画素の軌跡を抽出し、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする手順と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する手順と、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順と、を実行し、前記同一の像に対応する軌跡直線を探索する手順は、所定の軌跡直線の端点を探索完了位置として前記所定の軌跡直線の延長線上を探索し、前記所定の軌跡直線とは別の軌跡直線の端点を発見したときには、その発見した端点とは反対側の前記別の軌跡直線の端点を探索完了位置として探索を続けることを特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。
In order to solve the above problem, the image processing method according to
Then, in this image processing method, the image processing apparatus extracts the procedure of storing the moving image in the storage unit, the locus of pixels of the stored moving image, and sets the moving image at the shooting position of the camera. A procedure for linearizing the locus into a locus straight line on a predetermined plane constituted by an axis along the axis corresponding to the appearance order of the images constituting the moving image, and corresponding to the same image for each locus straight line And a procedure for recording each trajectory line corresponding to the searched identical image in the storage means as the same image, and a trajectory straight line corresponding to the same image is obtained. The searching procedure is to search the extension line of the predetermined trajectory line with the end point of the predetermined trajectory line as the search completion position, and when the end point of the trajectory line different from the predetermined trajectory line is found, The point wherein the continue searching the different trajectory straight end point of the opposite side as the search completion position. Thereby, even if the same image is interrupted by being concealed at the time of photographing, the same identifier can be given to the straight line.
請求項２に記載の画像処理方法は、請求項１に記載の画像処理方法であって、前記軌跡を直線化して軌跡直線とする手順は、前記画素の軌跡が前記所定の平面において直線上に位置しない場合には、直線上に位置するように修正する処理を付加すること
を特徴とする。これにより、撮影時にカメラの手ぶれなどによって生じたノイズの影響を、抑制することができる。
The image processing method according to
請求項３に記載の画像処理方法は、請求項１または請求項２に記載の画像処理方法であって、前記同一の像に対応する軌跡直線を探索する手順は、前記軌跡直線の前記所定の平面における延長上付近に存在する軌跡直線にうち、前記軌跡直線と色情報および傾きが類似する軌跡直線を、同一の像に対応する軌跡直線とすること
を特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。
The image processing method according to
請求項４に記載の画像処理方法は、請求項１ないし請求項３のいずれか１項に記載の画像処理方法であって、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順は、前記同一の像に対応する各軌跡直線に、同一の識別子を付加して記憶手段に記録する処理とすること
を特徴とする。これにより、既存の軌跡直線のデータに対して、付加情報であるＩＤという１つのデータを付加するだけで済む。よって、既存の軌跡直線の作成プログラムからの変更は少ないので、開発コストを抑制することができる。
An image processing method according to a fourth aspect is the image processing method according to any one of the first to third aspects, wherein each locus straight line corresponding to the searched same image is defined as the same trajectory line. The procedure of recording as an image in the storage means is a process of adding the same identifier to each locus straight line corresponding to the same image and recording it in the storage means. Thus, it is only necessary to add one piece of data called ID, which is additional information, to the existing locus straight line data. Therefore, since there are few changes from the existing locus straight line creation program, the development cost can be suppressed.
請求項５に記載の画像処理方法は、請求項１ないし請求項３のいずれか１項に記載の画像処理方法であって、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順は、前記同一の像に対応する各軌跡直線を、各軌跡直線に対応する有効範囲を有する１つの軌跡直線として、記憶手段に記録する処理とすること
を特徴とする。これにより、軌跡直線のデータ構造は、１つの像に関する情報が、１つの式に収まっているので、像に関する一括した処理（所定の時刻における像の位置を検索する処理など）を、効率的に実現することが可能となる。
The image processing method according to claim 5 is the image processing method according to any one of
請求項６に記載の画像処理プログラムは、請求項１ないし請求項４のいずれか１項に記載の画像処理方法を、画像処理装置に実行させることを特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。 An image processing program according to a sixth aspect causes the image processing apparatus to execute the image processing method according to any one of the first to fourth aspects. Thereby, even if the same image is interrupted by being concealed at the time of photographing, the same identifier can be given to the straight line.
請求項７に記載の画像処理装置は、所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成された動画像を処理する画像処理装置である。
そして、この画像処理装置は、前記動画像を動画像記憶手段に記憶する時空間動画像蓄積手段と、前記記憶された動画像の画素の軌跡を抽出する画素軌跡抽出手段と、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする軌跡直線化手段と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する軌跡直線探索手段と、前記探索された同一の像に対応する各軌跡直線を、同一の像として軌跡直線記憶手段に記録する軌跡直線情報付与蓄積手段と、を有し、前記軌跡直線探索手段は、所定の軌跡直線の端点を探索完了位置として前記所定の軌跡直線の延長線上を探索し、前記所定の軌跡直線とは別の軌跡直線の端点を発見したときには、その発見した端点とは反対側の前記別の軌跡直線の端点を探索完了位置として探索を続けることを特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。
The image processing apparatus according to claim 7, wherein the optical axis is in a predetermined shooting direction that is perpendicular to the predetermined direction at each shooting position set in a straight line and at equal intervals along the predetermined direction. Is an image processing apparatus that processes a moving image configured by arranging images captured by a camera that captures a stationary subject in the order of the capturing positions.
The image processing apparatus includes a spatiotemporal moving image storage unit that stores the moving image in a moving image storage unit, a pixel locus extracting unit that extracts a locus of pixels of the stored moving image, and a moving image of the moving image. Trajectory straightening means for linearizing the trajectory into a trajectory straight line on a predetermined plane constituted by an axis along the shooting position of the camera and an axis corresponding to the appearance order of the images constituting the moving image, and the trajectory For each straight line, trajectory straight line search means for searching for a trajectory straight line corresponding to the same image, and trajectory straight line information for recording each trajectory straight line corresponding to the searched same image in the trajectory straight line storage means as the same image. possess a grant storage means, wherein the trajectory line search means, the end point of the predetermined moving straight on the extension line of the predetermined trajectory straight searched as a search completion position, different from the predetermined trajectory linear When it discovers endpoint trace line is from its discovered endpoint, characterized in that continue searching the different trajectory straight end point of the opposite side as the search completion position. Thereby, even if the same image is interrupted by being concealed at the time of photographing, the same identifier can be given to the straight line.
請求項８に記載の画像処理方法は、請求項７に記載の画像処理方法であって、前記画像処理装置は、前記軌跡を直線化して軌跡直線とするときに、前記画素の軌跡が前記所定の平面において直線上に位置しない場合には、直線上に位置するように修正する手段
をさらに有することを特徴とする。これにより、撮影時にカメラの手ぶれなどによって生じたノイズの影響を、抑制することができる。
The image processing method according to claim 8 is the image processing method according to claim 7, wherein the trajectory of the pixel is the predetermined trajectory when the image processing apparatus linearizes the trajectory into a trajectory straight line. If it is not located on a straight line in the plane of the above, it further has means for correcting it so as to be located on the straight line. Thereby, it is possible to suppress the influence of noise caused by camera shake or the like during photographing.
本発明は、時空間動画像を色情報を有する軌跡直線として記憶する際に、同一の像は同一の軌跡直線の一部として識別可能となる、という効果がある。 The present invention has an effect that when a spatiotemporal moving image is stored as a locus straight line having color information, the same image can be identified as a part of the same locus straight line.
図１は本実施形態の構成を表したものである。図１に示す画像処理装置１は、カメラ１０によって撮影された動画像を処理する。
なお、動画像は、所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成される。
前記各撮影位置で動画像を撮影するために、例えば、1台のカメラ１０は、静止した被写体を、撮影対象とする。そして、カメラは、移動方向に向かって一定速度（所定の速度）で移動しつつ、移動方向と垂直な向きに向けられた光軸の方向に位置する静止した被写体を、一定の間隔（所定の時間間隔）で撮影し続ける。ここで、カメラに対する制約（一定速度で移動、移動方向と垂直な向きに向けられた光軸、および、一定の間隔で撮影）は、厳密に守られていれば理想的である。しかし、本発明は、必ずしも理想的な環境に限定されるものではなく、多少のぶれを許容する。なお、ぶれの補正手法については、特許文献２に記載した手法として、後記する。
また、前記各撮影位置で動画像を撮影するために、例えば、1台のカメラ１０が移動しつつ撮影する替わりに、複数台のカメラ１０を、前記所定の撮影位置に設置して、同じ所定の撮影方向に光軸を向けて、画像を撮影してもよい。この場合には、カメラ１０の各撮影位置の順序に従って、動画像を構成する各画像のフレーム番号が決定される。ここでは、前記所定の撮影位置に設置された複数台のカメラ１０の撮影時刻は、動画像を構成する画像の出現順序とは、関係しない。
FIG. 1 shows the configuration of this embodiment. An
The moving image is stationary with the optical axis directed in a predetermined shooting direction that is perpendicular to the predetermined direction at each shooting position set in a straight line and at equal intervals along the predetermined direction. Images taken by a camera that shoots the photographed subject are arranged in the order of the shooting positions.
In order to shoot a moving image at each shooting position, for example, one camera 10 sets a stationary subject as a shooting target. Then, the camera moves at a constant speed (predetermined speed) toward the moving direction, and moves a stationary object positioned in the direction of the optical axis directed in a direction perpendicular to the moving direction at a predetermined interval (predetermined Continue shooting at time intervals. Here, it is ideal if the restrictions on the camera (moving at a constant speed, optical axis oriented in a direction perpendicular to the moving direction, and shooting at a constant interval) are strictly observed. However, the present invention is not necessarily limited to an ideal environment, and allows some blurring. The blur correction method will be described later as the method described in
Further, in order to shoot a moving image at each shooting position, for example, instead of shooting while one camera 10 is moving, a plurality of cameras 10 are installed at the predetermined shooting positions, and the same predetermined Images may be taken with the optical axis directed in the shooting direction. In this case, the frame numbers of the respective images constituting the moving image are determined according to the order of the respective photographing positions of the camera 10. Here, the shooting times of the plurality of cameras 10 installed at the predetermined shooting position are not related to the appearance order of the images constituting the moving image.
そして、画像処理装置１は、動画像をディジタル化して蓄積する時空間動画像蓄積手段１１０と、前記ディジタル化され、記憶された動画像の開始フレームの画素の軌跡を抽出する画素軌跡抽出手段１２０と、前記画素の対応点軌跡を直線化する軌跡直線化手段１３０と、軌跡直線化手段１３０によって作成された軌跡直線について、同一の像に対応する軌跡直線を探索する軌跡直線探索手段２００と、軌跡直線探索手段２００によって探索された同一の像に対応する各軌跡直線に、同一の識別子を付与する軌跡直線情報付与・蓄積手段３００と、を有する。
Then, the
なお、画像処理装置１は、演算処理を行う際に用いられる記憶手段としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備えるコンピュータとして構成される。なお、メモリは、ＲＡＭ（Random Access Memory）などにより構成される。演算処理は、ＣＰＵ（Central Processing Unit）によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。
The
さらに、画像処理装置１は、時空間動画像蓄積手段１１０により蓄積された動画像を格納する動画像記憶手段２１と、軌跡直線情報付与・蓄積手段３００により付与された軌跡直線を格納する軌跡直線記憶手段２２と、を有する。これらの記憶手段は、メモリやハードディスクなどのハードウェア資源によって実現される。
Further, the
ここで、時空間動画像蓄積手段１１０、画素軌跡抽出手段１２０、および、軌跡直線化手段１３０は、特許文献２あるいは特許文献３に記載の方法を用いてもよい。望ましくは、各直線中の１点を指定すれば、該直線の時空間動画像中における直線の傾きが識別でき、前記直線が一意的に特定できるように、直線を記憶しておいてもよい。さらに、画素軌跡抽出手段１２０は、開始フレームには撮影されず、途中フレームに初めて像が現れる物体の像である画素についても軌跡の追跡を行い、時空間動画像内の全ての格子点（ｉ，ｊ，ｆ）の画素が、前記軌跡に含まれるまで追跡処理を行う。
Here, the spatio-temporal moving
よって、画像処理装置１は、特許文献２あるいは特許文献３に記載の手法を採用することにより、もとの動画像から、軌跡直線化された時空間動画像を、撮影時刻やカメラの撮影位置が適正なものとなるように修正することができる。例えば、直線時空間動画像のｙ＝一定の面で切ったｘ−ｔ平面では、例えば、手ぶれの影響により本来は直線とはならないことがあるが、前記特許文献２に記載の方法により、撮影時刻をずらしたり、あるいは撮影された像の位置をｘ方向、ｙ方向にずらすことによって直線化を行ってもよい。
Therefore, the
以下、説明のため、本発明に適用可能である特許文献２記載の方法について説明を行う。図２はカメラがワールド座標系のＸ軸に沿って平行移動しており、正確に等間隔に撮影がなされている例を示している。図２において、Ｐはワールド座標系の点であり、撮影の対象となるものである。また、Ｔ1，Ｔ2，．．．は撮影時刻であり、Ｘ1，Ｘ2，．．．は撮影時のカメラ位置を表す。ｘ1，ｘ2，．．．はそれぞれ、Ｔ1，Ｔ2，．．．において撮影されたＰの像である。ここで、添字番号はフレーム番号に相当する、
Hereinafter, for the sake of explanation, the method described in
カメラが正確に一定の速度でＸ軸上を移動していれば、通常のカメラでは、ほぼ一定の時間間隔で撮影されるから、このような理想的な状況では、画像上におけるｙ＝一定のスキャンラインをｘ−ｔ平面（エピポーラ面）上に並べると、図３に示すように、特徴点軌跡が一直線に並ぶ。なお、図３に示すｘ−ｔ平面（エピポーラ面）は、カメラの進行方向のＸ軸と、時間軸とを有する平面である。 If the camera is moving on the X axis at a precise constant speed, images are taken at a substantially constant time interval with a normal camera. Therefore, in such an ideal situation, y = constant on the image. When the scan lines are arranged on the xt plane (epipolar plane), the feature point trajectories are arranged in a straight line as shown in FIG. Note that the xt plane (epipolar plane) shown in FIG. 3 is a plane having an X axis in the moving direction of the camera and a time axis.
ただし、説明のため、撮影画像の座標ｘがワールド座標系の座標Ｘに平行であり、撮影画像の座標ｙがワールド座標系の座標Ｙに平行であるとしている。 However, for the sake of explanation, it is assumed that the coordinate x of the captured image is parallel to the coordinate X of the world coordinate system, and the coordinate y of the captured image is parallel to the coordinate Y of the world coordinate system.
しかしながら、実際は、カメラの平行移動速度が一定であるとは限らないので、カメラの撮影の時間間隔が一定であっても、実際の撮影位置が異なる場合がある。 However, since the parallel movement speed of the camera is not always constant, the actual shooting position may be different even if the camera shooting time interval is constant.
図４はこの事情を表している。この図において、撮影時刻Ｔ2においては、本来、Ｘ2の位置で撮影されるべきものであるが、実際には移動速度が一定ではないので、Ｘ2´の位置で撮影されている。このような状況でエピポーラ面上に特徴点軌跡を並べると、図５（ｂ）のようになるであろう。即ち、撮影の時間間隔は一定であっても、特徴点軌跡が一定に並ばない。 FIG. 4 illustrates this situation. In this figure, at the photographing time T 2 , the image should be originally taken at the position X 2 , but since the moving speed is actually not constant, the image is taken at the position X 2 ′. If feature point trajectories are arranged on the epipolar surface in such a situation, it will be as shown in FIG. In other words, even if the photographing time interval is constant, the feature point trajectories are not aligned.
従って、図５（ｂ）のような入力があった際に、これが図５（ｃ）のごとく撮影されたように修正を行う、即ち、時刻Ｔjに位置Ｘj´から撮影された像を、あたかも、Ｔj´に位置Ｘj´から撮影された像であるかのようにみなす。即ち、エピポーラ面上においては、図５（ｃ）に示すような修正を施すことになる。 Therefore, when there is an input as shown in FIG. 5 (b), it is corrected as if it was photographed as shown in FIG. 5 (c), that is, an image photographed from position X j ′ at time T j. As if it were an image taken from position X j ′ at T j ′. That is, the correction as shown in FIG. 5C is performed on the epipolar surface.
実際に修正された軌跡直線を用いて、時刻Ｔjの画像を生成する際には、前記修正した軌跡直線とｔ＝Ｔjの面との交点を求めればよい。 When an image at time T j is generated using the actually corrected trajectory line, the intersection of the corrected trajectory line and the surface of t = T j may be obtained.
なお、撮影時刻のみならず、カメラの撮影方向のブレについても、撮影時刻の修正ではなく像のｘ，ｙ位置に対し、前記同様の特許文献２記載の処理を行ってもよい、 Note that not only the shooting time but also the blurring in the shooting direction of the camera may be performed not on the shooting time but on the x and y positions of the image, as described above.
前記時空間動画像蓄積手段１１０、画素軌跡抽出手段１２０、および、軌跡直線化手段１３０により、軌跡直線について、それぞれ、両端の位置、すなわち追跡の開始位置および時刻Ｐ0（ｘ0，ｙ0，ｔ0）、追跡の終了位置および時刻Ｐ1（ｘ1，ｙ1，ｔ1）が既知となり、また、前記軌跡直線は同一の像であるから、直線全体にわたり、同じ色情報Ｃを持たせてもよい。従って、前記軌跡直線は、両端の時空間座標値および色情報（Ｐ0，Ｐ1，Ｃ）を有する、なお、軌跡直線は前記時空間動画像蓄積手段１１０、画素軌跡抽出手段１２０、および、軌跡直線化手段１３０により時空間的に修正が施されているため、前記座標値も、離散的な整数値であるとは限らない。 With the spatio-temporal moving image storage means 110, the pixel trajectory extraction means 120, and the trajectory linearization means 130, the trajectory straight line is positioned at both ends, that is, the tracking start position and time P 0 (x 0 , y 0 , t 0 ), the tracking end position and the time P 1 (x 1 , y 1 , t 1 ) are known, and the locus straight line is the same image, so that the same color information C is given to the entire straight line. May be. Therefore, the trajectory line has spatio-temporal coordinate values and color information (P 0 , P 1 , C) at both ends, and the trajectory line is the spatio-temporal moving image storage means 110, the pixel trajectory extraction means 120, and Since the correction is performed in time and space by the trajectory straightening means 130, the coordinate value is not necessarily a discrete integer value.
この段階で、少なくとも各軌跡直線は一意的に識別可能であり、以下、前記識別された第ｋ番目の軌跡直線をＬkと書くことにする。この場合、第ｋ番目の軌跡直線Ｌkは、両端の時空間座標値および色情報（Ｐk0，Ｐk1，Ｃk）を有する。 At this stage, at least each trajectory line is uniquely identifiable, and hereinafter, the identified kth trajectory line is written as L k . In this case, the kth locus straight line L k has the spatio-temporal coordinate values and color information (P k0 , P k1 , C k ) at both ends.
この段階で動画像として再生する際には、前記修正後の軌跡直線の集合Ｌkを時空間に配置し、ｔ＝一定で、かつ、ｔの間隔が一定であるような面で切断した切り口（断面）を、動画像の各フレームとすればよい。その際、前記軌跡直線が必ずしも離散的な格子点位置（ｉ，ｊ，ｆ）の中心部、即ち（ｉ＋０．５，ｊ＋０．５，ｆ）を通過するとは限らないが、その際は、ｆ＝一定の面において、最も（ｉ，ｊ）の中心部即ち（ｉ＋０．５，ｊ＋０．５，ｆ）に近い位置で交差する直線の色情報を（ｉ，ｊ，ｆ）の色情報としてもよい。 At the time of reproduction as a moving image at this stage, the modified set of trajectory straight lines L k is arranged in space-time, and the cut surface is cut by a plane where t = constant and the interval of t is constant. The (cross section) may be each frame of the moving image. At this time, the locus straight line does not necessarily pass through the center of the discrete lattice point position (i, j, f), that is, (i + 0.5, j + 0.5, f). = The color information of the straight line intersecting at the position closest to the center of (i, j), i.e., (i + 0.5, j + 0.5, f) on a certain plane is also used as the color information of (i, j, f) Good.
さて、前記修正後の時空間動画像において、ある画素の時空間における位置は、座標（ｘ，ｙ，ｔ）あるいは離散的に表して（ｉ，ｊ，ｆ）で一意的に決定付けられる。ここで（ｉ，ｊ）は、フレームｆにおける画素位置である。 In the spatiotemporal moving image after correction, the position of a certain pixel in the spatiotemporal space is uniquely determined by coordinates (x, y, t) or discretely (i, j, f). Here, (i, j) is a pixel position in the frame f.
軌跡直線化手段１３０により各画素は時空間動画像内の軌跡直線として表せており、前記（ｉ，ｊ，ｆ）を指定することにより、この位置（ｉ，ｊ，ｆ）が、どの軌跡直線に属するかは容易に知ることができる。例えば、各Ｌkは両端位置が既知の線分であるから、線分を含む時空間（ｘ，ｙ，ｔ）内の直線の方程式を、（ｘ，ｙ，ｔ）∈［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］の範囲において求め、例えばｔ＝ｆにおける交点座標値（ｘ´，ｙ´）がｉ≦ｘ´≦ｉ＋１，ｊ≦ｙ´≦ｊ＋１であって、最も（ｘ´，ｙ´）＝（ｉ＋０．５，ｊ＋０．５）に近いようなＬkを求める軌跡直線としてもよい。
Each pixel can be represented as a trajectory straight line in the spatio-temporal moving image by the trajectory straightening means 130, and by specifying (i, j, f), the position (i, j, f) indicates which trajectory straight line. You can easily know if it belongs to. For example, since each L k is a line segment whose end positions are known, a linear equation in the space-time (x, y, t) including the line segment is expressed as (x, y, t) ε [0, W]. X [0, H] x [T start , T end ], for example, the intersection coordinate value (x ′, y ′) at t = f is i ≦ x ′ ≦ i + 1, j ≦ y ′ ≦
軌跡直線探索手段２００は、前記直線化された軌跡（軌跡直線とよぶ）のうち、同一の被写体の像である異なる軌跡直線があるかどうかを探索する。 The trajectory straight line search means 200 searches for a different trajectory straight line that is an image of the same subject among the linearized trajectories (referred to as trajectory straight lines).
例えば図１０におけるＰのように、当初は動画像に撮影されたが、その後別の被写体Ｑに隠蔽されたため撮像されず、再度現れたため撮像されたような場合は、Ｐの像を表す時空間動画像における軌跡直線が、Ｑの像を表す時空間動画像における軌跡直線によって隠蔽されてしまう。 For example, as in P in FIG. 10, when a moving image was originally captured but was not captured because it was concealed by another subject Q and appeared again because it appeared again, a space-time representing the image of P The trajectory line in the moving image is concealed by the trajectory line in the spatiotemporal moving image representing the Q image.
特許文献１、特許文献２あるいは特許文献３では、この、同じ物体の像である軌跡直線が隠蔽された場合、切断の前後における同一性については記載がない。
In
軌跡直線探索手段２００においては、まず、ｋ番目の軌跡直線Ｌkについて、全てに一意的な識別情報を付与する。前記識別情報は、各直線を区別できればどのような形式でもよいが、以下では、説明を簡単にするため、軌跡直線の番号と同一の番号Ｌkを付与し、Ｌk（Ｐk0，Ｐk1，Ｃk，ｋ）とする。 In the locus straight line search means 200, first, unique identification information is assigned to all the kth locus straight lines L k . The identification information may be in any format as long as each straight line can be distinguished, but in the following, for the sake of simplicity, the same number L k as the number of the locus straight line is given and L k (P k0 , P k1 , C k , k).
次に、Ｌkにおいて、開始位置時刻ｔk0、終了位置時刻ｔk1が時空間動画像の時間範囲の両端時刻Ｔstart，Ｔendに満たないとき、前記軌跡直線Ｌkを、仮想的に１フレーム分ずつ延長していき、時空間の範囲［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］の境界ｘ＝０またはｘ＝Ｗまたはｙ＝０またはｙ＝Ｈまたはｔ＝Ｔstart，Ｔendに達するか、または、その前に同一物の像である他の軌跡直線Ｌkが存在するかどうかを探索する。 Then, the L k, starting position and time t k0, across time T start time range of space-time moving image end position time t k1, when less than T end The, the trajectory straight L k, virtually 1 Extending frame by frame, boundary of space-time range [0, W] × [0, H] × [T start , T end ] x = 0 or x = W or y = 0 or y = H or t = T start , T end are reached, or another trajectory line L k that is an image of the same object exists before that.
１フレーム分延長する際に、例えば、前記軌跡直線Ｌkを、開始時刻より過去の１フレームに延長する際に、ｔk0−１において、前記直線が交差する画素位置を（ｘr，ｙr）とする。この画素位置は前記軌跡直線Ｌkがｔ＝ｔk0−１において交差する位置であるから、容易に求めることができる。 When extending for one frame, for example, when extending the locus straight line L k to one frame past the start time, the pixel position at which the straight line intersects at t k0 −1 is (x r , y r ). This pixel position can be easily obtained because the locus straight line L k intersects at t = t k0 −1.
前記画素位置（ｘr，ｙr）、あるいは前記画素位置から所定の距離以下にある位置を終了位置とする他の軌跡直線Ｌrがあれば、ＬkとＬrとで直線の傾きと色情報とを比較し、いずれもその差が所定の閾値未満であれば同一の像であるとみなし、ＬkとＬrに同一の識別情報を付与し、次に、Ｌrに対して同様の処理を行い、画素（ｘr，ｙr）を終了位置とする他の軌跡直線がなければ、時刻を１フレーム過去に戻しｔk0−２において、同様の処理を行う。 If there is another locus straight line L r whose end position is the pixel position (x r , y r ) or a position that is not more than a predetermined distance from the pixel position, the slope and color of the straight line between L k and L r compares the information, both considered the difference between the same image is less than a predetermined threshold value, given the same identification information to the L k and L r, then, the same relative L r If there is no other locus straight line having the pixel (x r , y r ) as the end position, the time is returned to the previous frame and the same process is performed at t k0 -2.
以上の処理を、前記時空間動画像の境界を開始点とする直線が発見されるか、あるいは、探索位置が前記境界に達するまで繰り返す。終了位置についても同様の処理を行う。 The above processing is repeated until a straight line starting from the boundary of the spatiotemporal moving image is found or the search position reaches the boundary. Similar processing is performed for the end position.
図６は軌跡直線の同一性の探索処理の例を表している。図６（ａ）は軌跡直線１について、探索処理を行おうとしているところであり、直線の傾きから１フレーム前の画素位置（ｘr，ｙr）について調べる。
FIG. 6 shows an example of trajectory straight line identity search processing. FIG. 6A shows that the search process is going to be performed for the locus
図６（ｂ）は、前記（ｘr，ｙr）において、終了位置を持つ他の軌跡直線がなかったため、さらに１フレーム前の画素について調査を行うところである。すると、前記１フレーム前の調査の対象となる画素は、軌跡直線２の終了位置と一致しており、また、直線の傾きおよび色情報が類似していたため、図６（ｃ）のように同一の像の軌跡直線であると判定している。
In FIG. 6B, there is no other trajectory line having an end position in the above (x r , y r ), so that the pixel one frame before is further investigated. Then, the pixel to be investigated one frame before is coincident with the end position of the locus
軌跡直線情報付与・蓄積手段３００は、以上のようにして、同一の像であると判定された複数の軌跡直線に対し、一意的な同一の識別子を付与し、軌跡直線記憶手段２２に記憶する。
The trajectory straight line information adding / accumulating
その際、例えば、前記同一の像であると判定された複数の軌跡直線Ｌk，Ｌrに対し、実体は異なる直線であるが識別子が同一であると解釈しえるように、即ち、
Ｌk：｛Ｐk0，Ｐk1，Ｃk，ｋ｝
Ｌr：｛Ｐr0，Ｐr1，Ｃr，ｋ｝
のような形式で記憶してもよい。
At this time, for example, the plurality of locus straight lines L k and L r determined to be the same image may be interpreted as having different identifiers but the same identifiers, that is,
L k : {P k0 , P k1 , C k , k}
L r : {P r0 , P r1 , C r , k}
You may memorize | store in a format like.
あるいは、同一の直線であるが、像として現れる範囲を複数持つような情報として、
Ｌk：｛｛Ｐk0，Ｐk1｝，｛Ｐr0，Ｐr1｝，．．．，Ｃr，ｋ｝
のような形式で記憶してもよい。
Alternatively, as information that has the same straight line but multiple ranges that appear as images,
L k : {{P k0 , P k1 }, {P r0 , P r1 },. . . , C r , k}
You may memorize | store in a format like.
以下に本発明をコンピュータで読み取り可能なプログラムとして実施した例を示す。図７および図８は、本発明の実施形態の処理の流れを表している。本実施形態では、処理対象の時空間動画像の位置（ｘ，ｙ，ｔ）の範囲を［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］とし、前記時空間の境界を、ｘ＝０，ｘ＝Ｗ，ｙ＝０，ｙ＝Ｈ，ｔ＝Ｔstart，ｔ＝Ｔendのいずれかとする。 An example in which the present invention is implemented as a computer-readable program is shown below. 7 and 8 show the processing flow of the embodiment of the present invention. In the present embodiment, the range of the position (x, y, t) of the spatiotemporal moving image to be processed is [0, W] × [0, H] × [T start , T end ], and the boundary of the spatiotemporal Is one of x = 0, x = W, y = 0, y = H, t = T start , and t = T end .
まず、図７のＳ１１０にて動画像をカメラ１０から読み込み、時空間動画像として動画像記憶手段２１に記憶する。本実施形態では、撮像画面の上向きをｙ軸、右向きをｘ軸とし、ワールド座標系において、前記ｘ軸と平行な方向にカメラを平行移動しながら、一定間隔で撮影したものを対象の動画像とする。以下の説明において、ｔ方向は撮影した時間方向で、離散的には動画像のフレーム番号を指すものとする。 First, in S110 of FIG. 7, a moving image is read from the camera 10 and stored in the moving image storage unit 21 as a spatiotemporal moving image. In the present embodiment, the upside of the imaging screen is the y axis and the right side is the x axis, and in the world coordinate system, the moving image of the target is taken at a constant interval while moving the camera in a direction parallel to the x axis. And In the following description, the t direction is the time direction in which the image is taken, and discretely indicates the frame number of the moving image.
なお、前記時間範囲［Ｔstart，Ｔend］はユーザの入力を受け付けてもよい。 The time range [T start , T end ] may accept user input.
次にＳ１２０にて、前記時空間動画像中に含まれる、望ましくは全画素の軌跡を抽出する。具体的な処理は特許文献２または特許文献３のとおりである。このとき、望ましくは、前記時空間動画像の範囲内にある任意位置の格子点（ｉ，ｊ，ｆ）が軌跡のどれかに含まれる。
In step S120, the trajectories of all the pixels included in the spatiotemporal moving image are extracted. Specific processing is as described in
次にＳ１３０にて、前記軌跡を直線となるように修正する。具体的な処理は特許文献２または特許文献３のとおりである。
Next, in S130, the locus is corrected to be a straight line. Specific processing is as described in
このとき、軌跡直線の開始フレーム番号または時刻をｔ0、開始画素位置（ｘ0，ｙ0）、終了フレーム番号または時刻ｔ1、終了画素位置（ｘ1，ｙ1）として、Ｐ0＝（ｘ0，ｙ0，ｔ0）、Ｐ1＝（ｘ1，ｙ1，ｔ1）とおく。 At this time, the start frame number or time of the locus straight line is t 0 , the start pixel position (x 0 , y 0 ), the end frame number or time t 1 , and the end pixel position (x 1 , y 1 ), P 0 = ( x 0 , y 0 , t 0 ) and P 1 = (x 1 , y 1 , t 1 ).
Ｌkに付随することを明確にするためにＰk0＝（ｘk0，ｙk0，ｔk0）、Ｐk1＝（ｘk1，ｙk1，ｔk1）、としてもよい。 P k0 = (x k0 , y k0 , t k0 ), P k1 = (x k1 , y k1 , t k1 ) may be used in order to clarify that they are associated with L k .
次にＳ１４０にて、前記軌跡直線を一意的に特定できるように識別化処理を行う。本実施形態では、ｋ番目の軌跡直線に識別子ｋを付与してＬkとして記憶する。各Ｌkは、｛Ｐk0，Ｐk1，Ｃk，ｋ｝という情報を付与され、記憶される。また、前記情報に直線の傾きｍkを付与してもよい。 Next, in S140, identification processing is performed so that the locus straight line can be uniquely specified. In the present embodiment, by applying the identifier k a k-th trajectory straight stored as L k. Each L k is provided with information of {P k0 , P k1 , C k , k} and stored. Further, a straight line slope m k may be given to the information.
特許文献２または特許文献３の実施形態を踏襲すれば、前記修正後の軌跡直線は、時空間動画像において直線となる。以上の処理により、前記対象区間内動画像の、任意のフレーム番号における任意の位置の画素を選択すると、前記軌跡直線が一意的に特定できる。
If the embodiment of
次に、Ｓ２０１にて、前記Ｌkを全て未調査リストに記憶する。番号ｋを全て前記未調査リストに記憶してもよい。ここで、前記軌跡直線の数をＫとしておく。 Next, in S201, all the L k are stored in the unsearched list. All the numbers k may be stored in the unsearched list. Here, let K be the number of the locus straight lines.
次に、Ｓ２１０にて、未調査リストのチェックを行い、まだＬkがリストに残っていれば（Ｓ２１０、Ｙｅｓ）、Ｓ２２１に進み、全て調査済みであれば（Ｓ２１０、Ｎｏ）、Ｓ３１０に進む。 Next, in S210, checks the uninvestigated list, if still L k is left in the list (S210, Yes), the process proceeds to S221, if all been examined (S210, No), the process proceeds to S310 .
Ｓ２２１では、探索完了位置を初期値Ｐk0（ｘk0，ｙk0，ｔk0）とし、後述のｔr＝ｔk0としてＳ２２０へ進む。 In S221, the search completion position as an initial value P k0 (x k0, y k0 , t k0), the process proceeds to S220 as t r = t k0 below.
Ｓ２２０では、前記探索完了位置が前記境界上かどうかをチェックする。そうであればＳ２３１に進み、そうでなければｔr＝ｔr−１としてＳ２２２に進む。 In S220, it is checked whether the search completion position is on the boundary. If so, the process proceeds to S231, and if not, t r = t r −1 and the process proceeds to S222.
Ｓ２２２では、前記探索位置の１つ前のフレームにおける交点Ｒ（ｘr，ｙr，ｔr）を求め、前記Ｒを含む画素位置Ｍを求める、初期においては、ｔr＝ｔk0−１である。ｔrが小数点以下を含むときは整数値に丸めてもよい。同様に、Ｒの（ｘr，ｙr）が小数点以下を含むときは、整数値に丸めてよく、前記（ｘr，ｙr）を含む離散的な画素位置をＭとする。 In S222, an intersection R (x r , y r , tr ) in the previous frame of the search position is obtained, and a pixel position M including the R is obtained. Initially, t r = t k0 −1. is there. It may be rounded to integer values when t r includes decimals. Similarly, when (x r , y r ) of R includes a fractional part, it may be rounded to an integer value, and a discrete pixel position including the above (x r , y r ) is assumed to be M.
Ｓ２２３では、前記Ｍを終了位置とするＬrがリストに残っているかどうかを調べ、存在すればＳ２４０に、しなければＳ２６０に進む。このとき、Ｌrの終了位置が小数点位置を含むときは前記のとおり丸めた結果がＭに含まれるかどうかにより、評価する。 In S223, it is checked whether or not L r having M as the end position remains in the list. If it exists, the process proceeds to S240, and if not, the process proceeds to S260. At this time, when the end position of L r includes the decimal point position, the evaluation is performed depending on whether the rounded result is included in M or not.
Ｓ２４０はＬkの傾きの絶対値をｍk、色をＣkとし、Ｌrの傾きの絶対値をｍr、色をＣrとする。 S240 is the absolute value of the slope of L k m k, the color and C k, the absolute value of the slope of L r m r, the color and C r.
Ｓ２５０は前記傾きの絶対値の差、および色の情報の差を、与えられた閾値ｅで評価する。
｜ｍk−ｍr｜＋｜Ｃk−Ｃr｜＜ｅ
In S250, the difference in absolute value of the inclination and the difference in color information are evaluated with a given threshold value e.
| M k −m r | + | C k −C r | <e
その際、色情報がＲＧＢ値であるような場合、
Ｃk＝（Ｒk，Ｇk，Ｂk）、Ｃr＝（Ｒr，Ｇr，Ｂr）として、
｜ｍk−ｍr｜＋｜Ｒk−Ｒr｜＋｜Ｇk−Ｇr｜＋｜Ｂk−Ｂr｜＜ｅ
としてもよい。
At that time, if the color information is RGB values,
C k = (R k , G k , B k ), C r = (R r , G r , B r ),
| M k −m r | + | R k −R r | + | G k −G r | + | B k −B r | <e
It is good.
また、｜ｍk−ｍr｜と｜Ｃk−Ｃr｜を
別の式｜ｍk−ｍr｜＜ｅ1、｜Ｃk−Ｃr｜＜ｅ2
で評価してもよい。
In addition, | m k −m r | and | C k −C r | are replaced by different expressions | m k −m r | <e 1 and | C k −C r | <e 2.
You may evaluate with.
前記評価の結果、前記閾値未満であれば（Ｓ２５０、Ｙｅｓ）、ＬrはＬkと同一の物体の像であるとみなし、Ｓ２７０へ進み、そうでなければ（Ｓ２５０、Ｎｏ）、ＬrはＬkとは異なる物体の像であるとみなしてＳ２６０へ進む。 Results of the evaluation, if it is less than the threshold value (S250, Yes), L r is regarded as an image of the same object and L k, the process proceeds to S270, otherwise (S250, No), L r is Considering that the image is an object different from L k , the process proceeds to S260.
Ｓ２６０は、ＲまたはＭを探索完了位置としてＳ２９０に進む。即ち、同一の物体の像である他の軌跡直線が見つからなかったので、Ｓ２２０またはＳ２３０に戻ることになる。 In S260, the process proceeds to S290 with R or M as a search completion position. That is, since no other locus straight line that is an image of the same object is found, the process returns to S220 or S230.
Ｓ２７０は、ＬrとＬkが同一の物体の像の軌跡直線であるとみなし、前記Ｌrの持つ識別子ｒをｋで上書きする。 S270 is, L r and L k is regarded as the locus linear image of the same object, overwriting the identifier r possessed by the L r in k.
Ｓ２８０は未調査リストからｒ番目を除外し、「開始位置」についての探索であれば、即ち、Ｓ２２３から来た処理であれば、探索完了位置を前記Ｌrの持つＰr0（ｘr0，ｙr0，ｔr0）としてＳ２９０に進み、「終了位置」についての探索であれば、即ち、Ｓ２３３から来た処理であれば、探索完了位置を前記Ｌrの持つＰr1（ｘr1，ｙr1，ｔr1）としてＳ２９０に進む。 S280 are excluded the r-th from uninvestigated list, if the search for the "starting position", that is, if the process came from the S223, P r0 with a search completion position of the L r (x r0, y r0, t r0) as the process proceeds to S290, if the search for the "end position", that is, if the process came from the S233, with a search completion position of the L r P r1 (x r1, y r1, As t r1 ), the process proceeds to S290.
なお、Ｓ２２３にて複数のＬrが発見された場合は、傾き、または色情報が最もＬkに近いものを選択してもよい。 If a plurality of L r are found in S223, the slope or color information closest to L k may be selected.
Ｓ２９０は、直前の処理が「開始位置」に関する処理であればＳ２２０へ、「終了位置」に関する処理であればＳ２３０へ進む分岐である。 S290 is a branch to S220 if the immediately preceding process is a process related to “start position”, and to S230 if the process is related to “end position”.
Ｓ２３１では、探索完了位置を初期値Ｐk1（ｘk1，ｙk1，ｔk1）とし、後述のｔr＝ｔk1としてＳ２３０へ進む。 In S231, the search completion position as an initial value P k1 (x k1, y k1 , t k1), the process proceeds to S230 as t r = t k1 below.
Ｓ２３０では、前記探索完了位置が前記境界上かどうかをチェックする。そうであればＳ２９１に進み、そうでなければｔr＝ｔr＋１としてＳ２３２に進む。 In S230, it is checked whether the search completion position is on the boundary. If so, the process proceeds to S291, and if not, t r = t r +1 and the process proceeds to S232.
Ｓ２３２では、前記探索位置の１つ後のフレームにおける交点Ｒ（ｘr，ｙr，ｔr）を求め、前記Ｒを含む画素位置Ｍを求める。初期においては、ｔr＝ｔk1＋１である。 In S232, an intersection point R (x r , y r , tr ) in a frame immediately after the search position is obtained, and a pixel position M including R is obtained. Initially, t r = t k1 +1.
ｔrが小数点以下を含むときは整数値に丸める。同様に、Ｒの（ｘr，ｙr）が小数点以下を含むときは、整数値に丸め、前記（ｘr，ｙr）を含む離散的な画素位置をＭとする、 t r is rounded to an integer value when including the decimal point. Similarly, when (x r , y r ) of R includes a fractional part, it is rounded to an integer value, and a discrete pixel position including (x r , y r ) is defined as M.
Ｓ２３３では、前記Ｍを終了位置とするＬrがリストに残っているかどうかを調べ、存在すればＳ２４０に、しなければＳ２６０に進む。このとき、Ｌrの終了位置が小数点位置を含むときは前記のとおり丸めた結果がＭに含まれるかどうかにより、評価する。 In S233, it is checked whether or not L r having M as the end position remains in the list. If it exists, the process proceeds to S240, and if not, the process proceeds to S260. At this time, when the end position of L r includes the decimal point position, the evaluation is performed depending on whether the rounded result is included in M or not.
Ｓ２９１は、Ｌkに関する処理が終了したので、Ｌkを処理済とし、未調査リストからＬkを削除し、次のｋの処理に移る。即ち、番号ｋをインクリメントする。既に、次の番号が削除されていた場合はさらにｋをインクリメントする。 In S291, since the processing related to L k is completed, L k is processed, L k is deleted from the uninvestigated list, and the process proceeds to the next k. That is, the number k is incremented. If the next number has already been deleted, k is further incremented.
次にＳ３１０にて、処理済のＬkを記憶する。全てのＬkについて、後記の（数式１）の形式で記憶してもよい。ただし、ＩＤkは、Ｌkに付与された識別子であり、同じ像を表す軌跡直線であれば、同じ識別子が付与される。この（数式１）の形式は、１つの軌跡直線は、１つの線分として表現されている。そして、同じ像を表す軌跡直線には、同じ像であることを示す識別子ＩＤkが、軌跡直線の付加情報として付されている。よって、同じ像であることを示す情報を付加する処理は、各軌跡直線のデータに、識別子ＩＤkを付加するという処理によって、実現される。これにより、既存の軌跡直線のデータに対して、付加情報であるＩＤkという１つのデータを付加するだけで済む。よって、既存の軌跡直線の作成プログラムからの変更は少ないので、開発コストを抑制することができる。
Ｌk：｛Ｐk0，Ｐk1，Ｃk，ＩＤk｝・・・（数式１）
Next, in S310, the processed L k is stored. All L k may be stored in the following (Formula 1) format. However, ID k is an identifier assigned to L k , and the same identifier is assigned if it is a trajectory line representing the same image. In the form of (Equation 1), one locus straight line is expressed as one line segment. Then, the trajectory straight line representing the same image, the identifier ID k indicating the same image have been added as additional information of the trajectory line. Therefore, the process of adding information indicating that the images are the same is realized by the process of adding the identifier ID k to the data of each locus straight line. Thus, it is only necessary to add one piece of data called ID k, which is additional information, to the existing locus straight line data. Therefore, since there are few changes from the existing locus straight line creation program, the development cost can be suppressed.
L k : {P k0 , P k1 , C k , ID k } (Formula 1)
あるいは、同一の直線であるが、像として現れる範囲を複数持つような情報として、後記の（数式２）の形式で記憶してもよい。この場合は、同一のＩＤkを持つ直線全てについて、その開始位置および終了位置を保持することになる。この（数式２）の形式は、１つの像を構成する軌跡直線の集合は、１つ以上の有効範囲（画像における像の出現位置）をもつ１の線分として表現されている。よって、このデータ構造は、１つの像に関する情報が、１つの式に収まっているので、像に関する一括した処理（所定の時刻における像の位置を検索する処理など）を、効率的に実現することが可能となる。
Ｌk：｛｛Ｐk0，Ｐk1｝，｛Ｐr0，Ｐr1｝，．．．，Ｃk，ＩＤk｝・・・（数式２）
Alternatively, the information may be stored in the form of (Expression 2) described later as information having a plurality of ranges that appear on the same straight line but appear as an image. In this case, the start position and the end position are held for all the straight lines having the same ID k . In the form of (Expression 2), a set of trajectory straight lines constituting one image is expressed as one line segment having one or more effective ranges (appearance positions of the image in the image). Therefore, since this data structure contains information related to one image in one expression, it is possible to efficiently realize batch processing related to images (such as processing for searching the position of an image at a predetermined time). Is possible.
L k : {{P k0 , P k1 }, {P r0 , P r1 },. . . , C k , ID k } (Formula 2)
本発明により、遮蔽物によって撮影対象が隠蔽されるという特殊な状況下においても、ｘ−ｔ平面の画像の軌跡直線を、求めることができる。これにより、ｘ−ｔ平面の画像の軌跡直線から、３次元モデルを作成し、さらに、３次元モデルから３次元コンピュータグラフィックスを作成することができる。なお、３次元コンピュータグラフィックスは、ゲームや映画、コマーシャルフィルムなど、様々な産業で利用されている。
ここで、ｘ−ｔ平面の画像の軌跡直線から、３次元モデルを作成する手法は、例えば、文献「R. C. Bolles, H. H. Baker and D. H.Marimont, “IJCV, vol.1, No.1, 1987, pp.7-55」において、ビデオカメラで景観を撮影した多数の画像を入力とし、時空間画像を構成し、そのｘ−ｔ平面の画像に現れる直線状の模様を解析することで３次元形状を得るエピポーラ画像解析と呼ばれる方法が、提案されている。
According to the present invention, the trajectory straight line of the image on the xt plane can be obtained even under a special situation where the object to be imaged is concealed by the shielding object. Thereby, a three-dimensional model can be created from the trajectory line of the image on the xt plane, and further, a three-dimensional computer graphic can be created from the three-dimensional model. Note that 3D computer graphics are used in various industries such as games, movies, and commercial films.
Here, a method of creating a three-dimensional model from a trajectory line of an image on the xt plane is described in, for example, the document “RC Bolles, HH Baker and DHMarimont,“ IJCV, vol.1, No.1, 1987, pp. In "7-55", a large number of images obtained by shooting a landscape with a video camera are input, a spatiotemporal image is constructed, and a linear pattern appearing in the image on the xt plane is analyzed to obtain a three-dimensional shape. A method called epipolar image analysis has been proposed.
１ 画像処理装置
１０ カメラ
２１ 動画像記憶手段
２２ 軌跡直線記憶手段
１１０ 時空間動画像蓄積手段
１２０ 画素軌跡抽出手段
１３０ 軌跡直線化手段
２００ 軌跡直線探索手段
３００ 軌跡直線情報付与蓄積手段
DESCRIPTION OF
Claims (8)
前記画像処理装置が、前記動画像を記憶手段に記憶する手順と、前記記憶された動画像の画素の軌跡を抽出し、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする手順と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する手順と、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順と、を実行し、
前記同一の像に対応する軌跡直線を探索する手順は、所定の軌跡直線の端点を探索完了位置として前記所定の軌跡直線の延長線上を探索し、前記所定の軌跡直線とは別の軌跡直線の端点を発見したときには、その発見した端点とは反対側の前記別の軌跡直線の端点を探索完了位置として探索を続けることを特徴とする画像処理方法。 A camera that photographs a stationary subject with an optical axis directed in a predetermined photographing direction that is perpendicular to the predetermined direction at each photographing position set in a straight line and at equal intervals along the predetermined direction. An image processing method performed by an image processing apparatus that processes a moving image configured by arranging the images captured by the image capturing positions in order,
The image processing apparatus extracts a procedure of storing the moving image in a storage unit, a locus of pixels of the stored moving image, and configures the axis of the moving image along the shooting position of the camera and the moving image A procedure for linearizing the trajectory into a trajectory line on a predetermined plane constituted by axes corresponding to the appearance order of images to be searched, and a procedure for searching for a trajectory line corresponding to the same image for each trajectory line And a step of recording each locus straight line corresponding to the searched same image in the storage means as the same image ,
The procedure for searching for a trajectory line corresponding to the same image is to search for an extension line of the predetermined trajectory line with an end point of the predetermined trajectory line as a search completion position, and to find a trajectory line different from the predetermined trajectory line. An image processing method characterized in that when an end point is found, the search is continued with the end point of the other trajectory line opposite to the found end point as a search completion position .
を特徴とする請求項１に記載の画像処理方法。 The procedure of straightening the locus into a locus straight line adds processing for correcting the pixel locus so that it is located on a straight line when the locus of the pixel is not located on the straight line in the predetermined plane. The image processing method according to claim 1.
を特徴とする請求項１または請求項２に記載の画像処理方法。 The procedure for searching for a trajectory line corresponding to the same image includes a trajectory line similar in color information and inclination to the trajectory line among the trajectory lines existing near the extension of the trajectory line in the predetermined plane. The image processing method according to claim 1, wherein a locus straight line corresponding to the same image is used.
を特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理方法。 The procedure for recording each trajectory line corresponding to the searched same image in the storage means as the same image is to add the same identifier to each trajectory line corresponding to the same image and record it in the storage means. The image processing method according to claim 1, wherein the image processing method includes:
を特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理方法。 The procedure of recording each trajectory line corresponding to the searched same image in the storage means as the same image has each effective range corresponding to each trajectory line. The image processing method according to any one of claims 1 to 3, wherein the process is recorded in a storage unit as two locus straight lines.
前記動画像を動画像記憶手段に記憶する時空間動画像蓄積手段と、前記記憶された動画像の画素の軌跡を抽出する画素軌跡抽出手段と、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする軌跡直線化手段と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する軌跡直線探索手段と、前記探索された同一の像に対応する各軌跡直線を、同一の像として軌跡直線記憶手段に記録する軌跡直線情報付与蓄積手段と、を有し、
前記軌跡直線探索手段は、所定の軌跡直線の端点を探索完了位置として前記所定の軌跡直線の延長線上を探索し、前記所定の軌跡直線とは別の軌跡直線の端点を発見したときには、その発見した端点とは反対側の前記別の軌跡直線の端点を探索完了位置として探索を続けることを特徴とする画像処理装置。 A camera that photographs a stationary subject with an optical axis directed in a predetermined photographing direction that is perpendicular to the predetermined direction at each photographing position set in a straight line and at equal intervals along the predetermined direction. An image processing apparatus that processes a moving image configured by arranging the images captured by the image capturing positions in order,
Spatio-temporal moving image storage means for storing the moving image in moving image storage means, pixel locus extraction means for extracting a locus of pixels of the stored moving image, and an axis along the shooting position of the camera of the moving image And a trajectory straightening means that linearizes the trajectory to form a trajectory straight line on a predetermined plane constituted by the axes corresponding to the appearance order of the images constituting the moving image, and the trajectory straight lines are the same image. possess the locus line search means for searching the corresponding trajectory lines, each trajectory straight line corresponding to the same image the is searched, the locus linear information adding storage means for recording the locus linear storage means as the same image, the ,
The trajectory straight line searching means searches for an extension line of the predetermined trajectory straight line with an end point of the predetermined trajectory straight line as a search completion position, and finds an end point of a trajectory straight line different from the predetermined trajectory straight line. The image processing apparatus is characterized in that the search is continued using the end point of the other trajectory line opposite to the end point as the search completion position .
をさらに有することを特徴とする請求項７に記載の画像処理装置。
The image processing apparatus further includes means for correcting the locus of the pixels so as to be located on a straight line when the locus is not located on the straight line in the predetermined plane when the locus is linearized to obtain a locus straight line. The image processing apparatus according to claim 7, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004156568A JP4392288B2 (en) | 2004-05-26 | 2004-05-26 | Image processing method, image processing program, and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004156568A JP4392288B2 (en) | 2004-05-26 | 2004-05-26 | Image processing method, image processing program, and image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005339165A JP2005339165A (en) | 2005-12-08 |
| JP4392288B2 true JP4392288B2 (en) | 2009-12-24 |
Family
ID=35492673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004156568A Expired - Fee Related JP4392288B2 (en) | 2004-05-26 | 2004-05-26 | Image processing method, image processing program, and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4392288B2 (en) |
-
2004
- 2004-05-26 JP JP2004156568A patent/JP4392288B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005339165A (en) | 2005-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10958854B2 (en) | Computer-implemented method for generating an output video from multiple video sources | |
| JP4074062B2 (en) | Semantic object tracking in vector image sequences | |
| KR101706216B1 (en) | Apparatus and method for reconstructing dense three dimension image | |
| KR100931311B1 (en) | Depth estimation device and its method for maintaining depth continuity between frames | |
| CN104284059B (en) | For stablizing the device and method of image | |
| CN108463994B (en) | Image processing apparatus, image processing method, and storage medium | |
| KR101811718B1 (en) | Method and apparatus for processing the image | |
| JP2007334625A (en) | Image processing method, program of image processing method, recording medium for recording program of image processing method, and image processing apparatus | |
| CN112995678B (en) | Video motion compensation method and device and computer equipment | |
| CN111402412A (en) | Data acquisition method and device, equipment and storage medium | |
| CN112541867A (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
| CN109285122B (en) | Method and equipment for processing image | |
| JP4898655B2 (en) | Imaging apparatus and image composition program | |
| US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| JP2019008582A (en) | Video processing device, video processing method, and video processing program | |
| CN111344741B (en) | Data missing processing method and device for three-dimensional track data | |
| JP4392288B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
| CN113256484B (en) | Method and device for performing stylization processing on image | |
| CN103268606B (en) | A kind of depth information compensation method of motion blur image and device | |
| KR20210133472A (en) | Method of merging images and data processing device performing the same | |
| CN111508063A (en) | Three-dimensional reconstruction method and system based on image | |
| US20230224582A1 (en) | Method and electronic device for frame stabilization of a video sequence | |
| JP3523064B2 (en) | Three-dimensional shape input method and recording medium storing three-dimensional shape input program | |
| JP2005339357A (en) | Device, method, and program for image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091006 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091009 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |