JP5318225B2 - Image composition apparatus and image composition program - Google Patents
Image composition apparatus and image composition program Download PDFInfo
- Publication number
- JP5318225B2 JP5318225B2 JP2011544993A JP2011544993A JP5318225B2 JP 5318225 B2 JP5318225 B2 JP 5318225B2 JP 2011544993 A JP2011544993 A JP 2011544993A JP 2011544993 A JP2011544993 A JP 2011544993A JP 5318225 B2 JP5318225 B2 JP 5318225B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- graphic
- input
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000203 mixture Substances 0.000 title claims description 57
- 239000011159 matrix material Substances 0.000 claims description 48
- 239000002131 composite material Substances 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Circuits (AREA)
Description
この発明は、複数の視点から見た実画像を撮影した画像データを入力し、各画像を視点変換して別の視点から見た合成画像を合成する画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムに関するものである。 The present invention inputs an image data obtained by photographing real images viewed from a plurality of viewpoints, converts an image to a viewpoint, and synthesizes a composite image viewed from another viewpoint, and causes the computer to function as this apparatus. The present invention relates to an image composition program.
従来、実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画像に変換する画像処理装置が広く使われている。
例えば、特許文献1に開示される画像処理装置は、仮想画像の生成を簡易化するため、出力画像の画素位置と入力画像の画素位置とを対応付けるためのマッピングテーブルを備えている。即ち、特許文献1に開示される画像処理装置では、仮想カメラの画素座標位置(u,v)と実カメラの画素座標位置(U,V)との関係の他に、必要に応じて、実カメラの識別子と、複数のカメラが対応する場合の各カメラの必要度等をマッピングテーブルに記録するようにしている。
また、出力画像の1つの画素位置が、入力画像の複数の画素位置に対応する場合には、入力画像の画素位置と同時に参照された各画素の必要度に応じて、それらの画素値を合成することもできる。
Conventionally, an image processing apparatus that converts an image input from an imaging unit that captures a real image into a virtual image viewed from a predetermined virtual viewpoint has been widely used.
For example, the image processing apparatus disclosed in
When one pixel position of the output image corresponds to a plurality of pixel positions of the input image, those pixel values are synthesized according to the necessity of each pixel referenced simultaneously with the pixel position of the input image. You can also
従来の画像処理装置は、以上のように構成されているので、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる。
しかしながら、マッピングテーブルには、画素単位で必要な情報を格納する必要があるため、メモリ規模が増大するという課題があった。
Since the conventional image processing apparatus is configured as described above, the relationship between the pixel position of the output image and the pixel position of the input image can be easily obtained.
However, since it is necessary to store necessary information in pixel units in the mapping table, there is a problem that the memory scale increases.
この発明は、上記のような課題を解決するためになされたもので、画素単位のマッピングテーブルを用いずにメモリ容量の削減を図りつつ、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムを得ることを目的とする。 The present invention has been made to solve the above-described problems, and the relationship between the pixel position of the output image and the pixel position of the input image while reducing the memory capacity without using a pixel-by-pixel mapping table. An object of the present invention is to obtain an image composition apparatus capable of easily obtaining the above and an image composition program for causing a computer to function as the apparatus.
この発明に係る画像合成装置は、複数の入力画像を取り込む画像入力部と、画像入力部により取り込まれた入力画像を格納する画像メモリと、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、入力画像と出力画像との関係が1つに決まっていれば、画像合成を開始する前に計算して、計算結果を部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部と、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、画像合成部が算出した分割数分の合成画像データを格納する表示用メモリと、表示用メモリから読み出した分割数分の合成画像データを、出力画像として表示装置の画面上に表示する表示制御部とを備え、画像合成部は、表示用メモリに格納された合成画像データとベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とするものである。 Image synthesizing apparatus according to the present invention, an image input unit for capturing an input image multiple, an image memory for storing an input image captured by the image input unit, a partial area of the segment of the input image and the output image If the relationship between the input image and the output image is determined to be one matrix information to be associated, the matrix information is calculated before starting image synthesis, and the calculation result is stored in units of graphics forming a partial area; The shape of the graphic area, which is a partial area of the output image formed by dividing the output image, is input as the graphic data in the vector format defined by the vertex data and the drawing command for specifying the drawing contents of the vertex data, A vector graphic processing unit that draws a vector graphic in the graphic area based on the graphic data and the correspondence specified by the matrix information read from the matrix memory Using the function, coordinate conversion processing is performed on each pixel included in the vector graphic area drawn by the vector graphic processing unit, and the pixel data position of the input image corresponding to the partial area of the output image is calculated. An image composition unit for calculating composite image data, a display memory for storing composite image data for the number of divisions calculated by the image composition unit, and a composite image data for the number of divisions read from the display memory for output image A display control unit for displaying on the screen of the display device, and the image composition unit performs a blending operation between the composite image data stored in the display memory and the vector graphic data drawn by the vector graphic processing unit. The result is stored in the display memory as composite image data.
この発明によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部とを備え、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する入力画像の画素データ位置を算出することにより算出した合成画像データを、出力画像として表示装置の画面上に表示する。
このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができるという効果がある。
According to the present invention, the matrix information for storing the matrix information that associates the partial area of the input image with the partial area of the output image in units of graphics forming the partial area, and the output image formed by dividing the output image Enter the shape of the graphic area, which is a partial area, as graphic data in the vector format defined by the vertex data and the drawing command that specifies the drawing contents of the vertex data. A coordinate conversion process for each pixel included in the area of the vector graphic drawn by the vector graphic processing unit using the correspondence defined by the matrix information read from the matrix memory. And a composite image calculated by calculating the pixel data position of the input image corresponding to the partial region of the output image. The data on the display device screen as an output image.
As described above, by performing image composition using matrix information that associates a partial area of an output image with a partial area of an input image, it is possible to reduce the memory capacity compared to the case of using a mapping table in units of pixels. is there.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1による画像合成装置の構成を示すブロック図である。図1において、実施の形態1による画像合成装置10は、画像入力部11、画像メモリ12、マトリクスメモリ13、ベクトル図形処理部14、画像合成部15、表示用メモリ16及び表示制御部17を備える。画像入力部11は、複数の入力画像(静止画又は動画)1,2,3,4,・・・の中から、取り込み対象の画像データを選択し、画像メモリ12に書き込みを行う構成部である。例えば、画像入力部11は、画像データを一時的に保存するための数ライン分の一時バッファを保持するように構成してもよい。
Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration of an image composition apparatus according to
マトリクスメモリ13は、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を保持する記憶部であり、部分領域を形成する図形単位でマトリクス情報を保持する。マトリクス情報は、出力画像と入力画像との関係が予め1つに決まっていれば、画像合成を開始する前に1度だけ計算を行い、計算結果のマトリクス情報をマトリクスメモリ13に格納しておけば、画像合成の途中で変更を行う必要はない。また、入力画像と出力画像との関係を複数切り替えて使用する場合には、各シーンに対応したマトリクス情報をマトリクスメモリ13に予め格納しておき、どのマトリクス情報を用いるかを画像合成時に切り替えるようにすれば、視点変更にも対応することができる。
The
ベクトル図形処理部14は、出力画像(表示画面)を複数の領域に分割した結果として得られる頂点データと、頂点データを用いた描画内容を指定する描画コマンドからなるコマンド列とで定義されたベクトル形式の図形データを入力して受け取り、これらを基にベクトル図形を生成する構成部である。
図2は、ベクトル形式の図形データの一例を示す図である。図2の例では、5個の描画コマンドに対応する頂点データで図形が構成される。曲線を描画する場合には、図形の終点と制御点とを指定することで描画を行う。
The vector
FIG. 2 is a diagram illustrating an example of graphic data in vector format. In the example of FIG. 2, a figure is composed of vertex data corresponding to five drawing commands. When drawing a curve, drawing is performed by designating the end point and control point of the figure.
ここで、領域分割は、図3に示すように、一般的な三角形(図3(a)参照)、四角形(図3(b)参照)等に限らず、一部は、輪郭線が曲線を含むベクトル図形を用いて分割してもよい(図3(c)参照)。例えば、入力画像が歪みの大きい広角カメラからの入力である場合には、出力画像(表示画面)をベクトル図形で分割することで、カメラのレンズ歪みの影響を抑えることができる。 Here, as shown in FIG. 3, the region division is not limited to a general triangle (see FIG. 3A), a quadrangle (see FIG. 3B), etc. You may divide | segment using the vector figure containing (refer FIG.3 (c)). For example, when the input image is input from a wide-angle camera with large distortion, the influence of lens distortion of the camera can be suppressed by dividing the output image (display screen) into vector graphics.
図4は、マトリクスメモリ13に保存される出力画像の部分領域と入力画像の部分領域との対応関係の一例を示す図である。例えば、図4のように入力画像内の三角形の領域が出力画像(表示画面)の三角形の領域と対応している場合、両者の対応関係は、以下のように2×3のマトリクスとして表現することができる。
但し、変換マトリクスの第i行j列成分をMijと表現し、入力画像内の点(X,Y)が、出力画像の点(X’,Y’)に対応するものとする。なお、X’とY’とは、下記式(1)の関係となる。ベクトル図形処理部14は、ベクトル図形の内部に含まれる領域を判定し、描画を行う画素のXY座標を画像合成部15に対して出力する。
X’=(M00・X+M01・Y+M02)
Y’=(M10・X+M11・Y+M12) ・・・(1)
FIG. 4 is a diagram illustrating an example of a correspondence relationship between the partial area of the output image stored in the
However, the i-th row and j-th column component of the transformation matrix is expressed as Mij, and the point (X, Y) in the input image corresponds to the point (X ′, Y ′) in the output image. X ′ and Y ′ have the relationship of the following formula (1). The vector
X ′ = (M00 · X + M01 · Y + M02)
Y ′ = (M10 · X + M11 · Y + M12) (1)
画像合成部15は、マトリクスメモリ13の情報を用いて画像メモリ12に保存された画像に対して所定の座標変換処理を行い、この結果をベクトル図形に対してテクスチャマッピングを行う。また、画像合成部15は、描画を行う画素に対応したメモリの物理アドレスと描画データ(描画色)とを算出して表示用メモリ16に格納する。マトリクスメモリ13には、画素単位ではなく、図形単位での変換マトリクス(マトリクス情報)が保存されているので、画像合成部15は、ベクトル図形の内部の画素に対して、補間によってテクスチャ座標を算出する。表示制御部17は、表示用メモリ16からデータを読み出して、LCDや液晶ディスプレイ等の各表示装置に対応した同期信号を生成して画面表示を行う。
The
図1の例では、画像入力部11、画像メモリ12、マトリクスメモリ13、ベクトル図形処理部14、画像合成部15、表示用メモリ16、及び表示制御部17のそれぞれが、例えば、MPU(Micro Processing Unit)を実装する半導体集積回路基板などの専用のハードウェアで構成された場合を想定しているが、これに限定されるものではない。
例えば、画像合成装置10を構成する、画像入力部11、画像メモリ12、マトリクスメモリ13、ベクトル図形処理部14、画像合成部15、表示用メモリ16及び表示制御部17の処理内容が記述された画像合成プログラムをコンピュータのメモリに格納して、当該コンピュータのCPU(Central Processing Unit)が、当該メモリに格納された画像合成プログラムを実行することで、当該コンピュータのハードウェアとソフトウェアとが協働して得られる構成部11〜17として実現してもよい。
なお、当該コンピュータには、例えば、パソコンの他に、後述する画像合成プログラムを実行することが可能な携帯電話や、携帯情報端末、カーナビゲーション装置等も含まれる。
In the example of FIG. 1, each of the
For example, the processing contents of the
The computer includes, for example, a mobile phone capable of executing an image composition program described later, a portable information terminal, a car navigation device, and the like in addition to a personal computer.
次に動作について説明する。
図5は、実施の形態1による画像合成装置の動作の流れを示すフローチャートである。この図に沿って、実施の形態1の画像合成処理の詳細を述べる。
先ず、画像合成装置10は、自装置10を搭載するシステムのCPUから合成処理開始命令を受けることにより、動作を開始する。ただし、動作開始前には、マトリクスメモリ13の内容を予め設定しておく必要がある。
画像入力部11は、前記合成処理開始命令を受けると、入力画像(静止画又は動画)1,2,3,4,・・・のうちから取り込み対象の画像データを選択し、画像メモリ12に格納する(ステップST1)。画像入力部11は、合成対象の全ての画像の取り込みが完了するまで、ステップST1の処理を繰り返し行う(ステップST2)。
Next, the operation will be described.
FIG. 5 is a flowchart showing an operation flow of the image composition apparatus according to the first embodiment. The details of the image composition processing according to the first embodiment will be described with reference to FIG.
First, the
Upon receipt of the compositing process start command, the
画像入力部11によって合成対象の全ての画像の取り込みが完了すると、ベクトル図形処理部14は、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する(ステップST3)。このとき、ベクトル図形処理部14は、ベクトル図形の輪郭線が曲線を含むか否かを判定する(ステップST4)。ベクトル図形の輪郭線が曲線である場合(ステップST4;YES)、ベクトル図形処理部14は、輪郭線を微小線分に分割を行う(ステップST5)。
When all the images to be synthesized are captured by the
輪郭線が曲線を含まない場合(ステップST4;NO)、又はステップST5で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定することができる。そこで、ベクトル図形処理部14は、図形の内部に含まれる画素のXY座標を算出して、このXY座標を画像合成部15へ出力する(ステップST6)。
If the contour line does not include a curve (step ST4; NO), or after dividing the contour line into minute line segments in step ST5, the contour line of the vector graphic is composed only of straight lines. The area included in the figure can be easily determined using the inside / outside determination method. Therefore, the vector
画像合成部15は、マトリクスメモリ13から、現在描画している図形に対応したマトリクス情報を読み出し、ベクトル図形処理部14から入力された画素のXY座標(X,Y)に対して、下記式(2)に従って座標変換を行う(ステップST7)。この結果、入力画像のテクスチャ座標(U,V)が得られる。ただし、変換マトリクスを3行3列として第i行j列成分をMijのように表す。なお、下記式(2)において、Wで除算を行っているのは、透視補正のためである。変換マトリクスの第3行目が、M20=M21=0、M22=1である場合は、通常のアフィン変換となるため、Wによる除算は不要である。
U=(M00・X+M01・Y+M02)/W
V=(M10・X+M11・Y+M12)/W
W=M20・X+M21・Y+M22
・・・(2)
The
U = (M00 · X + M01 · Y + M02) / W
V = (M10 · X + M11 · Y + M12) / W
W = M20 · X + M21 · Y + M22
... (2)
次いで、画像合成部15は、テクスチャ座標(U,V)に対応する入力画像の画素を画像メモリ12から読み出し、描画を行う画素に対応したメモリの物理アドレスと描画データ(描画色)とを算出して表示用メモリ16に格納する(ステップST8)。このとき、入力画像の画素を複数読み出して、バイリニア等のフィルタ処理を行ってもよい。
ここで、本発明の画像合成装置10は、入力画像が複数あることを想定しているので、テクスチャ座標(U,V)が、どの入力画像と対応しているかを判別する必要がある。
このため、例えばマトリクスメモリ13にどの入力画像に対応したマトリクスであるかを示す識別子を付加しておいてもよい。また、入力画像を画像メモリ12に格納する際、同時に縮小・フィルタ処理等を行っておき、画像合成部15が読み出す際は、1つの入力画像として扱えるようにしてもよい。
Next, the
Here, since the
Therefore, for example, an identifier indicating which input image corresponds to the matrix may be added to the
画像合成部15が、現在描画している図形の内部に含まれる全ての画素に対して、ステップST7からステップST8までの処理を終了すると、出力画像(表示画面)を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する(ステップST9)。出力画像の生成が終了していない場合(ステップST9;NO)、ステップST3からステップST8までの処理を繰り返し実施する。出力画像の生成が終了していれば(ステップST9;YES)、表示制御部17が、表示用メモリ16から1フレーム分のデータを読み出し、LCD、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う(ステップST10)。
When the
さらに、画像合成部15は、次のフレームの画像合成が必要か否かを判定する(ステップST11)。このとき、必要である場合(ステップST11;YES)、ステップST1からステップST10までの処理を繰り返し行う。次のフレームの画像合成が必要でない場合(ステップST11;NO)には、画像合成を終了する。
Further, the
なお、上記の説明では、説明の都合上、画像合成装置10の各構成要素がシーケンシャルに動作する場合を例として説明したが、画像合成性能を上げたい場合には、画像メモリ12、表示用メモリ16をそれぞれダブルバッファ構成として、画像メモリ12に対する画像入力用の書き込みと画像合成用の読み出し、表示用メモリ16に対する画像合成結果の書き込みと表示用の読み出し等が並列に動作するようにしてもよい。
In the above description, for convenience of explanation, the case where each component of the
以上のように、この実施の形態1によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリ13と、出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部14とを備え、マトリクスメモリ13から読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部14により描画されたベクトル図形に座標変換処理を施し、入力画像のテクスチャ座標を算出し、当該テクスチャ座標に対応する入力画像の画素データを用いて算出した合成画像データを、出力画像として表示装置の画面上に表示する。このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができる。
As described above, according to the first embodiment, the
また、この実施の形態1によれば、ベクトル形式の図形データが、輪郭線の一部に曲線を含む図形領域で出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであっても、ベクトル図形処理部14が、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画するので、三角形、四角形等に限らず、一部は輪郭線が曲線を含むベクトル図形を用いて表示画面を領域分割することが可能であり、入力画像の種類に応じて合成処理を効率化できる。
Further, according to the first embodiment, the graphic data in the vector format designates the vertex data obtained by dividing the output image in the graphic area including the curve in a part of the contour line and the drawing contents of the vertex data. Even in the case of graphic data defined by a drawing command, the vector
さらに、この実施の形態1は、フォント、GUI(Graphical User Interface)画面等のベクトル図形と、カメラ入力の合成画像とを1つの画面に重ね合わせて表示するような用途に対しても容易に実現することができる。 Furthermore, the first embodiment can be easily realized for applications such as fonts, GUI (Graphical User Interface) screens and other vector graphics, and a camera input composite image superimposed on one screen. can do.
実施の形態2.
上記実施の形態1では、画像合成装置10が複数の入力画像を1つに合成して表示する場合について示したが、画像合成装置10は、通常のベクトル図形描画機能も有しているため、ベクトル図形を単独、又は合成画像と重ね合わせて表示するようにしてもよい。
In the first embodiment, the case where the
この実施の形態2における画像合成装置は、上記実施の形態1と構成自体は同一であるが、上記実施の形態1とは、上述したようにベクトル図形を単独、又は、ベクトル図形を合成画像と重ね合わせて表示する点で異なる。そこで、実施の形態2による画像合成装置の構成については、上記実施の形態1で示した図1を参照する。また、以降は、例として合成画像とベクトル画像(フォント等)を重ね合わせて表示する場合について説明する。 The image synthesizing apparatus according to the second embodiment has the same configuration as that of the first embodiment. However, the first embodiment differs from the first embodiment in that a vector graphic is used alone or a vector graphic is used as a synthesized image. It differs in that it is displayed superimposed. Therefore, for the configuration of the image composition apparatus according to the second embodiment, refer to FIG. 1 shown in the first embodiment. Hereinafter, as an example, a case in which a composite image and a vector image (font or the like) are displayed in a superimposed manner will be described.
次に動作について説明する。
図6は、この発明の実施の形態2による画像合成装置の動作の流れを示すフローチャートである。画像合成装置10は、自装置10を搭載するシステムのCPUから図形描画開始命令を受けることにより、動作を開始する。ただし、このとき、上記実施の形態1と同様にして、合成画像の生成は完了しているものとする。
Next, the operation will be described.
FIG. 6 is a flowchart showing an operation flow of the image composition apparatus according to
ベクトル図形処理部14は、前記図形描画開始命令を受けると、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する(ステップST12)。ベクトル図形処理部14は、ベクトル図形の輪郭線が曲線を含むか否かを判定する(ステップST13)。ここで、ベクトル図形の輪郭線が曲線である場合(ステップST13;YES)、ベクトル図形処理部14は、輪郭線を微小線分に分割を行う(ステップST14)。
Upon receiving the graphic drawing start command, the vector
輪郭線が曲線を含まない場合(ステップST13;NO)又はステップST14で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定できる。そこで、ベクトル図形処理部14は、図形の内部に含まれる画素のXY座標を算出して、このXY座標を画像合成部15へ出力する(ステップST15)。
When the contour line does not include a curve (step ST13; NO) or after the contour line is divided into minute line segments at step ST14, the contour line of the vector graphic is composed of only straight lines, so A region included in the figure can be easily determined using the determination method. Therefore, the vector
画像合成部15は、ベクトル図形処理部14から入力された画素のXY座標に対応するメモリの物理アドレスと描画データ(描画色)を算出する(ステップST16)。描画色としては、図形を単色で塗潰す場合は固定色を出力し、グラデーション塗潰しを行う場合は、画像合成部15で色の補間を行うことで対応する。
次いで、画像合成部15は、表示用メモリ16に格納された合成画像を一旦読み出し、描画色との間でブレンド演算を行った後、表示用メモリ16に書き戻す(ステップST17)。
The
Next, the
画像合成部15が、現在描画している図形の内部に含まれる全ての画素に対して、ステップST16からステップST17までの処理を終了すると、出力画像(表示画面)を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する(ステップST18)。
When the
出力画像の生成が終了していない場合(ステップST18;NO)には、ステップST12からステップST17までの処理を繰り返し実施する。出力画像の生成が終了していれば(ステップST18;YES)、表示制御部17は、表示用メモリ16から1フレーム分のデータを読み出し、LCD、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う(ステップST19)。
If the generation of the output image has not been completed (step ST18; NO), the processes from step ST12 to step ST17 are repeated. If the generation of the output image has been completed (step ST18; YES), the
以上のように、この実施の形態2によれば、ベクトル図形処理部14が、上記実施の形態1と同様に画像入力部11による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、CPUからの描画開始命令に従ってベクトル図形の描画を開始するモードとを備え、画像合成部15が、表示用メモリ16に格納された合成画像データとベクトル図形処理部14により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして表示用メモリ16に格納する。このようにすることで、画像合成とベクトル図形の描画という異なる2つの機能を同一の画像合成装置で実現できるため、ハードウェア規模を削減することができる。
As described above, according to the second embodiment, a mode in which the vector
Claims (5)
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、前記入力画像と前記出力画像との関係が1つに決まっていれば、画像合成を開始する前に計算して、計算結果を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部とを備え、
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とする画像合成装置。 An image input unit for capturing a plurality of input images;
An image memory for storing an input image captured by the image input unit;
Matrix information for associating the partial area of the input image and the partial area of the output image is calculated before the start of image synthesis if the relationship between the input image and the output image is determined as one. A matrix memory for storing results in units of graphics forming the partial area;
The shape of a graphic area that is a partial area of the output image formed by dividing the output image is input as graphic data in a vector format defined by vertex data and a drawing command that specifies the drawing contents of the vertex data. A vector graphic processing unit for drawing a vector graphic of the graphic area based on the graphic data;
Using the correspondence defined by the matrix information read from the matrix memory, each pixel included in the vector graphic area drawn by the vector graphic processing unit is subjected to coordinate conversion processing, and the output image An image composition unit for calculating composite image data by calculating a pixel data position of the input image corresponding to a partial region;
A display memory for storing the composite image data for the number of divisions calculated by the image composition unit;
E Bei a display control unit for displaying the said synthetic image data of the divided number of read from the display memory, on the screen of the display device as the output image,
The image synthesizing unit obtains a result of a blend operation between the synthesized image data stored in the display memory and the vector graphic data drawn by the vector graphic processing unit as synthesized image data. An image composition apparatus characterized by being stored in
前記ベクトル図形処理部は、前記図形データから前記図形領域が輪郭線の一部に曲線を含むことを判定すると、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画することを特徴とする請求項1記載の画像合成装置。 The graphic data in the vector format is graphic data defined by vertex data obtained by dividing the output image in a graphic area including a curve in a part of a contour line and a drawing command for specifying the drawing contents of the vertex data. And
When the vector graphic processing unit determines from the graphic data that the graphic region includes a curve as a part of a contour line, the vector graphic processing unit divides the contour line into minute line segments and draws a vector graphic of the graphic region. The image synthesizing apparatus according to claim 1.
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、前記入力画像と前記出力画像との関係が1つに決まっていれば、画像合成を開始する前に計算して、計算結果を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像全体を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とし、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部としてコンピュータを機能させるための画像合成プログラム。 An image input unit for capturing a plurality of input images;
An image memory for storing an input image captured by the image input unit;
Matrix information for associating the partial area of the input image and the partial area of the output image is calculated before the start of image synthesis if the relationship between the input image and the output image is determined as one. A matrix memory for storing results in units of graphics forming the partial area;
The shape of the graphic region, which is a partial region of the output image formed by dividing the entire output image, is represented as vector data in the form of vector data defined by vertex data and a drawing command that specifies the drawing content of the vertex data. A vector graphic processing unit for inputting and drawing a vector graphic of the graphic area based on the graphic data;
Using the correspondence defined by the matrix information read from the matrix memory, each pixel included in the vector graphic area drawn by the vector graphic processing unit is subjected to coordinate conversion processing, and the output image An image composition unit for calculating composite image data by calculating a pixel data position of the input image corresponding to a partial region;
A display memory for storing the composite image data for the number of divisions calculated by the image composition unit;
The image synthesizing unit obtains a result of a blend operation between the synthesized image data stored in the display memory and the vector graphic data drawn by the vector graphic processing unit as synthesized image data. It is characterized by storing in,
An image composition program for causing a computer to function as a display control unit that displays the composite image data for the number of divisions read from the display memory on the screen of a display device as the output image.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/006807 WO2011070631A1 (en) | 2009-12-11 | 2009-12-11 | Image synthesis device and image synthesis program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011070631A1 JPWO2011070631A1 (en) | 2013-04-22 |
JP5318225B2 true JP5318225B2 (en) | 2013-10-16 |
Family
ID=44145203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011544993A Active JP5318225B2 (en) | 2009-12-11 | 2009-12-11 | Image composition apparatus and image composition program |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120242693A1 (en) |
JP (1) | JP5318225B2 (en) |
CN (1) | CN102652321B (en) |
DE (1) | DE112009005430T5 (en) |
WO (1) | WO2011070631A1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930575B (en) * | 2011-08-08 | 2017-07-25 | 深圳市世纪光速信息技术有限公司 | Method, device and information terminal that a kind of secondary graphics are drawn |
CN105190698A (en) * | 2013-02-12 | 2015-12-23 | 三菱电机株式会社 | Drawing data generation device, drawing data generation method and display device |
CN104835447B (en) * | 2014-02-11 | 2018-01-12 | 包健 | A kind of LED display device and its display methods |
DE112018005446T5 (en) * | 2017-09-25 | 2020-07-30 | Mitsubishi Electric Corporation | INFORMATION DISPLAY DEVICE AND METHOD AND PROGRAM AND RECORDING MEDIUM |
US11340843B2 (en) * | 2019-05-17 | 2022-05-24 | Esko-Graphics Imaging Gmbh | System and method for storing interrelated image information in a print job file |
US11294352B2 (en) * | 2020-04-24 | 2022-04-05 | The Boeing Company | Cross-section identification system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000137815A (en) * | 1998-11-02 | 2000-05-16 | Gen Tec:Kk | New viewpoint image generating method |
JP2008504597A (en) * | 2004-06-21 | 2008-02-14 | トータルフェルスバレッツ フォルスクニングスインスティテュート | Apparatus and method for displaying peripheral image |
JP2008085691A (en) * | 2006-09-28 | 2008-04-10 | Clarion Co Ltd | Vehicle periphery monitoring apparatus |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6666593B2 (en) * | 2001-06-26 | 2003-12-23 | Seiko Epson Corporation | Tape printing apparatus and image forming method and label producing method for the tape printing apparatus |
US6943805B2 (en) * | 2002-06-28 | 2005-09-13 | Microsoft Corporation | Systems and methods for providing image rendering using variable rate source sampling |
AU2003901237A0 (en) * | 2003-03-14 | 2003-04-03 | The Australian National University | Fractal Image Data and Image Generator |
WO2006028093A1 (en) * | 2004-09-06 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | Video generation device and video generation method |
JP5013773B2 (en) | 2006-08-18 | 2012-08-29 | パナソニック株式会社 | In-vehicle image processing apparatus and viewpoint conversion information generation method thereof |
US8179403B2 (en) * | 2006-10-19 | 2012-05-15 | Panasonic Corporation | Image synthesis device, image synthesis method, image synthesis program, integrated circuit |
BRPI0806926A2 (en) * | 2007-02-06 | 2014-04-29 | Saint Gobain | INSULATING GLASS ELEMENT. |
-
2009
- 2009-12-11 DE DE112009005430T patent/DE112009005430T5/en active Pending
- 2009-12-11 JP JP2011544993A patent/JP5318225B2/en active Active
- 2009-12-11 WO PCT/JP2009/006807 patent/WO2011070631A1/en active Application Filing
- 2009-12-11 US US13/513,872 patent/US20120242693A1/en not_active Abandoned
- 2009-12-11 CN CN200980162833.5A patent/CN102652321B/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000137815A (en) * | 1998-11-02 | 2000-05-16 | Gen Tec:Kk | New viewpoint image generating method |
JP2008504597A (en) * | 2004-06-21 | 2008-02-14 | トータルフェルスバレッツ フォルスクニングスインスティテュート | Apparatus and method for displaying peripheral image |
JP2008085691A (en) * | 2006-09-28 | 2008-04-10 | Clarion Co Ltd | Vehicle periphery monitoring apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2011070631A1 (en) | 2011-06-16 |
JPWO2011070631A1 (en) | 2013-04-22 |
DE112009005430T5 (en) | 2012-12-06 |
CN102652321B (en) | 2014-06-04 |
US20120242693A1 (en) | 2012-09-27 |
CN102652321A (en) | 2012-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5318225B2 (en) | Image composition apparatus and image composition program | |
JP5172863B2 (en) | Banana codec | |
US10387995B2 (en) | Semiconductor device, electronic apparatus, and image processing method | |
CN101490708B (en) | Image processing device, image processing method, and program | |
JP5195592B2 (en) | Video processing device | |
JP4786712B2 (en) | Image composition apparatus and image composition method | |
JP2007271908A (en) | Multi-image creating device | |
JP2008079026A (en) | Image processor, image processing method, and program | |
JP2000244814A (en) | Image compositing device and recording medium where image compositing method is recorded | |
JP2009075646A (en) | Video display system and parameter generation method of same | |
JP5966657B2 (en) | Image generating apparatus, image generating method, and program | |
JP6750847B2 (en) | Image processing apparatus, control method thereof, and program | |
JP2003066943A (en) | Image processor and program | |
JP2000324337A (en) | Image magnification and reducing device | |
JP5705027B2 (en) | Image processing apparatus, image processing apparatus control method, program, and recording medium | |
JP4882954B2 (en) | Imaging apparatus, information synthesis apparatus, and program | |
CN117372583B (en) | Animation file processing method, system, electronic equipment and storage medium | |
WO2021245875A1 (en) | Image compositing device and image compositing method | |
JP2004184738A (en) | Image scaling device, image scaling method, program and recording medium | |
US20070286518A1 (en) | Image processing apparatus and image processing method | |
JP4767331B2 (en) | Image processing apparatus, image processing method, recording medium, computer program, semiconductor device | |
JP2001045369A (en) | Method and device for composting image and recording medium | |
JP2013126130A (en) | Image processing system, image processing method, and image processing program | |
JPH07298192A (en) | Image display controller | |
JP2005242675A (en) | Image size reduction processing method and image size expansion processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5318225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |