JP5318225B2 - Image composition apparatus and image composition program - Google Patents

Image composition apparatus and image composition program Download PDF

Info

Publication number
JP5318225B2
JP5318225B2 JP2011544993A JP2011544993A JP5318225B2 JP 5318225 B2 JP5318225 B2 JP 5318225B2 JP 2011544993 A JP2011544993 A JP 2011544993A JP 2011544993 A JP2011544993 A JP 2011544993A JP 5318225 B2 JP5318225 B2 JP 5318225B2
Authority
JP
Japan
Prior art keywords
image
data
graphic
input
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011544993A
Other languages
Japanese (ja)
Other versions
JPWO2011070631A1 (en
Inventor
雅樹 濱田
義幸 加藤
晃 鳥居
良平 石田
隆文 春日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2011070631A1 publication Critical patent/JPWO2011070631A1/en
Application granted granted Critical
Publication of JP5318225B2 publication Critical patent/JP5318225B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)

Description

この発明は、複数の視点から見た実画像を撮影した画像データを入力し、各画像を視点変換して別の視点から見た合成画像を合成する画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムに関するものである。   The present invention inputs an image data obtained by photographing real images viewed from a plurality of viewpoints, converts an image to a viewpoint, and synthesizes a composite image viewed from another viewpoint, and causes the computer to function as this apparatus. The present invention relates to an image composition program.

従来、実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画像に変換する画像処理装置が広く使われている。
例えば、特許文献１に開示される画像処理装置は、仮想画像の生成を簡易化するため、出力画像の画素位置と入力画像の画素位置とを対応付けるためのマッピングテーブルを備えている。即ち、特許文献１に開示される画像処理装置では、仮想カメラの画素座標位置（ｕ，ｖ）と実カメラの画素座標位置（Ｕ，Ｖ）との関係の他に、必要に応じて、実カメラの識別子と、複数のカメラが対応する場合の各カメラの必要度等をマッピングテーブルに記録するようにしている。
また、出力画像の１つの画素位置が、入力画像の複数の画素位置に対応する場合には、入力画像の画素位置と同時に参照された各画素の必要度に応じて、それらの画素値を合成することもできる。 Conventionally, an image processing apparatus that converts an image input from an imaging unit that captures a real image into a virtual image viewed from a predetermined virtual viewpoint has been widely used.
For example, the image processing apparatus disclosed in Patent Literature 1 includes a mapping table for associating the pixel position of the output image with the pixel position of the input image in order to simplify the generation of the virtual image. That is, in the image processing apparatus disclosed in Patent Document 1, in addition to the relationship between the pixel coordinate position (u, v) of the virtual camera and the pixel coordinate position (U, V) of the real camera, the The camera identifier and the degree of necessity of each camera when a plurality of cameras correspond are recorded in the mapping table.
When one pixel position of the output image corresponds to a plurality of pixel positions of the input image, those pixel values are synthesized according to the necessity of each pixel referenced simultaneously with the pixel position of the input image. You can also

従来の画像処理装置は、以上のように構成されているので、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる。
しかしながら、マッピングテーブルには、画素単位で必要な情報を格納する必要があるため、メモリ規模が増大するという課題があった。 Since the conventional image processing apparatus is configured as described above, the relationship between the pixel position of the output image and the pixel position of the input image can be easily obtained.
However, since it is necessary to store necessary information in pixel units in the mapping table, there is a problem that the memory scale increases.

特開２００８−４８２６６号公報JP 2008-48266 A

この発明は、上記のような課題を解決するためになされたもので、画素単位のマッピングテーブルを用いずにメモリ容量の削減を図りつつ、出力画像の画素位置と入力画像の画素位置との関係を簡易に得ることができる画像合成装置及びこの装置としてコンピュータを機能させるための画像合成プログラムを得ることを目的とする。   The present invention has been made to solve the above-described problems, and the relationship between the pixel position of the output image and the pixel position of the input image while reducing the memory capacity without using a pixel-by-pixel mapping table. An object of the present invention is to obtain an image composition apparatus capable of easily obtaining the above and an image composition program for causing a computer to function as the apparatus.

この発明に係る画像合成装置は、複数の入力画像を取り込む画像入力部と、画像入力部により取り込まれた入力画像を格納する画像メモリと、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、入力画像と出力画像との関係が１つに決まっていれば、画像合成を開始する前に計算して、計算結果を部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部と、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、画像合成部が算出した分割数分の合成画像データを格納する表示用メモリと、表示用メモリから読み出した分割数分の合成画像データを、出力画像として表示装置の画面上に表示する表示制御部とを備え、画像合成部は、表示用メモリに格納された合成画像データとベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とするものである。 Image synthesizing apparatus according to the present invention, an image input unit for capturing an input image multiple, an image memory for storing an input image captured by the image input unit, a partial area of the segment of the input image and the output image If the relationship between the input image and the output image is determined to be one matrix information to be associated, the matrix information is calculated before starting image synthesis, and the calculation result is stored in units of graphics forming a partial area; The shape of the graphic area, which is a partial area of the output image formed by dividing the output image, is input as the graphic data in the vector format defined by the vertex data and the drawing command for specifying the drawing contents of the vertex data, A vector graphic processing unit that draws a vector graphic in the graphic area based on the graphic data and the correspondence specified by the matrix information read from the matrix memory Using the function, coordinate conversion processing is performed on each pixel included in the vector graphic area drawn by the vector graphic processing unit, and the pixel data position of the input image corresponding to the partial area of the output image is calculated. An image composition unit for calculating composite image data, a display memory for storing composite image data for the number of divisions calculated by the image composition unit, and a composite image data for the number of divisions read from the display memory for output image A display control unit for displaying on the screen of the display device, and the image composition unit performs a blending operation between the composite image data stored in the display memory and the vector graphic data drawn by the vector graphic processing unit. The result is stored in the display memory as composite image data.

この発明によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリと、出力画像を分割して形成された出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部とを備え、マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部により描画されるベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、出力画像の部分領域に対応する入力画像の画素データ位置を算出することにより算出した合成画像データを、出力画像として表示装置の画面上に表示する。
このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができるという効果がある。 According to the present invention, the matrix information for storing the matrix information that associates the partial area of the input image with the partial area of the output image in units of graphics forming the partial area, and the output image formed by dividing the output image Enter the shape of the graphic area, which is a partial area, as graphic data in the vector format defined by the vertex data and the drawing command that specifies the drawing contents of the vertex data. A coordinate conversion process for each pixel included in the area of the vector graphic drawn by the vector graphic processing unit using the correspondence defined by the matrix information read from the matrix memory. And a composite image calculated by calculating the pixel data position of the input image corresponding to the partial region of the output image. The data on the display device screen as an output image.
As described above, by performing image composition using matrix information that associates a partial area of an output image with a partial area of an input image, it is possible to reduce the memory capacity compared to the case of using a mapping table in units of pixels. is there.

この発明の実施の形態１による画像合成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image composition apparatus by Embodiment 1 of this invention. ベクトル形式の図形データの一例を示す図である。It is a figure which shows an example of the graphic data of a vector format. 出力画像の領域分割の一例を示す図である。It is a figure which shows an example of the area | region division of an output image. 出力画像の部分領域と入力画像の部分領域との対応例を示す図である。It is a figure which shows the example of a response | compatibility with the partial area | region of an output image, and the partial area | region of an input image. 実施の形態１による画像合成装置の動作の流れを示すフローチャートである。3 is a flowchart showing a flow of operations of the image composition device according to the first embodiment. この発明の実施の形態２による画像合成装置の動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the image composition apparatus by Embodiment 2 of this invention.

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像合成装置の構成を示すブロック図である。図１において、実施の形態１による画像合成装置１０は、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６及び表示制御部１７を備える。画像入力部１１は、複数の入力画像（静止画又は動画）１，２，３，４，・・・の中から、取り込み対象の画像データを選択し、画像メモリ１２に書き込みを行う構成部である。例えば、画像入力部１１は、画像データを一時的に保存するための数ライン分の一時バッファを保持するように構成してもよい。 Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of an image composition apparatus according to Embodiment 1 of the present invention. 1, an image composition device 10 according to Embodiment 1 includes an image input unit 11, an image memory 12, a matrix memory 13, a vector graphic processing unit 14, an image composition unit 15, a display memory 16, and a display control unit 17. . The image input unit 11 is a configuration unit that selects image data to be captured from a plurality of input images (still images or moving images) 1, 2, 3, 4,. is there. For example, the image input unit 11 may be configured to hold a temporary buffer for several lines for temporarily storing image data.

マトリクスメモリ１３は、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を保持する記憶部であり、部分領域を形成する図形単位でマトリクス情報を保持する。マトリクス情報は、出力画像と入力画像との関係が予め１つに決まっていれば、画像合成を開始する前に１度だけ計算を行い、計算結果のマトリクス情報をマトリクスメモリ１３に格納しておけば、画像合成の途中で変更を行う必要はない。また、入力画像と出力画像との関係を複数切り替えて使用する場合には、各シーンに対応したマトリクス情報をマトリクスメモリ１３に予め格納しておき、どのマトリクス情報を用いるかを画像合成時に切り替えるようにすれば、視点変更にも対応することができる。   The matrix memory 13 is a storage unit that holds matrix information that associates a partial area of an input image with a partial area of an output image, and holds matrix information in units of graphics that form the partial area. If the relationship between the output image and the input image is determined to be one in advance, the matrix information can be calculated once before the image composition is started, and the matrix information of the calculation result can be stored in the matrix memory 13. For example, there is no need to change during image composition. When a plurality of relations between input images and output images are used, matrix information corresponding to each scene is stored in advance in the matrix memory 13, and which matrix information is used is switched at the time of image synthesis. By doing so, it is possible to cope with a viewpoint change.

ベクトル図形処理部１４は、出力画像（表示画面）を複数の領域に分割した結果として得られる頂点データと、頂点データを用いた描画内容を指定する描画コマンドからなるコマンド列とで定義されたベクトル形式の図形データを入力して受け取り、これらを基にベクトル図形を生成する構成部である。
図２は、ベクトル形式の図形データの一例を示す図である。図２の例では、５個の描画コマンドに対応する頂点データで図形が構成される。曲線を描画する場合には、図形の終点と制御点とを指定することで描画を行う。 The vector graphic processing unit 14 is a vector defined by vertex data obtained as a result of dividing an output image (display screen) into a plurality of regions, and a command sequence including drawing commands for specifying drawing contents using the vertex data. It is a component that inputs and receives graphic data in a format and generates vector graphics based on these data.
FIG. 2 is a diagram illustrating an example of graphic data in vector format. In the example of FIG. 2, a figure is composed of vertex data corresponding to five drawing commands. When drawing a curve, drawing is performed by designating the end point and control point of the figure.

ここで、領域分割は、図３に示すように、一般的な三角形（図３（ａ）参照）、四角形（図３（ｂ）参照）等に限らず、一部は、輪郭線が曲線を含むベクトル図形を用いて分割してもよい（図３（ｃ）参照）。例えば、入力画像が歪みの大きい広角カメラからの入力である場合には、出力画像（表示画面）をベクトル図形で分割することで、カメラのレンズ歪みの影響を抑えることができる。   Here, as shown in FIG. 3, the region division is not limited to a general triangle (see FIG. 3A), a quadrangle (see FIG. 3B), etc. You may divide | segment using the vector figure containing (refer FIG.3 (c)). For example, when the input image is input from a wide-angle camera with large distortion, the influence of lens distortion of the camera can be suppressed by dividing the output image (display screen) into vector graphics.

図４は、マトリクスメモリ１３に保存される出力画像の部分領域と入力画像の部分領域との対応関係の一例を示す図である。例えば、図４のように入力画像内の三角形の領域が出力画像（表示画面）の三角形の領域と対応している場合、両者の対応関係は、以下のように２×３のマトリクスとして表現することができる。
但し、変換マトリクスの第ｉ行ｊ列成分をＭｉｊと表現し、入力画像内の点（Ｘ，Ｙ）が、出力画像の点（Ｘ’，Ｙ’）に対応するものとする。なお、Ｘ’とＹ’とは、下記式（１）の関係となる。ベクトル図形処理部１４は、ベクトル図形の内部に含まれる領域を判定し、描画を行う画素のＸＹ座標を画像合成部１５に対して出力する。
Ｘ’＝（Ｍ００・Ｘ＋Ｍ０１・Ｙ＋Ｍ０２）
Ｙ’＝（Ｍ１０・Ｘ＋Ｍ１１・Ｙ＋Ｍ１２） ・・・（１） FIG. 4 is a diagram illustrating an example of a correspondence relationship between the partial area of the output image stored in the matrix memory 13 and the partial area of the input image. For example, when the triangular area in the input image corresponds to the triangular area of the output image (display screen) as shown in FIG. 4, the correspondence between them is expressed as a 2 × 3 matrix as follows. be able to.
However, the i-th row and j-th column component of the transformation matrix is expressed as Mij, and the point (X, Y) in the input image corresponds to the point (X ′, Y ′) in the output image. X ′ and Y ′ have the relationship of the following formula (1). The vector graphic processing unit 14 determines an area included in the vector graphic and outputs the XY coordinates of the pixel to be drawn to the image composition unit 15.
X ′ = (M00 · X + M01 · Y + M02)
Y ′ = (M10 · X + M11 · Y + M12) (1)

画像合成部１５は、マトリクスメモリ１３の情報を用いて画像メモリ１２に保存された画像に対して所定の座標変換処理を行い、この結果をベクトル図形に対してテクスチャマッピングを行う。また、画像合成部１５は、描画を行う画素に対応したメモリの物理アドレスと描画データ（描画色）とを算出して表示用メモリ１６に格納する。マトリクスメモリ１３には、画素単位ではなく、図形単位での変換マトリクス（マトリクス情報）が保存されているので、画像合成部１５は、ベクトル図形の内部の画素に対して、補間によってテクスチャ座標を算出する。表示制御部１７は、表示用メモリ１６からデータを読み出して、ＬＣＤや液晶ディスプレイ等の各表示装置に対応した同期信号を生成して画面表示を行う。   The image composition unit 15 performs a predetermined coordinate conversion process on the image stored in the image memory 12 using the information in the matrix memory 13, and performs texture mapping on the vector graphic based on the result. In addition, the image composition unit 15 calculates a physical address and drawing data (drawing color) of a memory corresponding to a pixel to be drawn, and stores the calculated data in the display memory 16. Since the matrix memory 13 stores a conversion matrix (matrix information) in units of graphics rather than in units of pixels, the image composition unit 15 calculates texture coordinates by interpolation for pixels inside the vector graphics. To do. The display control unit 17 reads data from the display memory 16, generates a synchronization signal corresponding to each display device such as an LCD or a liquid crystal display, and performs screen display.

図１の例では、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６、及び表示制御部１７のそれぞれが、例えば、ＭＰＵ（Micro Processing Unit）を実装する半導体集積回路基板などの専用のハードウェアで構成された場合を想定しているが、これに限定されるものではない。
例えば、画像合成装置１０を構成する、画像入力部１１、画像メモリ１２、マトリクスメモリ１３、ベクトル図形処理部１４、画像合成部１５、表示用メモリ１６及び表示制御部１７の処理内容が記述された画像合成プログラムをコンピュータのメモリに格納して、当該コンピュータのＣＰＵ（Central Processing Unit）が、当該メモリに格納された画像合成プログラムを実行することで、当該コンピュータのハードウェアとソフトウェアとが協働して得られる構成部１１〜１７として実現してもよい。
なお、当該コンピュータには、例えば、パソコンの他に、後述する画像合成プログラムを実行することが可能な携帯電話や、携帯情報端末、カーナビゲーション装置等も含まれる。 In the example of FIG. 1, each of the image input unit 11, the image memory 12, the matrix memory 13, the vector graphic processing unit 14, the image composition unit 15, the display memory 16, and the display control unit 17 is, for example, an MPU (Micro Processing). Although it is assumed that the unit is configured by dedicated hardware such as a semiconductor integrated circuit board on which the (Unit) is mounted, the present invention is not limited to this.
For example, the processing contents of the image input unit 11, the image memory 12, the matrix memory 13, the vector graphic processing unit 14, the image combining unit 15, the display memory 16, and the display control unit 17 constituting the image combining device 10 are described. The image synthesis program is stored in the memory of the computer, and the CPU (Central Processing Unit) of the computer executes the image synthesis program stored in the memory, so that the hardware and software of the computer cooperate with each other. You may implement | achieve as the structure parts 11-17 obtained in this way.
The computer includes, for example, a mobile phone capable of executing an image composition program described later, a portable information terminal, a car navigation device, and the like in addition to a personal computer.

次に動作について説明する。
図５は、実施の形態１による画像合成装置の動作の流れを示すフローチャートである。この図に沿って、実施の形態１の画像合成処理の詳細を述べる。
先ず、画像合成装置１０は、自装置１０を搭載するシステムのＣＰＵから合成処理開始命令を受けることにより、動作を開始する。ただし、動作開始前には、マトリクスメモリ１３の内容を予め設定しておく必要がある。
画像入力部１１は、前記合成処理開始命令を受けると、入力画像（静止画又は動画）１，２，３，４，・・・のうちから取り込み対象の画像データを選択し、画像メモリ１２に格納する（ステップＳＴ１）。画像入力部１１は、合成対象の全ての画像の取り込みが完了するまで、ステップＳＴ１の処理を繰り返し行う（ステップＳＴ２）。 Next, the operation will be described.
FIG. 5 is a flowchart showing an operation flow of the image composition apparatus according to the first embodiment. The details of the image composition processing according to the first embodiment will be described with reference to FIG.
First, the image synthesizing apparatus 10 starts its operation by receiving a compositing process start command from the CPU of the system in which the apparatus 10 is mounted. However, before the operation starts, the contents of the matrix memory 13 must be set in advance.
Upon receipt of the compositing process start command, the image input unit 11 selects image data to be captured from input images (still images or moving images) 1, 2, 3, 4,. Store (step ST1). The image input unit 11 repeats the process of step ST1 until all the images to be combined are captured (step ST2).

画像入力部１１によって合成対象の全ての画像の取り込みが完了すると、ベクトル図形処理部１４は、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する（ステップＳＴ３）。このとき、ベクトル図形処理部１４は、ベクトル図形の輪郭線が曲線を含むか否かを判定する（ステップＳＴ４）。ベクトル図形の輪郭線が曲線である場合（ステップＳＴ４；ＹＥＳ）、ベクトル図形処理部１４は、輪郭線を微小線分に分割を行う（ステップＳＴ５）。   When all the images to be synthesized are captured by the image input unit 11, the vector graphic processing unit 14 inputs graphic data in the vector format defined by the vertex data and the command sequence, and starts drawing the vector graphic. (Step ST3). At this time, the vector graphic processing unit 14 determines whether or not the contour line of the vector graphic includes a curve (step ST4). When the contour line of the vector graphic is a curve (step ST4; YES), the vector graphic processing unit 14 divides the contour line into minute line segments (step ST5).

輪郭線が曲線を含まない場合（ステップＳＴ４；ＮＯ）、又はステップＳＴ５で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定することができる。そこで、ベクトル図形処理部１４は、図形の内部に含まれる画素のＸＹ座標を算出して、このＸＹ座標を画像合成部１５へ出力する（ステップＳＴ６）。   If the contour line does not include a curve (step ST4; NO), or after dividing the contour line into minute line segments in step ST5, the contour line of the vector graphic is composed only of straight lines. The area included in the figure can be easily determined using the inside / outside determination method. Therefore, the vector graphic processing unit 14 calculates the XY coordinates of the pixels included in the graphic and outputs the XY coordinates to the image composition unit 15 (step ST6).

画像合成部１５は、マトリクスメモリ１３から、現在描画している図形に対応したマトリクス情報を読み出し、ベクトル図形処理部１４から入力された画素のＸＹ座標（Ｘ，Ｙ）に対して、下記式（２）に従って座標変換を行う（ステップＳＴ７）。この結果、入力画像のテクスチャ座標（Ｕ，Ｖ）が得られる。ただし、変換マトリクスを３行３列として第ｉ行ｊ列成分をＭｉｊのように表す。なお、下記式（２）において、Ｗで除算を行っているのは、透視補正のためである。変換マトリクスの第３行目が、Ｍ２０＝Ｍ２１＝０、Ｍ２２＝１である場合は、通常のアフィン変換となるため、Ｗによる除算は不要である。
Ｕ＝（Ｍ００・Ｘ＋Ｍ０１・Ｙ＋Ｍ０２）／Ｗ
Ｖ＝（Ｍ１０・Ｘ＋Ｍ１１・Ｙ＋Ｍ１２）／Ｗ
Ｗ＝Ｍ２０・Ｘ＋Ｍ２１・Ｙ＋Ｍ２２
・・・（２） The image synthesizing unit 15 reads matrix information corresponding to the currently drawn graphic from the matrix memory 13, and uses the following equation (X) for the XY coordinates (X, Y) of the pixel input from the vector graphic processing unit 14. Coordinate conversion is performed according to 2) (step ST7). As a result, the texture coordinates (U, V) of the input image are obtained. However, the conversion matrix is 3 rows and 3 columns, and the i-th row and j-th column component is represented as Mij. In the following formula (2), the division by W is for perspective correction. When the third row of the conversion matrix is M20 = M21 = 0 and M22 = 1, since normal affine transformation is performed, division by W is unnecessary.
U = (M00 · X + M01 · Y + M02) / W
V = (M10 · X + M11 · Y + M12) / W
W = M20 · X + M21 · Y + M22
... (2)

次いで、画像合成部１５は、テクスチャ座標（Ｕ，Ｖ）に対応する入力画像の画素を画像メモリ１２から読み出し、描画を行う画素に対応したメモリの物理アドレスと描画データ（描画色）とを算出して表示用メモリ１６に格納する（ステップＳＴ８）。このとき、入力画像の画素を複数読み出して、バイリニア等のフィルタ処理を行ってもよい。
ここで、本発明の画像合成装置１０は、入力画像が複数あることを想定しているので、テクスチャ座標（Ｕ，Ｖ）が、どの入力画像と対応しているかを判別する必要がある。
このため、例えばマトリクスメモリ１３にどの入力画像に対応したマトリクスであるかを示す識別子を付加しておいてもよい。また、入力画像を画像メモリ１２に格納する際、同時に縮小・フィルタ処理等を行っておき、画像合成部１５が読み出す際は、１つの入力画像として扱えるようにしてもよい。 Next, the image composition unit 15 reads out the pixel of the input image corresponding to the texture coordinates (U, V) from the image memory 12, and calculates the physical address and the drawing data (drawing color) of the memory corresponding to the pixel to be drawn. And stored in the display memory 16 (step ST8). At this time, a plurality of pixels of the input image may be read and bilinear filtering may be performed.
Here, since the image composition apparatus 10 of the present invention assumes that there are a plurality of input images, it is necessary to determine which input image the texture coordinates (U, V) correspond to.
Therefore, for example, an identifier indicating which input image corresponds to the matrix may be added to the matrix memory 13. Further, when the input image is stored in the image memory 12, reduction / filter processing or the like may be performed at the same time, and when the image composition unit 15 reads the input image, it may be handled as one input image.

画像合成部１５が、現在描画している図形の内部に含まれる全ての画素に対して、ステップＳＴ７からステップＳＴ８までの処理を終了すると、出力画像（表示画面）を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する（ステップＳＴ９）。出力画像の生成が終了していない場合（ステップＳＴ９；ＮＯ）、ステップＳＴ３からステップＳＴ８までの処理を繰り返し実施する。出力画像の生成が終了していれば（ステップＳＴ９；ＹＥＳ）、表示制御部１７が、表示用メモリ１６から１フレーム分のデータを読み出し、ＬＣＤ、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う（ステップＳＴ１０）。   When the image synthesizing unit 15 finishes the processing from step ST7 to step ST8 for all the pixels included in the currently drawn graphic, all the images obtained by dividing the output image (display screen) into regions are displayed. It is determined whether drawing of the graphic area is completed and generation of the output image is completed (step ST9). If the generation of the output image has not been completed (step ST9; NO), the processes from step ST3 to step ST8 are repeated. If the generation of the output image has been completed (step ST9; YES), the display control unit 17 reads data for one frame from the display memory 16, and outputs a synchronization signal corresponding to a display device such as an LCD or a liquid crystal display. Generate and display the screen (step ST10).

さらに、画像合成部１５は、次のフレームの画像合成が必要か否かを判定する（ステップＳＴ１１）。このとき、必要である場合（ステップＳＴ１１；ＹＥＳ）、ステップＳＴ１からステップＳＴ１０までの処理を繰り返し行う。次のフレームの画像合成が必要でない場合（ステップＳＴ１１；ＮＯ）には、画像合成を終了する。   Further, the image composition unit 15 determines whether image composition of the next frame is necessary (step ST11). At this time, if necessary (step ST11; YES), the processing from step ST1 to step ST10 is repeated. If image composition for the next frame is not necessary (step ST11; NO), image composition is terminated.

なお、上記の説明では、説明の都合上、画像合成装置１０の各構成要素がシーケンシャルに動作する場合を例として説明したが、画像合成性能を上げたい場合には、画像メモリ１２、表示用メモリ１６をそれぞれダブルバッファ構成として、画像メモリ１２に対する画像入力用の書き込みと画像合成用の読み出し、表示用メモリ１６に対する画像合成結果の書き込みと表示用の読み出し等が並列に動作するようにしてもよい。   In the above description, for convenience of explanation, the case where each component of the image composition device 10 operates sequentially has been described as an example. However, when it is desired to improve the image composition performance, the image memory 12 and the display memory 16 may be configured as a double buffer, and image input writing to the image memory 12 and reading for image composition, image composition result writing to the display memory 16 and display reading may be performed in parallel. .

以上のように、この実施の形態１によれば、入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、部分領域を形成する図形単位で格納するマトリクスメモリ１３と、出力画像を分割する複数の図形領域の形状をそれぞれ規定する頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データを入力し、当該図形データに基づいて図形領域のベクトル図形を描画するベクトル図形処理部１４とを備え、マトリクスメモリ１３から読み出したマトリクス情報で規定される対応関係を用いて、ベクトル図形処理部１４により描画されたベクトル図形に座標変換処理を施し、入力画像のテクスチャ座標を算出し、当該テクスチャ座標に対応する入力画像の画素データを用いて算出した合成画像データを、出力画像として表示装置の画面上に表示する。このように、出力画像の部分領域と入力画像の部分領域とを対応付けるマトリクス情報を用いて画像合成を行うことで、画素単位のマッピングテーブルを用いる場合よりメモリ容量を削減することができる。   As described above, according to the first embodiment, the matrix memory 13 that stores the matrix information that associates the partial area of the input image and the partial area of the output image in units of graphics that form the partial area, and the output image Inputs graphic data in vector format defined by vertex data that specifies the shape of each of the multiple graphic areas to be divided and a drawing command that specifies the drawing contents of the vertex data, and a vector of the graphic area based on the graphic data A vector graphic processing unit 14 for drawing a graphic, and performs a coordinate conversion process on the vector graphic drawn by the vector graphic processing unit 14 using the correspondence defined by the matrix information read from the matrix memory 13, and inputs Calculate the texture coordinates of the image, and use the pixel data of the input image corresponding to the texture coordinates The combined image data is displayed on the display device screen as an output image. Thus, by performing image composition using matrix information that associates a partial area of the output image with a partial area of the input image, the memory capacity can be reduced as compared with the case of using a mapping table in units of pixels.

また、この実施の形態１によれば、ベクトル形式の図形データが、輪郭線の一部に曲線を含む図形領域で出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであっても、ベクトル図形処理部１４が、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画するので、三角形、四角形等に限らず、一部は輪郭線が曲線を含むベクトル図形を用いて表示画面を領域分割することが可能であり、入力画像の種類に応じて合成処理を効率化できる。   Further, according to the first embodiment, the graphic data in the vector format designates the vertex data obtained by dividing the output image in the graphic area including the curve in a part of the contour line and the drawing contents of the vertex data. Even in the case of graphic data defined by a drawing command, the vector graphic processing unit 14 divides the outline into minute line segments and draws a vector graphic in the graphic area. In some cases, the display screen can be divided into regions using vector graphics whose contours include curves, and the composition processing can be made more efficient in accordance with the type of input image.

さらに、この実施の形態１は、フォント、ＧＵＩ（Graphical User Interface）画面等のベクトル図形と、カメラ入力の合成画像とを１つの画面に重ね合わせて表示するような用途に対しても容易に実現することができる。   Furthermore, the first embodiment can be easily realized for applications such as fonts, GUI (Graphical User Interface) screens and other vector graphics, and a camera input composite image superimposed on one screen. can do.

実施の形態２．
上記実施の形態１では、画像合成装置１０が複数の入力画像を１つに合成して表示する場合について示したが、画像合成装置１０は、通常のベクトル図形描画機能も有しているため、ベクトル図形を単独、又は合成画像と重ね合わせて表示するようにしてもよい。 Embodiment 2. FIG.
In the first embodiment, the case where the image composition device 10 composes and displays a plurality of input images is shown, but the image composition device 10 also has a normal vector graphic drawing function. The vector graphic may be displayed alone or superimposed on the composite image.

この実施の形態２における画像合成装置は、上記実施の形態１と構成自体は同一であるが、上記実施の形態１とは、上述したようにベクトル図形を単独、又は、ベクトル図形を合成画像と重ね合わせて表示する点で異なる。そこで、実施の形態２による画像合成装置の構成については、上記実施の形態１で示した図１を参照する。また、以降は、例として合成画像とベクトル画像（フォント等）を重ね合わせて表示する場合について説明する。   The image synthesizing apparatus according to the second embodiment has the same configuration as that of the first embodiment. However, the first embodiment differs from the first embodiment in that a vector graphic is used alone or a vector graphic is used as a synthesized image. It differs in that it is displayed superimposed. Therefore, for the configuration of the image composition apparatus according to the second embodiment, refer to FIG. 1 shown in the first embodiment. Hereinafter, as an example, a case in which a composite image and a vector image (font or the like) are displayed in a superimposed manner will be described.

次に動作について説明する。
図６は、この発明の実施の形態２による画像合成装置の動作の流れを示すフローチャートである。画像合成装置１０は、自装置１０を搭載するシステムのＣＰＵから図形描画開始命令を受けることにより、動作を開始する。ただし、このとき、上記実施の形態１と同様にして、合成画像の生成は完了しているものとする。 Next, the operation will be described.
FIG. 6 is a flowchart showing an operation flow of the image composition apparatus according to Embodiment 2 of the present invention. The image synthesizing apparatus 10 starts its operation by receiving a graphic drawing start command from the CPU of the system in which the apparatus 10 is mounted. However, at this time, it is assumed that the generation of the composite image is completed as in the first embodiment.

ベクトル図形処理部１４は、前記図形描画開始命令を受けると、頂点データとコマンド列とで定義されるベクトル形式の図形データを入力し、ベクトル図形の描画を開始する（ステップＳＴ１２）。ベクトル図形処理部１４は、ベクトル図形の輪郭線が曲線を含むか否かを判定する（ステップＳＴ１３）。ここで、ベクトル図形の輪郭線が曲線である場合（ステップＳＴ１３；ＹＥＳ）、ベクトル図形処理部１４は、輪郭線を微小線分に分割を行う（ステップＳＴ１４）。   Upon receiving the graphic drawing start command, the vector graphic processing unit 14 inputs graphic data in the vector format defined by the vertex data and the command sequence, and starts drawing the vector graphic (step ST12). The vector graphic processing unit 14 determines whether or not the contour line of the vector graphic includes a curve (step ST13). Here, when the contour line of the vector graphic is a curve (step ST13; YES), the vector graphic processing unit 14 divides the contour line into minute line segments (step ST14).

輪郭線が曲線を含まない場合（ステップＳＴ１３；ＮＯ）又はステップＳＴ１４で輪郭線を微小線分に分割した後は、ベクトル図形の輪郭線は直線のみで構成されるので、一般的な図形の内外判定方法の手法を用いて容易に図形の内部に含まれる領域を判定できる。そこで、ベクトル図形処理部１４は、図形の内部に含まれる画素のＸＹ座標を算出して、このＸＹ座標を画像合成部１５へ出力する（ステップＳＴ１５）。   When the contour line does not include a curve (step ST13; NO) or after the contour line is divided into minute line segments at step ST14, the contour line of the vector graphic is composed of only straight lines, so A region included in the figure can be easily determined using the determination method. Therefore, the vector graphic processing unit 14 calculates the XY coordinates of the pixels included in the graphic and outputs the XY coordinates to the image composition unit 15 (step ST15).

画像合成部１５は、ベクトル図形処理部１４から入力された画素のＸＹ座標に対応するメモリの物理アドレスと描画データ（描画色）を算出する（ステップＳＴ１６）。描画色としては、図形を単色で塗潰す場合は固定色を出力し、グラデーション塗潰しを行う場合は、画像合成部１５で色の補間を行うことで対応する。
次いで、画像合成部１５は、表示用メモリ１６に格納された合成画像を一旦読み出し、描画色との間でブレンド演算を行った後、表示用メモリ１６に書き戻す（ステップＳＴ１７）。 The image composition unit 15 calculates the physical address and the drawing data (drawing color) of the memory corresponding to the XY coordinates of the pixel input from the vector graphic processing unit 14 (step ST16). As the drawing color, a fixed color is output when the figure is painted with a single color, and when the gradation painting is performed, the image composition unit 15 performs color interpolation.
Next, the image composition unit 15 once reads the composite image stored in the display memory 16, performs a blend operation with the drawing color, and then writes it back to the display memory 16 (step ST <b> 17).

画像合成部１５が、現在描画している図形の内部に含まれる全ての画素に対して、ステップＳＴ１６からステップＳＴ１７までの処理を終了すると、出力画像（表示画面）を領域分割して得られる全ての図形領域の描画が完了し、出力画像の生成が終了したか否かを判定する（ステップＳＴ１８）。   When the image composition unit 15 finishes the processing from step ST16 to step ST17 for all the pixels included in the currently drawn graphic, all the images obtained by dividing the output image (display screen) into regions are displayed. It is determined whether the drawing of the graphic area is completed and the generation of the output image is completed (step ST18).

出力画像の生成が終了していない場合（ステップＳＴ１８；ＮＯ）には、ステップＳＴ１２からステップＳＴ１７までの処理を繰り返し実施する。出力画像の生成が終了していれば（ステップＳＴ１８；ＹＥＳ）、表示制御部１７は、表示用メモリ１６から１フレーム分のデータを読み出し、ＬＣＤ、液晶ディスプレイ等の表示装置に対応した同期信号を生成して画面表示を行う（ステップＳＴ１９）。   If the generation of the output image has not been completed (step ST18; NO), the processes from step ST12 to step ST17 are repeated. If the generation of the output image has been completed (step ST18; YES), the display control unit 17 reads data for one frame from the display memory 16, and outputs a synchronization signal corresponding to a display device such as an LCD or a liquid crystal display. Generate and display the screen (step ST19).

以上のように、この実施の形態２によれば、ベクトル図形処理部１４が、上記実施の形態１と同様に画像入力部１１による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、ＣＰＵからの描画開始命令に従ってベクトル図形の描画を開始するモードとを備え、画像合成部１５が、表示用メモリ１６に格納された合成画像データとベクトル図形処理部１４により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして表示用メモリ１６に格納する。このようにすることで、画像合成とベクトル図形の描画という異なる２つの機能を同一の画像合成装置で実現できるため、ハードウェア規模を削減することができる。   As described above, according to the second embodiment, a mode in which the vector graphic processing unit 14 starts drawing a vector graphic in response to the completion of input image input by the image input unit 11 as in the first exemplary embodiment. And a mode for starting drawing of a vector graphic in accordance with a drawing start command from the CPU, and the image composition unit 15 and the composite graphic data stored in the display memory 16 and the vector graphic drawn by the vector graphic processing unit 14 The result of the blend operation with the data is stored in the display memory 16 as composite image data. By doing so, two different functions of image composition and vector graphic drawing can be realized by the same image composition apparatus, so that the hardware scale can be reduced.

Claims (5)

複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、前記入力画像と前記出力画像との関係が１つに決まっていれば、画像合成を開始する前に計算して、計算結果を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部とを備え、
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とする画像合成装置。 An image input unit for capturing a plurality of input images;
An image memory for storing an input image captured by the image input unit;
Matrix information for associating the partial area of the input image and the partial area of the output image is calculated before the start of image synthesis if the relationship between the input image and the output image is determined as one. A matrix memory for storing results in units of graphics forming the partial area;
The shape of a graphic area that is a partial area of the output image formed by dividing the output image is input as graphic data in a vector format defined by vertex data and a drawing command that specifies the drawing contents of the vertex data. A vector graphic processing unit for drawing a vector graphic of the graphic area based on the graphic data;
Using the correspondence defined by the matrix information read from the matrix memory, each pixel included in the vector graphic area drawn by the vector graphic processing unit is subjected to coordinate conversion processing, and the output image An image composition unit for calculating composite image data by calculating a pixel data position of the input image corresponding to a partial region;
A display memory for storing the composite image data for the number of divisions calculated by the image composition unit;
E Bei a display control unit for displaying the said synthetic image data of the divided number of read from the display memory, on the screen of the display device as the output image,
The image synthesizing unit obtains a result of a blend operation between the synthesized image data stored in the display memory and the vector graphic data drawn by the vector graphic processing unit as synthesized image data. An image composition apparatus characterized by being stored in 前記ベクトル図形処理部は、前記画像入力部による入力画像の取り込み完了を契機としてベクトル図形の描画を開始するモードと、描画開始命令に従って前記ベクトル図形の描画を開始するモードとを備えることを特徴とする請求項１記載の画像合成装置。   The vector graphic processing unit includes a mode for starting drawing of a vector graphic in response to completion of capturing of an input image by the image input unit, and a mode for starting drawing of the vector graphic in accordance with a drawing start command. The image composition apparatus according to claim 1. 前記ベクトル形式の図形データは、輪郭線の一部に曲線を含む図形領域で前記出力画像を分割して得られる頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義された図形データであり、
前記ベクトル図形処理部は、前記図形データから前記図形領域が輪郭線の一部に曲線を含むことを判定すると、当該輪郭線を微小線分に分割して当該図形領域のベクトル図形を描画することを特徴とする請求項１記載の画像合成装置。 The graphic data in the vector format is graphic data defined by vertex data obtained by dividing the output image in a graphic area including a curve in a part of a contour line and a drawing command for specifying the drawing contents of the vertex data. And
When the vector graphic processing unit determines from the graphic data that the graphic region includes a curve as a part of a contour line, the vector graphic processing unit divides the contour line into minute line segments and draws a vector graphic of the graphic region. The image synthesizing apparatus according to claim 1. 前記画像メモリ及び前記表示用メモリをそれぞれダブルバッファ構成として、前記画像メモリに対する前記入力画像の格納と画素データの読み出しを並列して行い、前記表示用メモリに対する合成画像データの格納と読み出しを並列して行うことを特徴とする請求項１記載の画像合成装置。   The image memory and the display memory are each configured as a double buffer, and the input image is stored in the image memory and the pixel data is read in parallel, and the composite image data is stored and read in the display memory in parallel. The image synthesizing apparatus according to claim 1, wherein the image synthesizing apparatus is performed. 複数の入力画像を取り込む画像入力部と、
前記画像入力部により取り込まれた入力画像を格納する画像メモリと、
前記入力画像の部分領域と出力画像の部分領域とを対応付けるマトリクス情報を、前記入力画像と前記出力画像との関係が１つに決まっていれば、画像合成を開始する前に計算して、計算結果を前記部分領域を形成する図形単位で格納するマトリクスメモリと、
前記出力画像全体を分割して形成された前記出力画像の部分領域である図形領域の形状を、頂点データ及び当該頂点データの描画内容を指定する描画コマンドとで定義されたベクトル形式の図形データとして入力し、当該図形データに基づいて前記図形領域のベクトル図形を描画するベクトル図形処理部と、
前記マトリクスメモリから読み出したマトリクス情報で規定される対応関係を用いて、前記ベクトル図形処理部により描画される前記ベクトル図形の領域に含まれる各画素に対して座標変換処理を施し、前記出力画像の部分領域に対応する前記入力画像の画素データ位置を算出することにより合成画像データを算出する画像合成部と、
前記画像合成部が算出した前記分割数分の前記合成画像データを格納する表示用メモリと、
前記画像合成部は、前記表示用メモリに格納された合成画像データと前記ベクトル図形処理部により描画されたベクトル図形データとの間でブレンド演算を行った結果を、合成画像データとして前記表示用メモリに格納することを特徴とし、
前記表示用メモリから読み出した前記分割数分の前記合成画像データを、前記出力画像として表示装置の画面上に表示する表示制御部としてコンピュータを機能させるための画像合成プログラム。 An image input unit for capturing a plurality of input images;
An image memory for storing an input image captured by the image input unit;
Matrix information for associating the partial area of the input image and the partial area of the output image is calculated before the start of image synthesis if the relationship between the input image and the output image is determined as one. A matrix memory for storing results in units of graphics forming the partial area;
The shape of the graphic region, which is a partial region of the output image formed by dividing the entire output image, is represented as vector data in the form of vector data defined by vertex data and a drawing command that specifies the drawing content of the vertex data. A vector graphic processing unit for inputting and drawing a vector graphic of the graphic area based on the graphic data;
Using the correspondence defined by the matrix information read from the matrix memory, each pixel included in the vector graphic area drawn by the vector graphic processing unit is subjected to coordinate conversion processing, and the output image An image composition unit for calculating composite image data by calculating a pixel data position of the input image corresponding to a partial region;
A display memory for storing the composite image data for the number of divisions calculated by the image composition unit;
The image synthesizing unit obtains a result of a blend operation between the synthesized image data stored in the display memory and the vector graphic data drawn by the vector graphic processing unit as synthesized image data. It is characterized by storing in,
An image composition program for causing a computer to function as a display control unit that displays the composite image data for the number of divisions read from the display memory on the screen of a display device as the output image.
JP2011544993A 2009-12-11 2009-12-11 Image composition apparatus and image composition program Active JP5318225B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/006807 WO2011070631A1 (en) 2009-12-11 2009-12-11 Image synthesis device and image synthesis program

Publications (2)

Publication Number Publication Date
JPWO2011070631A1 JPWO2011070631A1 (en) 2013-04-22
JP5318225B2 true JP5318225B2 (en) 2013-10-16

Family

ID=44145203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011544993A Active JP5318225B2 (en) 2009-12-11 2009-12-11 Image composition apparatus and image composition program

Country Status (5)

Country Link
US (1) US20120242693A1 (en)
JP (1) JP5318225B2 (en)
CN (1) CN102652321B (en)
DE (1) DE112009005430T5 (en)
WO (1) WO2011070631A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930575B (en) * 2011-08-08 2017-07-25 深圳市世纪光速信息技术有限公司 Method, device and information terminal that a kind of secondary graphics are drawn
CN105190698A (en) * 2013-02-12 2015-12-23 三菱电机株式会社 Drawing data generation device, drawing data generation method and display device
CN104835447B (en) * 2014-02-11 2018-01-12 包健 A kind of LED display device and its display methods
DE112018005446T5 (en) * 2017-09-25 2020-07-30 Mitsubishi Electric Corporation INFORMATION DISPLAY DEVICE AND METHOD AND PROGRAM AND RECORDING MEDIUM
US11340843B2 (en) * 2019-05-17 2022-05-24 Esko-Graphics Imaging Gmbh System and method for storing interrelated image information in a print job file
US11294352B2 (en) * 2020-04-24 2022-04-05 The Boeing Company Cross-section identification system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137815A (en) * 1998-11-02 2000-05-16 Gen Tec:Kk New viewpoint image generating method
JP2008504597A (en) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート Apparatus and method for displaying peripheral image
JP2008085691A (en) * 2006-09-28 2008-04-10 Clarion Co Ltd Vehicle periphery monitoring apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6666593B2 (en) * 2001-06-26 2003-12-23 Seiko Epson Corporation Tape printing apparatus and image forming method and label producing method for the tape printing apparatus
US6943805B2 (en) * 2002-06-28 2005-09-13 Microsoft Corporation Systems and methods for providing image rendering using variable rate source sampling
AU2003901237A0 (en) * 2003-03-14 2003-04-03 The Australian National University Fractal Image Data and Image Generator
WO2006028093A1 (en) * 2004-09-06 2006-03-16 Matsushita Electric Industrial Co., Ltd. Video generation device and video generation method
JP5013773B2 (en) 2006-08-18 2012-08-29 パナソニック株式会社 In-vehicle image processing apparatus and viewpoint conversion information generation method thereof
US8179403B2 (en) * 2006-10-19 2012-05-15 Panasonic Corporation Image synthesis device, image synthesis method, image synthesis program, integrated circuit
BRPI0806926A2 (en) * 2007-02-06 2014-04-29 Saint Gobain INSULATING GLASS ELEMENT.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137815A (en) * 1998-11-02 2000-05-16 Gen Tec:Kk New viewpoint image generating method
JP2008504597A (en) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート Apparatus and method for displaying peripheral image
JP2008085691A (en) * 2006-09-28 2008-04-10 Clarion Co Ltd Vehicle periphery monitoring apparatus

Also Published As

Publication number Publication date
WO2011070631A1 (en) 2011-06-16
JPWO2011070631A1 (en) 2013-04-22
DE112009005430T5 (en) 2012-12-06
CN102652321B (en) 2014-06-04
US20120242693A1 (en) 2012-09-27
CN102652321A (en) 2012-08-29

Similar Documents

Publication Publication Date Title
JP5318225B2 (en) Image composition apparatus and image composition program
JP5172863B2 (en) Banana codec
US10387995B2 (en) Semiconductor device, electronic apparatus, and image processing method
CN101490708B (en) Image processing device, image processing method, and program
JP5195592B2 (en) Video processing device
JP4786712B2 (en) Image composition apparatus and image composition method
JP2007271908A (en) Multi-image creating device
JP2008079026A (en) Image processor, image processing method, and program
JP2000244814A (en) Image compositing device and recording medium where image compositing method is recorded
JP2009075646A (en) Video display system and parameter generation method of same
JP5966657B2 (en) Image generating apparatus, image generating method, and program
JP6750847B2 (en) Image processing apparatus, control method thereof, and program
JP2003066943A (en) Image processor and program
JP2000324337A (en) Image magnification and reducing device
JP5705027B2 (en) Image processing apparatus, image processing apparatus control method, program, and recording medium
JP4882954B2 (en) Imaging apparatus, information synthesis apparatus, and program
CN117372583B (en) Animation file processing method, system, electronic equipment and storage medium
WO2021245875A1 (en) Image compositing device and image compositing method
JP2004184738A (en) Image scaling device, image scaling method, program and recording medium
US20070286518A1 (en) Image processing apparatus and image processing method
JP4767331B2 (en) Image processing apparatus, image processing method, recording medium, computer program, semiconductor device
JP2001045369A (en) Method and device for composting image and recording medium
JP2013126130A (en) Image processing system, image processing method, and image processing program
JPH07298192A (en) Image display controller
JP2005242675A (en) Image size reduction processing method and image size expansion processing method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R150 Certificate of patent or registration of utility model

Ref document number: 5318225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250