JP4695422B2 - Image synthesizer - Google Patents

Image synthesizer Download PDF

Info

Publication number
JP4695422B2
JP4695422B2 JP2005096153A JP2005096153A JP4695422B2 JP 4695422 B2 JP4695422 B2 JP 4695422B2 JP 2005096153 A JP2005096153 A JP 2005096153A JP 2005096153 A JP2005096153 A JP 2005096153A JP 4695422 B2 JP4695422 B2 JP 4695422B2
Authority
JP
Japan
Prior art keywords
image
circuit
synthesized
memory
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005096153A
Other languages
Japanese (ja)
Other versions
JP2006277390A (en
Inventor
善信 駒形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2005096153A priority Critical patent/JP4695422B2/en
Publication of JP2006277390A publication Critical patent/JP2006277390A/en
Application granted granted Critical
Publication of JP4695422B2 publication Critical patent/JP4695422B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理方式、および処理画像の表示方式に係り、さらに詳しくは、例えばグラフィックス・メモリに格納されている複数の画像を合成してその結果を表示するとともに、合成結果をグラフィックス・メモリに書込み、さらに異なる画像との合成を可能とする画像合成装置に関する。   The present invention relates to an image processing method and a processed image display method. More specifically, for example, a plurality of images stored in a graphics memory are combined and the result is displayed. The present invention relates to an image synthesizing apparatus that can be written in a memory and synthesized with different images.

ナビゲーションシステムなどのようなグラフィックス表示機能を有する電子機器においては、レイヤと呼ばれる画像が載せられた仮想的なシートを重ねたり、取り替えたりすることによって、画像を合成したり、画像に変化を加える方法が取られている。   In an electronic device having a graphics display function such as a navigation system or the like, a virtual sheet on which an image called a layer is placed is superposed or replaced to synthesize the image or to change the image. The method is taken.

図21は、そのようなグラフィックス表示機能を持つ電子機器の従来例の全体構成ブロック図である。同図において電子機器は、全体を制御するホストCPU100、画像の合成やその表示を行なうためのハードウェアとしてのグラフィックスLSI101、合成すべき画像や表示すべき画像を格納するグラフィックス・メモリ102、画像を表示する表示装置103、プログラムやデータなどを格納するリード・オンリー・メモリ104、およびランダム・アクセス・メモリ105、ユーザの操作による入力を受け取るユーザ操作入力装置106、およびこれらの構成要素を接続するバス107によって構成されている。   FIG. 21 is a block diagram of the entire configuration of a conventional example of an electronic apparatus having such a graphics display function. In the figure, an electronic device includes a host CPU 100 for controlling the whole, a graphics LSI 101 as hardware for synthesizing and displaying images, a graphics memory 102 for storing images to be synthesized and images to be displayed, A display device 103 for displaying an image, a read-only memory 104 for storing programs and data, a random access memory 105, a user operation input device 106 for receiving input by a user operation, and these components are connected The bus 107 is configured.

図22は、図21の従来例におけるグラフィックスLSIの詳細構成ブロック図である。このグラフィックスLSI101に対しては、図21のホストCPU100からバス107を介して各種の制御データなどが与えられ、グラフィックスLSI101はその制御データに従ってグラフィックス・メモリ102に格納されている画像の合成や表示を行なうものである。このグラフィックスLSI101の動作について概略的に説明する。   FIG. 22 is a detailed configuration block diagram of the graphics LSI in the conventional example of FIG. Various control data and the like are given to the graphics LSI 101 via the bus 107 from the host CPU 100 of FIG. 21, and the graphics LSI 101 synthesizes an image stored in the graphics memory 102 according to the control data. And display. The operation of the graphics LSI 101 will be schematically described.

ビデオタイミング発生回路112は、垂直同期信号や水平同期信号を発生し、例えば図21の表示装置103に与えるものである。ホストアクセス制御回路113は、ホストCPU100によるグラフィックス・メモリ・インターフェース116を介した画像のグラフィックス・メモリ102への書込みや読出しを制御するものである。   The video timing generation circuit 112 generates a vertical synchronization signal and a horizontal synchronization signal and supplies them to, for example, the display device 103 in FIG. The host access control circuit 113 controls writing and reading of an image to and from the graphics memory 102 via the graphics memory interface 116 by the host CPU 100.

メモリ読出し回路114から114は、グラフィックス・メモリ102からグラフィックスインターフェース116を介して各レイヤの画像データを、例えばバースト転送により読出し、内部のメモリに一時的に格納した後に、画像の合成や表示に必要なタイミングでその画像データを出力するものである。 114 d from the memory read circuit 114 a is the image data of each layer from the graphics memory 102 via a graphics interface 116, for example read by burst transfer, after temporarily stored in the internal memory, image synthesis The image data is output at a timing required for display.

透明色レジスタ120から120は、画像データに含まれているどの色コードが透明色として扱われるべきかを示すデータを格納するものであり、そのデータはバス107を介してホストCPU100によって設定される。 120 d from the transparent color register 120 a on the colors code included in the image data are those which store data indicating whether to be treated as transparent color, the data set by the host CPU100 through the bus 107 Is done.

透明色判定回路121から121は、各メモリ読出し回路から出力される画像データと、透明色レジスタの設定値とを比較し、画像データの各ピクセルの色が透明色に該当するか否かを判定し、判定結果を画像データの拡張ビットに割当てて、各合成回路に出力するものである。 121 d transparent color determining circuit 121 a includes an image data output from the memory read circuit compares the set value of the transparent color register, whether the color of each pixel of the image data corresponds to the transparent color , And the determination result is assigned to the extension bit of the image data and output to each synthesis circuit.

係数レジスタ122から122は、ホストCPU100によって設定されるブレンド係数を保持するものである。このブレンド係数は、合成結果の画像で最も基本となる背景色のデータが格納される背景色レジスタ127、または下位側の合成回路の出力と、対応するメモリ読出し回路からの出力データとのブレンドを行なうための比率である。 122 d from the coefficient register 122 a is for holding the blend coefficients set by the host CPU 100. This blend coefficient is the blend of the output of the background color register 127 storing the most basic background color data in the image of the synthesis result or the lower synthesis circuit and the output data from the corresponding memory read circuit. The ratio to do.

合成回路125から125は、対応するメモリ読出し回路の出力と、背景色レジスタ127、または下位側(下位レイヤ)の合成回路の出力との合成を行なうものである。この合成においては透明色モードとブレンドモードの2つがある。 Synthesis circuit 125 a from 125 d is configured to perform the output of the corresponding memory read circuit, a combination of the output of the synthesis circuit of the background color register 127 or lower, (lower layer). In this synthesis, there are two modes, a transparent color mode and a blend mode.

透明色モードでは、各透明色判定回路の判定結果に従って、メモリ読出し回路から出力される画像データと、下位レイヤに対応する合成回路(または背景色レジスタ)の出力とのいずれかを選択するものであり、透明なピクセルに対しては下位レイヤの画像データを選択することによって、視覚的には下のレイヤの画像が透過して見えるような画像が合成される。   In the transparent color mode, either the image data output from the memory reading circuit or the output of the synthesis circuit (or background color register) corresponding to the lower layer is selected according to the determination result of each transparent color determination circuit. Yes, by selecting image data of a lower layer for transparent pixels, an image that allows the image of the lower layer to be seen through is visually synthesized.

これに対してブレンドモードでは、各メモリ読出し回路の出力と、下位レイヤの合成回路の出力とを、ブレンド係数によって定義される比率に対応して、加算を行なうことによって合成出力が得られる。この従来例では、基本的にメモリ読出し回路114dから読み出される画像データが最下位のレイヤの画像として、その上にメモリ読出し回路114によって読み出されるレイヤの画像データが重ねられる形式で、例えば4つのレイヤの画像データが合成されて、ビデオデータ出力として図21の表示装置103に与えられることになる。
このような複数の画像の合成に関する従来技術として次の文献がある。
特開2003−288071号 「画像処理装置および半導体装置」
On the other hand, in the blend mode, a combined output is obtained by adding the output of each memory read circuit and the output of the lower layer combining circuit in accordance with the ratio defined by the blend coefficient. In the prior art, basically as image data read from the memory read circuit 114d is the lowest layer image, in a form image data in the layer to be read out by the memory reading circuit 114 c thereon is superimposed, for example, four The image data of the layers are combined and supplied to the display device 103 in FIG. 21 as video data output.
There is the following document as a conventional technique related to the synthesis of such a plurality of images.
JP 2003-288071 “Image processing apparatus and semiconductor device”

この特許文献には、例えば図22のような構成を持つグラフィックスLSIにおいて、例えばメモリ読出し回路114によって読み出される画像データを必ずしも最下位のレイヤとするのではなく、その画像データを最上位のレイヤの画像データとして合成することも可能とするように、任意の順序で画像の合成順序を制御することのできる画像処理装置が開示されている。 The patent literature, for example in a graphics LSI having the configuration shown in FIG. 22, for example, the memory read circuit 114 is not necessarily the lowest layer of the image data read by d, the uppermost of the image data An image processing apparatus that can control the composition order of images in an arbitrary order so as to be able to be synthesized as image data of layers is disclosed.

しかしながらこのような従来技術においては、各合成回路によって合成された画像データが出力として表示装置に与えられるだけであり、ホストCPU側では合成後の画像を直接に知ることができないという問題点があった。また合成の対象となる画像データはグラフィックス・メモリに格納されているデータのみであり、合成され、表示されている画像データと他の画像データとをさらに合成することはできないという問題点もあった。さらに合成可能な画像の数は、合成回路の段数によってハードウェア的に制限され、ホストCPU側で合成段数を任意に制御することもできないという問題点があった。   However, in such a conventional technique, the image data synthesized by each synthesis circuit is only given to the display device as an output, and the host CPU cannot directly know the synthesized image. It was. In addition, the image data to be combined is only data stored in the graphics memory, and there is a problem that the combined image data displayed cannot be combined with other image data. It was. Further, the number of images that can be combined is limited by hardware depending on the number of stages of the combining circuit, and there is a problem that the number of combining stages cannot be arbitrarily controlled on the host CPU side.

本発明の課題は、上述の問題点に鑑み、複数の画像の合成結果にホストCPUがアクセスすることを可能にするとともに、合成回路の段数以上のレイヤの画像を合成可能とすることである。   In view of the above-described problems, an object of the present invention is to enable a host CPU to access a result of combining a plurality of images and to combine images of layers having more than the number of stages of a combining circuit.

図1は、本発明の画像合成装置の原理構成ブロック図である。同図は、例えばグラフィックス・メモリに格納されている複数の画像を合成する画像合成装置の原理構成を示し、この画像合成装置は、ハードウェア的な合成回路の段数によって、1回の合成では合成できる画像レイヤの数が制限される場合に、その制限されるレイヤの数以上の画像の合成を可能とする画像合成装置の原理構成を示す。   FIG. 1 is a block diagram showing the principle configuration of an image composition apparatus according to the present invention. FIG. 1 shows the principle configuration of an image composition device that synthesizes a plurality of images stored in, for example, a graphics memory. This image composition device can be combined in one composition depending on the number of hardware composition circuits. A principle configuration of an image synthesizing apparatus capable of synthesizing images exceeding the limited number of layers when the number of image layers that can be synthesized is limited will be described.

本発明の画像合成装置1は、画像データ記憶手段2、第1の画像合成手段3、選択手段4、第2の画像合成手段5、および画像書込手段6を少なくとも備える。
画像データ記憶手段2は、例えばグラフィックス・メモリであり、複数の画像を記憶するものである。第1の画像合成手段3は、画像データ記憶手段2に記憶されている複数の画像を合成するものである。
The image composition apparatus 1 of the present invention includes at least an image data storage unit 2, a first image composition unit 3, a selection unit 4, a second image composition unit 5, and an image writing unit 6.
The image data storage means 2 is, for example, a graphics memory and stores a plurality of images. The first image synthesizing unit 3 synthesizes a plurality of images stored in the image data storage unit 2.

選択手段4は、第1の画像合成手段3の出力画像と背景色画像との何れかを選択するものであり、第2の画像合成手段5は、選択手段4の出力と画像データ記憶手段2に記憶されている1つ以上の画像とを合成するものである。   The selecting unit 4 selects either the output image of the first image synthesizing unit 3 or the background color image, and the second image synthesizing unit 5 outputs the output of the selecting unit 4 and the image data storage unit 2. Are combined with one or more images stored in the.

画像書込手段6は、第1の画像合成手段3の出力、または第2の画像合成手段5の出力としての、合成画像の何れかを画像データ記憶手段2に書込むものである。
本発明の画像合成装置1は表示手段7をさらに備えることができ、表示手段7は第2の画像合成手段5によって合成された合成画像を表示するものである。そして本発明においては、表示手段7によって第2の画像合成手段5の出力としての合成画像が表示されている間に、その表示画像と同一の画像であり、画像書込手段6によって画像データ記憶手段2に書き込まれた画像と、さらに画像データ記憶手段2に記憶されている異なる画像とを、第1の画像合成手段3、あるいは第2の画像合成手段5によって合成して、その合成結果をさらに画像データ記憶手段2に格納したり、表示手段7によって表示することも可能である。
The image writing means 6 writes either the synthesized image as the output of the first image synthesizing means 3 or the output of the second image synthesizing means 5 into the image data storage means 2.
The image synthesizing apparatus 1 of the present invention can further include a display means 7, which displays the synthesized image synthesized by the second image synthesizing means 5. In the present invention, while the synthesized image as the output of the second image synthesizing unit 5 is displayed on the display unit 7, it is the same image as the display image, and the image writing unit 6 stores the image data. The image written in the means 2 and the different image stored in the image data storage means 2 are synthesized by the first image synthesizing means 3 or the second image synthesizing means 5, and the synthesized result is obtained. Further, it can be stored in the image data storage means 2 or displayed by the display means 7.

このように本発明によれば、例えばグラフィックス・メモリに格納されている複数の画像を合成し、その合成結果を画像データ記憶手段2に格納することができる。   Thus, according to the present invention, for example, a plurality of images stored in the graphics memory can be combined and the combined result can be stored in the image data storage means 2.

本発明によれば、合成結果の画像をグラフィックス・メモリに格納することが可能となり、ホストCPUがこの合成画像にアクセスすることが可能となる。また画像合成の繰返しが可能となり、ハードウェア的な制限、すなわち合成回路の段数によって合成すべき画像の数が制限されることなく、多数のレイヤの画像を合成することが可能となる。   According to the present invention, it is possible to store an image resulting from the synthesis in the graphics memory, and the host CPU can access this synthesized image. Further, it is possible to repeat image synthesis, and it is possible to synthesize images of many layers without being limited by hardware, that is, the number of images to be synthesized by the number of stages of the synthesis circuit.

図2は、本実施形態におけるグラフィックスLSIの構成ブロック図である。同図を従来例の図22と比較すると、その全体的構成は類似しているが、メモリ書込み回路15と選択回路26が追加され、合成回路25の出力は選択回路26によって合成回路25に与えられることも可能であるが、またその出力はメモリ書込み回路15、グラフィックス・メモリ・インターフェース16によって、グラフィックス・メモリ11に書き込まれることも可能となる。 FIG. 2 is a configuration block diagram of the graphics LSI in the present embodiment. Comparing this figure with FIG. 22 of the conventional example, although the overall configuration is similar, the memory write circuit 15 and the selection circuit 26 are added, and the output of the synthesis circuit 25 b is output by the selection circuit 26 to the synthesis circuit 25 a. The output can also be written to the graphics memory 11 by the memory write circuit 15 and the graphics memory interface 16.

また選択回路26には背景色レジスタ27の出力も与えられ、合成回路25には合成回路25の出力か、背景色レジスタ27の出力の何れかが選択されて与えられる。さらに合成回路25aの出力はビデオデータ出力として、例えば図20の表示装置103に与えられることも、あるいはメモリ書込み回路15、グラフィックス・メモリ・インターフェース16によって、グラフィックス・メモリ11に書き込まれることも可能である。 Further to the selection circuit 26 is given the output of the background color register 27, the output of combining circuit 25 b for the synthesis circuit 25 a, one of the output of the background color register 27 is supplied is selected. Further, the output of the synthesizing circuit 25a may be provided as video data output to the display device 103 of FIG. 20, for example, or may be written into the graphics memory 11 by the memory writing circuit 15 and the graphics memory interface 16. Is possible.

なお、本発明の特許請求の範囲請求項1における画像記憶手段はグラフィックス・メモリ11に、第1の画像合成手段は合成回路25から25に、選択手段は選択回路26に、第2の画像合成手段は合成回路25に、画像書込み手段はメモリ書込み回路15に相当し、請求項2における表示手段は図21の表示装置103に相当する。 The image storage means in claim 1 of the present invention is the graphics memory 11, the first image synthesis means is in the synthesis circuits 25b to 25d , the selection means is in the selection circuit 26, and the second. The image synthesizing means corresponds to the synthesizing circuit 25a , the image writing means corresponds to the memory writing circuit 15, and the display means in claim 2 corresponds to the display device 103 of FIG.

次に図2のグラフィックスLSI10の構成要素のうち、メモリ読出し回路、合成回路、およびメモリ書込み回路の動作について、図3から図5を用いてさらに詳細に説明する。図3は、メモリ読出し回路の構成ブロック図である。   Next, operations of the memory read circuit, the synthesis circuit, and the memory write circuit among the components of the graphics LSI 10 of FIG. 2 will be described in more detail with reference to FIGS. FIG. 3 is a configuration block diagram of the memory read circuit.

図3においてメモリ読出し回路は、全体を制御する制御回路30、グラフィックス・メモリ11からグラフィックス・メモリ・インターフェース16を介して読込まれたデータを一時的に保持するための先入れ先出しメモリ(FIFO)31に加えて、先頭アドレスレジスタ32、ストライドレジスタ33、ラスタアドレスレジスタ34、画素アドレスカウンタ35、加算器36、および選択器37を備えている。   In FIG. 3, the memory reading circuit includes a control circuit 30 for controlling the entire memory, and a first-in first-out memory (FIFO) 31 for temporarily holding data read from the graphics memory 11 via the graphics memory interface 16. In addition, a head address register 32, a stride register 33, a raster address register 34, a pixel address counter 35, an adder 36, and a selector 37 are provided.

先頭アドレスレジスタ32は読み出すべき画像データのグラフィックス・メモリ11内での先頭アドレスを保持するものであり、ストライドレジスタ33は次に読み出すべきラスタのアドレスを計算するにあたって、加算すべき定数値が保持されるレジスタであり、これらのレジスタの内容はホストCPU側から設定される。ラスタアドレスレジスタ34は読み出して表示すべき各ラスタの先頭アドレスを保持するものであり、画素アドレスカウンタ35は各ラスタを構成する画素のアドレスを計算するためのカウンタであり、その出力が読出しアドレスとしてグラフィックス・メモリ11に与えられることになる。   The start address register 32 holds the start address of the image data to be read in the graphics memory 11, and the stride register 33 holds a constant value to be added when calculating the address of the raster to be read next. The contents of these registers are set from the host CPU side. The raster address register 34 holds the start address of each raster to be read and displayed, and the pixel address counter 35 is a counter for calculating the address of the pixel constituting each raster, and its output is used as a read address. It is given to the graphics memory 11.

加算器36はラスタアドレスレジスタ34のレジスタ値と、ストライドレジスタ33のストライド値とを加算するものであり、選択器37は加算器36の出力、または先頭アドレスレジスタ32のレジスタ値との何れかを選択して、ラスタアドレスレジスタ34に与えるものである。ここで選択器37は読み出して表示すべき画像データの領域の先頭を読み出すべき場合には、先頭アドレスレジスタ32のレジスタ値を選択し、それ以外の場合には加算器36の出力を選択する。   The adder 36 adds the register value of the raster address register 34 and the stride value of the stride register 33. The selector 37 outputs either the output of the adder 36 or the register value of the head address register 32. This is selected and given to the raster address register 34. Here, the selector 37 selects the register value of the head address register 32 when the head of the image data area to be read and displayed is to be read, and selects the output of the adder 36 otherwise.

図4は、合成回路の詳細構成ブロック図である。同図において合成回路は、2つの乗算器40、41、補数回路42、加算器43、および選択器44、45を備える。 乗算器40、および補数回路42には、図2の係数レジスタ22の出力するブレンド係数が与えられる。例えばその値が0.6であるとすると補数回路42の出力は0.4となり、その出力は乗算器41に与えられる。   FIG. 4 is a detailed configuration block diagram of the synthesis circuit. In the figure, the synthesis circuit includes two multipliers 40 and 41, a complement circuit 42, an adder 43, and selectors 44 and 45. The multiplier 40 and the complement circuit 42 are supplied with the blend coefficient output from the coefficient register 22 of FIG. For example, if the value is 0.6, the output of the complement circuit 42 is 0.4, and the output is given to the multiplier 41.

乗算器40にはメモリ読出し回路14の出力が与えられ、また乗算器41には下位レイヤの画像データ、すなわち下位(下段)側の合成回路、あるいは背景色レジスタ27のレジスタ値が与えられる。乗算器40はメモリ読出し回路から出力される画像データにブレンド係数、例えば0.6を乗算し、乗算器41は下位レイヤの画像データに対して補数回路42の出力、例えば0.4を乗算して、それぞれ加算器43に与える。加算器43は2つの乗算器40、41の出力を加算し、加算結果を選択器45に出力する。   The multiplier 40 is supplied with the output of the memory reading circuit 14, and the multiplier 41 is supplied with lower layer image data, that is, the lower (lower) synthesis circuit or the register value of the background color register 27. The multiplier 40 multiplies the image data output from the memory read circuit by a blend coefficient, for example 0.6, and the multiplier 41 multiplies the lower layer image data by the output of the complement circuit 42, for example 0.4. To the adder 43 respectively. The adder 43 adds the outputs of the two multipliers 40 and 41 and outputs the addition result to the selector 45.

選択器44にはメモリ読出し回路14の出力と下位レイヤの画像データが与えられ、透明色判定回路21の出力としての透明判定結果に対応して、メモリ読出し回路14から出力される画素のデータが透明色と判定されている時には選択器44は下位レイヤの画像データを選択し、透明色でないと判定されている時には下位レイヤの画素の画像データの代りにメモリ読出し回路14の出力する画素の画像データを選択して、選択器45に出力する。選択器45は前述の透明色/ブレンドモードの選択結果に対応して、ブレンドモードの場合には加算器43の出力を、また透明色モードの場合には選択器44の出力を選択して、上位レイヤへの出力として上位側の合成回路に与える。   The selector 44 is supplied with the output of the memory reading circuit 14 and the lower layer image data, and the pixel data output from the memory reading circuit 14 corresponds to the transparency determination result as the output of the transparent color determination circuit 21. When it is determined that the color is transparent, the selector 44 selects the image data of the lower layer, and when it is determined that the color is not transparent, the image of the pixel output from the memory reading circuit 14 instead of the image data of the pixel of the lower layer. Data is selected and output to the selector 45. The selector 45 selects the output of the adder 43 in the case of the blend mode and the output of the selector 44 in the case of the transparent color mode in accordance with the selection result of the transparent color / blend mode. The output to the upper layer is given to the upper synthesis circuit.

図5はメモリ書込み回路の構成ブロック図である。その構成は図3のメモリ読出し回路の構成とほぼ同じである。ただしデータの流れは図3のメモリ読出し回路の構成とほぼ同じである。ただしデータの流れは逆方向であり、ビデオ表示用データと同一の一定速度で送られてくる合成結果の画像データはFIFO51に一時的に格納され、グラフィックス・メモリ11へのアクセス権が得られた時点でFIFO51のデータはグラフィックス・メモリ・インターフェース16を介してグラフィックス・メモリ11に高速バースト転送される。   FIG. 5 is a block diagram showing the configuration of the memory write circuit. The configuration is almost the same as the configuration of the memory read circuit of FIG. However, the data flow is almost the same as that of the memory read circuit of FIG. However, the flow of data is in the reverse direction, and the resultant image data sent at the same constant speed as the video display data is temporarily stored in the FIFO 51, and the right to access the graphics memory 11 is obtained. At this point, the data in the FIFO 51 is burst transferred at high speed to the graphics memory 11 via the graphics memory interface 16.

先頭アドレスレジスタ52はグラフィックス・メモリ11内で画像データが書き込まれるべき領域の先頭アドレスを保持し、その値はホストCPUによって設定される。他のレジスタ53、54の内容は図3におけると同様である。垂直同期信号に同期してラスタアドレスレジスタ54に先頭アドレスレジスタ52の値がロードされ、また水平同期信号に同期してストライドレジスタ53の値が加算される。画素アドレスカウンタ55には、水平同期信号に同期してラスタアドレスレジスタ54のラスタ先頭アドレスがロードされ、その値が順次インクリメントされて、グラフィックス・メモリ11に対する書込みアドレスとして出力される。これらの動作は制御回路50によって制御される。なお本発明の請求項3における書込み先頭位置記憶手段は先頭アドレスレジスタ52に相当する。   The start address register 52 holds the start address of the area in the graphics memory 11 where image data is to be written, and the value is set by the host CPU. The contents of the other registers 53 and 54 are the same as in FIG. The value of the head address register 52 is loaded into the raster address register 54 in synchronization with the vertical synchronization signal, and the value of the stride register 53 is added in synchronization with the horizontal synchronization signal. The raster address of the raster address register 54 is loaded to the pixel address counter 55 in synchronization with the horizontal synchronizing signal, and the value is sequentially incremented and output as a write address for the graphics memory 11. These operations are controlled by the control circuit 50. The write head position storage means in claim 3 of the present invention corresponds to the head address register 52.

続いて画像データの具体例を用いて本発明の実施例についてさらに詳細に説明する。図6から図12は、第1の実施例における画像合成表示、および書込み動作の説明図である。この第1の実施例においては、図6から図9に示す元画像の1から元画像の4までの4枚の画像を、図9の元画像の4が最下位、図6の元画像の1が最上位レイヤとなるように合成し、その合成画像を表示するとともに、その合成画像を中間画像としてグラフィックス・メモリ11に書き込む処理が行われる。   Next, embodiments of the present invention will be described in more detail using specific examples of image data. 6 to 12 are explanatory diagrams of the image composition display and writing operation in the first embodiment. In the first embodiment, four images from the original image 1 to the original image 4 shown in FIGS. 6 to 9 are displayed, with the original image 4 in FIG. 9 being the lowest and the original image in FIG. 1 is combined to be the highest layer, the combined image is displayed, and the combined image is written into the graphics memory 11 as an intermediate image.

図10は、4つの画像の合成と、その表示における画像データの流れの説明図である。同図に示すように、4つの読出し回路14から14に対して、それぞれ元画像の1から元画像の4が与えられる。合成回路60によって元画像の4が最下位、元画像の1が最上位のレイヤとなるように画像の合成が行なわれ、表示画像の1が得られ、この画像は図20で説明した表示装置103に与えられて表示される。なおここで合成回路60は、図2の4つの合成回路25から25、および選択回路26に相当し、選択回路26が合成回路25の出力を選択し、合成回路25に与えている状態に相当する。 FIG. 10 is an explanatory diagram of the synthesis of four images and the flow of image data in the display. As shown in the figure, the four original circuits 1 to 4 are given to the four readout circuits 14a to 14d , respectively. The combining circuit 60 combines the images so that 4 of the original image is the lowest layer and 1 of the original image is the highest layer, and a display image 1 is obtained. This image is the display device described with reference to FIG. 103 is displayed. Note here combining circuit 60 is equivalent to 25 d and the selection circuit 26, four synthesis circuit 25 a in FIG. 2, the selection circuit 26 selects the output of the synthesis circuit 25 b, giving the combining circuit 25 a It corresponds to the state.

図11は、第1の実施例における画像合成結果のグラフィックス・メモリ11への書込み時における画像データの流れの説明図である。図10において、合成回路60によって合成された合成画像(表示画像の1)は、書込み回路15によってグラフィックス・メモリ・インターフェース16を介してグラフィックス・メモリ11に中間画像の1として書き込まれる。この中間画像の1は書込み回路15の内部の先頭アドレスレジスタ42に設定されている先頭アドレスに従って、グラフィックス・メモリ11に書き込まれる。なお本実施形態においては、元画像の1から元画像の4までに対しては、例えばホストCPU側からその画像データがグラフィックス・メモリ11に格納される時点で、その格納領域の先頭アドレスが、例えばホストCPU側のメモリに格納されており、各読出し回路によってその画像データが読み出される時点で、各読出し回路内の先頭アドレスレジスタ32にそのアドレスが設定されることによって、画像データの読出しが行なわれる。なおグラフィックス・メモリ11には、多数の画像データを格納する十分な領域があるものとする。   FIG. 11 is an explanatory diagram of the flow of image data when the image composition result is written to the graphics memory 11 in the first embodiment. In FIG. 10, the synthesized image (display image 1) synthesized by the synthesis circuit 60 is written by the writing circuit 15 as the intermediate image 1 into the graphics memory 11 via the graphics memory interface 16. 1 of the intermediate image is written into the graphics memory 11 in accordance with the head address set in the head address register 42 inside the writing circuit 15. In the present embodiment, for the original image 1 to the original image 4, for example, when the image data is stored in the graphics memory 11 from the host CPU side, the head address of the storage area is For example, it is stored in the memory on the host CPU side, and when the image data is read out by each readout circuit, the address is set in the head address register 32 in each readout circuit, so that the image data can be read out. Done. It is assumed that the graphics memory 11 has a sufficient area for storing a large number of image data.

図12は、第1の実施例における表示画像の1、すなわち書込み回路15によってグラフィックス・メモリに書き込まれる中間画像の1を示す。この画像は前述のように、図9の元画像の4を最下位、図6の元画像の1を最上位のレイヤとする形式で、元画像の1から元画像の4までが合成された画像である。   FIG. 12 shows 1 of the display image in the first embodiment, that is, 1 of the intermediate image written into the graphics memory by the writing circuit 15. As described above, this image is composed of the original image 1 in FIG. 9 as the lowest layer and the original image 1 in FIG. 6 as the highest layer. It is an image.

続いて本発明の第2の実施例について図13から図19を用いて説明する。この第2の実施例では、まず第1段階として、第1の実施例によって得られた合成画像、すなわち表示画像の1の表示を行ないながら、図13の元画像の5を最下位、図8の元画像の3をその上位、図7の元画像の2を最上位のレイヤとして3つの画像の合成を行い、その合成結果をグラフィックス・メモリ11に書き込んだ後に、第2段階として第1段階の合成画像を最下位、図6の元画像の1をその上位、図14の元画像の6をその上位、図15の元画像の7を最上位のレイヤとして4つの画像の合成を行い、その結果を表示画像の2として出力する動作が行なわれるものとする。   Next, a second embodiment of the present invention will be described with reference to FIGS. In the second embodiment, as a first step, while the composite image obtained by the first embodiment, that is, the display image 1 is displayed, 5 of the original image in FIG. 3 is synthesized with the original image 3 as its upper layer and the original image 2 in FIG. 7 as the highest layer, and the synthesized result is written in the graphics memory 11 and then the first stage is taken as the second stage. The composite image of the stage is the lowest layer, the original image 1 in FIG. 6 is the upper layer, the original image 6 in FIG. 14 is the upper layer, and the original image 7 in FIG. 15 is the uppermost layer. Then, an operation for outputting the result as 2 of the display image is performed.

図16は、第1段階における画像データの流れの説明図である。同図において、図2のグラフィックスLSI10の内部の最上位の合成回路25は、図11において書込み回路15によってグラフィックス・メモリ11に書き込まれた中間画像の1を読出し、例えばその画像と選択回路26の選択する背景色レジスタ27の背景色とを合成して、ビデオデータ出力として表示装置103に与えるものとする。すなわち中間画像の1が、この第1段階においては表示されているものとする。 FIG. 16 is an explanatory diagram of the flow of image data in the first stage. Selection In the drawing, the combining circuit 25 a top-level internal graphics LSI10 2 reads the first intermediate image written in the graphics memory 11 by the write circuit 15 in FIG. 11, for example, the image It is assumed that the background color selected by the circuit 26 is combined with the background color of the background color register 27 and provided as a video data output to the display device 103. That is, it is assumed that 1 of the intermediate image is displayed in the first stage.

これに対して合成回路61は、他の3つの合成回路25、25、および25に相当し、メモリ読出し回路14によって読み出された図7の元画像の2、読出し回路14によって読み出された図8の元画像の3、メモリ読出し回路14によって読み出された図13の元画像の5の3つの画像を前述のレイヤの順に従って合成し、書込み回路15はその合成結果を中間画像の2としてグラフィックス・メモリ11に書き込むことになる。 On the other hand, the synthesizing circuit 61 corresponds to the other three synthesizing circuits 25 b , 25 c , and 25 d , and the original image 2 of FIG. 7 read by the memory reading circuit 14 b and the reading circuit 14 c 8 is synthesized according to the order of the layers described above, and the writing circuit 15 synthesizes the three images of the original image 3 of FIG. 8 read by the memory read circuit 14 d and the original image 5 of FIG. 13 read by the memory read circuit 14 d . The result is written in the graphics memory 11 as 2 of the intermediate image.

図17は、この中間画像の2を示す。この画像では図13の元画像の5が最下位、図8の元画像の3がその上位、図7の元画像の2が最上位のレイヤとなる形式で画像データの合成が行なわれている。   FIG. 17 shows 2 of this intermediate image. In this image, the image data is synthesized in a format in which the original image 5 in FIG. 13 is the lowest layer, the original image 3 in FIG. 8 is the higher layer, and the original image 2 in FIG. 7 is the highest layer. .

図18は、第2段階における画像データの流れの説明図である。図18においては、図2の読出し回路14によって読み出される中間画像の2、すなわち図17の画像が最下位、読出し回路14によって読み出される元画像の1、すなわち図6の画像がその上位、読出し回路14によって読み出される元画像の6、すなわち図14の画像データがその上位、読出し回路14aによって読み出される元画像の7、すなわち図15の画像データが最上位となるように、合成回路60によって4つの画像の合成が行なわれ、合成後の画像が表示画像の2として表示装置103に与えられる。 FIG. 18 is an explanatory diagram of the flow of image data in the second stage. In Figure 18, an intermediate second image, i.e. the image is the lowest 17, 1 of the original image read by the reading circuit 14 c, i.e. the upper image of FIG. 6 to be read by the reading circuit 14 d of FIG. 2, as 6 of the original image read by the reading circuit 14 b, that is, image data whose upper 14, 7 of the original image read by the reading circuit 14a, that is, the image data of FIG. 15 is a top-level, the synthesis circuit 60 Thus, four images are combined, and the combined image is given to the display device 103 as a display image 2.

図19は、第2の実施例における最終的な合成画像、すなわち表示画像の2を示す。この画像は、第2の実施例において第1段階と第2段階との2回の画像合成によって得られるが、さらに多数回の合成を行なうことによって、さらに多数の画像の合成を行なうことができることは当然である。このような画像合成は前述のように、ホストCPU側からメモリ読出し回路、およびメモリ書込み回路の内部の先頭アドレスレジスタの設定内容を変更することによって容易に制御することが可能となり、画像合成自体はグラフィックスLSI10の内部でハードウェア的に処理され、ホストCPU側でデータ容量の大きな画像の画像処理を直接に行なうことは必要がなく、ホストCPU側の処理を重くすることなく、多数の画像の合成が可能となる。   FIG. 19 shows a final composite image, that is, a display image 2 in the second embodiment. This image can be obtained by combining images twice in the first stage and the second stage in the second embodiment, but it is possible to synthesize a larger number of images by further combining the images. Is natural. As described above, such image composition can be easily controlled from the host CPU side by changing the setting contents of the start address register in the memory read circuit and the memory write circuit. It is not necessary to directly perform image processing of an image having a large data capacity on the host CPU side because it is processed in hardware inside the graphics LSI 10, and a large number of images can be processed without increasing the processing on the host CPU side. Synthesis is possible.

最後に本実施形態におけるグラフィックスLSIの異なる構成例について図20を用いて説明する。同図を図2の構成と比較すると、選択回路26が、最上位のレイヤに対応する合成回路25とその下位のレイヤに対応する合成回路25との間でなく、合成回路25とメモリ書込み回路15(あるいは表示装置103)との間に備えられる点が基本的に相違している。 Finally, a different configuration example of the graphics LSI in this embodiment will be described with reference to FIG. 2 is compared with the configuration of FIG. 2, the selection circuit 26 is not between the synthesis circuit 25 a corresponding to the uppermost layer and the synthesis circuit 25 b corresponding to the lower layer, but to the synthesis circuit 25 a . The difference is basically provided between the memory writing circuit 15 (or the display device 103).

すなわち図20では選択回路26は、合成回路25の出力とメモリ読出し回路14の出力とのいずれかを選択してメモリ書込み回路15または表示装置103に与えることになり、例えば図16ではメモリ読出し回路14によって読み出された中間画像の1をそのまま表示することが可能となる。なお、背景色レジスタ27の出力は最下位のレイヤに対応する合成回路25のみに与えられる。 That is, FIG. 20 with the selecting circuit 26 selects either the output of the combiner circuit 25 a and the output of the memory read circuit 14 a will be given to the memory write circuit 15 or the display device 103, FIG. 16, for example a memory it becomes possible to display the first intermediate image read by the reading circuit 14 a. The output of the background color register 27 is applied only to the synthesizing circuit 25 d corresponding to the lowest layer.

本発明の画像合成装置の原理構成ブロック図である。1 is a block diagram illustrating a principle configuration of an image composition apparatus according to the present invention. 本発明におけるグラフィックスLSIの詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the graphics LSI in this invention. 図2のグラフィックスLSIの内部のメモリ読出し回路の詳細構成ブロック図である。FIG. 3 is a detailed configuration block diagram of a memory read circuit inside the graphics LSI of FIG. 2. 図2の内部の合成回路の詳細構成ブロック図である。FIG. 3 is a detailed configuration block diagram of an internal synthesis circuit in FIG. 2. 図2の内部のメモリ書込み回路の詳細構成ブロック図である。FIG. 3 is a detailed configuration block diagram of an internal memory write circuit in FIG. 2. 元画像の1を示す図である。It is a figure which shows 1 of the original image. 元画像の2を示す図である。It is a figure which shows 2 of the original image. 元画像の3を示す図である。It is a figure which shows 3 of the original image. 元画像の4を示す図である。It is a figure which shows 4 of the original image. 第1の実施例における画像合成時のデータの流れを説明する図である。It is a figure explaining the flow of the data at the time of the image composition in a 1st Example. 第1の実施例における合成画像の書込み時におけるデータの流れを説明する図である。It is a figure explaining the flow of data at the time of the writing of the composite image in a 1st Example. 第1の実施例における合成画像を示す図である。It is a figure which shows the synthesized image in a 1st Example. 元画像の5を示す図である。It is a figure which shows 5 of the original image. 元画像の6を示す図である。It is a figure which shows 6 of the original image. 元画像の7を示す図である。It is a figure which shows 7 of an original image. 第2の実施例の第1段階における画像データの流れを説明する図である。It is a figure explaining the flow of the image data in the 1st step of 2nd Example. 中間画像の2を示す図である。It is a figure which shows 2 of an intermediate image. 第2段階における画像データの流れを説明する図である。It is a figure explaining the flow of the image data in a 2nd step. 第2の実施例における合成画像を示す図である。It is a figure which shows the synthesized image in a 2nd Example. グラフィックスLSIの異なる構成例のブロック図である。It is a block diagram of the example of a different structure of graphics LSI. グラフィックス表示機能を持つ電子機器の一般的な構成ブロック図である。It is a general block diagram of an electronic device having a graphics display function. グラフィックスLSIの従来例の構成ブロック図である。It is a configuration block diagram of a conventional example of a graphics LSI.

符号の説明Explanation of symbols

1 画像合成装置
2 画像記憶手段
3 第1の画像合成手段
4 選択手段
5 第2の画像合成手段
6 画像書込み手段
7 表示手段
10、101 グラフィックスLSI
11、102 グラフィックス・メモリ
12 ビデオタイミング発生回路
13 ホストアクセス制御回路
14 メモリ読出し回路
15 メモリ書込み回路
16 グラフィックス・メモリ・インターフェース
17 ホストCPUバス
20 透明色レジスタ
21 透明色判定回路
22 係数レジスタ
25、60、61 合成回路
26 選択回路
27 背景色レジスタ
30、50 制御回路
31、51 先入れ先出しメモリ(FIFO)
32、52 先頭アドレスレジスタ
33、53 ストライドレジスタ
34、54 ラスタアドレスレジスタ
35、55 画素アドレスカウンタ
36、43、56 加算器
37、44、45、57 選択器
40、41 乗算器
42 補数回路
100 ホストCPU
103 表示装置
104 リード・オンリー・メモリ(ROM)
105 ランダム・アクセス・メモリ(RAM)
106 ユーザ操作入力装置
DESCRIPTION OF SYMBOLS 1 Image composition apparatus 2 Image memory | storage means 3 1st image composition means 4 Selection means 5 2nd image composition means 6 Image writing means 7 Display means 10, 101 Graphics LSI
DESCRIPTION OF SYMBOLS 11, 102 Graphics memory 12 Video timing generation circuit 13 Host access control circuit 14 Memory read circuit 15 Memory write circuit 16 Graphics memory interface 17 Host CPU bus 20 Transparent color register 21 Transparent color determination circuit 22 Coefficient register 25, 60, 61 Composition circuit 26 Selection circuit 27 Background color register 30, 50 Control circuit 31, 51 First-in first-out memory (FIFO)
32, 52 Start address register 33, 53 Stride register 34, 54 Raster address register 35, 55 Pixel address counter 36, 43, 56 Adder 37, 44, 45, 57 Selector 40, 41 Multiplier 42 Complement circuit 100 Host CPU
103 Display device 104 Read-only memory (ROM)
105 Random Access Memory (RAM)
106 User operation input device

Claims (2)

複数の画像を記憶する画像記憶手段と、
該画像記憶手段に記憶されている複数の画像を合成する第1の画像合成手段と、
該第1の画像合成手段の出力画像と背景色画像との何れかを選択する選択手段と、
該選択手段の出力画像と該画像記憶手段に記憶されている1つ以上の画像とを合成する第2の画像合成手段と、
該第1の画像合成手段、または第2の画像合成手段による合成画像を画像記憶手段に書き込む画像書込み手段と
該第2の画像合成手段の出力画像を表示する表示手段と、
を備え
該画像記憶手段から読み出された第1の画像と該選択手段により選択された該背景色画像とを該第2の画像合成手段により合成し、その合成結果である第1の合成画像を該表示装置に出力し、該画像記憶手段から読み出された第2および第3の画像を該第1の画像合成手段により合成し、その合成結果である第2の合成画像を該画像書込み手段に転送し該画像記憶手段に書込む第1の段階と、
該画像記憶手段から読み出された該第2の合成画像と第4の画像を該第1および該第2の画像合成手段により合成し、その合成結果である第3の合成画像を前記第2の画像合成手段から該表示装置に出力する第2の段階と、
を含む動作をすることを特徴とする画像合成装置。
Image storage means for storing a plurality of images;
First image synthesizing means for synthesizing a plurality of images stored in the image storage means;
Selection means for selecting either the output image of the first image composition means or the background color image;
Second image synthesis means for synthesizing the output image of the selection means and one or more images stored in the image storage means ;
An image writing means for writing said first image combining means, or the composite image by the second image combining means to said image storing means,
Display means for displaying an output image of the second image composition means;
Equipped with a,
The first image read from the image storage means and the background color image selected by the selection means are synthesized by the second image synthesis means, and the first synthesized image as the synthesis result is synthesized with the first image. The second and third images output to the display device and read from the image storage means are synthesized by the first image synthesizing means, and the second synthesized image as a result of the synthesis is sent to the image writing means. Transferring and writing to the image storage means;
The second synthesized image and the fourth image read out from the image storage means are synthesized by the first and second image synthesizing means, and a third synthesized image which is the synthesized result is synthesized with the second image. A second stage of outputting from the image synthesizing means to the display device;
Image synthesizing apparatus according to claim to Rukoto operations including.
画像書込み手段が、画像記憶手段内で合成画像を書き込むべき先頭位置を記憶する書込み先頭位置記憶手段をさらに備えることを特徴とする請求項1記載の画像合成装置。 The image writing means, the image synthesizing apparatus according to claim 1, further comprising a write head position storage means for storing the head position to write the composite image in the image storage means.
JP2005096153A 2005-03-29 2005-03-29 Image synthesizer Expired - Fee Related JP4695422B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005096153A JP4695422B2 (en) 2005-03-29 2005-03-29 Image synthesizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005096153A JP4695422B2 (en) 2005-03-29 2005-03-29 Image synthesizer

Publications (2)

Publication Number Publication Date
JP2006277390A JP2006277390A (en) 2006-10-12
JP4695422B2 true JP4695422B2 (en) 2011-06-08

Family

ID=37212080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005096153A Expired - Fee Related JP4695422B2 (en) 2005-03-29 2005-03-29 Image synthesizer

Country Status (1)

Country Link
JP (1) JP4695422B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6385984A (en) * 1986-09-30 1988-04-16 Canon Inc Picture processor
JPH10210364A (en) * 1997-01-21 1998-08-07 Matsushita Electric Ind Co Ltd Image compositing method and picture compositing
JPH11298764A (en) * 1998-04-14 1999-10-29 Fuji Photo Film Co Ltd Digital still camera with composite image display function
JP2002182632A (en) * 2000-12-19 2002-06-26 Matsushita Electric Ind Co Ltd Image display device
JP2003288071A (en) * 2002-03-28 2003-10-10 Fujitsu Ltd Image processor and semiconductor device
WO2004111991A1 (en) * 2003-06-12 2004-12-23 Fujitsu Limited High-speed image frame plotting method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6385984A (en) * 1986-09-30 1988-04-16 Canon Inc Picture processor
JPH10210364A (en) * 1997-01-21 1998-08-07 Matsushita Electric Ind Co Ltd Image compositing method and picture compositing
JPH11298764A (en) * 1998-04-14 1999-10-29 Fuji Photo Film Co Ltd Digital still camera with composite image display function
JP2002182632A (en) * 2000-12-19 2002-06-26 Matsushita Electric Ind Co Ltd Image display device
JP2003288071A (en) * 2002-03-28 2003-10-10 Fujitsu Ltd Image processor and semiconductor device
WO2004111991A1 (en) * 2003-06-12 2004-12-23 Fujitsu Limited High-speed image frame plotting method

Also Published As

Publication number Publication date
JP2006277390A (en) 2006-10-12

Similar Documents

Publication Publication Date Title
JP4263190B2 (en) Video composition circuit
JPH087567B2 (en) Image display device
JP2003288071A (en) Image processor and semiconductor device
JPH11283015A (en) Picture color mixing processor
JP2007241738A (en) Screen composing device
US6879329B2 (en) Image processing apparatus having processing operation by coordinate calculation
JP2005077522A (en) Image processor and image processing method
JP4695422B2 (en) Image synthesizer
JP4088649B2 (en) Display system
JP2008305030A (en) Composite image generation device
JP2768327B2 (en) Graphics display
JP4512795B2 (en) Image display system and image processing apparatus
JP2005189663A (en) Multi-layer image composing system
JP3481913B2 (en) Image processing device
JP2001053956A (en) Multilayer image synthesizing device
JP3838900B2 (en) Multi-screen display device and display method thereof
JP6048046B2 (en) Image composition apparatus and image composition method
JP2000078610A (en) Display image converter
JP2005228145A (en) Image composing device and image composing method
JP2000172242A (en) Image display control device
JP4439032B2 (en) Data expansion device
JP2002305698A (en) Video signal processing circuit for displaying slave screen image
JP2005338864A (en) Image display device
JP5444598B2 (en) Image control device
JPH02230474A (en) Picture display processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071219

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4695422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees