JP4697055B2 - Arithmetic device, image processing device, and data processing device - Google Patents
Arithmetic device, image processing device, and data processing device Download PDFInfo
- Publication number
- JP4697055B2 JP4697055B2 JP2006152050A JP2006152050A JP4697055B2 JP 4697055 B2 JP4697055 B2 JP 4697055B2 JP 2006152050 A JP2006152050 A JP 2006152050A JP 2006152050 A JP2006152050 A JP 2006152050A JP 4697055 B2 JP4697055 B2 JP 4697055B2
- Authority
- JP
- Japan
- Prior art keywords
- calculation
- arithmetic
- processing
- calculation means
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、命令に従って演算を実行する演算装置、及びその演算装置を有する画像処理装置及びデータ処理装置に関する。 The present invention relates to an arithmetic device that executes an operation according to an instruction, and an image processing device and a data processing device having the arithmetic device.
複写機やファクシミリ装置或いはスキャナ装置などといった画像処理装置においては、画像に含まれる全ての画素に対して共通の演算処理が実行されることが多い。そこで、この種の画像処理装置には、複数のデータに対し、1つの命令に従った同一の演算処理を実行する単一命令・多データ型(SIMD:Single Instruction−stream Multiple Data−stream)のマイクロプロセッサが実装されている。例えば特許文献1には、SIMD型マイクロプロセッサにおける、命令の生成とその命令の分岐に関する技術が開示されている。
SIMD型マイクロプロセッサは、上記のように同一の演算処理を複数のデータに対して実行するのには非常に適している一方、複数の命令に従ってそれぞれ異なる処理を複数のデータに行うのには適していない。後者の処理は、例えば原稿画像に含まれるテキスト画像に対してはエッジ強調処理を行う一方、その同じ原稿画像に含まれるイメージ画像に対しては階調を強調する処理を行うような場合である。このような処理をSIMD型マイクロプロセッサで行う場合、まず第1のSIMD型マイクロプロセッサが原稿画像の全ての画素に対してエッジ強調処理を行い、その次に、第2のSIMD型マイクロプロセッサが原稿画像の全ての画素に対して階調強調処理を行う。そして最後に、第3のSIMD型マイクロプロセッサが、第1のSIMD型マイクロプロセッサ及び第2のSIMD型マイクロプロセッサによって処理された画素群から、第1のSIMD型マイクロプロセッサにより「テキスト画像」に対して「エッジ強調処理」がなされた画素を抽出する一方、第2のSIMD型マイクロプロセッサにより「イメージ画像」に対して「階調強調処理」がなされた画素を抽出し、これらを結合させて1つの画像データを生成し、出力する。 The SIMD type microprocessor is very suitable for performing the same arithmetic processing on a plurality of data as described above, but suitable for performing different processes on a plurality of data according to a plurality of instructions. Not. In the latter process, for example, edge enhancement processing is performed on a text image included in a document image, while gradation enhancement processing is performed on an image image included in the same document image. . When such processing is performed by the SIMD type microprocessor, the first SIMD type microprocessor first performs edge enhancement processing on all the pixels of the document image, and then the second SIMD type microprocessor performs the document enhancement. A tone emphasis process is performed on all pixels of the image. And finally, the third SIMD type microprocessor performs the “text image” from the pixel group processed by the first SIMD type microprocessor and the second SIMD type microprocessor by the first SIMD type microprocessor. Then, the pixels subjected to the “edge enhancement processing” are extracted, while the pixels subjected to the “tone enhancement processing” for the “image image” are extracted by the second SIMD type microprocessor, and these are combined to obtain 1 One image data is generated and output.
即ち、SIMD型のマイクロプロセッサは、複数の命令が与えられた場合、各々の命令に従った処理を1つずつ順番に実行していくことしかできないので、上記の例で言えば「イメージ画像」に対する「エッジ強調処理」や、「テキスト画像」に対する「階調強調処理」などのように、本来は不要な処理まで一通り実行しなければならない。よって、処理時間が増大するという問題がある。 In other words, when a plurality of instructions are given, the SIMD type microprocessor can only execute the process according to each instruction one by one in order. For example, “edge enhancement processing” for “text” and “gradation enhancement processing” for “text image” must be executed all the way to originally unnecessary processing. Therefore, there is a problem that the processing time increases.
そこで、本発明の目的は、単一命令・多データ型のマイクロプロセッサを用いた場合であっても、複数の演算処理を従来よりも早く実行することが可能な仕組みを提供することにある。 Accordingly, an object of the present invention is to provide a mechanism capable of executing a plurality of arithmetic processes faster than before even when a single instruction / multi-data type microprocessor is used.
上記課題を解決するため、本発明は、複数の画素データに対して演算処理をそれぞれ実行する第1の演算手段、第2の演算手段及び第3の演算手段を備え、前記第1の演算手段は、複数の画素データの各々に対して、テキスト画像を構成する画素に対する演算を行う手段である前記第2の演算手段による演算処理の対象である画素データか又はテキスト画像以外の画像を構成する画素に対する演算を行う手段である前記第3の演算手段による演算処理の対象である画素データかを判定する第1の演算処理を実行し、その演算結果である画素データのうち前記第2の演算手段による演算処理の対象である画素データと、その画素データが演算処理の対象であることを示す有効情報とを対応付けて、前記第1の演算手段と電気的に接続された前記第2の演算手段に供給する一方、前記第1の演算処理による演算結果である画素データのうち前記第3の演算手段による演算処理の対象である画素データと、その画素データが演算処理の対象であることを示す有効情報とを対応付けて、前記第1の演算手段と電気的に接続された前記第3の演算手段に供給し、前記第2の演算手段は、前記第1の演算手段から供給され、前記有効情報と対応付けられたデータに対して、第2の演算処理を実行してその演算結果を出力し、前記第3の演算手段は、前記第1の演算手段から供給され、前記有効情報と対応付けられたデータに対して、第3の演算処理を実行してその演算結果を出力することを特徴とする演算装置を提供する。 To solve the above problems, the present invention comprises a first calculation means, second calculation means and the third operating means for executing a plurality of pixel data to be arithmetic processing, respectively, said first arithmetic The means constitutes, for each of the plurality of pixel data, pixel data that is a target of calculation processing by the second calculation means that is a means for calculating the pixels constituting the text image, or an image other than the text image. First calculation processing is performed for determining whether the pixel data is a target of calculation processing by the third calculation means, which is a means for performing calculation on the pixel to be processed, and the second of the pixel data as the calculation result and pixel data by the arithmetic means is an arithmetic processing of the object, in association with the effective information indicating that the pixel data is the target of processing, which is the first calculation means and electrically connected to the While supplying the second arithmetic means, in the first calculation process and the pixel data is performed by the third arithmetic processing by the arithmetic unit of the target of the pixel data is an arithmetic result, the target of the pixel data processing Corresponding valid information indicating that the information is present is supplied to the third calculation means electrically connected to the first calculation means, and the second calculation means is supplied from the first calculation means. The second arithmetic processing is performed on the data supplied and associated with the valid information to output the arithmetic result, and the third arithmetic means is supplied from the first arithmetic means, There is provided an arithmetic device characterized in that a third arithmetic processing is executed on data associated with the valid information and the arithmetic result is output.
本発明は、さらに、複数のデータに対して同一の演算処理を実行する第4の演算手段を備え、前記第2の演算手段は、第2の演算処理による演算結果と、前記第1の演算手段から供給された前記有効情報とを対応付けて前記第4の演算手段に出力し、前記第3の演算手段は、第3の演算処理による演算結果と、前記第1の演算手段から供給された前記有効情報とを対応付けて前記第4の演算手段に出力し、前記第4の演算手段は、第2の演算処理による演算結果のうち前記有効情報と対応付けられた演算結果と、第3の演算処理による演算結果のうち前記有効情報と対応付けられた演算結果とに対して第4の演算処理を実行して出力するようにしてもよい。 The present invention further includes fourth arithmetic means for executing the same arithmetic processing on a plurality of data, wherein the second arithmetic means includes an arithmetic result by the second arithmetic processing, and the first arithmetic operation. The effective information supplied from the means is associated and output to the fourth calculation means, and the third calculation means is supplied from the calculation result of the third calculation processing and the first calculation means. The effective information is associated and output to the fourth calculating means, and the fourth calculating means outputs the calculation result associated with the effective information among the calculation results of the second calculation processing, The fourth calculation process may be executed and output with respect to the calculation result associated with the valid information among the calculation results obtained by the third calculation process.
本発明の好ましい態様においては、前記第1の演算手段、前記第2の演算手段及び前記第3の演算手段のそれぞれを互いに接続し、又は、その接続を切断する結線手段と、前記第1の演算処理、前記第2の演算処理及び前記第3の演算処理の組み合わせに応じて、前記第1の演算手段、前記第2の演算手段及び前記第3の演算手段のそれぞれに対する接続とその接続の切断を前記結線手段に指示する結線制御手段とを備える。 In a preferred aspect of the present invention, the first computing means, the second computing means, and the third computing means are connected to each other or connected to disconnect the connection, and the first computing means Depending on the combination of the arithmetic processing, the second arithmetic processing, and the third arithmetic processing, the connection to each of the first arithmetic means, the second arithmetic means, and the third arithmetic means and the connection of the connection Connection control means for instructing the connection means to cut.
また、本発明の別の好ましい態様においては、前記第1の演算手段、前記第2の演算手段及び前記第3の演算手段はいずれも、供給されるクロック周波数に基づいて演算処理を実行し、前記第2の演算手段及び前記第3の演算手段に対してクロック周波数を供給するクロック供給手段であって、前記第2の演算手段又は前記第3の演算手段のうち、負荷が大きい演算処理を実行する一方の演算手段に対しては、負荷が小さい処理を実行する他方の演算手段に供給するクロック周波数よりも大きいクロック周波数を供給するクロック供給手段を備える。 In another preferable aspect of the present invention, the first calculation unit, the second calculation unit, and the third calculation unit all execute a calculation process based on a supplied clock frequency, Clock supply means for supplying a clock frequency to the second calculation means and the third calculation means, wherein the second calculation means or the third calculation means performs a calculation process with a heavy load. One of the execution means is provided with a clock supply means for supplying a clock frequency higher than the clock frequency supplied to the other calculation means for executing processing with a low load.
また、本発明の別の好ましい態様においては、前記第1の演算手段、前記第2の演算手段及び前記第3の演算手段は、複数のデータに対して同一の演算処理を実行するマイクロプロセッサに含まれるプロセッサエレメント群が、複数のプロセッサエレメント毎に分離されたクラスタの各々である。 In another preferred aspect of the present invention, the first calculation means, the second calculation means, and the third calculation means are arranged in a microprocessor that executes the same calculation processing on a plurality of data. The included processor element group is each of the clusters separated for each of the plurality of processor elements.
本発明に係る演算装置は、前記演算装置によって、画像を表す画像データに対する演算処理を実行させ、その演算結果を出力させる画像処理装置や、前記演算装置によって、データに対する演算処理を実行させ、その演算結果を出力させるデータ処理装置に実装される。 The arithmetic device according to the present invention causes the arithmetic device to execute arithmetic processing on image data representing an image, and causes the arithmetic device to execute arithmetic processing on the data by using an image processing device that outputs the arithmetic result or the arithmetic device. It is mounted on a data processing device that outputs a calculation result.
本発明によれば、本発明の構成を備えていない場合と比較すると、単一命令・多データ型のマイクロプロセッサを用いた場合であっても複数の演算処理を早く実行することが可能となる。 According to the present invention, it is possible to quickly execute a plurality of arithmetic processes even when a single-instruction / multi-data type microprocessor is used as compared with the case where the configuration of the present invention is not provided. .
次に、本発明を実施するための最良の形態について説明する。以下の実施形態に係るSIMD型のマイクロプロセッサは、好適には、複写機、ファクシミリ装置、スキャナ装置、これら装置のうち少なくともいずれか2つを含む複合機、又は、パーソナルコンピュータなど、画像処理を実行してその結果を出力する画像処理装置に内蔵されるものである。 Next, the best mode for carrying out the present invention will be described. The SIMD type microprocessor according to the following embodiments preferably executes image processing such as a copying machine, a facsimile machine, a scanner device, a multifunction machine including at least any two of these devices, or a personal computer. Thus, it is built in an image processing apparatus that outputs the result.
(1)第1実施形態
図1は、第1実施形態に係る演算装置とその周辺装置の構成を示す図である。この演算装置は、SIMD型のマイクロプロセッサ10と、結線制御装置18とを備えている。マイクロプロセッサ10は、プロセッサエレメントと呼ばれる多数の演算器(図では1つのプロセッサエレメントのみに符号PEを付している)が直列に接続された構成となっている。マイクロプロセッサ10に含まれるプロセッサエレメント群は、幾つかのプロセッサエレメントの集合体に分離されている。以下では、これらの集合体の各々を「クラスタ」と呼び、これらの各クラスタがそれぞれに与えられた命令に従って演算を行う。即ち、各クラスタがそれぞれ、単一命令・多データ型の演算手段として機能するわけである。図1では、マイクロプロセッサ10に含まれるプロセッサエレメント群が、4つのクラスタ11−1〜11−4に分離されている例を示している。
(1) 1st Embodiment FIG. 1: is a figure which shows the structure of the arithmetic unit which concerns on 1st Embodiment, and its peripheral device. The arithmetic device includes a
プロセッサエレメントは、入力レジスタ12と、ALU(Arithmetic and Logic Unit)などの演算部13と、出力レジスタ14とを備えている。例えばスキャナ装置やデータ入出力インタフェースなどの入力手段によって、画像データが入力されると、この画像データは、まずバッファメモリなどの記憶手段に書き込まれる。次に、この記憶手段から入力器15によって画像データが読み出される。この入力器15は、読み出した画像データをクラスタ11−1〜11−4に供給するとともに、画像処理装置の図示せぬ主制御部や外部のコンピュータ装置から供給される命令を解釈し、各クラスタ11−1〜11−4によって実行が可能な命令列に変換してこれらの各クラスタに与える、命令デコーダとしての機能も備えている。
The processor element includes an
クラスタ11−1〜11−4に供給された画像データは、入力レジスタ12に順次書き込まれていく。入力レジスタ12は、入力される画像データを保持し、これらを演算部13に順次供給する。演算部13は、入力レジスタ12から供給される画像データに対して、入力器15から供給される命令列に従って演算処理を実行する。その演算結果は出力レジスタ14に書き込まれ、この出力レジスタ14から、記憶装置などの出力先装置16に順次出力される。
The image data supplied to the clusters 11-1 to 11-4 are sequentially written into the
各々のクラスタ11−1〜11−4の間は結線手段によって電気的に接続される。本実施形態では結線手段としてクロスバースイッチ17を用いている。このクロスバースイッチ17は、複数の接点を備えており、各接点がクラスタ11−1〜11−4の入力レジスタの入力端及び出力レジスタの出力端に接続されている、クロスバースイッチ17は、電磁石等の駆動手段を用いて、複数の接点間に設けられているスイッチをオンオフすることで、これら接点間の接続状態を切り替える。即ち、クロスバースイッチ17は、各々のクラスタ11−1〜11−4を互いに接続し又はその接続を切断する。
Each of the clusters 11-1 to 11-4 is electrically connected by connecting means. In the present embodiment, a
結線制御装置18は、クロスバースイッチ17に対し、接続又は切断を指示するスイッチング命令を与えて、クロスバースイッチ17における接点間の接続状態を切り替えさせる。より具体的には、結線制御装置18は、複数の命令の組み合わせと、クラスタ11−1〜11−4のうち接続すべきクラスタの組み合わせとが対応付けられたテーブルを記憶している。そして、結線制御装置18は、入力器15から複数の命令が通知されると、上記テーブルを参照し、それらの命令の組み合わせに対応付けられたクラスタ間を接続するようクロスバースイッチ17に命令する。入力器15から通知される複数の命令の組み合わせは、画像処理の内容を表したものである。よって、結線制御装置18の上記スイッチング制御により、クラスタ11−1〜11−4間の接続状態が画像処理の内容に応じて変化することになる。
The
ここで、図2は、本実施形態で行う画像処理の内容を示した図である。
図2に示すように、まず、スキャナ装置によって読み取られた原稿画像データに対して、テキスト/イメージ分離(T/I分離)が行われ、原稿画像に含まれるテキスト画像とイメージ画像とが分離される。この第1の演算処理を、以下では処理Aという。この処理Aにおいては、上記のT/I分離の他ほか、H(ハイ)レベル又はL(ロー)レベルのいずれかの値をとるValid信号が生成される。このValid信号は、後述する処理Bと処理Cにおいて、演算処理の対象であることを示す有効情報としての役割を果たす。
Here, FIG. 2 is a diagram showing the contents of the image processing performed in the present embodiment.
As shown in FIG. 2, first, text / image separation (T / I separation) is performed on the document image data read by the scanner device, and the text image and the image image included in the document image are separated. The This first arithmetic processing is hereinafter referred to as processing A. In the process A, in addition to the T / I separation described above, a Valid signal that takes one of the values of H (high) level or L (low) level is generated. This Valid signal plays a role as valid information indicating that it is a target of arithmetic processing in processing B and processing C described later.
処理Aの後には、第2の演算処理として処理Bが実行されると共に、第3の演算処理として処理Cが実行される。処理Bは、T/I分離を経て抽出されたテキスト画像に対してエッジ強調処理を行うものである。一方、処理Cは、T/I分離を経て抽出されたイメージ画像に対して階調性を向上させる処理を行うものである。処理Bの対象であるテキスト画像と、処理Cの対象であるイメージ画像とは、上述したValid信号のレベル値によって区別される。この後、第4の演算処理として処理Dが行われる。処理Dでは、処理Bを経たテキスト画像と、処理Cを経たイメージ画像とに対して、例えばLab形式の色空間からYMCK形式の色空間への変換がなされる。 After process A, process B is executed as the second calculation process, and process C is executed as the third calculation process. Process B performs edge enhancement processing on the text image extracted through T / I separation. On the other hand, the process C is a process for improving the gradation of an image image extracted through T / I separation. The text image that is the target of the process B and the image image that is the target of the process C are distinguished by the level value of the Valid signal described above. Thereafter, process D is performed as the fourth calculation process. In the process D, the text image that has undergone the process B and the image image that has undergone the process C are converted from, for example, a Lab format color space to a YMCK format color space.
次に、図3は、図2に示した画像処理を行う場合のクラスタ11−1〜11−4間の接続状態と、これらクラスタ11−1〜11−4間のデータの流れを示した図である。
結線制御装置18は、図2に示すような画像処理の内容を表す複数の命令が、入力器15によって通知されてくると、クラスタ11−1〜11−4が図3に示すような接続状態となるように、クロスバースイッチ17に命令する。即ち、クラスタ11−1の出力端と、クラスタ11−2の入力端及びクラスタ11−3の入力端とが接続され、クラスタ11−2の出力端及びクラスタ11−3の出力端と、クラスタ11−4の入力端とが接続された状態となるよう、クロスバースイッチ17に命令する。これらの各クラスタ間においてクロスバースイッチ17によって形成された経路には、画像に含まれる各画素を表す画素データと、上述したValid信号とが伝送される。このようにして各クラスタが接続されたマイクロプロセッサ10においては、上述した処理Aがクラスタ11−1によって実行され、処理Bがクラスタ11−2によって実行され、処理Cがクラスタ11−3によって実行され、処理Dがクラスタ11−4によって実行される。
Next, FIG. 3 is a diagram showing a connection state between the clusters 11-1 to 11-4 when the image processing shown in FIG. 2 is performed, and a data flow between the clusters 11-1 to 11-4. It is.
When the
ここで、図4は、Valid信号の例を示す図である。
クラスタ11−1は前述したように、各画素データによって表される画素に対して、テキスト画像を構成する画素か又はイメージ画像を構成する画素かを判定することでT/I分離を行い、その判定結果に応じて、クラスタ11−2に対するValid信号と、クラスタ11−3に対するValid信号とを生成する。クラスタ11−2はテキスト画像に対して処理Bを実行するので、このクラスタ11−2に対するValid信号は、テキスト画像を構成する画素(以下、テキスト画素という)に対してHレベルで、テキスト画像以外の画像(ここではイメージ画像)を構成する画素に対してLレベルの値をとる。一方、クラスタ11−3はイメージ画像に対して処理Cを実行するので、このクラスタ11−3に対するValid信号は、イメージ画像を構成する画素(以下、イメージ画素という)に対してHレベルで、イメージ画像以外の画像(ここではテキスト画像)を構成する画素に対してLレベルの値をとる。そして、Valid信号と画素データとが互いに対応付けられた(同期された)状態で、クラスタ11−1からクラスタ11−2に供給されるとともに、クラスタ11−1からクラスタ11−3に供給される。
Here, FIG. 4 is a diagram illustrating an example of a Valid signal.
As described above, the cluster 11-1 performs T / I separation by determining whether the pixel represented by each pixel data is a pixel constituting a text image or a pixel constituting an image image. According to the determination result, a Valid signal for the cluster 11-2 and a Valid signal for the cluster 11-3 are generated. Since the cluster 11-2 performs the process B on the text image, the Valid signal for the cluster 11-2 is at the H level with respect to the pixels constituting the text image (hereinafter referred to as text pixels) and is not a text image. An L level value is taken for the pixels constituting the image (here, the image image). On the other hand, since the cluster 11-3 performs the process C on the image, the Valid signal for the cluster 11-3 is at the H level with respect to the pixels constituting the image (hereinafter referred to as image pixels). An L-level value is taken for pixels constituting an image other than the image (here, a text image). Then, the Valid signal and the pixel data are supplied from the cluster 11-1 to the cluster 11-2 and are supplied from the cluster 11-1 to the cluster 11-3 in a state where they are associated with each other (synchronized). .
クラスタ11−2は、クラスタ11−1から、テキスト画素を表す画素データ(図4中の「T」)と、イメージ画素を表す画素データ(図4中の「I」)のいずれかを順次受け取ると共に、図4上段に示すようなValid信号を受け取る。HレベルのValid信号に対応する(同期する)画素データは、テキスト画素であるので、クラスタ11−2は、この画素データに対してエッジ強調処理(処理B)を実行する。一方、LレベルのValid信号に対応する(同期する)画素データは、イメージ画素であるので、クラスタ11−2は、この画素データに対してはエッジ強調処理(処理B)を実行しない。図4の例で言えば、最初に受け取った画素データp1は、HレベルのValid信号に対応しているので、クラスタ11−2は、この画素データp1に対してエッジ強調処理を実行する。同様に、2番目、3番目の画素データp2,p3もHレベルのValid信号に対応しているので、クラスタ11−2は、これらの画素データp2,p3に対してエッジ強調処理を実行する。そして、4番目に受け取った画素データp4は、LレベルのValid信号に対応しているので、クラスタ11−2は、この画素データp4に対してはエッジ強調処理を実行しない。そして、クラスタ11−2は、このような処理を経た画素データ(エッジ強調処理が施されたテキスト画素及びエッジ強調処理が施されていないイメージ画素)を、上記のValid信号と対応付けて(同期させて)クラスタ11−4に供給する。 The cluster 11-2 sequentially receives, from the cluster 11-1, either pixel data representing a text pixel ("T" in FIG. 4) or pixel data representing an image pixel ("I" in FIG. 4). At the same time, a Valid signal as shown in the upper part of FIG. 4 is received. Since the pixel data corresponding to (synchronized with) the Valid signal at the H level is a text pixel, the cluster 11-2 performs an edge enhancement process (Process B) on the pixel data. On the other hand, since the pixel data corresponding to (synchronized with) the L-level Valid signal is an image pixel, the cluster 11-2 does not perform edge enhancement processing (Process B) on this pixel data. In the example of FIG. 4, since the pixel data p1 received first corresponds to the Valid signal at the H level, the cluster 11-2 performs edge enhancement processing on the pixel data p1. Similarly, since the second and third pixel data p2 and p3 also correspond to the H-level Valid signal, the cluster 11-2 performs edge enhancement processing on these pixel data p2 and p3. Since the fourth pixel data p4 received corresponds to the L-level Valid signal, the cluster 11-2 does not perform edge enhancement processing on the pixel data p4. Then, the cluster 11-2 associates the pixel data that has undergone such processing (text pixel that has undergone edge enhancement processing and image pixel that has not undergone edge enhancement processing) with the above Valid signal (synchronization). To the cluster 11-4.
一方、クラスタ11−3は、クラスタ11−1から、テキスト画素を表す画素データとイメージ画素を表す画素データのいずれかを順次受け取ると共に、図4下段に示すようなValid信号を受け取る。HレベルのValid信号に対応する(同期する)画素データは、イメージ画素であるので、クラスタ11−3は、この画素データに対して階調強調処理を実行する。一方、LレベルのValid信号に対応する(同期する)画素データは、テキスト画素であるので、クラスタ11−3は、この画素データに対しては階調強調処理を実行しない。図4の例で言えば、最初に受け取った画素データp1は、LレベルのValid信号に対応しているので、クラスタ11−3は、この画素データp1に対して階調強調処理を実行しない。同様に−3番目、3番目の画素データp2,p3もLレベルのValid信号に対応しているので、クラスタ11−3は、これらの画素データp2,p3に対して階調強調処理を実行しない。そして、4番目に受け取った画素データp4は、HレベルのValid信号に対応しているので、クラスタ11−3は、この画素データp4に対して階調強調処理を実行する。クラスタ11−3は、このような処理を経た画素データ(階調強調処理が施されたイメージ画素及び階調強調処理が施されていないテキスト画素)を、上記のValid信号と対応付けて(同期させて)クラスタ11−4に供給する。 On the other hand, the cluster 11-3 sequentially receives pixel data representing text pixels and pixel data representing image pixels from the cluster 11-1, and also receives a Valid signal as shown in the lower part of FIG. Since the pixel data corresponding to (synchronized with) the Valid signal of the H level is an image pixel, the cluster 11-3 performs gradation emphasis processing on this pixel data. On the other hand, since the pixel data corresponding to (synchronized with) the L-level Valid signal is a text pixel, the cluster 11-3 does not perform gradation enhancement processing on this pixel data. In the example of FIG. 4, since the pixel data p1 received first corresponds to the L level Valid signal, the cluster 11-3 does not execute the tone emphasis processing on the pixel data p1. Similarly, since the third and third pixel data p2 and p3 also correspond to the L-level Valid signal, the cluster 11-3 does not perform gradation enhancement processing on these pixel data p2 and p3. . Since the fourth pixel data p4 received corresponds to the Valid signal at the H level, the cluster 11-3 performs gradation emphasis processing on the pixel data p4. The cluster 11-3 associates the pixel data (image pixel subjected to gradation enhancement processing and text pixel not subjected to gradation enhancement processing) that has undergone such processing with the above Valid signal (synchronization). To the cluster 11-4.
このように、クラスタ11−2からクラスタ11−4に供給される画素データのうち、HレベルのValid信号に対応付けられている画素データはテキスト画素を表している。また、クラスタ11−3からクラスタ11−4に供給される画素データのうち、HレベルのValid信号に対応付けられている画素データはイメージ画素を表している。よって、クラスタ11−4は、クラスタ11−2及びクラスタ11−3から供給される画素データのうち、HレベルのValid信号に対応付けられている画素データのみを抽出し、抽出した画素データに対して色空間の変換処理を施す。これにより、処理Bを経たテキスト画像と、処理Cを経たイメージ画像とに対して、例えばLab形式の色空間からYMCK形式の色空間への変換処理(処理D)がなされるのである。 As described above, among the pixel data supplied from the cluster 11-2 to the cluster 11-4, the pixel data associated with the H-level Valid signal represents a text pixel. Also, among the pixel data supplied from the cluster 11 3 to the cluster 11-4, pixel data associated with the H level of the Valid signal represents an image pixel. Therefore, the cluster 11-4 extracts only the pixel data associated with the H level Valid signal from the pixel data supplied from the clusters 11-2 and 11-3, and the extracted pixel data To convert the color space. As a result, the text image that has undergone the process B and the image image that has undergone the process C are subjected to, for example, a conversion process (process D) from a Lab format color space to a YMCK format color space.
ここで、図5を用いて、マイクロプロセッサを用いた処理に要する時間について考察する。
図5(a)は、本実施形態に係る構成を備えていない従来のSIMD型マイクロプロセッサを用いて、2種類の画像データ(画像データ1,2)に対して処理A,B,C,Dを実行する場合のタイミングチャートを示している。一方、図5(b)は、本実施形態に係るマイクロプロセッサ10を用いて、2種類の画像データ(画像データ1,2)に対して処理A,B,C,Dを実行する場合のタイミングチャートを示している。なお、図5において横軸は時間である。また、同図においては、画像データ1に対して処理Aを実行するのに要する時間をA−1と表現し、画像データ2に対して処理Aを実行するのに要する時間をA−2と表現する。同様に、画像データ1に対して処理Bを実行するのに要する時間をB−1と表現し、画像データ2に対して処理Bを実行するのに要する時間をB−2と表現し、画像データ1に対して処理Cを実行するのに要する時間をC−1と表現し、画像データ2に対して処理Cを実行するのに要する時間をC−2と表現し、画像データ1に対して処理Dを実行するのに要する時間をD−1と表現し、画像データ2に対して処理Dを実行するのに要する時間をD−2と表現している。
Here, the time required for processing using the microprocessor will be considered with reference to FIG.
FIG. 5A shows processes A, B, C, and D for two types of image data (
以下では、説明を簡単にするため、処理A,B,C,Dにはそれぞれ同じ時間t1を要するものと仮定する。
図5(a)に示した例では、画像データ1について処理A、B,C,Dを1つずつ順番に行うので、画像データ1に対する処理A,B,C,Dが全て終了するまでには時間4t1を要する。さらに画像データ2についての処理時間まで考慮すると、全体の処理が全て終了するまでには時間6t1を要する。これに対し、図5(b)に示した例では、画像データ1について処理Aを行った後に、処理Bと処理Cとを同時に、つまり並列に実行することができるので、画像データ1に対する処理A,B,C,Dが全て終了するまでには時間3t1を要するだけで済む。さらに画像データ2についての処理時間を考慮すると、処理時間の短縮効果はより顕著となり、全体の処理が終了するのに時間4t1しか要しない。
なお、この第1実施形態では、図2に示したような処理A,B,C,Dを想定していたが、マイクロプロセッサ10によって実行される処理は上記処理だけに限定されるわけではない。画像処理の内容が図2に示したものとは異なる場合には、結線制御装置18が、その処理に適した経路となるようにクロスバースイッチ17のスイッチングを制御し、各クラスタが命令に従って処理を実行すればよい。
Hereinafter, in order to simplify the description, it is assumed that the processes A, B, C, and D require the same time t1.
In the example shown in FIG. 5A, the processes A, B, C, and D are sequentially performed on the
In the first embodiment, processes A, B, C, and D as shown in FIG. 2 are assumed. However, the processes executed by the
(2)第2実施形態
上述した第1実施形態では、処理A,B,C,Dにはそれぞれ同じ時間t1を要すること、つまり、各クラスタに対する処理の負荷が全て同じであることを前提にしていた。以下に述べる第2実施形態は、各クラスタに対する処理の負荷が同じでない場合の実施の形態である。
(2) Second Embodiment In the first embodiment described above, it is assumed that the processes A, B, C, and D require the same time t1, that is, the processing load for each cluster is all the same. It was. The second embodiment described below is an embodiment in the case where the processing load for each cluster is not the same.
以下では、処理X,Yを従来のSIMD型マイクロプロセッサによって実行した場合と、第1実施形態のように各クラスタに分離されたSIMD型マイクロプロセッサによって実行した場合とを想定し、各々の場合の処理効率を比較する。前者のSIMD型マイクロプロセッサは10個のプロセッサエレメントで構成されているものと仮定し、後者のSIMD型マイクロプロセッサでは、上記の10個のプロセッサエレメントからなるマイクロプロセッサが、5個ずつのプロセッサエレメントを含むクラスタに分離されているものとする。なお、ここでは「処理効率」として、プロセッサエレメント数(同時に処理可能なピクセル数)で処理の負荷(サイクル)を除した値を用いる。 In the following, it is assumed that the processes X and Y are executed by a conventional SIMD type microprocessor and a case where the processes are executed by a SIMD type microprocessor separated into each cluster as in the first embodiment. Compare processing efficiency. It is assumed that the former SIMD type microprocessor is composed of 10 processor elements, and in the latter SIMD type microprocessor, the microprocessor composed of the 10 processor elements described above has 5 processor elements each. Assume that it is separated into containing clusters. Here, the value obtained by dividing the processing load (cycle) by the number of processor elements (the number of pixels that can be processed simultaneously) is used as the “processing efficiency”.
まず、処理Xと処理Yの負荷がそれぞれ「100サイクル」で同じであると仮定した場合について考察する。
図6(a)に示すように、従来のSIMD型マイクロプロセッサ100によって実行した場合には、処理X、Yを順番に実行するため、処理効率は(100サイクル+100サイクル)/10ピクセル=20サイクル/ピクセルとなる。これに対し、各クラスタに分離されたSIMD型マイクロプロセッサ100’によって実行した場合には、第1実施形態における処理Bと処理Cのように、処理Xと処理Yを同時に(並列に)実行することができる。図6(b)に示すように、処理効率は100サイクル/5ピクセル=20サイクル/ピクセルとなる。
よって、前者のSIMD型マイクロプロセッサと、後者のSIMD型マイクロプロセッサの処理効率は同じである。なお、処理X,Yの総処理時間は第1実施形態で説明したように後者が短くなる。
First, let us consider a case where it is assumed that the loads of process X and process Y are the same at “100 cycles”.
As shown in FIG. 6A, when executed by the conventional
Therefore, the processing efficiency of the former SIMD type microprocessor and the latter SIMD type microprocessor is the same. Note that the total processing time of the processes X and Y is shorter as described in the first embodiment.
次に、処理Xと処理Yの負荷が同じではない場合について考察する。ここでは、処理Xを「100サイクル」とし、処理Yを「200サイクル」とする。
従来のSIMD型マイクロプロセッサ100によって実行した場合には、処理X、Yを順番に実行するため、図7(a)に示すように、処理効率は(100サイクル+200サイクル)/10ピクセル=30サイクル/ピクセルとなる。これに対し、各クラスタに分離されたSIMD型マイクロプロセッサ100’によって実行した場合には、処理X、Yを同時に(並列に)実行することができるが、処理Yの負荷が大きいため、処理効率の計算には大きい方の負荷が用いられる。よって、図7(b)に示すように、処理効率は200サイクル/5ピクセル=40サイクル/ピクセルとなる。よって、前者のSIMD型マイクロプロセッサより、後者のSIMD型マイクロプロセッサの処理効率の方が低下するという結果になる。
Next, a case where the loads of the process X and the process Y are not the same will be considered. Here, the process X is “100 cycles” and the process Y is “200 cycles”.
When executed by the conventional
この問題を改善するため、第2実施形態では、図8に示すような構成とした。
SIMD型マイクロプロセッサ100’においてはクラスタ単位でプロセッサエレメントが分離されているから、それぞれのクラスタは他のクラスタとは異なるクロック周波数に従って処理を実行することができる。そこで、200サイクルの処理Yを実行するクラスタ101−2’に与えるクロック周波数を、100サイクルの処理Xを実行するクラスタ101−1’に与えるクロック周波数の2倍として、処理Yを実質的に100サイクルの処理とする。
In order to improve this problem, the second embodiment is configured as shown in FIG.
In the
具体的な構成としては、クロック回路101が、クラスタ101−1’にクロック周波数Cを供給し、クロック回路102が、クラスタ101−2’にクロック周波数2×Cを供給する。このようにすれば、処理効率は、100サイクル/5ピクセル=20サイクル/ピクセルとなり、従来のSIMD型マイクロプロセッサ100と同等の処理効率となる。このように、負荷が大きい処理を実行するクラスタに対し、負荷が小さい処理を実行するクラスタに供給するクロック周波数よりも大きいクロック周波数を与えることで、前者の処理の実質的な負荷を小さくする。これにより、負荷が異なる処理を複数のクラスタで並列に実行する場合であっても、処理効率を良好なレベルに維持することができる。
Specifically, the
(3)変形例
上述した実施形態では、クロスバースイッチ17を用いてクラスタ間の接続状態を画像処理の内容に応じて動的に変化させていたが、これは必ずしも必要ではない。なぜなら、第1及び第2実施形態では、Valid信号のHレベル/Lレベルで処理対象となる画素データを指定することができるので、各クラスタの全てが相互に接続されていたとしても、処理を実行させたい画素データに対してのみHレベルのValid信号に対応付けて供給するようにすれば、その画素データを受け取ったクラスタにおいては、HレベルのValid信号に対応付けられた画素データに対してのみ処理が実行されるからである。要するに、Valid信号は各クラスタ間を論理的に結線する役割を持っているから、クロスバースイッチ17のような物理的な結線手段に頼らなくてもよい。物理的な結線手段は、データの送信側と受信側とを一対一で直結させることができるため、データの衝突や混線などの問題が起こりにくく、伝送速度を上げやすいという利点があるにすぎない。
(3) Modification In the above-described embodiment, the connection state between clusters is dynamically changed according to the contents of image processing using the
また、プロセッサエレメントPEの入力レジスタ12や出力レジスタ14は、FIFO(First In First Out)型のバッファであってもよい。
また、上述した実施形態に係るマイクロプロセッサは、画像処理装置のほか、例えばパーソナルコンピュータやサーバ装置など、データ処理を行うデータ処理装置に実装されても良い。
Further, the
In addition to the image processing apparatus, the microprocessor according to the above-described embodiment may be mounted on a data processing apparatus that performs data processing, such as a personal computer or a server apparatus.
PE・・・プロセッサエレメント、10・・・マイクロプロセッサ、11−1〜11−4・・・クラスタ、12・・・入力レジスタ、13・・・演算部、14・・・出力レジスタ、15・・・入力器、16・・・出力先装置、17・・・クロスバースイッチ、18・・・結線制御装置。 PE ... processor element, 10 ... microprocessor, 11-1 to 11-4 ... cluster, 12 ... input register, 13 ... arithmetic unit, 14 ... output register, 15 ... -Input device, 16 ... output destination device, 17 ... crossbar switch, 18 ... connection control device.
Claims (7)
前記第1の演算手段は、複数の画素データの各々に対して、テキスト画像を構成する画素に対する演算を行う手段である前記第2の演算手段による演算処理の対象である画素データか又はテキスト画像以外の画像を構成する画素に対する演算を行う手段である前記第3の演算手段による演算処理の対象である画素データかを判定する第1の演算処理を実行し、その演算結果である画素データのうち前記第2の演算手段による演算処理の対象である画素データと、その画素データが演算処理の対象であることを示す有効情報とを対応付けて、前記第1の演算手段と電気的に接続された前記第2の演算手段に供給する一方、前記第1の演算処理による演算結果である画素データのうち前記第3の演算手段による演算処理の対象である画素データと、その画素データが演算処理の対象であることを示す有効情報とを対応付けて、前記第1の演算手段と電気的に接続された前記第3の演算手段に供給し、
前記第2の演算手段は、前記第1の演算手段から供給され、前記有効情報と対応付けられたデータに対して、第2の演算処理を実行してその演算結果を出力し、
前記第3の演算手段は、前記第1の演算手段から供給され、前記有効情報と対応付けられたデータに対して、第3の演算処理を実行してその演算結果を出力する
ことを特徴とする演算装置。 First operating means for executing each of arithmetic processing for a plurality of pixel data, the second calculation means and the third arithmetic means includes,
The first calculation means is pixel data or a text image that is a target of calculation processing by the second calculation means, which is a means for performing calculation on pixels constituting a text image for each of a plurality of pixel data. First calculation processing is performed for determining whether the pixel data is a target of calculation processing by the third calculation means, which is a means for calculating the pixels constituting the image other than the image data , and the calculation result of the pixel data Among them, the pixel data that is the target of the arithmetic processing by the second arithmetic means and the valid information indicating that the pixel data is the target of the arithmetic processing are associated with each other and electrically connected to the first arithmetic means. while supplying the second computing means is, the pixel data is the first object of the arithmetic processing by the third arithmetic means of the pixel data is an arithmetic result of the arithmetic processing In association with the effective information indicating that the pixel data is the calculation of the subject is supplied to the first arithmetic means electrically connected to said third calculation means,
The second calculation means performs a second calculation process on the data supplied from the first calculation means and associated with the valid information, and outputs the calculation result.
The third calculation means performs a third calculation process on the data supplied from the first calculation means and associated with the valid information, and outputs the calculation result. Arithmetic unit to do.
前記第2の演算手段は、第2の演算処理による演算結果と、前記第1の演算手段から供給された前記有効情報とを対応付けて前記第4の演算手段に出力し、
前記第3の演算手段は、第3の演算処理による演算結果と、前記第1の演算手段から供給された前記有効情報とを対応付けて前記第4の演算手段に出力し、
前記第4の演算手段は、第2の演算処理による演算結果のうち前記有効情報と対応付けられた演算結果と、第3の演算処理による演算結果のうち前記有効情報と対応付けられた演算結果とに対して第4の演算処理を実行して出力する
ことを特徴とする請求項1記載の演算装置。 A fourth calculating means for executing the arithmetic processing for a plurality of pixel data,
The second calculation means associates the calculation result of the second calculation processing with the valid information supplied from the first calculation means, and outputs it to the fourth calculation means,
The third calculation means associates the calculation result of the third calculation processing with the valid information supplied from the first calculation means, and outputs the associated information to the fourth calculation means.
The fourth calculation means includes a calculation result associated with the valid information among the calculation results obtained by the second calculation process, and a calculation result associated with the valid information among the calculation results obtained by the third calculation process. The arithmetic unit according to claim 1, wherein a fourth arithmetic process is executed on and output.
前記第1の演算処理、前記第2の演算処理及び前記第3の演算処理の組み合わせに応じて、前記第1の演算手段、前記第2の演算手段及び前記第3の演算手段のそれぞれに対する接続とその接続の切断を前記結線手段に指示する結線制御手段と
を備えることを特徴とする請求項1記載の演算装置。 Connecting each of the first calculation means, the second calculation means and the third calculation means with each other, or a connection means for cutting the connection;
Connection to each of the first calculation means, the second calculation means, and the third calculation means according to the combination of the first calculation process, the second calculation process, and the third calculation process The calculation device according to claim 1, further comprising: a connection control unit that instructs the connection unit to disconnect the connection.
前記第2の演算手段及び前記第3の演算手段に対してクロック周波数を供給するクロック供給手段であって、前記第2の演算手段又は前記第3の演算手段のうち、負荷が大きい演算処理を実行する一方の演算手段に対しては、負荷が小さい処理を実行する他方の演算手段に供給するクロック周波数よりも大きいクロック周波数を供給するクロック供給手段
を備えることを特徴とする請求項1記載の演算装置。 The first calculation means, the second calculation means, and the third calculation means all perform calculation processing based on the supplied clock frequency,
Clock supply means for supplying a clock frequency to the second calculation means and the third calculation means, wherein the second calculation means or the third calculation means performs a calculation process with a heavy load. The clock supply means for supplying a clock frequency larger than the clock frequency supplied to the other calculation means for executing the processing with a small load for the one calculation means to be executed. Arithmetic unit.
請求項1記載の演算装置。 In the first calculation unit, the second calculation unit, and the third calculation unit, a processor element group included in a microprocessor that executes the same calculation process on a plurality of data includes a plurality of processor elements. The computing device according to claim 1, wherein each of the clusters is separated into two.
前記演算装置によって、画像を表す画像データに対する演算処理を実行させ、その演算結果を出力させる画像処理装置。 Comprising the arithmetic unit according to any one of claims 1 to 5,
An image processing apparatus that causes the arithmetic device to execute arithmetic processing on image data representing an image and to output the arithmetic result.
前記演算装置によって、データに対する演算処理を実行させ、その演算結果を出力させるデータ処理装置。 Comprising the arithmetic unit according to any one of claims 1 to 5,
A data processing device for causing the arithmetic device to execute arithmetic processing on data and outputting the arithmetic result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006152050A JP4697055B2 (en) | 2006-05-31 | 2006-05-31 | Arithmetic device, image processing device, and data processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006152050A JP4697055B2 (en) | 2006-05-31 | 2006-05-31 | Arithmetic device, image processing device, and data processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007323308A JP2007323308A (en) | 2007-12-13 |
JP4697055B2 true JP4697055B2 (en) | 2011-06-08 |
Family
ID=38856070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006152050A Expired - Fee Related JP4697055B2 (en) | 2006-05-31 | 2006-05-31 | Arithmetic device, image processing device, and data processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4697055B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011086061A (en) * | 2009-10-14 | 2011-04-28 | Mitsubishi Electric Corp | Parallel signal processing device |
JP5511400B2 (en) * | 2010-01-12 | 2014-06-04 | 三菱電機株式会社 | Parallel signal processor |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003330570A (en) * | 2002-05-17 | 2003-11-21 | Mitsumi Electric Co Ltd | Data processor, data processor control method, data processor control program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06259391A (en) * | 1993-03-05 | 1994-09-16 | N T T Data Tsushin Kk | Pipeline processor constitution system |
JPH09106389A (en) * | 1995-10-12 | 1997-04-22 | Sony Corp | Signal processor |
JP4505866B2 (en) * | 1998-04-03 | 2010-07-21 | ソニー株式会社 | Image processing apparatus and video signal processing method |
-
2006
- 2006-05-31 JP JP2006152050A patent/JP4697055B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003330570A (en) * | 2002-05-17 | 2003-11-21 | Mitsumi Electric Co Ltd | Data processor, data processor control method, data processor control program |
Also Published As
Publication number | Publication date |
---|---|
JP2007323308A (en) | 2007-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6954281B2 (en) | Method and apparatus for image processing, and a computer product | |
US20060236075A1 (en) | SIMD microprocessor and data processing method | |
US8356163B2 (en) | SIMD microprocessor and method for controlling variable sized image data processing | |
JP4697055B2 (en) | Arithmetic device, image processing device, and data processing device | |
JP2003067734A (en) | Configurable image-processing logic for use in image processor | |
JP2015115837A (en) | Control device, image processing apparatus, control method and program | |
JP2010072710A (en) | Digital image processing computer system having programmable toggle switch | |
JP4541605B2 (en) | Image processing apparatus and image processing method | |
JP2002305622A (en) | Image input-output controller, image processor image processing method in image input-output controller and image processing method in image processor | |
US8024550B2 (en) | SIMD processor with each processing element receiving buffered control signal from clocked register positioned in the middle of the group | |
US20110222121A1 (en) | Information processing apparatus, image forming apparatus, and information processing method | |
JP4735408B2 (en) | Image processing apparatus and program thereof | |
JP2005096343A (en) | Interface device | |
JP5245803B2 (en) | Image processing apparatus and image processing module | |
JP4855345B2 (en) | Image processing apparatus and image forming apparatus | |
JP4791805B2 (en) | Image forming apparatus and image forming program | |
JP2000322370A (en) | Data outputting circuit | |
JP2012248996A (en) | Image processor | |
JP5899860B2 (en) | Printing apparatus and printing method of printing apparatus | |
JP2004112585A (en) | Image processing apparatus, program for realizing functions of the apparatus, and recording medium | |
JP2019175431A (en) | Information processing apparatus and control method thereof | |
CN113806285A (en) | Data processing module, chip and data processing method | |
JP2011204025A (en) | Image processing accelerator | |
JP2007323491A (en) | Direct memory access control device and control method | |
JP2020008926A (en) | Data path controller, image processing device, control method of data path controller and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4697055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |