JP7423757B2 - 同期プロセッサのためのシャーディング - Google Patents
同期プロセッサのためのシャーディング Download PDFInfo
- Publication number
- JP7423757B2 JP7423757B2 JP2022511309A JP2022511309A JP7423757B2 JP 7423757 B2 JP7423757 B2 JP 7423757B2 JP 2022511309 A JP2022511309 A JP 2022511309A JP 2022511309 A JP2022511309 A JP 2022511309A JP 7423757 B2 JP7423757 B2 JP 7423757B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- tiles
- tile
- generating
- computers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001360 synchronised effect Effects 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000003139 buffering effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/45—Exploiting coarse grain parallelism in compilation, i.e. parallelism between groups of instructions
- G06F8/451—Code distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/82—Architectures of general purpose stored program computers data or demand driven
- G06F15/825—Dataflow computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/40—Transformation of program code
- G06F8/41—Compilation
- G06F8/44—Encoding
- G06F8/445—Exploiting fine grain parallelism, i.e. parallelism at instruction level
- G06F8/4451—Avoiding pipeline stalls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/483—Multiproc
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/485—Resource constraint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/506—Constraint
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Devices For Executing Special Programs (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Multi Processors (AREA)
- Complex Calculations (AREA)
Description
実施形態1は、
複数の同期タイルを有するデバイスによって行われることになるそれぞれのマトリクス動作をそれぞれが表す複数のノードを含むデータフローグラフの表現を受信するステップと、
前記複数の同期タイルの各タイルに対する前記データフローグラフのそれぞれの部分の複数の候補割当てを生成するステップと、
前記デバイスの1つまたは複数のリソース制約に従って前記複数の候補割当ての各候補割当てを評価するステップと、
各候補割当ての評価に基づいて前記候補割当てのうちの1つを選択するステップと
を含む方法である。
2つの異なるパスのそれぞれについてそれぞれの実行傾斜をコンピュータ計算するステップと、
第1のパスが、第2のパスよりも小さい実行傾斜を有することを決定するステップと、
それに応答して、前記第1のパスがより緩やかな実行傾斜を有するように前記候補割当てを修正するステップと
を含む、実施形態9に記載の方法である。
103 第2の寸法
200 マトリクス
301、302、303 ストール
310、320、330、340 アイドルゾーン
360 バッファ
502 タイル
506 区分
600 タイル
602 ローカルメモリ、物理メモリ
604 コンピュータ計算アレイ
606 セル
610 汎用の制御可能なバスライン
610a、610b、610c、610d バスライン
620 コンピュータ計算アレイ部分和バスライン
620a、620b 部分和
621 制御要素
Claims (19)
複数の同期タイルを有するデバイスによって行われることになるそれぞれのマトリクス動作をそれぞれが表す複数のノードを含むデータフローグラフの表現を受信することと、
前記複数の同期タイルの各タイルに対する前記データフローグラフのそれぞれの部分の複数の候補割当てを生成することであって、前記複数の候補割当てが、前記複数の同期タイルの各々におけるローカルなメモリ制約に基づく、生成することと、
前記デバイスの1つまたは複数のリソース制約に従って前記複数の候補割当ての各候補割当てを評価することと、
各候補割当ての評価に基づいて前記候補割当てのうちの1つを選択することと
を含む、
システム。
複数の同期タイルを有するデバイスによって行われることになるそれぞれのマトリクス動作をそれぞれが表す複数のノードを含むデータフローグラフの表現を受信することと、
前記複数の同期タイルの各タイルに対する前記データフローグラフのそれぞれの部分の複数の候補割当てを生成することであって、前記複数の候補割当てを生成することが、サイズ閾値を超える任意のマトリクスに対してサブレイヤシャーディングを行うことを含み、前記サブレイヤシャーディングを行うことが、異なるそれぞれの同期タイルに対して前記マトリクスの異なるブロックを割り当てることを含む、生成することと、
前記デバイスの1つまたは複数のリソース制約に従って前記複数の候補割当ての各候補割当てを評価することと、
各候補割当ての評価に基づいて前記候補割当てのうちの1つを選択することと
を含む、システム。
2つの異なるパスのそれぞれについてそれぞれの実行傾斜をコンピュータ計算することと、
第1のパスが、第2のパスよりも小さい実行傾斜を有することを決定することと、
それに応答して、前記第1のパスがより緩やかな実行傾斜を有するように前記候補割当てを修正することと
を含む、請求項8に記載のシステム。
複数の同期タイルを有するデバイスによって行われることになるそれぞれのマトリクス動作をそれぞれが表す複数のノードを含むデータフローグラフの表現を受信することと、
前記複数の同期タイルの各タイルに対する前記データフローグラフのそれぞれの部分の複数の候補割当てを生成することであって、前記複数の候補割当てを生成することが、異なるメモリおよびコンピュータ計算要件を有する異なるレイヤを一緒にペアリングすることによってジグザグシャーディングを行うことを含む、生成することと、
前記デバイスの1つまたは複数のリソース制約に従って前記複数の候補割当ての各候補割当てを評価することと、
各候補割当ての評価に基づいて前記候補割当てのうちの1つを選択することと
を含む、システム。
複数の同期タイルを有するデバイスによって行われることになるそれぞれのマトリクス動作をそれぞれが表す複数のノードを含むデータフローグラフの表現を受信することと、
前記複数の同期タイルの各タイルに対する前記データフローグラフのそれぞれの部分の複数の候補割当てを生成することと、
前記デバイスの1つまたは複数のリソース制約に従って前記複数の候補割当ての各候補割当てを評価することと、
各候補割当ての評価に基づいて前記候補割当てのうちの1つを選択することと
を含み、
前記タイルが、線形アレイで配置され、それにより、各タイルが1つまたは2つの隣接タイルにしかデータを提供しないように構成されている、システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024005431A JP2024040198A (ja) | 2019-08-22 | 2024-01-17 | 同期プロセッサのためのシャーディング |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962890471P | 2019-08-22 | 2019-08-22 | |
US62/890,471 | 2019-08-22 | ||
PCT/US2020/047206 WO2021035055A1 (en) | 2019-08-22 | 2020-08-20 | Sharding for synchronous processors |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024005431A Division JP2024040198A (ja) | 2019-08-22 | 2024-01-17 | 同期プロセッサのためのシャーディング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022544842A JP2022544842A (ja) | 2022-10-21 |
JP7423757B2 true JP7423757B2 (ja) | 2024-01-29 |
Family
ID=72474370
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022511309A Active JP7423757B2 (ja) | 2019-08-22 | 2020-08-20 | 同期プロセッサのためのシャーディング |
JP2024005431A Pending JP2024040198A (ja) | 2019-08-22 | 2024-01-17 | 同期プロセッサのためのシャーディング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024005431A Pending JP2024040198A (ja) | 2019-08-22 | 2024-01-17 | 同期プロセッサのためのシャーディング |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220300450A1 (ja) |
EP (1) | EP3987394A1 (ja) |
JP (2) | JP7423757B2 (ja) |
KR (1) | KR20220031717A (ja) |
CN (1) | CN114270307A (ja) |
TW (1) | TWI776212B (ja) |
WO (1) | WO2021035055A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151645A (ja) | 2007-12-21 | 2009-07-09 | Mitsubishi Electric Corp | 並列処理装置及びプログラム並列化装置 |
JP2012248114A (ja) | 2011-05-30 | 2012-12-13 | Canon Inc | 情報処理装置、情報処理装置の制御方法、およびプログラム |
WO2018185765A1 (en) | 2017-04-04 | 2018-10-11 | Hailo Technologies Ltd. | Neural network processor incorporating inter-device connectivity |
WO2018193370A1 (en) | 2017-04-17 | 2018-10-25 | Cerebras Systems Inc. | Task activating for accelerated deep learning |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPQ131399A0 (en) * | 1999-06-30 | 1999-07-22 | Silverbrook Research Pty Ltd | A method and apparatus (NPAGE02) |
US5682107A (en) * | 1994-04-01 | 1997-10-28 | Xilinx, Inc. | FPGA architecture with repeatable tiles including routing matrices and logic matrices |
TWI353521B (en) * | 2006-09-28 | 2011-12-01 | Sandisk Corp | Soft-input soft-output decoder for nonvolatile mem |
US8862625B2 (en) * | 2008-04-07 | 2014-10-14 | Teradata Us, Inc. | Accessing data in a column store database based on hardware compatible indexing and replicated reordered columns |
US9176794B2 (en) * | 2010-12-13 | 2015-11-03 | Advanced Micro Devices, Inc. | Graphics compute process scheduling |
US9336146B2 (en) * | 2010-12-29 | 2016-05-10 | Empire Technology Development Llc | Accelerating cache state transfer on a directory-based multicore architecture |
US9563399B2 (en) * | 2013-08-30 | 2017-02-07 | Cavium, Inc. | Generating a non-deterministic finite automata (NFA) graph for regular expression patterns with advanced features |
CN105630441B (zh) * | 2015-12-11 | 2018-12-25 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于统一染色技术的gpu*** |
US20180189229A1 (en) * | 2017-01-04 | 2018-07-05 | Stmicroelectronics S.R.L. | Deep convolutional network heterogeneous architecture |
WO2018195120A1 (en) * | 2017-04-17 | 2018-10-25 | Oshea Timothy James | Placement and scheduling of radio signal processing dataflow operations |
US10452452B2 (en) * | 2017-04-17 | 2019-10-22 | Wave Computing, Inc. | Reconfigurable processor fabric implementation using satisfiability analysis |
US10380063B2 (en) * | 2017-09-30 | 2019-08-13 | Intel Corporation | Processors, methods, and systems with a configurable spatial accelerator having a sequencer dataflow operator |
-
2020
- 2020-08-20 KR KR1020227004916A patent/KR20220031717A/ko not_active Application Discontinuation
- 2020-08-20 JP JP2022511309A patent/JP7423757B2/ja active Active
- 2020-08-20 US US17/636,805 patent/US20220300450A1/en active Pending
- 2020-08-20 WO PCT/US2020/047206 patent/WO2021035055A1/en unknown
- 2020-08-20 CN CN202080058480.0A patent/CN114270307A/zh active Pending
- 2020-08-20 EP EP20771947.7A patent/EP3987394A1/en active Pending
- 2020-08-21 TW TW109128609A patent/TWI776212B/zh active
-
2024
- 2024-01-17 JP JP2024005431A patent/JP2024040198A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151645A (ja) | 2007-12-21 | 2009-07-09 | Mitsubishi Electric Corp | 並列処理装置及びプログラム並列化装置 |
JP2012248114A (ja) | 2011-05-30 | 2012-12-13 | Canon Inc | 情報処理装置、情報処理装置の制御方法、およびプログラム |
WO2018185765A1 (en) | 2017-04-04 | 2018-10-11 | Hailo Technologies Ltd. | Neural network processor incorporating inter-device connectivity |
WO2018193370A1 (en) | 2017-04-17 | 2018-10-25 | Cerebras Systems Inc. | Task activating for accelerated deep learning |
Also Published As
Publication number | Publication date |
---|---|
US20220300450A1 (en) | 2022-09-22 |
CN114270307A (zh) | 2022-04-01 |
TW202111562A (zh) | 2021-03-16 |
TWI776212B (zh) | 2022-09-01 |
JP2022544842A (ja) | 2022-10-21 |
EP3987394A1 (en) | 2022-04-27 |
JP2024040198A (ja) | 2024-03-25 |
KR20220031717A (ko) | 2022-03-11 |
WO2021035055A1 (en) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6898496B2 (ja) | 計算グラフの処理 | |
EP3353655B1 (en) | Stream-based accelerator processing of computational graphs | |
Yang et al. | UMR: A multi-round algorithm for scheduling divisible workloads | |
US11687771B2 (en) | Platform for concurrent execution of GPU operations | |
Zhuang et al. | CHARM: C omposing H eterogeneous A ccele R ators for M atrix Multiply on Versal ACAP Architecture | |
Malyshkin et al. | Optimization methods of parallel execution of numerical programs in the LuNA fragmented programming system | |
JP7476299B2 (ja) | 同期プロセッサのためのコンパイル | |
Fan et al. | An effective approximation algorithm for the malleable parallel task scheduling problem | |
Taheri et al. | Hopfield neural network for simultaneous job scheduling and data replication in grids | |
Wu et al. | Using hybrid MPI and OpenMP programming to optimize communications in parallel loop self-scheduling schemes for multicore PC clusters | |
Feljan et al. | Task allocation optimization for multicore embedded systems | |
Davidović et al. | Parallel local search to schedule communicating tasks on identical processors | |
US11221979B1 (en) | Synchronization of DMA transfers for large number of queues | |
Beaumont et al. | Comparison of static and runtime resource allocation strategies for matrix multiplication | |
JP2023145676A (ja) | 伝搬レイテンシの短縮 | |
JP7423757B2 (ja) | 同期プロセッサのためのシャーディング | |
Hussain Shah et al. | Optimal job packing, a backfill scheduling optimization for a cluster of workstations | |
Pascual et al. | Locality-aware policies to improve job scheduling on 3D tori | |
Kumar et al. | Global analysis of resource arbitration for MPSoC | |
Chen et al. | A scheduling algorithm for heterogeneous computing systems by edge cover queue | |
Al-Haboobi et al. | Execution Time Reduction in Function Oriented Scientific Workflows | |
Cao | Performance Optimization of Big Data Computing Workflows for Batch and Stream Data Processing in Multi-Clouds | |
Uwizeyimana | Tackling Resource Utilization in Deep Neural Network Accelerators | |
Mendonca | Multi-purpose Efficient Resource Allocation for Parallel Systems | |
Bulu et al. | Efficient Aspect Assignment Heterogeneous Distributed Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220413 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230424 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7423757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |