JP6726160B2 - 撮像装置、撮像システム、信号処理装置及び信号処理方法 - Google Patents
撮像装置、撮像システム、信号処理装置及び信号処理方法 Download PDFInfo
- Publication number
- JP6726160B2 JP6726160B2 JP2017246405A JP2017246405A JP6726160B2 JP 6726160 B2 JP6726160 B2 JP 6726160B2 JP 2017246405 A JP2017246405 A JP 2017246405A JP 2017246405 A JP2017246405 A JP 2017246405A JP 6726160 B2 JP6726160 B2 JP 6726160B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- error correction
- correction code
- signal processing
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 108
- 238000003384 imaging method Methods 0.000 title claims description 28
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000004364 calculation method Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 46
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03K—PULSE TECHNIQUE
- H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
- H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
- H03K19/21—EXCLUSIVE-OR circuits, i.e. giving output if input signal exists at only one input; COINCIDENCE circuits, i.e. giving output only if all input signals are identical
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/61—Aspects and characteristics of methods and arrangements for error correction or error detection, not provided for otherwise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
- H04L1/0083—Formatting with frames or packets; Protocol or part of protocol for error control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
- H04L1/0084—Formats for payload data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Power Engineering (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Error Detection And Correction (AREA)
Description
図1は、本発明を実施するための撮像装置1のブロック図を示したものである。画素部10には光電変換素子を含む画素が複数、行列状に配置されている。画素部10から出力されたアナログデータである画素データは、AD変換部11において、アナログデータからデジタルデータへと変換される。AD変換部11から出力されたデジタルデータは、信号処理部12内の演算処理部123において、信号値についての演算処理が行われる。信号処理部12は、ビットバイト変換部121、誤り訂正符号処理部122を含む。ビットバイト変換部121では、入力されるData1を、所定の単位、例えばバイト単位のデータに変換する処理を行い、Data2として出力する。誤り訂正符号処理部122では、Data2に対して、誤り訂正符号の生成を行う。誤り訂正符号処理部122において生成された誤り訂正符号は、画像のデジタルデータと共に、誤り訂正符号処理部122からData5として出力される。Data5は、信号処理部12から出力され、信号出力部13を通じて、撮像装置1から出力される。
図6は、誤り訂正符号処理部122のブロック図を示す。誤り訂正符号処理部122を、誤り訂正符号を計算する前の処理を実施するための処理部1221と誤り訂正符号を計算する誤り訂正符号計算部1222とに分けて説明をする。誤り訂正符号処理部122内では、入力されたData2が、必要に応じて処理されて、Data3とされる。Data3に対して誤り訂正符号計算部1222により誤り訂正符号を生成する計算が行われる。誤り訂正符号の生成が行われたのち、Data3と、計算結果である誤り訂正符号とを組み合わせてData5が出力される。本実施例では、誤り訂正符号計算部1222は並列に入力されるバイト単位のデータを複数含むグループからなるデータに対してパラレル処理により誤り訂正符号を生成している。この誤り訂正符号の生成方法に関しては、例えば先行特許文献2に開示された方法を利用することができる。誤り訂正符号は、任意のバイト数のデータに対して所定長の符号を付加することができる。例えば、28バイトのデータに対して、4バイトの誤り訂正符号を付加する場合、28バイトのデータの末尾に4バイトの誤り訂正符号が付加される。図9は、Data2のByte11〜54の28バイトのデータに対してData5に示すように、Parity1〜4の4バイトの誤り訂正符号が付加されることを示す。誤り訂正符号のバイト数によって、誤り訂正符号を付加する対象のデータに対する誤り訂正能力が決まる。そのため、所望の誤り訂正能力によって、誤り訂正の対象のデータ長と誤り訂正符号のバイト数を決定する。
実施例1では、全画素読み出しモードにおいて、画素部の画素数がいろいろであっても、並列に出力されるデータに誤り訂正符号を付加することが可能であることを示した。これは、誤り訂正符号を付加する対象のデータのバイト数が変化しても、その変化に対応して、グループのデータ数の調整を行うことにより可能になる。撮像装置1において誤り訂正符号を付加する対象のデータのバイト数が変化する例は他にもある。本実施例では、誤り訂正符号を付加する対象のデータのバイト数が変化する場合でも対応できることを示す。
実施例1に示した構成において、動画撮影モードや静止画撮影モードを切り替える場合を考える。このとき、AD変換部11が画素からの信号をデジタル信号へ変換するときに、1画素あたりに変換するビット数を変化させる場合がある。例えば、静止画撮影モードでは1画素あたり14ビットに変換し、動画撮影モードでは1画素あたり10ビットに変換するといったように、AD変換部11が1画素あたりのビット数を変化させる。このとき、誤り訂正符号を生成する対象のデータの量(変化する。そのため誤り訂正符号計算部1222に(並列処理数)<(誤り訂正符号長)となるデータが入力される可能性がある。このような場合においても、グループに含まれるデータ数を調整することにより並列処理数が条件を満たすようにすることにより不都合なく誤り訂正符号を生成することが可能になる。
本実施例は、誤り訂正符号計算部1222に入力されるグループに含まれるデータ数の調整を、入力されるData2の長さを誤り訂正信号処理部122が判定して行う例である。図16に、本実施例の誤り訂正符号処理部122の構成を示す。誤り訂正符号処理部122の構成が実施例1と異なるのは、誤り訂正符号処理部122がData2の末尾を検出する比較部1223が含まれている点である。比較部1223は、データの末尾を検出することができる。比較部1223は末尾を検出することによりData2のデータ長を検出し、Data2を遅延させてData2’として出力する。比較部1223は、検出したデータ長に基づいて誤り訂正符号計算部1222へデータを入力する際のデータ数を調整する必要があるかどうかを判定する。誤り訂正符号のバイト数は前もって決定されている数値なので、比較部1223はデータ長を判定し、誤り訂正符号バイト数と並列処理数とを比較することにより、処理部1221に調整を指示するSignalを生成する。処理部1221はSignalに応じてグループのデータ数(並列処理数)の調整を行うことができる。データ長の判定は誤り訂正符号を付加する対象のデータの末尾にデータの最後を示すEndCodeとよばれるデータを付加しておき判断する方法がある。このEndCodeは、誤り訂正符号処理部122にデータが入力されるときに誤り訂正符号を生成する対象となるデータの末尾に付加されればよい。具体的には、外部から与えられたデータの長さに関する情報に基づいて、誤り訂正符号処理部122がEndCodeを付加する。誤り訂正符号処理部122がEndCodeを生成したタイミングやEndCodeの入力に応じて、Signalが生成される。以下でEndCodeから並列処理数を制御する場合の動作例を示す。
図19は、撮像システム2の構成例を示す図である。撮像システム2は、例えば、光学部210、撮像装置1、画像信号処理部230、記録・通信部240、タイミング制御部250、システム制御部260、及び再生・表示部270を含む。撮像部220は、撮像装置1及び画像信号処理部230を有する。撮像装置1は、先の実施例で説明した撮像装置1が用いられる。
Claims (13)
- 複数の画素が行列状に配置された画素部と、
前記画素部から信号を読み出す読出し回路と、
前記読出し回路から出力される複数の信号を対応する複数のデジタルデータに変換するAD変換部と、
前記AD変換部から出力される前記複数のデジタルデータを複数のグループにグループ分けして前記複数のデジタルデータについて誤り訂正符号を生成する信号処理部と、を備え、
前記信号処理部は、誤り訂正符号を生成するための演算を前記複数のグループに対して順に行い、
前記信号処理部は、前記複数のグループのそれぞれにおいて、そのグループを構成するデジタルデータのデータの長さの合計が前記誤り訂正符号の長さ以上になり、かつ、最後に演算されるグループより少なくとも1つ前に処理されるいずれかのグループの前記データの長さが、前記最後に演算されるグループより少なくとも1つ前に処理される他の1つのグループの前記データの長さより短くなるように前記グループ分けを行うことを特徴とする撮像装置。 - 前記グループ分けは前記複数のデジタルデータの順序を変更しないように行われることを特徴とする請求項1に記載の撮像装置。
- 前記読出し回路は、前記画素部からビニングモードで信号を読出すことを特徴とする請求項1又は2に記載の撮像装置。
- 前記読出し回路は、前記画素部から間引きモードで信号を読み出すことを特徴とする請求項1又は2に記載の撮像装置。
- 前記読出し回路は、前記画素部の所定の領域の信号を読み出すことを特徴とする請求項1又は2に記載の撮像装置。
- 前記信号処理部は、前記複数のデジタルデータの末尾にデータの最後を示す符号を付加することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
- 前記信号処理部は、前記データの最後を示す符号を検出することに応じて前記複数のデジタルデータを前記グループ分けすることを特徴とする請求項6に記載の撮像装置。
- 前記信号処理部は、前記検出に応じて前記複数のデジタルデータの長さを判定することを特徴とする請求項7に記載の撮像装置。
- 前記信号処理部は、前記グループ分けされたデータについて並列に計算を行うことにより前記誤り訂正符号を生成することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
- 請求項1乃至9のいずれか1項に記載の撮像装置と、
前記撮像装置からの出力信号を処理する画像信号処理部と、
を備えることを特徴とする撮像システム。 - 光電変換により得られた複数のデジタルデータを複数のグループにグループ分けし、かつ、前記複数のデジタルデータについて誤り訂正符号を生成する信号処理部であって、
前記信号処理部は、誤り訂正符号を生成するための演算を前記複数のグループに対して順に行い、
前記信号処理部は、前記複数のグループのそれぞれにおいて、そのグループを構成するデジタルデータのデータの長さの合計が前記誤り訂正符号の長さ以上になり、かつ、最後に演算されるグループより少なくとも1つ前に処理されるいずれかのグループの前記データの長さが、前記最後に演算されるグループより少なくとも1つ前に処理される他の1つのグループの前記データの長さより短くなるように前記グループ分けを行うことを特徴とする信号処理装置。 - 前記グループ分けは前記複数のデジタルデータの順序を変更しないように行われることを特徴とする請求項11に記載の信号処理装置。
- 光電変換により得られた複数のデジタルデータを複数のグループにグループ分けし、かつ、前記複数のデジタルデータについて誤り訂正符号を生成する信号処理方法であって、
誤り訂正符号を生成するための演算を前記複数のグループに対して順に行うことと、
前記複数のグループのそれぞれにおいて、そのグループを構成するデジタルデータのデータの長さの合計が前記誤り訂正符号の長さ以上になり、かつ、最後に演算されるグループより少なくとも1つ前に処理されるいずれかのグループの前記データの長さが、前記最後に演算されるグループより少なくとも1つ前に処理される他の1つのグループの前記データの長さより短くなるように前記グループ分けを行うことと、を特徴とする信号処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246405A JP6726160B2 (ja) | 2017-12-22 | 2017-12-22 | 撮像装置、撮像システム、信号処理装置及び信号処理方法 |
US16/218,767 US10567692B2 (en) | 2017-12-22 | 2018-12-13 | Image capturing apparatus, imaging capturing system, signal processing apparatus, and signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246405A JP6726160B2 (ja) | 2017-12-22 | 2017-12-22 | 撮像装置、撮像システム、信号処理装置及び信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019114913A JP2019114913A (ja) | 2019-07-11 |
JP6726160B2 true JP6726160B2 (ja) | 2020-07-22 |
Family
ID=66950833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017246405A Active JP6726160B2 (ja) | 2017-12-22 | 2017-12-22 | 撮像装置、撮像システム、信号処理装置及び信号処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10567692B2 (ja) |
JP (1) | JP6726160B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113411556B (zh) * | 2020-03-17 | 2023-09-05 | 瑞昱半导体股份有限公司 | 非对称性影像传输方法及其电子装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04284541A (ja) | 1991-03-14 | 1992-10-09 | Ricoh Co Ltd | Crc符号の生成及び検査方法並びにその回路 |
JP3645027B2 (ja) * | 1995-09-20 | 2005-05-11 | 松下電器産業株式会社 | 可変長データ送受信装置 |
CN1169352C (zh) * | 2001-12-28 | 2004-09-29 | 富士胶片株式会社 | 固体电子图像感应装置及其控制方法 |
US7859581B2 (en) * | 2003-07-15 | 2010-12-28 | Eastman Kodak Company | Image sensor with charge binning and dual channel readout |
US7773126B1 (en) * | 2006-05-26 | 2010-08-10 | Itt Manufacturing Enterprises, Inc. | Mosaic image collector including an embedded atomic clock |
JP5274169B2 (ja) | 2008-09-12 | 2013-08-28 | キヤノン株式会社 | 撮像装置 |
JP2010283504A (ja) | 2009-06-03 | 2010-12-16 | Olympus Imaging Corp | 撮像装置、撮像方法、および、撮像プログラム |
US8970750B2 (en) | 2010-11-12 | 2015-03-03 | Sony Corporation | Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus |
JP2012105188A (ja) * | 2010-11-12 | 2012-05-31 | Sony Corp | 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、および撮像装置 |
-
2017
- 2017-12-22 JP JP2017246405A patent/JP6726160B2/ja active Active
-
2018
- 2018-12-13 US US16/218,767 patent/US10567692B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190199953A1 (en) | 2019-06-27 |
JP2019114913A (ja) | 2019-07-11 |
US10567692B2 (en) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4404074B2 (ja) | 固体撮像装置及びデータ伝送方法並びに撮像装置 | |
JP4978576B2 (ja) | 符号化方法および符号化装置ならびに復号方法および復号装置 | |
WO2004019607A1 (ja) | 画像処理装置と画像処理システム及び画像処理方法 | |
JP6216229B2 (ja) | 撮像素子及び撮像システム | |
US9456151B2 (en) | Image pickup apparatus and control method where correction data are used and updated for image data correction | |
KR20090018252A (ko) | 처리량을 높이기 위하여 더블 버퍼링 구조와 파이프라이닝기법을 이용하는 디코더 및 그 디코딩 방법 | |
JP5521722B2 (ja) | 符号化装置、復号化装置、符号化・復号化システム、及び、プログラム | |
JP6726160B2 (ja) | 撮像装置、撮像システム、信号処理装置及び信号処理方法 | |
JP2006014175A (ja) | 固体撮像装置、イメージセンサ、画像処理装置、及び撮像方法 | |
JP2021048456A (ja) | 画像処理装置 | |
US10748292B2 (en) | Image signal detection device | |
JP6774511B2 (ja) | Fecエラー付加装置、それを用いた試験信号発生装置、及びfecエラー付加方法 | |
US10057524B2 (en) | Image capturing apparatus | |
JP2017188838A (ja) | 画像処理装置、その制御方法及びプログラム | |
JP6602713B2 (ja) | 内視鏡装置 | |
JP6774512B2 (ja) | Fecエラー付加装置、それを用いた試験信号発生装置、及びfecエラー付加方法 | |
US20050246403A1 (en) | Interpolation method and apparatus performing the same | |
JP2010154043A (ja) | 誤り訂正復号装置および誤り訂正復号方法 | |
US6145113A (en) | Series reed-solomon decoder synchronized with bit clock signal | |
WO2019030860A1 (ja) | 誤り検出用冗長ビットの生成方法および装置 | |
JP2006246400A (ja) | 映像データ修復装置と修復方法、及びそれを用いた映像圧縮符号化システム | |
KR101377712B1 (ko) | 렌즈 보정 연산을 수행할 수 있는 데이터 처리장치 | |
KR100499878B1 (ko) | 디브이디 램에서의 피아이디에 대한 에러 정정 회로 | |
US20100064201A1 (en) | Apparatus and method of generating reference level of viterbi decoder | |
JP2006094261A (ja) | 映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200626 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6726160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |