JP2020027957A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP2020027957A JP2020027957A JP2018150231A JP2018150231A JP2020027957A JP 2020027957 A JP2020027957 A JP 2020027957A JP 2018150231 A JP2018150231 A JP 2018150231A JP 2018150231 A JP2018150231 A JP 2018150231A JP 2020027957 A JP2020027957 A JP 2020027957A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye viewpoint
- eye
- viewpoint image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000000694 effects Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 20
- 210000001747 pupil Anatomy 0.000 description 26
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 206010047571 Visual impairment Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
例えば、特許文献1には、被写体に対応する2つの像を結像する大口径光学系と、この大口径光学系で結像された2つの像を第1像と第2像に分離させる第1レンチキュラーレンズと、この第1レンチキュラーレンズに依り分離される第1像と第2像に該当する電気的な信号を出力する撮像部と、この撮像部から出力される電気的な信号を処理して第1像に該当する第1映像信号と第2像に該当する第2映像信号とを生成し、第1映像信号と第2映像信号を相互に合成して1フレームの映像信号を生成する信号処理部と、この信号処理部から出力される1フレームの映像信号に従って駆動されて該当する1フレームの映像を表示する表示部と、この表示部で表示される映像を立体的に見せるための第2レンチキュラーレンズとを含んでなる立体映像表示装置が開示されている。
図1は、一実施の形態に係る画像処理装置を含む顕微鏡システムの構成例を示す図である。
撮像部2は、対物レンズ21と、撮像素子22を含む。
制御部3は、画像処理部31、インターフェース部32、及び操作入力部33を含む。
画像処理部31は、画像生成部311、検出部312、及び画像調整処理部313を含む。
表示部4は、インターフェース部32を経由して入力された左目視点画像又は画像調整処理後の左目視点画像を左目で観察可能に表示すると共に、インターフェース部32を経由して入力された右目視点画像又は画像調整処理後の右目視点画像を右目で観察可能に表示する表示装置である。例えば、表示部4は、左目視点画像又は画像調整処理後の左目視点画像を表示する左目用LCD(Liquid Crystal Display)と、右目視点画像又は画像調整処理後の右目視点画像を表示する右目用LCDを備え、左目用LCDに表示された画像を左目で観察可能に構成されると共に、右目用LCDに表示された画像を右目で観察可能に構成される。すなわち、この場合は、表示部4が、双眼顕微鏡の接眼部の如くに構成される。
次に、図2、図3、及び図4を用いて、画像調整処理部313が行う画像調整処理について詳細に説明する。
試料Sの異なる観測点から対物レンズ21の瞳面領域211R、211Lを通過して光電変換素子2212R、2212Lに入射する光線の一例を模式的に示す図でもある。但し、図2では、説明の便宜のため、光電変換素子2212R、2212LのX方向の配列を、右目視点画像と左目視点画像に合わせた配列で示し、実際の配列とは異なる配列で示している。
Xn=(F+Dn)×Px/Dn 式(1)
図2の(b)においても同様に、瞳面領域211Rの中心を通過した観測点s2からの光線が入射する光電変換素子2212Rと、瞳面領域211Lの中心を通過した観測点s2からの光線が入射する光電変換素子2212Lとの間のX方向の距離をXfとする。また、観測点s2と瞳面領域211R、211Lとの間のZ方向の距離をDfとする。なお、Df>Dnである。
Xf=(F+Dn)×Px/Df 式(2)
なお、図2の(b)では、比較のため、Z方向の位置が観測点s1と同じである位置からの光線も併せて示している。
図3の(a)には、更に、観測点s1からの光線が入射した光電変換素子2212Rから出力された電気信号に基づく画像81nRと、観測点s1からの光線が入射した光電変換素子2212Lから出力された電気信号に基づく画像81nLと、複数の光電変換素子2212Rから出力された電気信号の信号レベルの分布82Rと、複数の光電変換素子2212Lから出力された電気信号の信号レベルの分布82Lを、模式的に示している。
図4において、符号83は、図3に示した配列の光電変換素子2212R、2212Lに対応する、右目視点画像及び左目視点画像を示している。DfRとDfLや、DnRとDnLは、類似する右目視点画像の部分画像と左目視点画像の部分画像である。ここで、DfRは81fRを含む画像でもあり、DnRは81nRを含む画像でもあり、DfLは81fLを含む画像でもあり、DnLは81nLを含む画像でもある。
図5は、顕微鏡システム1において実行される処理の流れを示すフローチャートである。この処理は、例えば、顕微鏡システム1に試料Sがセットされた後、顕微鏡システム1の電源がONされると開始する処理である。図6は、画像処理(S504)の処理の流れを示すフローチャートである。図7、図8、及び図9は、表示部4の表示例を示す図である。
S504が終了すると、S505において、表示部4は、制御部3の制御の下、S504で生成された、右目視点画像又は画像調整処理後の右目視点画像を右目で観察可能に表示すると共に、左目視点画像又は画像調整処理後の左目視点画像を左目で観察可能に表示する。
図7は、UI表示として等高線が表示された例であり、図8は、UI表示として等高線及びスケールが表示された例である。図7及び図8では、比較のために、画像調整処理前の、左目視点画像と右目視点画像を(a)に示し、画像調整処理後の、左目視点画像と右目視点画像を(b)に示している。但し、図7の例では、矢印に示したとおり、右目視点画像(R)に対してのみ画像調整処理が行われ、図8の例では、矢印に示したとおり、左目視点画像(L)と右目視点画像(R)の両方に対して画像調整処理が行われている。図9は、UI表示として等高線と試料断面が表示された例である。
S509において、制御部3は、顕微鏡システム1の電源OFF指示が有るか否かを判定する。この電源OFF指示は、例えば、操作部7とは別の図示しない操作部の操作に応じて行われる。
一方、S509の判定結果がNOの場合、S511において、制御部3は、動作モードの変更操作を受け付ける。動作モードの変更操作は、例えば、操作部7とは別の図示しない操作部の操作に依り行われる。S511の後は、S501へ戻る。
S512の判定結果がYESの場合、S513において、制御部3は、記録部5に記録されている画像ファイルの一覧を、例えば、表示部4とは別の図示しない表示部に表示する。
一方、S516の判定結果がNOの場合は、S513へ戻る。
一方、S512の判定結果がNOの場合、S517において、制御部3は、設定されている動作モードに応じた処理を行い、その後、S501へ戻る。
例えば、図5のS504の画像処理では、画像調整処理部313が、操作部7の操作に応じて操作入力部33から入力された指示信号に応じた立体感の調整レベルに従って画像調整処理を行ってもよい。この場合、画像処理(S504)では、図6に示した処理に代わって、例えば、図10に示した処理が行われる。
図10に示したとおり、変形例に係る画像処理(S504)では、まず、図6に示した処理と同様に、S601及びS602が行われる。
また、本実施形態において、S506で行われるUI表示は、図7、図8、及び図9に示したものに限らず、例えば、奥行き感を表すためのスケールやアイコン等の表示であってもよい。
また、本実施形態において、制御部3は、例えば、図12に示すハードウェア構成に依り実現されてもよい。
図12に示したとおり、制御部3は、CPU(Central Processing Unit)341、メモリ342、入力インターフェース343、入出力インターフェース344、及び入力装置345を備え、これらはバス346を経由して互いに接続されている。
2 撮像部
3 制御部
4 表示部
5 記録部
6 通信部
7 操作部
21 対物レンズ
22 撮像素子
31 画像処理部
32 インターフェース部
33 操作入力部
81nR、81nL、81fR、81fL 画像
82R、82L 分布
83 右目視点画像及び左目視点画像
84L 分布
85、85L、85R アイコン
86、86L、86R スケール
211R、211L 瞳面領域
221 画素部
311 画像生成部
312 検出部
313 画像調整処理部
341 CPU
342 メモリ
343 入力インターフェース
344 入出力インターフェース
345 入力装置
346 バス
2211 マイクロレンズ
2212R、2212L 光電変換素子
Claims (9)
- 左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成する画像生成部と、
類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出する検出部と、
1つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行う画像調整処理部と、
前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する表示部と、
を備えることを特徴とする画像処理装置。 - 前記画像調整処理部は、前記画像調整処理として、画像変形処理、又は、前記画像変形処理及び画像補間処理を行う、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像補間処理は、補間対象領域の周辺の画像又は画素、及び又は、前記補間対象領域を含まない方の前記左目視点画像又は前記右目視点画像を利用して行われる、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記画像調整処理部は、前記検出部が検出したペア毎の、前記左目視点画像の部分画像と前記右目視点画像の部分画像の位置関係に基づいて、1つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、前記画像調整処理を行う、
ことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。 - 前記立体感の調整レベルを指示するための操作部を更に備え、
前記画像調整処理部は、前記操作部の操作に応じた調整レベルに従って前記画像調整処理を行う、
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - 前記表示部は、更に、奥行き感の指標となる左目用指標を前記左目で観察可能に表示すると共に、前記奥行き感の指標となる右目用指標を前記右目で観察可能に表示する、
ことを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 複数の画素部を有する撮像部を更に備え、
前記複数の画素部の各々は、1つのマイクロレンズと複数の光電変換素子とを含み、
前記左目視点画像を構成可能な画像情報と前記右目視点画像を構成可能な画像情報は、前記撮像部から取得される、
ことを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。 - 画像処理装置において実行される画像処理方法であって、
左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成し、
類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出し、
1つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行い、
前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する、
ことを特徴とする画像処理方法。 - 画像処理装置のコンピュータに、
左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成し、
類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出し、
1つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行い、
前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する、
という処理を実行させることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150231A JP2020027957A (ja) | 2018-08-09 | 2018-08-09 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US16/531,365 US10970537B2 (en) | 2018-08-09 | 2019-08-05 | Image processing apparatus, image processing method, and recording medium having image processing program recorded therein |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150231A JP2020027957A (ja) | 2018-08-09 | 2018-08-09 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020027957A true JP2020027957A (ja) | 2020-02-20 |
Family
ID=69407233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018150231A Ceased JP2020027957A (ja) | 2018-08-09 | 2018-08-09 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10970537B2 (ja) |
JP (1) | JP2020027957A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
WO2012111757A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2013070727A (ja) * | 2011-09-27 | 2013-04-22 | Fujifilm Corp | 立体視画像表示方法および装置 |
JP2013225740A (ja) * | 2012-04-20 | 2013-10-31 | Nlt Technologies Ltd | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5683025B2 (ja) * | 2010-04-19 | 2015-03-11 | パナソニックIpマネジメント株式会社 | 立体画像撮影装置および立体画像撮影方法 |
WO2012002018A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 |
CN103098478A (zh) * | 2010-08-16 | 2013-05-08 | 富士胶片株式会社 | 图像处理设备、图像处理方法、图像处理程序、以及记录介质 |
EP2687904B1 (en) * | 2011-03-18 | 2017-02-15 | FUJIFILM Corporation | Lens system for capturing stereoscopic images |
JP5814692B2 (ja) * | 2011-08-15 | 2015-11-17 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
JP5912382B2 (ja) * | 2011-10-03 | 2016-04-27 | ソニー株式会社 | 撮像装置および映像記録再生システム |
JP5655174B2 (ja) * | 2012-03-29 | 2015-01-14 | 富士フイルム株式会社 | 画像処理装置、撮像装置および画像処理方法 |
CN104205827B (zh) * | 2012-03-30 | 2016-03-16 | 富士胶片株式会社 | 图像处理装置及方法、以及摄像装置 |
JP6602109B2 (ja) * | 2015-08-28 | 2019-11-06 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
-
2018
- 2018-08-09 JP JP2018150231A patent/JP2020027957A/ja not_active Ceased
-
2019
- 2019-08-05 US US16/531,365 patent/US10970537B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
WO2012111757A1 (ja) * | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2013070727A (ja) * | 2011-09-27 | 2013-04-22 | Fujifilm Corp | 立体視画像表示方法および装置 |
JP2013225740A (ja) * | 2012-04-20 | 2013-10-31 | Nlt Technologies Ltd | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200050850A1 (en) | 2020-02-13 |
US10970537B2 (en) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP6252849B2 (ja) | 撮像装置および方法 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6663193B2 (ja) | 撮像装置およびその制御方法 | |
JP6838994B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6202910B2 (ja) | 映像処理装置およびその制御方法、プログラム | |
US10681339B2 (en) | Surgical microscope, image processing device, and image processing method | |
US20140219576A1 (en) | Image processing apparatus and control method thereof | |
JP5647740B2 (ja) | 視差調節装置及び方法、撮影装置、再生表示装置 | |
JP2009168536A (ja) | 3次元形状測定装置および方法、3次元形状再生装置および方法並びにプログラム | |
JP6321991B2 (ja) | 画像処理装置、制御方法、プログラム、及び記録媒体 | |
JP2018006995A (ja) | 撮像装置、表示装置、画像処理プログラム | |
JP2014154981A (ja) | 撮像装置及びその制御方法 | |
JP2020027957A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2015198336A (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
JP6057627B2 (ja) | 立体画像撮像装置、カメラシステム、立体画像撮像装置の制御方法、プログラム、記憶媒体 | |
JP2017163412A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
WO2012132088A1 (ja) | 撮像装置及び交換レンズ | |
JP6126037B2 (ja) | 画像再生装置,画像再生方法および画像再生装置のコンピュータを制御するプログラム | |
JP6223226B2 (ja) | カメラパラメータ算出装置及びそのプログラム | |
JP5222718B2 (ja) | 立体画像再生装置、立体画像再生プログラム、撮像装置 | |
JP5943693B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6377225B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP2016178632A (ja) | 撮像装置、画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210326 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20230530 |