JP2024082891A - 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 - Google Patents
画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 Download PDFInfo
- Publication number
- JP2024082891A JP2024082891A JP2022197082A JP2022197082A JP2024082891A JP 2024082891 A JP2024082891 A JP 2024082891A JP 2022197082 A JP2022197082 A JP 2022197082A JP 2022197082 A JP2022197082 A JP 2022197082A JP 2024082891 A JP2024082891 A JP 2024082891A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- images
- image
- depth
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000003384 imaging method Methods 0.000 title claims description 74
- 238000003672 processing method Methods 0.000 title claims description 7
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 31
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 31
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 18
- 239000002131 composite material Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】ユーザの操作がなくても、深度合成に関する設定を行うことが可能な画像処理装置を提供する。【解決手段】画像処理装置(100)は、レンズ情報を取得する取得手段(50)と、ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段(25)とを有し、前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成する。【選択図】図3
Description
本発明は、画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体に関する。
光軸方向におけるピント位置が異なる複数の画像を撮像(フォーカスブラケット撮像)し、それぞれの画像の合焦領域を抽出して、被写界深度を拡大した画像を合成する、いわゆる深度合成の技術が知られている。ユーザが意図する深度合成画像を生成するには、適切な被写界深度を設定することが求められる。特許文献1には、ユーザが画面上で任意の範囲を指定し、ユーザにより指定された範囲の距離情報に基づいて合成画像を生成する方法が開示されている。
特許文献1に開示された方法では、ユーザの操作なしでは、深度合成の範囲などの深度合成に関する設定を行うことができない。
そこで本発明は、ユーザの操作がなくても、深度合成に関する設定を行うことが可能な画像処理装置を提供することを目的とする。
本発明の一側面としての画像処理装置は、レンズ情報を取得する取得手段と、ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段とを有し、前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成する。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、ユーザの操作がなくても、深度合成に関する設定を行うことが可能な画像処理装置を提供することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
(第1実施形態)
まず、図1を参照して、本発明の第1実施形態における撮像装置(画像処理装置)100について説明する。図1は、撮像装置100のブロック図である。なお本実施形態において、撮像装置100はデジタルカメラであるが、これに限定されるものではなく、携帯機器やネットワークカメラなど、撮像素子を備えて画像を取得可能な他の装置でもよい。
まず、図1を参照して、本発明の第1実施形態における撮像装置(画像処理装置)100について説明する。図1は、撮像装置100のブロック図である。なお本実施形態において、撮像装置100はデジタルカメラであるが、これに限定されるものではなく、携帯機器やネットワークカメラなど、撮像素子を備えて画像を取得可能な他の装置でもよい。
撮像装置100は、シャッター101、バリア102、フォーカスレンズ103、および撮像部22を含む撮像系を備える。なお撮像装置100において、カメラ本体とレンズ装置とが一体型に構成されているか、またはカメラ本体に対してレンズ装置が着脱可能に構成されていてもよい。
シャッター101は、絞り機能を備えるシャッターである。バリア102は、撮像装置100の撮像系を覆うことにより、撮像系の汚れや破損を防止する。フォーカスレンズ103は、シャッター101およびバリア102の間に配置される不図示のレンズ群に含まれるレンズである。なお、前述するレンズ群には、ズームレンズ等、他のレンズも存在する。撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子、およびA/D変換処理機能を備えている。撮像部22の出力データ(撮像画像)は、画像処理部24およびメモリ制御部15を介して、またはメモリ制御部15を介してメモリ32に直接書き込まれる。後述するフォーカスブラケット撮像の際には、設定枚数分の撮像画像が全てメモリ32に書き込まれる。
撮像装置100は、AF評価値検出部(検出手段)23、ストロボ90、画像処理部24、深度合成部(合成手段)25、動き検知部(動体判定手段)26、状態検出部27、メモリ32、D/A変換器13、および表示部28を備える。また撮像装置100は、不揮発性メモリ56、システム制御部50、システムメモリ52、およびシステムタイマー53を備える。AF評価値検出部23は、撮像部22の内部に設けられており、デジタル画像信号から得られるコントラスト情報などからAF評価値を算出し、得られたAF評価値を撮像部22からシステム制御部50に出力する。ストロボ90は、撮像時に発光させることにより低照度シーンでの撮像や逆光シーンでの撮像時に照度を補うことができる。
画像処理部24は、撮像部22から出力される画像データ、または、メモリ制御部15からの画像データに対し所定の画素補間、縮小等のリサイズ処理および色変換処理を行う。また画像処理部24は、撮像した画像データを用いて所定の演算処理を行う。システム制御部50は、得られた演算結果に基づいて、露光制御および測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAE(自動露出)処理、EF(フラッシュ自動調光発光)処理が行われる。また画像処理部24は、AF(オートフォーカス)処理を行う。このとき、撮像部22に設けられたAF評価値検出部23の出力が用いられることもある。また画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
深度合成部25は、撮像部22においてフォーカスブラケット撮像によって得られた複数枚の撮像画像を用いて、各画像内においてピントの合っている画素を出力することにより、被写界深度が拡大された画像を生成する。なお、この詳細については後述する。
動き検知部26は、2枚の画像データを用い、注目領域とその周辺とでテンプレートマッチング処理を行い、画像を複数領域に分割した領域ごと、または画素ごとに動きベクトルを算出する。算出した動きベクトルが閾値以上である場合、動き検知部26は、被写体に動きがある(動体がある)と判定し、システム制御部50へ通知する。状態検出部27は、ジャイロセンサによる角速度や、三脚の着脱状態、操作部70を介したユーザによる設定内容など、撮像装置100の状態検出を行う。状態検出部27は、検出した結果をシステム制御部50へ通知する。
メモリ32は、撮像部22によって取得およびA/D変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。これにより、メモリ32に書き込まれた表示用の画像データは、D/A変換器13を介して表示部28に表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。撮像部22で一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示(ライブビュー)を行うことができる。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムは、例えば、後述する各種フローチャートを実行するためのプログラムを含む。
システム制御部50は、撮像装置100全体を制御する。具体的には、システム制御部50は、前述した不揮発性メモリ56に記録されたプログラムを実行することで、被写体情報、被写体距離、および、画像のコントラスト情報に基づくフォーカスブラケット撮像を実現する。すなわちシステム制御部50は、撮像の間、フォーカスレンズ103およびシャッター101の駆動制御を行うことで、ピント位置が異なる複数の画像を順次撮像する。なお、撮像処理で得られる隣接する撮像画像間のピント位置変化量(フォーカスステップ)は、システム制御部50にて算出される値から設定される。
システムメモリ52は、RAM等により構成され、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読出したプログラム等を展開する。また、システム制御部50は、メモリ32、D/A変換器13、および表示部28等を制御することにより表示制御を行う。システムタイマー53は、各種制御に用いる時間、または内蔵された時計の時間を計測する計時部である。
撮像装置100は、また、モード切替スイッチ60、シャッターボタン61、第1シャッタースイッチ64、第2シャッタースイッチ62、操作部70、電源スイッチ72からなる、システム制御部50に各種の動作指示を入力するための操作手段を備える。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、静止画撮像モードに含まれるこれらのモードのいずれかに直接切り替えられる。または、モード切替スイッチ60で静止画撮像モードに一旦切り換えた後に、静止画撮像モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。
シャッターボタン61は、撮像指示を行うための操作部である。第1シャッタースイッチ64は、シャッターボタン61の操作途中、いわゆる半押しでONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ自動調光発光)処理等の動作を開始する。つまり、システム制御部50の制御のもとで、撮像のためのパラメータを取得する。なおユーザは、信号SW1を受けて開始するAF処理として中央1点AF処理や顔AF処理を選択することが可能である。ここで、中央1点AF処理とは撮像画面内の中央位置1点に対してAFを行う処理を指し、顔AF処理とは顔検出機能によって検出された撮像画面内の顔に対してAFを行う処理を指す。第2シャッタースイッチ62は、シャッターボタン61の操作完了、いわゆる全押し(撮像指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読出しから記録媒体200に画像データを書き込むまでの一連の撮像処理の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作すること等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。電源スイッチ72は、撮像装置100の電源オン、電源オフを切り替える。
撮像装置100は、電源制御部80、電源部40、および記録媒体I/F18を備える。電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御部80は、その検出結果およびシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部40は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
なおフォーカスブラケット撮像とは、フォーカスレンズ103を動かして、所望のピント位置に移動させてから撮像部22の露光、読出しを実行する撮像をいう。
次に、図2を参照して、撮像装置100における深度合成処理の基本的な動作について説明する。図2は、本実施形態における深度合成画像の説明図であり、深度合成画像をライブビューした際の表示部28に表示される表示画像の例を示す。
位置201はAF枠で明示されたフォーカスブラケット撮像の至近側ピント位置、位置202は無限遠側ピント位置、位置203は被写体(昆虫)である。表示部28に表示されるのは、至近側ピント位置201を示すAF枠および被写体203である。ユーザが操作部70を操作し、表示部28に表示された画像上における基準ピント位置を指定する。または、AF評価値検出部23により検出された被写体に対し、自動で基準ピント位置を指定してもよい。図2においては、被写体203の最も至近側の箇所を基準ピント位置として指定されたものとする。これにより、システム制御部50は、指定された基準ピント位置を、フォーカスブラケット撮像の至近側ピント位置201と認識し、至近側ピント位置201にAF枠を表示する。
至近側ピント位置201が決定されると、Z軸方向(奥行き方向)に、フォーカスステップの設定に応じたフォーカス間隔、および、撮像回数によって、フォーカスブラケット撮像が終了するピント位置、すなわち、無限遠側ピント位置202が決定される。図2においては、被写体203の全体が、至近側ピント位置201から無限遠側ピント位置202で示すフォーカス範囲に収まるものとする。また、1枚の深度合成画像を生成するための撮像回数は10回として図示しており、深度合成部25は10枚の撮像画像を用いて深度合成処理を施すものとする。
次に、図3を参照して、本実施形態における深度合成の処理について説明する。図3は、本実施形態における深度合成の処理を示すフローチャートである。
まずステップS301において、システム制御部50は、撮像部22がライブビューで撮像した画像に対し、シーン判定を行う。なお、シーン判定の具体的な方法については後述する。
続いてステップS302において、システム制御部(取得手段)50は、フォーカスレンズ103を含むレンズ(光学系)に関する情報(レンズ情報)を取得し、レンズ情報に基づいてマクロ撮影判定を行う。マクロ撮影とは、小さい被写体を大きく写す撮影方法であり、被写体に接近して撮影する。したがって、撮影倍率は大きく、撮影距離は短くなり、被写界深度は浅くなる傾向にある。マクロ撮影の場合、被写界深度が浅くなり、撮影したい被写体にピントが合っている領域が少なくなる。このため、被写体のより広い範囲にピントが合っている画像を深度合成によって生成するため、予めマクロ撮影か否かを判定する。レンズ情報は、不図示のレンズ通信部を介して、システム制御部50がレンズと通信することで取得する。レンズ情報は、レンズのIDまたは撮影倍率に関する情報(撮影倍率の数値そのもの、または撮影倍率に相当する特定の情報)などを含む。マクロ撮影判定において、例えば、レンズのIDが特定の接写専用レンズのID(特定のレンズ情報)である場合、またはレンズ情報から算出された撮影倍率が一定の閾値以上である場合、マクロ撮影であると判定する。撮影倍率は、レンズ情報からシステム制御部50が演算により算出してもよいし、レンズ情報として撮影倍率を直接取得してもよい。
続いてステップS303において、システム制御部50は、ステップS301のシーン判定結果およびステップS302のマクロ撮影判定結果を用いて、深度合成の機能を有効にするか否かを判定する。深度合成の機能を有効にすると判定された場合、ステップS304に進む。一方、深度合成機能を有効にしないと判定された場合、ステップS307に進む。ステップS304において、システム制御部50は複数箇所のピント位置を設定する。ステップS307において、システム制御部50は、1箇所のピント位置を設定する。
詳しくは後述するが、システム制御部50は、シーン判定処理(ステップS301)にて主に主被写体および背景の重要度を画像解析によって求め、得られた重要度に基づいて深度合成を実施する(有効にする)か否かを判定する。これにより、主被写体のみにピントの合った画像を生成し、また、背景のランドマークにピントの合った画像を生成することができる。しかし、マクロ撮影のように被写界深度が浅く、ピントの合いづらい撮影であることを、画像解析のみで判定することは困難である。そこでマクロ撮影判定処理(ステップS302)にて、システム制御部50は、レンズ情報の解析によりピントの合いにくい撮影であることを判定し、その判定結果に基づいて深度合成を実施する。これにより、より幅広い撮影シーンにおいて適切な深度コントロールを実現することが可能となる。
ステップS304において、システム制御部50は、深度合成のための撮像のピント位置および回数を決定する。またシステム制御部50は、露光制御値に応じてフォーカスステップを設定し、ピント位置数を変更してもよい。これは、露光時間増加に伴う、撮影時間および手ブレ量増加に対し、撮影枚数を減らすことで、処理時間短縮およびブレ量削減することを目的とする処理である。またシステム制御部50は、状態検出部27で検出した三脚の着脱状態に応じて、ピント位置数変更を実施するか否かを決定してもよい。
続いてステップS305において、システム制御部50は、フォーカスレンズ103やシャッター101の駆動制御を行うことで、撮像部22はステップS304で設定された複数の異なるピント位置の画像を順次撮像する。続いてステップS306において、深度合成部(合成手段)25は、ステップS305にて撮像された複数の画像(撮像画像)を用いて、被写界深度が拡大された画像(合成画像)を生成する。すなわち深度合成部25は、ピント位置が互いに異なる複数の画像を合成して、複数の画像よりも被写界深度が深い合成画像を生成する。このとき深度合成部25は、複数の画像のそれぞれの合焦領域を抽出して、合成画像を生成する。
ステップS308において、システム制御部50は、フォーカスレンズ103やシャッター101の駆動制御を行うことで、撮像部22はステップS307で設定されたピント位置にて画像を撮像する。
次に、ステップS306における深度合成の処理について詳述する。なお、本実施形態における深度合成の処理は、公知の技術を用いてもよく、例えば以下のように行われる。
まず、画像処理部24は、深度合成の対象の画像に対して、位置合わせを行う。画像処理部24は、深度合成の対象の複数の画像のうちの1枚である基準画像に、複数のブロックを設定する。画像処理部24は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、画像処理部24は、位置合わせの対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、画像処理部24は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和(SAD:Sum of Absolute Difference)が最小となる対応点を算出する。画像処理部24は、基準画像のブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。画像処理部241は、前述する対応点の算出において、SADのほかに、差分二乗和(SSD:Sum of Squared Difference)や正規化相互相関(NCC:Normalized Cross Correlation)などを用いてもよい。
次に、画像処理部24は、基準画像と対象画像との位置のずれ量から変換係数を算出する。画像処理部24は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。
例えば、画像処理部24は、以下の(式1)を用いて変形を行うことができる。
(式1)において、(x´,y´)は変形を行った後の座標を示し、(x,y)は変形を行う前の座標を示す。行列Aは変形係数を示す。
位置合わせの後に、深度合成部25は、位置合わせの後の画像に対してコントラスト値を算出する。コントラスト値の算出方法としては、例えば、まず、それぞれの画素の色信号Sr、Sg、Sbを用いて、以下の(式2)により輝度Yを算出する。
Y=0.299Sr+0.587Sg+0.114Sb ・・・(式2)
次に、3×3の画素の輝度Yの行列Lに、以下の(式3)乃至(式5)に示されるように、ソーベルフィルタを用いてコントラスト値Iを算出する。
次に、3×3の画素の輝度Yの行列Lに、以下の(式3)乃至(式5)に示されるように、ソーベルフィルタを用いてコントラスト値Iを算出する。
また、上述のコントラスト値の計算方法は一例にすぎず、例えば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。
次に、深度合成部25は合成マップを生成する。合成マップの生成方法としては、深度合成部25は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。
具体的な算出方法の一例を以下に示す。深度合成部25は、コントラスト値Cm(x,y)を用いて合成マップAm(x,y)を生成する。なお、mはピント位置の異なる複数画像のうちm番目の画像、xは画像の水平座標、yは垂直座標を示している。合成マップの生成方法としては、深度合成部25は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して100%の合成比率を与え、同じ位置にある他の画素に対して0%の合成比率を与える。つまり、以下の(式6)が成り立つ。
ただし、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、1枚の画像における合成マップの合成比率は、0%と100%との二値化のものでなく、連続的に変化するものになる。
深度合成部257は、算出した合成マップに従い、撮像された画像を合成した全焦点画像О(x,y)を生成する。撮像された元の画像をIm(x,y)とすると、以下の(式7)で表されるように画像が生成される。
以上は、ステップS306における深度合成の処理の一例についての説明である。
次に、図4を参照して、ステップS301のシーン判定について説明する。本実施形態では、一例としてライブビュー画像から顔を主被写体として検出し、顔の位置、大きさ、数などに基づいてシーン判定を行う場合を説明する。図4は、本実施形態における主被写体の検出の一例の説明図である。まずAF評価値検出部23は、顔(主被写体)を検出する。続いてシステム制御部50は、AF評価値検出部23にて検出した顔の位置による重要度401、顔の画角を占める割合による重要度402、顔の数による重要度403を算出する。具体的には、システム制御部50は重要度401において、顔中心位置404と画角の中心405との距離に負相関する値を設定してもよい。システム制御部50は、重要度402において、画角406を占める顔407の割合に正相関する値を設定してもよい。システム制御部50は、重要度403において、顔の数に正相関あるいは負相関する値を設定してもよい。
主被写体の重要度が所定の閾値よりも高い場合、システム制御部50は、深度合成を実施すると判定する。システム制御部50は、深度合成を実施すると判定した場合、主被写体(顔)にピント位置を置くように決定し、主被写体に合焦し、背景にボケ味のある合成画像を生成することできる。一方、システム制御部50は、深度合成を実施しないと判定した場合、背景まで被写界深度に入るような深い被写界深度を有する画像1枚だけ撮像する。
主被写体の顔が検出されない場合、システム制御部50はステップS302のマクロ撮影判定の結果を参照し、マクロ撮影と判定されていれば深度合成を実施すると判定する。前述したように、マクロ撮影の場合には、被写界深度が浅くなり、撮影したい被写体にピントが合っている領域が少なくなる傾向にある。この場合でも、深度合成を実施することにより、被写体のより広い範囲にピントが合っている合成画像を生成することができる。なお以上の説明においては、主被写体が顔であることを前提に説明したが、これに限定されるものではない。
また、ステップS301において、システム制御部50は、AF評価値検出部23にて検出した主被写体以外の領域を、背景領域として演算する。図5(a)、(b)は、本実施形態における背景領域の検出の一例の説明図であり、図5(a)は屋外の画像501、図5(b)は屋内の画像503をそれぞれ示す。
システム制御部50は、背景領域にピントを合わせた画像を取得し、背景領域の重要度を算出する。背景の重要度が所定の閾値よりも低いと判定された場合、システム制御部50は、深度合成を実施する(有効にする)と判定する。例えば、図5(a)の画像501において、システム制御部50は、AF評価値検出部23が背景領域内にて被写体502を検出した場合に背景の重要度を上げる。図5(a)の画像501および図5(b)の画像503のそれぞれに対して、システム制御部50は、画像処理部24で得られた露光制御値および測距制御値の演算結果に従って屋外か否かを判定する。屋外の画像の場合、背景の重要度を上げてもよい。屋外の画像の場合、特に背景にランドマークが存在する場合、ランドマークにも合成させるため、1枚の被写界深度の深い画像を撮像することが好ましい。屋外の場合は背景の重要度を上げるのは、屋外撮像の背景にランドマークが存在する場合を想定した処理である。
またシステム制御部50は、主被写体の検出および背景の検出の両方を行い、両方の重要度に基づいて深度合成を実施するか否かを判定してもよい。本実施形態では、主被写体の顔が検出されない場合に、マクロ撮影判定結果に基づいて深度合成を実施するか否かを判定するが、これに限定されるものではない。例えば、顔が検出されている場合にもマクロ撮影判定結果に基づいて深度合成を実施するか否かを判定してもよい。また、シーン判定を行わずにマクロ撮影判定だけを行い、マクロ撮影判定結果に基づいて深度合成を実施するか否かを判定してもよい。
本実施形態によれば、レンズ情報から取得された撮影倍率に基づいて、深度合成を行うか否かを自動的に判定することができる。
(第2実施形態)
次に、図6を参照して、本発明の第2実施形態について説明する。本実施形態は、第1実施形態と異なり、シーン判定の前後それぞれにおいて、深度合成の実施判定を行う。なお本実施形態において、第1実施形態と共通の説明は省略する。図6は、本実施形態における深度合成の処理を示すフローチャートである。図6は、ステップS301でのシーン判定の前と後に、深度合成の実施判定を行うステップS601、S602がそれぞれ挿入されている点で、図3と異なる。
次に、図6を参照して、本発明の第2実施形態について説明する。本実施形態は、第1実施形態と異なり、シーン判定の前後それぞれにおいて、深度合成の実施判定を行う。なお本実施形態において、第1実施形態と共通の説明は省略する。図6は、本実施形態における深度合成の処理を示すフローチャートである。図6は、ステップS301でのシーン判定の前と後に、深度合成の実施判定を行うステップS601、S602がそれぞれ挿入されている点で、図3と異なる。
まずステップS601において、システム制御部50は、シーン判定の前のライブビュー画像または撮像装置100の設定に基づいて、深度合成を実施するか否かを判定する。深度合成を実施しないと判定された場合、ステップS307に進み、システム制御部50は、1枚の画像のみを撮像するように撮像部22を制御する。ステップS601では、例えば、動き検知部26が移動体を検出した場合、システム制御部50は、深度合成を実施しないと判定する。これは、動きのある領域が合成されることによる合成画像の品質劣化を防ぐためである。また、ステップS601において、例えば、システム制御部50は、状態検出部27で検出した撮像装置100の状態(カメラ状態)に応じて、ユーザ自身を撮像する自分撮りモードであるか否かを判定してもよい。カメラ状態の例として、モニターがレンズ方向に向いている状態が挙げられる。バリアングルモニターであれば、モニターを開いて180度回転した状態とする。チルトモニターであれば任意の方向に可動させモニターがレンズ方向に向いた状態とする。また、スマートフォンにおけるインカメラ等、モニターとレンズ方向が一致した状態の撮像装置においても、同様に深度合成実施の自動判定が可能である。これは、自分撮りモードにおいて、主被写体と背景とは光軸方向で離れていて深度合成に適さないためである。
次に、ステップS602における深度合成の実施判定について説明する。システム制御部50は、ステップS303にて深度合成の機能を有効にし、ステップS304にてピント位置を決定した後、ステップS602において、深度合成を実施するか否かを判定する。つまり、ステップS601と異なり、ステップS602の時点では、深度合成のための設定(例えば、撮像回数、フォーカスステップなど)が既に完了している。
ステップS602において、システム制御部50は、ステップS304にて決定された深度合成のための設定に基づいて、深度合成の実施判定を行う。例えば、決定された撮像枚数が所定の閾値よりも多い場合、システム制御部50は、深度合成を行わないと判定する。これは、撮像枚数が増加による処理時間増加を防ぐためである。なお、この場合において、ステップS308における撮像では、深度合成を行う場合での合成画像の被写界深度に相当する被写界深度を有するような1枚の画像を撮像するように絞り(開口絞り)を調整してもよい。
また、ステップS602において、システム制御部50は、決定されたピント位置および1枚の画像の被写界深度から、深度合成の画像の被写界深度を予測し、深度合成の画像の被写界深度が所定の閾値よりも浅い場合、深度合成を行わないと判定する。これは、合成画像の被写界深度が浅いと、深度合成を行うメリットが少ないためである。またここで、システム制御部50は、単に、決定されたピント位置の両端のピント位置から深度合成の画像の被写界深度を予測してもよい。なお本実施形態において、ステップS601の処理とステップS602の処理のいずれか一方のみを実行してもよい。
本実施形態によれば、シーン判定およびマクロ撮影判定の前後に、カメラの状態、動体検出、または、決定されたピント位置などに基づいて、深度合成を行う必要がないと判定した場合、深度合成を行わないようにすることができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施形態によれば、ユーザの操作がなくても、深度合成に関する設定を行うことが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体を提供することができる。
各実施形態の開示は、以下の構成および方法を含む。
(構成1)
レンズ情報を取得する取得手段と、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、を有し、
前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理装置。
(構成2)
主被写体を検出する検出手段を更に有し、
前記検出手段が前記主被写体を検出していない場合、前記合成手段は、前記撮影倍率に関する情報に基づいて前記複数の画像を合成することを特徴とする構成1に記載の画像処理装置。
(構成3)
動体があるか否かを判定する動体判定手段を更に有し、
前記動体判定手段が前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しないことを特徴とする構成1または2に記載の画像処理装置。
(構成4)
前記合成手段は、前記複数の画像のそれぞれの合焦領域を抽出して、前記合成画像を生成することを特徴とする構成1乃至3のいずれかに記載の画像処理装置。
(構成5)
前記レンズ情報は、前記撮影倍率に関する情報を含むことを特徴とする構成1乃至4のいずれかに記載の画像処理装置。
(構成6)
前記撮影倍率に関する情報は、前記撮影倍率または特定のレンズ情報であることを特徴とする構成5に記載の画像処理装置。
(構成7)
前記取得手段は、前記レンズ情報を用いて前記撮影倍率を算出することを特徴とする構成1乃至4のいずれかに記載の画像処理装置。
(構成8)
前記撮影倍率が一定の閾値以上である場合、前記合成手段は、前記複数の画像を合成することを特徴とする構成7に記載の画像処理装置。
(構成9)
構成1乃至8のいずれかに記載の画像処理装置と、
前記複数の画像を取得する撮像部と、を有することを特徴とする撮像装置。
(方法1)
レンズ情報を取得する取得ステップと、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成ステップと、を有し、
前記合成ステップにおいて、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理方法。
(構成10)
方法1に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
(構成11)
構成10に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。
レンズ情報を取得する取得手段と、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、を有し、
前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理装置。
(構成2)
主被写体を検出する検出手段を更に有し、
前記検出手段が前記主被写体を検出していない場合、前記合成手段は、前記撮影倍率に関する情報に基づいて前記複数の画像を合成することを特徴とする構成1に記載の画像処理装置。
(構成3)
動体があるか否かを判定する動体判定手段を更に有し、
前記動体判定手段が前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しないことを特徴とする構成1または2に記載の画像処理装置。
(構成4)
前記合成手段は、前記複数の画像のそれぞれの合焦領域を抽出して、前記合成画像を生成することを特徴とする構成1乃至3のいずれかに記載の画像処理装置。
(構成5)
前記レンズ情報は、前記撮影倍率に関する情報を含むことを特徴とする構成1乃至4のいずれかに記載の画像処理装置。
(構成6)
前記撮影倍率に関する情報は、前記撮影倍率または特定のレンズ情報であることを特徴とする構成5に記載の画像処理装置。
(構成7)
前記取得手段は、前記レンズ情報を用いて前記撮影倍率を算出することを特徴とする構成1乃至4のいずれかに記載の画像処理装置。
(構成8)
前記撮影倍率が一定の閾値以上である場合、前記合成手段は、前記複数の画像を合成することを特徴とする構成7に記載の画像処理装置。
(構成9)
構成1乃至8のいずれかに記載の画像処理装置と、
前記複数の画像を取得する撮像部と、を有することを特徴とする撮像装置。
(方法1)
レンズ情報を取得する取得ステップと、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成ステップと、を有し、
前記合成ステップにおいて、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理方法。
(構成10)
方法1に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
(構成11)
構成10に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 撮像装置(画像処理装置)
23 AF評価値検出部(検出手段)
25 深度合成部(合成手段)
50 システム制御部(取得手段)
23 AF評価値検出部(検出手段)
25 深度合成部(合成手段)
50 システム制御部(取得手段)
本発明の一側面としての画像処理装置は、レンズ情報を取得する取得手段と、ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、主被写体を検出する検出手段と、を有し、前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、前記検出手段が前記主被写体を検出していない場合、前記合成手段は、前記撮影倍率に関する情報に基づいて前記複数の画像を合成する。
本発明の一側面としての画像処理装置は、レンズ情報を取得する取得手段と、ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、動体があるか否かを判定する動体判定手段と、を有し、前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、前記動体判定手段が、前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しない。
本発明の一側面としての画像処理装置は、レンズ情報を取得する取得手段と、ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、動体があるか否かを判定する動体判定手段と、を有し、前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、前記動体判定手段が、前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しない。
Claims (12)
- レンズ情報を取得する取得手段と、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段とを有し、
前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理装置。 - 主被写体を検出する検出手段を更に有し、
前記検出手段が前記主被写体を検出していない場合、前記合成手段は、前記撮影倍率に関する情報に基づいて前記複数の画像を合成することを特徴とする請求項1に記載の画像処理装置。 - 動体があるか否かを判定する動体判定手段を更に有し、
前記動体判定手段が前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しないことを特徴とする請求項1に記載の画像処理装置。 - 前記合成手段は、前記複数の画像のそれぞれの合焦領域を抽出して、前記合成画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記レンズ情報は、前記撮影倍率に関する情報を含むことを特徴とする請求項1に記載の画像処理装置。
- 前記撮影倍率に関する情報は、前記撮影倍率または特定のレンズ情報であることを特徴とする請求項5に記載の画像処理装置。
- 前記取得手段は、前記レンズ情報を用いて前記撮影倍率を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記撮影倍率が一定の閾値以上である場合、前記合成手段は、前記複数の画像を合成することを特徴とする請求項7に記載の画像処理装置。
- 請求項1乃至8のいずれか一項に記載の画像処理装置と、
前記複数の画像を取得する撮像部とを有することを特徴とする撮像装置。 - レンズ情報を取得する取得ステップと、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成ステップとを有し、
前記合成ステップにおいて、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理方法。 - 請求項10に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
- 請求項11に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022197082A JP2024082891A (ja) | 2022-12-09 | 2022-12-09 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
US18/524,793 US20240196108A1 (en) | 2022-12-09 | 2023-11-30 | Image processing apparatus, image pickup apparatus, image processing method, and storage medium |
CN202311671946.6A CN118175440A (zh) | 2022-12-09 | 2023-12-07 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022197082A JP2024082891A (ja) | 2022-12-09 | 2022-12-09 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024082891A true JP2024082891A (ja) | 2024-06-20 |
Family
ID=91346181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022197082A Pending JP2024082891A (ja) | 2022-12-09 | 2022-12-09 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240196108A1 (ja) |
JP (1) | JP2024082891A (ja) |
CN (1) | CN118175440A (ja) |
-
2022
- 2022-12-09 JP JP2022197082A patent/JP2024082891A/ja active Pending
-
2023
- 2023-11-30 US US18/524,793 patent/US20240196108A1/en active Pending
- 2023-12-07 CN CN202311671946.6A patent/CN118175440A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN118175440A (zh) | 2024-06-11 |
US20240196108A1 (en) | 2024-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5046788B2 (ja) | 撮像装置及びその制御方法 | |
US9838609B2 (en) | Image capturing apparatus, control apparatus and control method for controlling zooming function | |
JP2013013050A (ja) | 撮像装置及びこの撮像装置を用いた表示方法 | |
JP6124700B2 (ja) | 撮像装置、その制御方法、プログラム、記憶媒体 | |
JP2011182252A (ja) | 撮像装置および画像撮影方法 | |
JP7293025B2 (ja) | 撮像装置およびその制御方法 | |
JP6833801B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP2014017665A (ja) | 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体 | |
CN107800956B (zh) | 摄像设备、控制方法和存储介质 | |
JP6590894B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6768449B2 (ja) | 撮像制御装置、撮像装置の制御方法及びプログラム | |
JP2019125928A (ja) | 撮像装置、撮像方法およびプログラム | |
JP7378999B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP2024082891A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP5075288B2 (ja) | 撮像装置及びその制御方法 | |
JP5116494B2 (ja) | 撮像装置 | |
JP2023086270A (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 | |
JP7286451B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2024061309A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法、プログラムおよび記録媒体 | |
JP2019186831A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2012060213A (ja) | 撮像装置及びその制御方法 | |
JP2018107560A (ja) | 撮像装置 | |
JP2009210832A (ja) | 撮像装置 | |
JP2016167088A (ja) | 撮像装置及びその制御方法 | |
JP2022150647A (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230829 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230829 |