JP2020010140A - 撮像装置及び表示方法 - Google Patents
撮像装置及び表示方法 Download PDFInfo
- Publication number
- JP2020010140A JP2020010140A JP2018128405A JP2018128405A JP2020010140A JP 2020010140 A JP2020010140 A JP 2020010140A JP 2018128405 A JP2018128405 A JP 2018128405A JP 2018128405 A JP2018128405 A JP 2018128405A JP 2020010140 A JP2020010140 A JP 2020010140A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- exposure time
- setting
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims description 143
- 238000012545 processing Methods 0.000 claims abstract description 182
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 129
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 127
- 238000003672 processing method Methods 0.000 claims abstract description 79
- 239000002131 composite material Substances 0.000 claims abstract description 48
- 239000000203 mixture Substances 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 123
- 230000002194 synthesizing effect Effects 0.000 claims description 35
- 230000035945 sensitivity Effects 0.000 claims description 30
- 230000000694 effects Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 35
- 238000011161 development Methods 0.000 description 17
- 239000004973 liquid crystal related substance Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 230000003139 buffering effect Effects 0.000 description 10
- 239000000654 additive Substances 0.000 description 9
- 230000000996 additive effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
Description
なお、プログラム線図は、適正露出を得るためのBv、Sv、Av、及びTvの関係を示すものである。ここで、Bvは、被写体輝度に対応するAPEX(Additive System of Photographic Exposure)値である。Svは、撮像感度に対応するAPEX値である。Avは、絞りに対応するAPEX値である。Tvは、シャッタースピードに対応するAPEX値である。
この仮定の下、シャッタースピードを、Tv=0に対応する1秒に設定して静止画撮影を行う場合は、静止画撮影用のプログラム線図に示したとおり、−9≦Bv≦4のBv範囲を適正露出で撮影できる。
本発明の第4の態様は、第1乃至3のいずれか1つの態様において、前記表示部は、前記画像合成部が生成した合成画像に基づく画像の表示を、前記露光時間設定部が設定した露光時間よりも短い時間間隔で更新する、ことを特徴とする。
本発明の第9の態様は、第1乃至8のいずれか1つの態様において、前記画像合成部が生成した合成画像に基づく画像を静止画として記録する記録部、を更に有することを特徴とする。
本発明の第21の態様は、第18乃至20のいずれか1つの態様において、前記表示ステップでは、前記画像合成ステップで生成した合成画像に基づく画像の表示を、前記露光時間設定ステップで設定した露光時間よりも短い時間間隔で更新する、ことを特徴とする。
<第1の実施形態>
図1は、第1の実施形態に係る撮像装置であるカメラの構成例を示す図である。
絞り駆動回路206は、LCPU208の制御の下、絞り205を駆動する。絞り駆動回路206は、ステッピングモータやモータドライバを含んで構成される。
シャッター制御回路305は、BCPU327の制御の下、シャッター303の動作を制御する。詳しくは、先幕3031と後幕3032の動作を制御する。
フラッシュROM311は、画像処理コントローラ308に依る画像処理に必要な各種パラメータ等を記憶する。なお、画像処理コントローラ308がプロセッサを含んで構成される場合は、フラッシュROM311が、そのプロセッサに依り実行されるプログラムや、そのプログラムの実行に必要なデータ等を記憶してもよい。
液晶モニター313は、画像処理コントローラ308に依り生成された画像や各種情報等を表示する。
撮像ステージ315は、撮像素子306を撮像面に平行な方向へ移動させると共に、撮像素子306を、撮像面に直交する軸を回転軸として回転させる駆動機構である。撮像ステージ315は、撮像素子306を平行移動及び回転させるための複数のアクチュエータを含んで構成される。複数のアクチュエータは、例えばVCM(Voice Coil Motor)である。
姿勢変化検出部317は、カメラ100の姿勢変化を検出する。姿勢変化検出部317は、Y方向Gセンサ3171、X方向Gセンサ3172、ピッチジャイロセンサ(以下単に「ピッチジャイロ」と称す)3173、ヨージャイロセンサ(以下単に「ヨージャイロ」と称す)3174、ロールジャイロセンサ(以下単に「ロールジャイロ」と称す)3175を含む。なお、本実施形態では、撮影レンズ203の光軸方向をZ方向とし、その光軸方向に直交し且つ互いに直交する2つの方向である水平方向及び垂直方向をX方向及びY方向とする。
X方向Gセンサ3172は、カメラ100のX方向の加速度を検出する。
ピッチジャイロ3173は、カメラ100のピッチ方向の回転角速度を検出する。ここで、カメラ100のピッチ方向の回転角速度は、X方向の軸を回転軸とするカメラ100の回転角速度でもある。
電源回路321は、BCPU327の制御の下、電池322の電圧を、カメラ100の各部の回路が必要とする電圧に変換して供給する。
動作表示部324は、カメラ100の動作状態をユーザに通知するためのLEDを備え、BCPU327の制御の下、カメラ100の動作状態に応じてLEDを点灯又は消灯させる。
BCPU327は、例えばCPUといったプロセッサを含み、EEPROM326に記憶されたプログラムを実行する。これに依り、BCPU327は、ボディ側通信コネクタ302を経由してLCPU208と通信を行うと共に、カメラ100の各部を制御してカメラ100の全体動作を制御する。例えば、カメラ操作SW325の操作に依り入力された撮影時のシャッタースピードや露出等の撮影条件の設定や、画像処理コントローラ308に対する合成処理方法の設定は、BCPU327に依り行われる。なお、BCPU327は、例えば、ASIC又はFPGA等の専用回路に依り構成されてもよい。
カメラ100において実行される処理は、BCPU327の制御の下に行われる。
図2は、カメラ100において実行されるメイン処理の流れを示すフローチャートである。
一方、S201の判定結果がYESの場合、S202において、BCPU327は、カメラ初期化処理を行う。この処理では、例えば、レンズユニット200に関する情報をLCPU208から取得する等の処理が行われる。
S204の処理中において静止画撮影指示が為されると、S205において、BCPU327は、静止画撮影動作処理を行う。本実施形態では、設定されているシャッタースピード、露出等の撮影条件に従って被写体の静止画を撮影し、その静止画を記録メディア309に記録する、という静止画撮影動作を行うための処理が行われる。
S206の判定結果がNOの場合は、S206の判定を繰り返す。
一方、S206の判定結果がYESの場合は、処理がS212へ進む。
S209の判定結果がNOの場合は、S209の判定を繰り返す。
一方、S209の判定結果がYESの場合は、処理がS212へ進む。
S211の判定結果がNOの場合は、S211の判定を繰り返す。
一方、S211の判定結果がYESの場合は、処理がS212へ進む。
S212の判定結果がNoの場合は、処理がS203へ戻る。
図3は、静止画撮影待機動作処理(S204)の流れを示すフローチャートである。
S303の判定結果がYESの場合、S304において、BCPU327は、長秒時フラグを1に設定し、処理がS305へ進む。
S305において、BCPU327は、ライブビュー用の撮像素子駆動処理を開始する。ライブビュー用の撮像素子駆動処理とは、ライブビュー用のフレームレートに従って、被写体像の撮像及び画像信号の出力を繰り返す処理のことである。
S307の判定結果がYESの場合は、処理がS314へ進む。
S308の判定結果がNOの場合は、処理がS312へ進む。
S315の判定結果がNOの場合は、処理がS317へ進む。
S318の判定結果がNOの場合は、処理がS306へ戻る。
図6の左側に示したライブビュー画像は、長秒時ライブビュー機能がオフに設定されているときに表示されたライブビュー画像である。このライブビュー画像は、画像信号に応じた画像に現像処理が行われた画像であり、所謂、通常時のライブビュー画像である。
図7は、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。なお、図7に示した静止画撮影用のプログラム線図は、図26に示した静止画撮影用のプログラム線図と同じものである。
Bvの値が1<Bv≦4のときは、平均合成処理が設定される。
平均合成処理では、被写体の動きとして、Tv=0相当のスローシャッター効果を得ることができ、ライブビュー用のフレームレートにおける1フレーム分の画像の明るさとしてTv=6相当の明るさが維持されるため、Bvが1<Bv≦4の範囲でも適正露出の画像を得ることができる。
Bvの値が−3<Bv≦1のときは、Sv=5、Av=Bv+5に決定される。
Bvの値が1<Bv≦3のときは、Sv=−Bv+8、Av=2に決定される。
次に、図8を用いて、撮影時シャッタースピードが変更された場合の、合成処理方法設定(S316)及び露出設定(S317)の一例を説明する。
この例では、撮影時シャッタースピードが1秒から1/4秒へ変更されたとする。1/4秒の撮影時シャッタースピードは、Tv=2に対応する。この例では、Tvの値が0から2へ2段シフトすることから、図8のプログラム線図に示したとおり、図7に示したプログラム線図に対して、合成処理方法及び露出を決定するBvの値もシフトする。
Bvの値が3<Bv≦6のときは、平均合成処理が設定される。
露出設定(S317)では、図8のライブビュー用のプログラム線図に示したとおり、Bvの値に応じて、次のSv及びAvの値が決定され、その値に応じて露出が設定される。
Bvの値が−1<Bv≦3のときは、Sv=5、Av=Bv+3に決定される。
Bvの値が3<Bv≦6のときは、Sv=5、Av=Bv−1に設定される。
この例でも、ライブビュー用のフレームレートが64フレーム/秒であるとし、撮影時シャッタースピードとして1秒が設定されているとする。
Bvの値が−3≦Bv≦4のときは、平均合成処理が設定される。
露出設定(S317)では、図9のライブビュー用のプログラム線図に示したとおり、Bvの値に応じて、次のSv及びAvの値が決定され、その値に応じて露出が設定される。
Bvの値が−3≦Bv<3のときは、Sv=−Bv+8、Av=2に決定される。
Bvの値が3≦Bv≦4のときは、Sv=5、Av=Bv−1に決定される。
図11に示したとおり、長秒時ライブビュー機能がオンに設定されてから合成枚数分の撮像フレーム画像が揃う前までの間は、1フレーム毎に、合成する撮像フレーム画像数を1つずつ増加させながら合成画像となる表示フレーム画像の生成を行ってもよい。また、長秒時ライブビュー機能がオフに設定されたときは、1フレーム毎に、合成する撮像フレーム画像数を1つずつ減少させながら合成画像となる表示フレーム画像の生成を行ってもよい。
図12は、図3に示した静止画撮影待機動作処理の実行中において、撮影時シャッタースピードが、より低速に変更されたときの、撮像フレームと合成フレームの関係を示す概念図である。但し、ここでは、静止画撮影待機動作処理の実行中において、画像合成処理(S311)が繰り返し行われているとする。また、撮影時シャッタースピードが、より低速に変更されたことに伴って、合成枚数が4から6へ変更されたとする。
<第2の実施形態>
加算合成:S=I1+I2+I3+…+IN
重み付け加算合成:S=WI1+WI2+WI3+…+WIN
ここで、IKはK番目の画像の画素値、Sは合成画像の画素値、Nは合成フレーム数、Wは重みである。
図13は、第2の実施形態に係る、静止画撮影用のプログラム線図とライブビュー用のプログラム線図の一例を示す図である。図14は、第2の実施形態に係る、重み付け加算合成処理で使用される重みWとBvの関係の一例を示す図である。
Bvの値が−3<Bv<3のときは、重み付け加算合成処理が設定される。但し、このときの重みWは、図14に示したとおり、−log2W=Bv+3という関係式を満たす値とされる。なお、この関係式は、例えば、図13に示したライブビュー用のプログラム線図に対応付けられてフラッシュROM311に記憶されている。
第2の実施形態に係る露出設定(S317)では、図13のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するBvの値に応じて、次のSv及びAvの値が決定される。
Bvの値が−3<Bv<3のときは、Sv=5、Av=2に決定される。
Bvの値が3≦Bv≦4のときは、Sv=5、Av=Bv−1に決定される。
この例において、第2の実施形態の変形例に係る合成処理方法設定(S316)では、図15のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するBvの値に応じて、次の合成処理方法が設定される。
Bvの値が0<Bvのときは、重み付け加算合成処理が設定される。但し、このときの重みWは、図16に示したとおり、−log2W=Bvという関係式を満たす値とされる。
第2の実施形態の変形例に係る露出設定(S317)では、図15のライブビュー用のプログラム線図に示したとおり、検出された被写体輝度に対応するBvの値に応じて、次のSv及びAvの値が決定される。
Bvの値が−6≦Bv≦0のときは、Sv=−Bv+5、Av=5に決定される。
Bvの値が0<Bvのときは、Sv=5、Av=5に決定される。
この場合、図13に示したライブビュー用のプログラム線図及び図14に示した重みWとBvの関係に従って、合成処理方法設定(S316)及び露出設定(S317)が行われるとすると、撮像及び画像合成処理(S311)が次のとおり行われる。
i+65フレーム目以降は、Bv=4であるので、Sv=5に対応する感度、Av=3に対応する絞りで撮像し、64枚のバッファリング画像を平均合成する。(Si+65=Ii+2/64+Ii+3/64+…+Ii+64/64+Ii+65/64)
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。この説明では、第1の実施形態に対して異なる点のみを説明する。また、第1の実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
図18に示したとおり、第3の実施形態に係る静止画撮影待機動作処理は、図3に示した第1の実施形態に係る静止画撮影待機動作処理に対して、S314の後であってS315の前に感度設定(S1801)が行われると共にS317の代わりに絞り設定(S1802)が行われる点が異なる。
次に、図19を用いて、第3の実施形態に係る、感度設定(S1801)、合成処理方法設定(S316)、及び絞り設定(S1802)の一例を説明する。
この例では、ライブビュー用のフレームレートが64フレーム/秒であるとし、撮影時シャッタースピードとして1/4秒が設定されているとする。
Bvの値が−4≦Bv≦0のときは、Sv=8に決定される。
Bvの値が0<Bv<3のときは、Sv=−Bv+8に決定される。
第3の実施形態に係る合成処理方法設定(S316)では、図19のライブビュー用のプログラム線図に示したとおり、S1801で決定されたSvの値に応じて、次の合成処理方法が設定される。
Svの値が8≦Sv≦11のときは、加算合成処理が設定される。
絞り設定(S1802)では、図19のライブビュー用のプログラム線図に示したとおり、S1801で決定されたSvの値に応じて、次のAvの値が決定される。
Svの値が8≦Sv≦11のときは、Av=Bv+Sv−2に決定される。
以上のとおり、第3の実施形態に依っても、第1の実施形態と同様の効果を得ることができる。
<第4の実施形態>
図20に示したとおり、第4の実施形態に係る静止画撮影待機動作処理は、図3に示した第1の実施形態に係る静止画撮影待機動作処理に対して、S314の後であってS315の前に絞り設定(S2001)が行われると共にS317の代わりに感度設定(S2002)が行われる点が異なる。
次に、図21を用いて、第4の実施形態に係る、絞り設定(S2001)、合成処理方法設定(S316)、及び感度設定(S2002)の一例を説明する。
この例では、第3の実施形態と同様に、ライブビュー用のフレームレートが64フレーム/秒であるとし、撮影時シャッタースピードとして1/4秒が設定されているとする。
Bvの値が−1<Bv<1のときは、Av=Bv+3に決定される。
Bvの値が1≦Bv≦5のときは、Av=4に決定される。
第4の実施形態に係る合成処理方法設定(S316)では、図21のライブビュー用のプログラム線図に示したとおり、S2001で決定されたAvの値に応じて、次の合成処理方法が設定される。
Avの値が4<Av≦5のときは、平均合成処理が設定される。
感度設定(S2002)では、図21のライブビュー用のプログラム線図に示したとおり、S2001で決定されたAvの値に応じて、次のSvの値が決定される。
Avの値が4<Av≦5のときは、Sv=Av−Bv+6に決定される。
以上のとおり、第4の実施形態に依っても、第1の実施形態と同様の効果を得ることができる。
<第5の実施形態>
図22は、第5の実施形態に係る静止画撮影動作処理(S205)の流れを示すフローチャートである。
S2202において、BCPU327は、合成モードフラグを0に設定する。合成モードフラグは、静止画合成モードが設定されていないときは0に設定され、静止画合成モードが設定されているときは1に設定されるフラグである。静止画合成モードは、複数の静止画を合成して記録するモードである。静止画合成モードの設定は、カメラ操作SW325のメニュースイッチ、選択スイッチ、及び確定スイッチに依りメニュー画面から設定することができる。なお、この設定は、メニュー画面から行われるのではなく、専用のスイッチを用いて行われてもよい。この場合は、カメラ操作SW325が、静止画合成モードを設定するための指示入力を受け付けるスイッチを備えてもよい。
S2203の判定結果がNOの場合は、処理がS2206へ進む。
S2205において、BCPU327は、合成枚数を算出する。合成枚数は、後述するS2210で合成画像の生成に使用される静止画の数である。合成枚数は、ユーザが設定した総露光時間に基づいて算出される。総露光時間は、合成画像の生成に使用される複数の静止画の総露光時間である。総露光時間の設定は、例えば、カメラ操作SW325の操作に依り行うことができる。合成枚数の算出は、合成枚数をMとし、設定されている総露光時間に相当するTvをTvcとし、ライブビュー用のフレームレートの1フレームにおける露光時間に相当するTvをTvaとすると、合成枚数Mは、次式を用いて算出される。
S2206において、BCPU327は、露出を設定する。詳しくは、S2203の判定結果がYESの後のS2206では、設定されている総露光時間に対応するTvであるTvcに対応する静止画合成用のプログラム線図と、S314で最後に検出された被写体輝度に対応するBvの値とに基づいてAv及びSvの値を決定し、決定したAv及びSvの値に基づいて、絞り205の駆動及び撮像感度の設定を行う。一方、S2203の判定結果がNOの後のS2206では、S314で最後に検出された被写体輝度に基づいて、絞り205の駆動及び撮像感度の設定を行う。
S2208において、撮像素子I/F回路307は、BCPU327の制御の下、撮像素子306から画像信号を読み出して画像処理コントローラ308へ出力する。画像処理コントローラ308は、撮像素子306から読み出された画像信号に応じた画像を、SDRAM310に格納する。ここで格納された画像は、静止画に対応する。
S2209の判定結果がNOの場合は、処理がS2212へ進む。
S2211において、BCPU327は、撮影終了か否かを判定する。この判定では、S2210において合成画像の生成が行われ場合に判定結果がYESとなり、そうでない場合は判定結果がNOとなる。
一方、S2211の判定結果がYESの場合、S2212において、BCPU327は、静止画用の撮像素子駆動処理を終了する。
次に、図23を用いて、画像合成処理(S2210)で使用される合成処理方法の設定及び露出設定(S2206)の一例を説明する。
画像合成処理(S2210)で使用される合成処理方法の設定では、図23の静止画合成用のプログラム線図に示したとおり、S314で最後に検出された被写体輝度に対応するBvの値に応じて、次の合成処理方法が設定される。
Bvの値が−2≦Bv≦6のときは、平均合成処理が設定される。
露出設定(S2206)では、図23の静止画合成用のプログラム線図に示したとおり、Bvの値に応じて、次のSv及びAvの値が決定され、その値に応じて露出が設定される。
Bvの値が−6≦Bv<−2のときは、Sv=5、Av=Bv+8
Bvの値が−2≦Bv<3のときは、Sv=−Bv+8、Av=2
以上のとおり、第5の実施形態に依れば、所望の総露光時間に対応する露光時間で露光された画像相当の静止画を、静止画の合成に依り生成することができる。
<第6の実施形態>
図24に示した動画撮影待機動作処理の流れは、基本的に、図3に示した第1の実施形態に係る静止画撮影待機動作処理の流れと同じである。
S2418において、BCPU327は、動画撮影開始指示が為されたか否かを判定する。なお、動画撮影開始指示は、レリーズスイッチに依り行うことができる。
一方、S2418の判定結果がYESの場合は、図24に示した動画撮影待機動作処理が終了する。
図25に示した動画撮影動作処理において、S2501における処理は、図24のS2406における処理と同じである。S2502乃至S2507における処理は、図24のS2408乃至S2413における処理と同じである。
S2513において、BCPU327は、動画撮影終了指示が為されたか否かを判定する。なお、動画撮影終了指示も、レリーズスイッチに依り行うことができる。
一方、S2513の判定結果がYESの場合、S2514において、BCPU327は、S2405で開始した動画用の撮像素子駆動処理を終了し、図25に示した動画撮影動作処理が終了する。
まず、Tvに関して、Tva、Tvb、及びTvcを、次のとおり定義する。
Tvb:合成後画像の明るさに相当するTv
Tvc:合成後画像の総露光時間に対応するTv
Tv0:ユーザが設定した静止画撮影時の露光時間に相当するTv
Tva0:ライブビュー1フレームの露光時間に相当するTv
ここで、ユーザが設定した静止画撮影時の露光時間は、撮影時シャッタースピードである。Tva0とTv0の関係においては、Tva0>Tv0の関係がある。長秒時ライブビュー機能がオンに設定されている場合は、合成に依るライブビュー画像の露光時間を静止画撮影時の露光時間と同等とするため、Tvc0=Tv0の関係がある。加算合成の場合は、Tvb=Tvc0の関係がある。平均合成の場合は、Tvb=Tva0の関係がある。
最大絞り:Avmin
最小絞り:Avmax
最高感度:Svmax
ここで、最大絞りとは、絞り205に依る開口面積を最大にした状態のことであり、この状態に対応するAvの値は最小となる。最小絞りとは、絞り205に依る開口面積を最小にした状態のことであり、この状態に対応するAvの値は最大となる。
最低輝度:Bvmin=Tv0+Avmin−Svmax
これらを前提に、まず、第1の実施形態について補足説明を行う。
ここでは、ライブビューにおける最小絞りに次の制限があると仮定する。
加算合成に依り適正露出が得られる輝度範囲は、次のとおり表される。
最低輝度:Bvmin(加算)=Tvc0+Avmin−Svmax
ここで、Bvmin(加算)=Bvminでもあり、Bvmax(加算)<Bvmaxでもある。
最低輝度:Bvmin(平均)=Tva0+Avmin−Svmax
最高輝度:Bvmax(平均)=Tva0+Avmax’−Svmin
図7及び図8を用いて説明した例の場合は、検出された被写体輝度に対応するBvの値に依って、次のとおり合成処理方法が設定される。この設定方法は、加算合成処理を優先した設定方法でもある。
Bvmax(加算)<Bv≦Bvmax:平均合成処理
また、図9を用いて説明した例の場合は、検出された被写体輝度に対応するBvの値に依って、次のとおり合成処理方法が設定される。この設定方法は、平均合成処理を優先した設定方法でもある。
Bvmin(平均)≦Bv≦Bvmax:平均合成処理
Av、Svの値は、次の関係式を満たす値に決定される。
平均合成処理:Av−Sv=Bv−Tva0
この関係式に依ればAvとSvの値の決め方に自由度があるため、条件を設定して一意に決定する。第1実施形態の場合は、Svの値が最小となる条件を設定する。
重みW、合成枚数Nとして重み付け加算合成を行った場合、合成前後で明るさはN×W倍となるため、Tvb=Tva0−log2NW=(Tva0−log2N)−log2W=Tvc0−log2Wと表される。
加算合成処理:Av=Avmin
平均合成処理:Sv=Svmin
この制約の下、加算合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最高輝度:Bvmax(加算)=Tvc0+Avmin−Svmin
ここで、Bvmin(加算)=Bvminでもある。
最低輝度:Bvmin(重み付け加算)=Tvc0+Avmin−Svmin
最高輝度:Bvmax(重み付け加算)=Tva0+Avmin−Svmin
平均合成処理で適正露出が得られる輝度範囲は、次のとおり表される。
最高輝度:Bvmax(平均)=Tva0+Avmax’−Svmin
図13及び図14を用いて説明した例では、検出された被写体輝度に対応するBvの値に依って、次のとおり合成処理方法が設定される。
Bvmax(加算)<Bv<Bvmin(平均):重み付け加算合成処理
Bvmin(平均)≦Bv≦Bvmax:平均合成処理
加算合成処理:Av=Avmin、Sv=Tvc0+Avmin−Bv
重み付け加算合成処理:Av=Avmin、Sv=Svmin、但し、重みWは、log2W=Tvc0+Avmin−Svmin−Bvを満たす値
また、図15及び図16を用いて説明した例では、検出された被写体輝度に対応するBvの値に依って、次のとおり合成処理方法が設定される。
Bv<Bvmin(加算)、Bvmax(加算)<Bv:重み付け加算合成処理
図15及び図16を用いて説明した例は、Avの値が固定の例であり、Av=5となる。
次に、第3の実施形態について補足説明を行う。
第3の実施形態では、Svの値に依って、次のとおり合成処理方法が設定される。
Svmin≦Sv<Sv0:平均合成処理
なお、加算合成処理を実施するSvの範囲、平均合成処理を実施するSvの範囲は、予め決められている。
次に、第4の実施形態について補足説明を行う。
第4の実施形態では、Avの値に依って、次のとおり合成処理方法が設定される。
Av0<Av≦Avmax’:平均合成処理
なお、加算合成処理を実施するAvの範囲、平均合成を実施するAvの範囲は、予め決められている。
次に、第5の実施形態について補足説明を行う。
ここでは、Tv=Tv0で撮影した画像をM枚平均合成して静止画を生成し記録する場合を仮定する。この場合、合成後の静止画に関するTva、Tvb、Tvcは、次のとおり表される。
Tvb=Tv0
Tvc=Tv0−log2M
静止画合成モードでは、Tva、Tvb、Tvcが、次のとおり表される。
Tva=Tva0
平均合成処理の場合のTvb=Tva0
Tvc=Tv0−log2M
最低輝度:Bvmin(加算)=Tv0−log2M+Avmin−Svmax
最高輝度:Bvmax(加算)=Tv0−log2M+Avmax’−Svmin
最低輝度:Bvmin(平均)=Tva0+Avmin−Svmax
最高輝度:Bvmax(平均)=Tva0+Avmax’−Svmin
Bvmin≦Bv≦Bvmax(加算):加算合成処理
Bvmax(加算)<Bv≦Bvmax:平均合成処理
第6の実施形態については、第1の実施形態と同様に、合成処理方法、Svの値、及びAvの値が決定される。
200 レンズユニット
201 レンズ側マウント部
202 レンズ側通信コネクタ
203 撮影レンズ
204 レンズ駆動回路
205 絞り
206 絞り駆動回路
207 EEPROM
208 レンズ制御用マイクロコンピュータ(LCPU)
300 ボディユニット
301 ボディ側マウント部
302 ボディ側通信コネクタ
303 シャッター
304 シャッターチャージ機構
305 シャッター制御回路
306 撮像素子
307 撮像素子インターフェース回路(撮像素子I/F回路)
308 画像処理コントローラ
309 記録メディア
310 SDRAM
311 フラッシュROM(FRASH ROM)
312 外部出力端子
313 液晶モニター
314 電子ビューファインダー
315 撮像ステージ
316 撮像ステージ駆動回路
317 姿勢変化検出部
318 防振制御回路
319 ストロボ
320 ストロボ駆動回路
321 電源回路
322 電池
323 無線回路
324 動作表示部
325 カメラ操作SW
326 EEPROM
327 ボディ制御用マイクロコンピュータ(BCPU)
3031 先幕
3032 後幕
3171 Y方向Gセンサ
3172 X方向Gセンサ
3173 ピッチジャイロセンサ(ピッチジャイロ)
3174 ヨージャイロセンサ(ヨージャイロ)
3175 ロールジャイロセンサ(ロールジャイロ)
Claims (21)
- 撮影時の露光時間を設定する露光時間設定部と、
被写体像を撮像する撮像部と、
合成処理方法を設定する合成処理設定部と、
前記合成処理設定部が設定した合成処理方法に従って合成画像を生成する画像合成部と、
画像を表示する表示部と、
を有し、
前記撮像部は、露光及び画像信号の出力を、特定の時間間隔で繰り返し、
前記合成処理設定部は、前記画像合成部が生成する合成画像の明るさを特定の明るさにするための合成処理方法を前記画像合成部に設定し、
前記画像合成部は、前記撮像部が繰り返し出力した画像信号に基づく複数の画像を、前記合成処理設定部が設定した合成処理方法に従って合成することに依り、前記露光時間設定部が設定した露光時間相当の画像となる合成画像を生成し、
前記表示部は、前記画像合成部が生成した合成画像に基づく画像を表示する、
ことを特徴とする撮像装置。 - 前記撮影時の露光時間を入力する露光時間入力部、
を更に有し、
前記露光時間設定部は、前記露光時間入力部が入力した前記撮影時の露光時間を設定する、
ことを特徴とする請求項1記載の撮像装置。 - 前記撮影時の露光時間は、前記特定の時間間隔よりも長い時間である、
ことを特徴とする請求項1又は2記載の撮像装置。 - 前記表示部は、前記画像合成部が生成した合成画像に基づく画像の表示を、前記露光時間設定部が設定した露光時間よりも短い時間間隔で更新する、
ことを特徴とする請求項1乃至3のいずれか1項記載の撮像装置。 - 前記画像合成部が合成画像の生成に用いる画像の数は、前記露光時間設定部が設定した露光時間を前記特定の時間間隔で除算した値に基づいて決定される、
ことを特徴とする請求項1乃至4のいずれか1項記載の撮像装置。 - 前記合成処理設定部は、前記合成処理方法として、加算合成処理、平均合成処理、及び重み付け加算合成処理のいずれか1つを前記画像合成部に設定する、
ことを特徴とする請求項1乃至5のいずれか1項記載の撮像装置。 - 前記合成処理設定部は、被写体輝度、シャッタースピード、絞り、及び撮像感度のうちの少なくとも1つに基づいて決定した合成処理方法を前記画像合成部に設定する、
ことを特徴とする請求項1乃至6のいずれか1項記載の撮像装置。 - 絞り及び撮像感度のうちの少なくとも1つを設定する露出設定部、
を更に有することを特徴とする請求項1乃至7のいずれか1項記載の撮像装置。 - 前記画像合成部が生成した合成画像に基づく画像を静止画として記録する記録部、
を更に有することを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 前記画像合成部が生成した複数の合成画像に基づく画像を動画として記録する記録部、
を更に有することを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 画像を記録する記録部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を行い、
前記記録部は、前記撮像部が出力した画像信号に基づいた静止画を記録する、
ことを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 画像を記録する記録部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を繰り返し、
前記記録部は、前記撮像部が繰り返し出力した画像信号に基づいた動画を記録する、
ことを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 前記画像合成部が生成した合成画像に基づく画像を静止画として外部装置へ出力する出力部、
を更に有することを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 前記画像合成部が生成した複数の合成画像に基づく画像を動画として外部装置へ出力する出力部、
を更に有することを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 画像を外部装置へ出力する出力部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を行い、
前記出力部は、前記撮像部が出力した画像信号に基づいた静止画を前記外部装置へ出力する、
ことを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 画像を外部装置へ出力する出力部、
を更に有し、
前記撮像部は、更に、前記露光時間設定部が設定した露光時間の露光及び画像信号の出力を繰り返し、
前記出力部は、前記撮像部が繰り返し出力した画像信号に基づいた動画を前記外部装置へ出力する、
ことを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 前記画像合成部は、前記複数の画像を、前記合成処理設定部が設定した合成処理方法と前記合成処理設定部が過去に設定した合成処理方法とを組み合わせた合成処理方法に従って合成することに依り、前記合成画像を生成する、
ことを特徴とする請求項1乃至8のいずれか1項記載の撮像装置。 - 撮影時の露光時間を設定する露光時間設定ステップと、
被写体像を撮像する撮像ステップと、
合成処理方法を設定する合成処理設定ステップと、
前記合成処理方法に従って合成画像を生成する画像合成ステップと、
画像を表示する表示ステップと、
を有し、
前記撮像ステップでは、露光及び画像信号の出力を、特定の時間間隔で繰り返し、
前記合成処理設定ステップでは、前記画像合成ステップで生成する合成画像の明るさを特定の明るさにするための合成処理方法を設定し、
前記画像合成ステップでは、前記撮像ステップで繰り消し出力した画像信号に基づく複数の画像を、前記合成処理設定ステップで設定した合成処理方法に従って合成することに依り、前記露光時間設定ステップで設定した露光時間相当の画像となる合成画像を生成し、
前記表示ステップでは、前記画像合成ステップで生成した合成画像に基づく画像を表示する、
ことを特徴とする表示方法。 - 前記撮影時の露光時間を入力する露光時間入力ステップ、
を更に有し、
前記露光時間設定ステップでは、前記露光時間入力ステップで入力した前記撮影時の露光時間を設定する、
ことを特徴とする請求項18記載の表示方法。 - 前記撮影時の露光時間は、前記特定の時間間隔よりも長い時間である、
ことを特徴とする請求項18又は19記載の表示方法。 - 前記表示ステップでは、前記画像合成ステップで生成した合成画像に基づく画像の表示を、前記露光時間設定ステップで設定した露光時間よりも短い時間間隔で更新する、
ことを特徴とする請求項18乃至20のいずれか1項記載の表示方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018128405A JP7097248B2 (ja) | 2018-07-05 | 2018-07-05 | 撮像装置及び表示方法 |
US16/456,440 US10798314B2 (en) | 2018-07-05 | 2019-06-28 | Imaging apparatus and display method |
JP2022102960A JP7371171B2 (ja) | 2018-07-05 | 2022-06-27 | 撮像装置及び撮像装置の制御方法 |
JP2023179777A JP2023181265A (ja) | 2018-07-05 | 2023-10-18 | 画像合成処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018128405A JP7097248B2 (ja) | 2018-07-05 | 2018-07-05 | 撮像装置及び表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022102960A Division JP7371171B2 (ja) | 2018-07-05 | 2022-06-27 | 撮像装置及び撮像装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020010140A true JP2020010140A (ja) | 2020-01-16 |
JP7097248B2 JP7097248B2 (ja) | 2022-07-07 |
Family
ID=69101619
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018128405A Active JP7097248B2 (ja) | 2018-07-05 | 2018-07-05 | 撮像装置及び表示方法 |
JP2022102960A Active JP7371171B2 (ja) | 2018-07-05 | 2022-06-27 | 撮像装置及び撮像装置の制御方法 |
JP2023179777A Pending JP2023181265A (ja) | 2018-07-05 | 2023-10-18 | 画像合成処理方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022102960A Active JP7371171B2 (ja) | 2018-07-05 | 2022-06-27 | 撮像装置及び撮像装置の制御方法 |
JP2023179777A Pending JP2023181265A (ja) | 2018-07-05 | 2023-10-18 | 画像合成処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10798314B2 (ja) |
JP (3) | JP7097248B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738410A (zh) * | 2020-12-24 | 2021-04-30 | 重庆金山医疗器械有限公司 | 一种成像方法及装置、内窥镜设备 |
CN115314628A (zh) * | 2021-05-08 | 2022-11-08 | 杭州海康威视数字技术股份有限公司 | 一种成像方法、***及摄像机 |
JP7478006B2 (ja) | 2020-03-26 | 2024-05-02 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102713334B (zh) † | 2009-10-23 | 2015-05-20 | 费德罗-莫格尔制品有限公司 | 用于刹车的摩擦材料 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06121222A (ja) * | 1992-10-05 | 1994-04-28 | Canon Inc | カメラ |
JP2003333416A (ja) * | 2002-05-17 | 2003-11-21 | Minolta Co Ltd | デジタルカメラ |
JP2017108309A (ja) * | 2015-12-10 | 2017-06-15 | オリンパス株式会社 | 撮像装置および撮像方法 |
JP2017163191A (ja) * | 2016-03-07 | 2017-09-14 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101444084B (zh) * | 2006-05-09 | 2012-02-15 | 夏普株式会社 | 摄像装置 |
JP2008079222A (ja) | 2006-09-25 | 2008-04-03 | Nikon Corp | デジタルカメラ |
JP4544332B2 (ja) | 2008-04-07 | 2010-09-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
KR101571334B1 (ko) * | 2009-02-12 | 2015-11-24 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
JP6985898B2 (ja) | 2017-11-14 | 2021-12-22 | Omデジタルソリューションズ株式会社 | 撮像装置及び表示方法 |
-
2018
- 2018-07-05 JP JP2018128405A patent/JP7097248B2/ja active Active
-
2019
- 2019-06-28 US US16/456,440 patent/US10798314B2/en active Active
-
2022
- 2022-06-27 JP JP2022102960A patent/JP7371171B2/ja active Active
-
2023
- 2023-10-18 JP JP2023179777A patent/JP2023181265A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06121222A (ja) * | 1992-10-05 | 1994-04-28 | Canon Inc | カメラ |
JP2003333416A (ja) * | 2002-05-17 | 2003-11-21 | Minolta Co Ltd | デジタルカメラ |
JP2017108309A (ja) * | 2015-12-10 | 2017-06-15 | オリンパス株式会社 | 撮像装置および撮像方法 |
JP2017163191A (ja) * | 2016-03-07 | 2017-09-14 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7478006B2 (ja) | 2020-03-26 | 2024-05-02 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
CN112738410A (zh) * | 2020-12-24 | 2021-04-30 | 重庆金山医疗器械有限公司 | 一种成像方法及装置、内窥镜设备 |
CN115314628A (zh) * | 2021-05-08 | 2022-11-08 | 杭州海康威视数字技术股份有限公司 | 一种成像方法、***及摄像机 |
CN115314628B (zh) * | 2021-05-08 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种成像方法、***及摄像机 |
Also Published As
Publication number | Publication date |
---|---|
JP7097248B2 (ja) | 2022-07-07 |
US20200014862A1 (en) | 2020-01-09 |
JP2022125117A (ja) | 2022-08-26 |
JP2023181265A (ja) | 2023-12-21 |
US10798314B2 (en) | 2020-10-06 |
JP7371171B2 (ja) | 2023-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7371171B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
EP1874043B1 (en) | Image pick up apparatus | |
US8228391B2 (en) | Image pickup apparatus and lens barrel | |
US20080204564A1 (en) | Image pickup apparatus and lens barrel | |
JP5558956B2 (ja) | 撮像装置およびその制御方法 | |
JP2007074031A (ja) | 撮像装置、及び、画像処理装置及び方法 | |
JP4499605B2 (ja) | 撮像装置 | |
JP6985898B2 (ja) | 撮像装置及び表示方法 | |
JP2007043584A (ja) | 撮像装置およびその制御方法 | |
JP4614143B2 (ja) | 撮像装置及びそのプログラム | |
KR101599881B1 (ko) | 화각 미리 보기 기능을 갖는 디지털 영상 신호 처리 장치, 이의 제어 방법 및 상기 방법을 기록한 기록 매체 | |
CN106161975A (zh) | 摄像装置和摄像方法 | |
US20160366335A1 (en) | Photographing apparatus, photographing controller, photographing control method, and photographing control program | |
JP4956403B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US8994844B2 (en) | Image processing apparatus that synthesizes acquired images to generate successive images, control method therefor, and image pickup apparatus | |
JP2005277812A (ja) | 手振れ低減装置を持ったデジタルカメラ装置および画像再生装置 | |
JP2019109271A (ja) | 撮像装置 | |
JP4597887B2 (ja) | 撮影装置 | |
JP4586578B2 (ja) | デジタルカメラ及びプログラム | |
JP4481185B2 (ja) | 画像表示装置 | |
JP2019109270A (ja) | 撮像装置 | |
JP2006229627A (ja) | デジタルカメラ | |
JP5270870B2 (ja) | 撮像装置及びその制御方法 | |
JP4524208B2 (ja) | デジタルカメラ | |
JP2005221578A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220506 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7097248 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |