JP2012065204A - 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 - Google Patents
複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 Download PDFInfo
- Publication number
- JP2012065204A JP2012065204A JP2010208561A JP2010208561A JP2012065204A JP 2012065204 A JP2012065204 A JP 2012065204A JP 2010208561 A JP2010208561 A JP 2010208561A JP 2010208561 A JP2010208561 A JP 2010208561A JP 2012065204 A JP2012065204 A JP 2012065204A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- imaging unit
- luminance component
- unit
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【解決手段】実施形態の複眼撮像装置は、第1の撮像部および第2の撮像部を用いて撮像を行う撮像手段を備える。また、前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出する算出手段を備える。また、前記算出された輝度成分比に基づいて前記第2の撮像部の撮像露光時間を設定する設定手段を備える。
【選択図】 図1
Description
そして、これらの立体画像表示機器等で表示可能な立体画像を撮像可能な、複数の撮像部を用いて撮像を行う複眼撮像装置の需要も増加している。
複眼撮像装置において露出の自動的な制御、すなわち自動露出制御(AE制御)を行う場合、複数の撮像部を備えるため、複数の撮像部から出力される映像信号レベル、特に輝度レベルを整合させる必要がある。
しかし、この方法は、複数の撮像部で独立にフィードバックループが動くため、被写体の変化による明るさの変化点が一致しない場合があり、その結果、被写体の輝度変化がある環境において輝度差が発生する可能性があり、問題があった。
しかし、この方法は、例えば撮像部のレンズを交換した際など使用環境の変化に応じ、その都度、ユーザ自身が輝度補正を実施する必要があり、利便性の点で問題があった。
また、前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出する算出手段を備える。
図1は、実施形態に係わる複眼撮像装置の構成を示すブロック図である。
符号1は複眼撮像装置である。符号11はカメラヘッド、符号12はCCU(カメラコントロールユニット)、符号13は合成処理部(合成LSI)、符号14は映像表示部(LCD)である。
符号16aはレンズ1、符号16bはレンズ2、符号17aは撮像部、符号17bは撮像部2、符号18aはA/D変換部1、符号18bはA/D変換部2である。
符号19aは線形処理部1、符号19bは線形処理部2、符号20aは積算部1、符号20bは積算部2、符号21aは信号処理部1、符号21bは信号処理部2である。
カメラヘッド11には、レンズ1(16a)、レンズ2(16b)、撮像部1(17a)、撮像部2(17b)、A/D変換部1(18a)、A/D変換部2(18b)が構成される。
また、信号処理部(信号処理LSI)15には、線形処理部1(19a)、線形処理部2(19b)、積算部1(20a)、積算部2(20b)、信号処理部1(21a)、信号処理部2(21b)が構成される。
また、図に示すように、複眼撮像装置1は複数、すなわち少なくとも2系統の撮像部および信号処理部を備えている。
ここでは、第1の系統は、レンズ1(16a)で集光された光が撮像部1(17a)で撮像され、信号処理LSI(15)で映像処理され、映像出力1が出力される系統である。また、第2の系統は、レンズ2(16b)で集光された光が撮像部2(17b)で撮像され、信号処理LSI(15)で映像処理され、映像出力2が出力される系統である。
複眼撮像装置1において撮像が行われると、レンズ1(16a)で集光され、この集光された光が撮像部1(17a)に入力される。撮像部1(17a)はCCDやCMOSセンサが構成されるが、ここではCMOSセンサを利用する。そして、MPU30によって撮像部1(17a)の電子シャッタが制御され撮像が行われる。
信号処理LSI(15)は、入力されたデジタル信号の映像信号を線形処理部1(19a)に入力する。
線形処理部1(19a)は、Gain制御部1および、WB(ホワイトバランス)制御部1を備えている。線形処理部1(19a)は入力されたデジタル信号の映像信号にGain制御および、WB(ホワイトバランス)制御を行い、Gain制御および、WB(ホワイトバランス)制御が行われた映像信号を出力する。
また、信号処理部1(21a)は受信した映像信号にγ(ガンマ)補正や輪郭補正等の非線形処理を行い、合成処理部13に出力する(映像出力1)。
映像出力1の映像は静止画または動画であるが、動画の場合も静止画が連続した映像、すなわち静止画が画面(フレーム)毎にコマ送りされたような信号である。
次に、上記第2の系統を説明する。
上記と同様に、複眼撮像装置1において撮像が行われると、レンズ2(16b)でも集光され、撮像部2(17b)に入力される。撮像部2(17b)もCMOSセンサを利用する。そして、MPU30によって撮像部2(17b)の電子シャッタが制御され撮像が行われる。
信号処理LSI(15)は、入力されたデジタル信号の映像信号を線形処理部2(19b)に入力する。
線形処理部2(19b)は、Gain制御部2および、WB(ホワイトバランス)制御部2を備えている。線形処理部2(19b)は入力されたデジタル信号の映像信号にGain制御および、WB(ホワイトバランス)制御を行い、Gain制御および、WB(ホワイトバランス)制御が行われた映像信号を出力する。
MPU30は、CCU(カメラコントロールユニット)12や信号処理部(信号処理LSI)15に接続されこれらを制御する。
また、信号処理部2(21b)は受信した映像信号にγ(ガンマ)補正や輪郭補正等の非線形処理を行い、合成処理部13に出力する(映像出力2)。
映像出力2の映像も静止画または動画であり、動画の場合は上記と同様に、静止画が連続した映像、すなわち静止画が画面(フレーム)毎にコマ送りされたような映像信号である。
映像処理部14は、映像信号を受信し、LCD等の映像表示部に表示出力する。
この実施の形態においては、上記のように少なくとも2系統の撮像部および信号処理部を構成するが、このうちの1系統は自動露出制御を行う。
そして、まず、この自動露出制御を行う1系統から出力される上記映像出力1は、被写体の明るさに応じた適正な明るさを得るようにする。
この実施の形態においては、複数の撮像部から出力される映像信号の輝度成分を、例えば1画面(フレーム)分、それぞれ積算し、このそれぞれ積算された積算値間の輝度比を算出し、この算出された輝度比を用いて複数の撮像部間の撮像に係る露光時間を調整するようにしている。
図2は、実施形態に係わる複眼撮像装置の第1の撮像部における自動露出制御の構成を説明するブロック図である。
ここでは、上記第1の系統の第1の撮像部(16a)を用いて説明する。
この実施の形態においては、撮像部1(17a)は、電子シャッタ機能を有するCMOSセンサである。
まず、撮像部1(17a)はMPU30に制御され、予め設定されている露光時間(Time(t))で撮像を行う。この予め設定されている露光時間(Time(t))は、例えば1/60秒である。
なお、露光時間の設定は、一般的に、輝度変化が急激に発生しないよう、ある程度の時間をかけて偏差がゼロになるように設定される。
この実施の形態においては、上記のフィードバック制御を行うことにより、第1の撮像部(16a)の自動露出制御が実現される。
このようにして、基準となる撮像部1(17a)の露光時間が決定される。
なお、上記説明においては、説明を簡略化するため単板式の電子シャッタを用いて説明を行ったが、この実施の形態においては、単板式の電子シャッタを適宜3板式の電子シャッタに適用することも可能である。
複眼撮像装置においては、上記映像出力2は上記映像出力1と同じ明るさであることが望ましい。
しかし、例えば部品のバラツキ等により、上記レンズ1(16a)とレンズ2(16b)の絞りに差があったり、撮像部1(17a)と撮像部2(17b)の感度に差がある場合は、撮像部1(17a)と撮像部2(17b)の露光時間を同じ値に設定しても、上記映像出力1と映像出力2では輝度差が発生してしまう。
ここで、第1の系統の時間tでの積算値をSum1(t)、第1の系統の時間tでの露光時間をTime1(t)、第1の系統の時間t+1での露光時間をTime1(t+1)、第2の系統の時間tでの積算値をSum2(t)、第2の系統の時間tでの露光時間をTime2(t)、第2の系統の時間t+1での露光時間をTime2(t+1)と定義する。
第1の系統の単位時間当たりの積算値は式(1)で求められる。
この実施の形態においては、自動露出制御(AE制御)を1つの撮像部(ここでは第1の系統)において実施するため、フィードバックループは1つとなり第1の系統と第2の系統の明るさの変化を一致させることが可能である。
上記のように、積算部1(20a)には1フレーム(画面)分の映像信号の輝度成分が積算される。このとき、積算部1(20a)には、例えば、1フレーム(画面)分の映像信号の輝度成分の入力積算値は、3×3画素の8ビットを1単位とした8×6個分の信号が積算される。
図4は、実施形態に係わる複眼撮像装置において輝度成分比を算出する際に、積算された映像信号の輝度成分から除外される領域を説明する図である。
ここでも、第1の系統を例にとり、説明する。
この実施の形態においては、積算値と露光時間が比例関係にあることが前提となっているが、実際には、撮像部のダイナミックレンジを超えた光量が入射されると、撮像部から出力される信号が飽和し、積算値と露光時間が非線形となってしまう可能性がある。
例えば、撮像部1(17a)にランダムノイズ等が混入し、入射光量が一定の場合でも映像信号の輝度成分の積算値が変動する場合が考えられる。
このとき、撮像部1(17a)の感度比もノイズの影響を受け、変動するため、第1の系統の映像出力と第2の系統の映像出力に微小な差が発生する可能性がある。
この実施の形態においては、これを回避することが可能である。すなわち、撮像部1(17a)の感度比を、例えば複数フレーム分取得し、平滑化することで安定化させることが可能である。次の式(5)は例えば、5フレームの平均をとるフィルタの例である。
図5は、実施形態に係わる複眼撮像装置の動作を説明するフローチャートである。
符号S100はここでの開始ステップである。続いて符合S101を付したステップへ進む。
符号S101は撮像部露光時間の補正指示を受信したかを判別するステップである。撮像部露光時間の補正指示は、例えば複眼撮像装置1の電源がONとなった場合に、これに連動して複眼撮像装置1のMPU30が指示するように構成することが可能である。また、撮像部1(17a)または撮像部2(17b)が交換された際等に、図示しない補正指示ボタンが操作されることで補正指示を受信するように構成することも可能である。
補正指示を受信したと判別した場合は符号S102を付したステップへ進む(Yes)。補正指示を受信しないと判別した場合は上記処理を繰り返す(No)。
符号S102は撮像部1(17a)は、MPU30に設定された撮像露光時間(例えば1/60秒)で撮像するステップである。続いて符合S103を付したステップへ進む。
符号S107は上記積算された輝度成分に上記撮像部1(17a)に設定された撮像露光時間(1/60±α秒)で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B1を求めるステップである。続いて符合S108を付したステップへ進む。
符号S109は上記積算された輝度成分に上記撮像部1(17a)に設定された撮像露光時間(1/60±α秒)で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B2を求めるステップである。続いて符合S110を付したステップへ進む。
符号S111は上記輝度成分比に基づいて撮像部2(17b)の撮像露光時間を求めるステップである。例えば、MPU30に設定されている撮像部1(17a)の撮像露光時間(1/60±α秒)をこの輝度成分比で除算またはこの輝度成分比の逆数を乗算し、撮像部2(17b)の撮像露光時間を求め、MPU30に設定する。(例えば、撮像部2の撮像露光時間=(1/60±α秒)×(1/(B1/B2)))続いて符合S112を付したステップへ進む。
また、上記図1を用いた説明においては、電子シャッタを制御して自動露出制御を行う技術を説明したが、この実施の形態においては、利得制御(ゲイン制御)を用いて自動露出制御を行うことも可能であり、この例を次の通り説明する。
上記図1と同じ構成については、同一の符号を付し、説明を省力する。
この実施の形態においては、カメラヘッド11は、複眼撮像装置1の筐体とは分離され、MPU30とケーブル等を介して接続された、いわゆるヘッド分離型カメラの構成をとっている。
動画を撮像する場合においては、この動作は常に実行される。
符号S200はここでの開始ステップである。続いて符合S201を付したステップへ進む。
符号S201は前回の設定で露光するステップである。例えば撮像部1(17a)は撮像露光時間(1/60秒±α)、撮像部2(17b)は撮像露光時間(1/60秒±β)である。続いて符合S202を付したステップへ進む。
符号S203は上記積算された輝度成分に上記撮像部1(17a)に設定された撮像露光時間(1/60±α秒)で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B1を求めるステップである。続いて符合S204を付したステップへ進む。
符号S205は露光時間(1/60±β)で除算し、単位時間あたりの輝度成分B2を求めるステップである。続いて符合S206を付したステップへ進む。
符号S206は両者の輝度成分比、例えばB1/B2を求めるステップである。続いて符合S207を付したステップへ進む。
符号S207は上記輝度成分比に基づいて撮像部2(17b)の撮像露光時間を求めるステップである。例えば、MPU30に設定されている撮像部1(17a)の撮像露光時間(1/60±α秒)をこの輝度成分比で除算またはこの輝度成分比の逆数を乗算し、撮像部2(17b)の撮像露光時間を求め、MPU30に設定する。例えば、撮像部2の撮像露光時間=(1/60±α秒)×(1/(B1/B2)である。続いて符合S208を付したステップへ進む。
また、上記説明においては、第1の系統の映像信号と第2の系統の映像信号の輝度比の算出において、単位時間当たりの映像信号の輝度成分の積算値を用いたが、映像信号の輝度成分を積算する時間が同じであれば映像信号の輝度成分の積算値そのものを用いることも可能である。
また、カメラヘッド分離型、カメラヘッド一体型のどちらの複眼撮像装置も適用可能である。また、複眼撮像装置に用いられる撮像部の構成も、単板式、3板式のどちらでも適用可能である。
Claims (7)
- 第1の撮像部および第2の撮像部を備える複眼撮像装置において、
前記第1の撮像部および前記第2の撮像部を用いて撮像を行う撮像手段と、
前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出する算出手段と、
前記算出された輝度成分比に基づいて前記第2の撮像部の撮像露光時間を設定する設定手段を備える複眼撮像装置。 - 前記第2の撮像部の撮像露光時間は、予め設定されている前記第1の撮像部の撮像露光時間に基づいて設定される請求項1に記載の複眼撮像装置。
- 前記第1の映像信号の輝度成分および前記第2の映像信号の輝度成分を蓄積する蓄積手段をさらに備え、この蓄積された前記第1の映像信号の輝度成分および前記第2の映像信号の輝度成分を用いて前記輝度成分比が算出される請求項1に記載の複眼撮像装置。
- 前記蓄積された第1の映像信号の輝度成分および第2の映像信号の輝度成分の比較は、単位時間あたりの輝度成分を用いて比較する請求項1または請求項3に記載の複眼撮像装置。
- 前記輝度成分比の算出は、飽和部を除外した前記第1の映像信号の輝度成分および前記第2の映像信号の輝度成分を用いて行われる請求項3に記載の複眼撮像装置。
- 第1の撮像部および第2の撮像部を備える複眼撮像装置に用いられる信号処理装置において、
第1の撮像部で撮像され出力された第1の映像信号の輝度成分および第2の撮像部で撮像され出力された第2の映像信号の輝度成分比を算出する算出手段と、
前記算出された輝度成分比に基づいて第2の撮像部の撮像露光時間を設定する信号を出力する信号出力手段を備える信号処理装置。 - 第1の撮像部および第2の撮像部を用いて撮像を行うステップと、
前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出するステップと、
前記算出された輝度成分比に基づいて前記第2の撮像部の撮像露光時間を設定するステップを備える複眼撮像装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010208561A JP2012065204A (ja) | 2010-09-16 | 2010-09-16 | 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010208561A JP2012065204A (ja) | 2010-09-16 | 2010-09-16 | 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012065204A true JP2012065204A (ja) | 2012-03-29 |
Family
ID=46060451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010208561A Pending JP2012065204A (ja) | 2010-09-16 | 2010-09-16 | 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012065204A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013257423A (ja) * | 2012-06-12 | 2013-12-26 | Olympus Corp | 光検出システムおよび顕微鏡システム |
CN104285443A (zh) * | 2012-08-30 | 2015-01-14 | 大邱庆北科学技术院 | 影像亮度调节方法及其装置、立体摄像机 |
WO2016059845A1 (ja) * | 2014-10-16 | 2016-04-21 | ソニー株式会社 | 撮像装置、撮像システム、および、撮像装置の制御方法 |
WO2016080218A1 (ja) * | 2014-11-21 | 2016-05-26 | オリンパス株式会社 | 撮像システム |
WO2016098736A1 (ja) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 撮像システム |
WO2018179623A1 (ja) * | 2017-03-30 | 2018-10-04 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法 |
US10206554B2 (en) | 2014-10-14 | 2019-02-19 | Olympus Corporation | Image pickup system with white spot correction |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281379A (ja) * | 2001-03-21 | 2002-09-27 | Ricoh Co Ltd | 撮像システム |
JP2008042227A (ja) * | 2006-08-01 | 2008-02-21 | Hitachi Ltd | 撮像装置 |
-
2010
- 2010-09-16 JP JP2010208561A patent/JP2012065204A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281379A (ja) * | 2001-03-21 | 2002-09-27 | Ricoh Co Ltd | 撮像システム |
JP2008042227A (ja) * | 2006-08-01 | 2008-02-21 | Hitachi Ltd | 撮像装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013257423A (ja) * | 2012-06-12 | 2013-12-26 | Olympus Corp | 光検出システムおよび顕微鏡システム |
CN104285443A (zh) * | 2012-08-30 | 2015-01-14 | 大邱庆北科学技术院 | 影像亮度调节方法及其装置、立体摄像机 |
CN104285443B (zh) * | 2012-08-30 | 2016-09-07 | 大邱庆北科学技术院 | 影像亮度调节方法及其装置、立体摄像机 |
US10206554B2 (en) | 2014-10-14 | 2019-02-19 | Olympus Corporation | Image pickup system with white spot correction |
WO2016059845A1 (ja) * | 2014-10-16 | 2016-04-21 | ソニー株式会社 | 撮像装置、撮像システム、および、撮像装置の制御方法 |
US10390688B2 (en) | 2014-11-21 | 2019-08-27 | Olympus Corporation | Image pickup system |
WO2016080218A1 (ja) * | 2014-11-21 | 2016-05-26 | オリンパス株式会社 | 撮像システム |
WO2016098736A1 (ja) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 撮像システム |
JP5989283B1 (ja) * | 2014-12-15 | 2016-09-07 | オリンパス株式会社 | 撮像システム及び信号処理装置 |
CN106455948A (zh) * | 2014-12-15 | 2017-02-22 | 奥林巴斯株式会社 | 摄像*** |
US10326944B2 (en) | 2014-12-15 | 2019-06-18 | Olympus Corporation | Image pickup system and signal processing apparatus |
WO2018179623A1 (ja) * | 2017-03-30 | 2018-10-04 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法 |
KR20190133002A (ko) * | 2017-03-30 | 2019-11-29 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법 |
US11089230B2 (en) | 2017-03-30 | 2021-08-10 | Sony Semiconductor Solutions Corporation | Capturing apparatus, capturing module, capturing system, and capturing apparatus control method |
KR102388259B1 (ko) | 2017-03-30 | 2022-04-18 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법 |
TWI775808B (zh) * | 2017-03-30 | 2022-09-01 | 日商索尼半導體解決方案公司 | 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9596400B2 (en) | Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium | |
JP4594257B2 (ja) | ディジタル撮像装置 | |
JP2012065204A (ja) | 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 | |
US20090167928A1 (en) | Image processing apparatus and photographing apparatus | |
JP2014222815A (ja) | 撮像装置、制御方法及びプログラム | |
JP2007243774A (ja) | 電子的ぶれ補正装置 | |
KR101431966B1 (ko) | 카메라 모듈, 카메라 모듈의 노출 조정 방법 및 전자 기기 | |
KR20140027816A (ko) | 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 | |
JP2007243775A5 (ja) | ||
JP2007243775A (ja) | 電子的ぶれ補正装置 | |
JP6028928B2 (ja) | 撮像装置及び撮像方法 | |
US9277135B2 (en) | Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium | |
JP6333095B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
US9892497B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP2006262220A (ja) | 撮像装置 | |
US9113117B2 (en) | Image-taking apparatus and method for controlling the same | |
KR20130057762A (ko) | 자동 초점 조절 장치 및 그 제어방법 | |
JP6838894B2 (ja) | 焦点調節装置、その制御方法及びプログラム | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
US20060197866A1 (en) | Image taking apparatus | |
JP2010068046A (ja) | 撮像装置 | |
JP2018113614A (ja) | 撮像装置、および撮像方法、電子機器、並びに信号処理装置 | |
JP2013088446A (ja) | 撮像装置 | |
US11218647B2 (en) | Imaging apparatus with correction factor scaling of image | |
JP6429497B2 (ja) | 撮像装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130510 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140701 |