JP4934968B2 - カメラ装置、カメラ制御プログラム及び記録音声制御方法 - Google Patents
カメラ装置、カメラ制御プログラム及び記録音声制御方法 Download PDFInfo
- Publication number
- JP4934968B2 JP4934968B2 JP2005032872A JP2005032872A JP4934968B2 JP 4934968 B2 JP4934968 B2 JP 4934968B2 JP 2005032872 A JP2005032872 A JP 2005032872A JP 2005032872 A JP2005032872 A JP 2005032872A JP 4934968 B2 JP4934968 B2 JP 4934968B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- sound
- unit
- distance
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
また、請求項9記載の発明に係るカメラ装置にあっては、前記検出手段は、複数のマイクロホンが前後方向に配置されたマイクロホンアレーである。したがって、同じ方向からの音声が複数ある場合であっても、ある音声を強調し、他の音声を抑制しつつ撮影を行うことができる。
図1に示すように、本発明の各実施の形態に係るデジタルカメラ100の本体101には、前面上部に撮像レンズ102が配置され、その下部にマイクロホンアレー部103が設けられている。このマイクロホンアレー部103には、横配列マイクと縦配列マイクとからなる複数のマイクロホン(後述するマイクM1〜マイクMn)が等間隔で設けられている。また、一方の側面には、開閉自在なカバー体104が設けられており、このカバー体104の裏面側に後述する表示部119とタッチパネル132とが配置されている。
(例)θx=(x/xmax)×tan−1(X′/2f)、
θy=(y/ymax)×tan−1(Y′/2f)、
θf=θx、または、θf=θy、
例えば、xmax=1.0,ymax=0.75として、
θx=(x/xmax)×tan−1(X′/2f)、θy=(y/ymax)×tan−1(Y′/2f)、
等として変換される。θfは実際には、マイクロホンアレー部103がマイク配列が横並び(水平方向)のみの場合は、θf=θxとして利用し、マイク配列が縦並び(垂直方向)のみの場合は。θf=θyとして利用すればよい。
θf=θx=(x/xmax)×tan−1[X′/2f]/M、または、
θf=θy=(y/ymax)×tan−1[y′/2f]/M、と補正すればよい。
(例)θ(k)=tan−1[(k−1)d/Lf]、
tD(k)=Lf[{1/cosθ(n−k+1)}−1]/c
(但し、k:マイク番号1〜n、d:マイク間隔、c:音速)
(例)tDx(j)=(m−j)・dx・sinθx/c、
tDy(k)=(m−k)・dy・sinθy/c、
(但し、j:横配列マイク番号1〜m、k:縦配列マイク番号1〜n、d:マイク 間隔、c:音速)
図8〜10は、前記図4のフローチャートと前記図3のフローチャートにおけるステップS110の処理とによって実行されるマクロホンアレーによる音声強調処理の変形例、およびステップS113によって実行される特定方向音声の抑圧処理の変形例を示すブロック回路図である。
図8は、2個のマイクM1,M2を用いるものであって、この2個のマイクM1,M2の間隔d、特定音源の方向θが既知であり、マイク間隔dに比べて特定音源までの距離Lが遠距離(L>>d)である場合である。図に示すように、特定方向の特定音源からの音声w(n)を強調したい場合には、特定音声w(n)に近い側のマイクM1に先に音声が伝達され、他のマイクM2には少し遅れて音声が入力される。このとき、角度θに応じて先に伝達する音源に近い側のマイクM1に、他のマイクM2より進んでいる分に相当する遅延時間(TD)を遅延器Dにより設け、遅い側のマイクM2では遅延時間=0に設定してその出力を加算回路161で加算する。
tD1=t2=d・sinθ/c、tD2=t1=0 (d:マイク間隔、c:音速)を設定すればよい。
t(k)=(k−1)・d・sinθ/c、となるので、
設定すべき遅延時間tD(k)は、
tD(k)=(n−1)・d・sinθ/c、となる。
(但し、d:マイク間隔、c=音速≒331.5+0.6×T[m/s]、T:温度)
t(k)=L{(1/cosθk)−1}/c、
したがって、各マイクの遅延器に設定すべき遅延時間tD(k)は、
tD(k)=t(n−k+1)=L[(1/cosθ(n−k+1)−1]/c、
(但し、θk=tan−1[(k−1)]d/L]、L:音源距離、c:音速)
とすればよく、このとき、各マイクへの入力角度θkは、音源距離Lとマイク間隔dとから決まるので、結果的には音源の位置(音源に最も近いマイク番号はどれか)と音源距離Lとで決定される。なお、配列が曲面の場合には、計算が多少複雑化するが勿論算出可能である。
(例)θx=(x/xmax)×tan−1(X′/2f)、
θy=(y/ymax)×tan−1(Y′/2f)、
θs=θx、または、θs=θy、
(例)θ(k)=tan−1[(k−1)d/Ls]、
tD(k)=Ls[{1/cosθ(n−k+1)}−1]/c
(但し、k:マイク番号1〜n、d:マイク間隔、c:音速)
(例)tDx(j)=(m−j)・dx・sinθx/c、
tDy(k)=(m−k)・dy・sinθy/c、
(但し、j:横配列マイク番号1〜m、k:縦配列マイク番号1〜n、d:マイク 間隔、c:音速)
(第2の実施の形態の変形例)
図14〜16は、前記図13のフローチャートと前記図3のフローチャートにおけるステップS113の処理とによって実行されるマクロホンアレーによる、音声抑圧処理の変形例を示すブロック回路図である。
図14に示す構成においては、特定方向の負の指向性を持たせて死角を作るものであり、A1〜Anを一つ置きに乗算器または反転回路として機能させる。また、図15に示す構成においては、音声強調する角度(θ1)と音声抑圧する角度(θ2)とを独立に設定して、θ1方向からの音声を強調し、かつ、θ2方向からの音声を抑圧するものである。また、図16図に示す構成においては、複数個のマイクによるマイクロホンアレーを前後方向に配置して、同じ方向でも、距離に応じて雑音抑圧できるようにしたものである。このような構成にすると、前方の音源を抑圧して、その後方の希望音声を強調して録音することも可能となる。
図17は、本発明の第3の実施の形態に係るデジタルカメラ300の回路構成を示すブロック図である。このデジタルカメラ300は、AE、AWB、AF等の一般的な機能を有するものであり、撮像レンズ302は、ズームレンズ、フォーカスレンズで構成され、フォーカス駆動部305及びズーム駆動部306により駆動される。この撮像レンズ302の光軸上には絞り307、シャッタ308及びCCD等で構成される撮像部309が配置されている。絞り307とシャッタ308とは、絞り/シャッタ駆動部310に接続され、撮像部309はドライバ311に接続されている。
|S(ω)|=|X(ω)|−|W(ω)|
を逆フーリエ変換部365に出力させる(ステップS314)。
H(ω)=S^(ω)/X(ω){│X^(ω)│−│X^(ω)│}exp(jωx)X(ω)、
H(ω)=1−{│X^(ω)│/│X(ω)│}、となる。
w(n)=Σmhk(m)ws(n−m),
y(n)=Σmhf(m)ws(n−m),
このときノイズキャンセラーの出力s^(n)は、
s^(n)=s(n)+w(n)−y(n)=s(n)+Σm{hk(m)−hf(m)}ws(n−m)
したがって、hf(m)=hk(m)とできれば、s^(n)=s(n)となり、雑音信号を除去して、音声信号のみを取り出せることとなる。
通常、未知の雑音経路hk(m)を求めるためには、適応フィルタ係数hf(m)は、推定誤差s^(n)の2乗値を統計的に最小にするように更新されるが、hf(k)の最適値を得るには、P元の連立方程式を解く必要があり、信号の統計量が必要となる。このため適応フィルタでは、統計学を学習し、逐次最適解を探すためにLSM(最小二乗平均)法やNLMS(正規化最小二乗平均)法などの適応アルゴリズムが必要となる。
以上のように、マイクロホン部のマイク配置形態は、直線的であっても曲線的であってもよい。
102 撮像レンズ
103 マイクロホンアレー部
105 フォーカス駆動部
106 ズーム駆動部
108 シャッタ
109 撮像部
111 ドライバ
112 撮影録音制御回路
113 ユニット回路
114 A/D変換器
115 映像信号処理部
117 表示制御部
118 画像伸張/復号化部
119 表示部
120 画像符号器/復号器
121 符号化画像メモリ
122 入力インターフェース
123 外部メモリ
124 プログラムメモリ
125 データメモリ
125 表示メモリ
126 測距センサ
127 測距部/合焦検出部
128 距離メモリ
129 座標入力部
130 操作入力部
131 入力回路
132 タッチパネル
135 音声強調部
136 加算器
137 雑音抑圧回路
138 音声メモリ
139 音声符号器/復号器
140 符号化音声メモリ
144 音声強調設定メモリ
145 遅延制御/アレー制御回路
153 映像フォーカス照準
154 音声強調/音声フォーカス音源照準
155 音声強調設定マーク
156 被写体像スルー画像
235 音声強調/抑圧部
236 加減算回路
244 音声強調/抑圧設定メモリ
245 加減算/利得制御回路
251 音源照準
252 雑音抑圧設定マーク
300 デジタルカメラ
301 主マイク
302 参照マイク
302 撮像レンズ
312 撮影録音制御回路
319 表示部
353 フーリエ変換部
354 スペクトル部
355 音声フォーカス設定メモリ
Claims (13)
- 動画を撮影する撮影手段と、
この撮影手段により撮影される被写体像を表示する表示画面手段と、
複数のマイクロホンを有し、前記撮影手段による撮影時に周囲音を検出する検出手段と、
前記撮影手段により撮影される画像における任意の被写体を、音声強調或いは音声抑圧すべき被写体として指定する指定手段と、
前記表示画面手段に、前記指定手段により指定された被写体が音声強調或いは音声抑圧すべき被写体として指定されていることを識別して表示する表示制御手段と、
前記指定手段により指定された被写体までの距離が所定値以上であるか否かを判別する判別手段と、
この判別手段により、前記指定手段により指定された被写体までの距離が所定値以上であると判別された場合には、前記検出手段により検出された周囲音を前記指定手段により指定された被写体の方向に基づいて制御して、当該方向からの音声を強調処理または抑圧処理し、所定値未満であると判別された場合には、前記検出手段により検出された周囲音を前記指定手段により指定された被写体までの距離に基づいて制御して、前記被写体の方向からの音声を強調処理または抑圧処理する音声制御手段と、
前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を強調処理または抑圧処理された周囲音とを記録する記録手段と
を備えることを特徴とするカメラ装置。 - 前記検出手段は、複数のマイクロホンが所定方向に配列されたマイクロホンアレーであることを特徴とする請求項1記載のカメラ装置。
- 前記指定手段は、前記表示画面手段に表示された被写体像中における任意の被写体を操作に基づき指定することを特徴とする請求項1または2記載のカメラ装置。
- 前記音声制御手段は、前記表示画面手段に表示された被写体像中における任意の被写体に対する操作に基づき得られる位置座標に基づき、前記指定された被写体の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理することを特徴とする請求項3記載のカメラ装置。
- 前記音声制御手段は、前記位置座標と、前記撮影手段の焦点距離および前記動画の画像サイズとに基づき、前記指定された被写体の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理することを特徴とする請求項4記載のカメラ装置。
- 前記指定手段により指定された被写体に対して強調処理と抑圧処理のうちどちらを実行させるかを選択する処理選択手段を備え、
前記音声制御手段は、前記検出手段により検出された周囲音を制御し、前記指定手段により指定された被写体の方向からの音声に対して、前記処理選択手段により選択された処理を実行することを特徴とする請求項1から5にいずれか記載のカメラ装置。 - 前記音声制御手段は、
前記指定手段により指定された第1の被写体の音声を強調処理するとともに、前記指定手段により指定された第2の被写体の音声を抑圧処理する手段を含むことを特徴とする請求項1から6にいずれか記載のカメラ装置。 - 前記音声制御手段は、前記音声を強調処理する方向と前記音声を抑圧処理する方向とを独立して設定する設定手段を含むことを特徴とする請求項7記載のカメラ装置。
- 前記検出手段は、複数のマイクロホンが前後方向に配置されたマイクロホンアレーであることを特徴とする請求項1から8にいずれか記載のカメラ装置。
- 前記音声制御手段は、前記複数のマイクロホン配置された方向と同一方向における異なる音源からの音声の一方を強調処理し、他方を抑圧処理することを特徴とする請求項9記載のカメラ装置。
- 動画を撮影する撮影手段と、
この撮影手段により撮影される被写体像を表示する表示画面手段と、
周囲音を検出する検出手段と、
前記撮影手段により撮影される画像における任意の被写体を周囲音から減算処理すべき被写体として指定する指定手段と、
前記表示画面手段に、前記指定手段により指定された被写体が周囲音から減算処理すべき被写体として指定されていることを識別して表示する表示制御手段と、
前記検出手段により検出された周囲音を制御し、前記指定手段により指定された被写体の発する音声を取得する取得手段と、
この取得手段により取得された前記音声を記憶する記憶手段と、
前記指定手段により指定された被写体までの距離が所定値以上であるか否かを判別する判別手段と、
この判別手段により、前記指定手段により指定された被写体までの距離が所定値以上であると判別された場合には、前記記憶手段に記憶されている音声を前記検出手段により検出される周囲音から前記指定手段により指定された被写体の方向に基づいて制御して、減算処理し、所定値未満であると判別された場合には、前記記憶手段に記憶されている音声を前記検出手段により検出される周囲音から前記指定手段により指定された被写体までの距離に基づいて制御して、減算処理する音声制御手段と、
前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を減算処理された周囲音とを記録する記録手段と
を備えることを特徴とするカメラ装置。 - 動画を撮影する撮影手段と、この撮影手段により撮影される被写体像を表示する表示画面手段と、複数のマイクロホンを有し前記撮影手段による撮影時に周囲音を検出する検出手段とを備えるカメラ装置が有するコンピュータを、
前記撮影手段により撮影される画像における任意の被写体を、音声強調或いは音声抑圧すべき被写体として指定する指定手段と、
前記表示画面手段に、前記指定手段により指定された被写体が音声強調或いは音声抑圧すべき被写体として指定されていることを識別して表示する表示制御手段と、
前記指定手段により指定された被写体までの距離が所定値以上であるか否かを判別する判別手段と、
この判別手段により、前記指定手段により指定された被写体までの距離が所定値以上であると判別された場合には、前記検出手段により検出された周囲音を前記指定手段により指定された被写体の方向に基づいて制御して、当該方向からの音声を強調処理または抑圧処理し、所定値未満であると判別された場合には、前記検出手段により検出された周囲音を前記指定手段により指定された被写体までの距離に基づいて制御して、前記被写体の方向からの音声を強調処理または抑圧処理する音声制御手段と、
前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を強調処理または抑圧処理された周囲音とを記録手段に記録する記録制御手段と
して機能させることを特徴とするカメラ制御プログラム。 - 動画を撮影する撮影手段と、この撮影手段により撮影される被写体像を表示する表示画面手段と、複数のマイクロホンを有し前記撮影手段による撮影時に周囲音を検出する検出手段とを備えるカメラ装置の記録音声制御方法であって、
前記撮影手段により撮影される画像における任意の被写体を、音声強調或いは音声抑圧すべき被写体として指定する指定工程と、
前記表示画面手段に、前記指定工程により指定された被写体が音声強調或いは音声抑圧すべき被写体として指定されていることを識別して表示する表示制御工程と、
前記指定工程により指定された被写体までの距離が所定値以上であるか否かを判別する判別工程と、
この判別工程により、前記指定工程により指定された被写体までの距離が所定値以上であると判別された場合には、前記検出手段により検出された周囲音を前記指定工程により指定された被写体の方向に基づいて制御して、当該方向からの音声を強調処理または抑圧処理し、所定値未満であると判別された場合には、前記検出手段により検出された周囲音を前記指定工程により指定された被写体までの距離に基づいて制御して、前記被写体の方向からの音声を強調処理または抑圧処理する音声制御工程と、
前記撮影手段により撮影される動画と、前記音声制御工程により前記音声を強調処理または抑圧処理された周囲音とを記録手段に記録する記録制御工程と
を含むことを特徴とする記録音声制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005032872A JP4934968B2 (ja) | 2005-02-09 | 2005-02-09 | カメラ装置、カメラ制御プログラム及び記録音声制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005032872A JP4934968B2 (ja) | 2005-02-09 | 2005-02-09 | カメラ装置、カメラ制御プログラム及び記録音声制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006222618A JP2006222618A (ja) | 2006-08-24 |
JP4934968B2 true JP4934968B2 (ja) | 2012-05-23 |
Family
ID=36984650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005032872A Expired - Fee Related JP4934968B2 (ja) | 2005-02-09 | 2005-02-09 | カメラ装置、カメラ制御プログラム及び記録音声制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4934968B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008193196A (ja) * | 2007-02-01 | 2008-08-21 | Casio Comput Co Ltd | 撮像装置および指定音声出力方法 |
US9445193B2 (en) | 2008-07-31 | 2016-09-13 | Nokia Technologies Oy | Electronic device directional audio capture |
US10904658B2 (en) | 2008-07-31 | 2021-01-26 | Nokia Technologies Oy | Electronic device directional audio-video capture |
JP5801026B2 (ja) * | 2009-05-28 | 2015-10-28 | 株式会社ザクティ | 画像音響処理装置及び撮像装置 |
JP2011041096A (ja) * | 2009-08-14 | 2011-02-24 | Nec Corp | 携帯端末、並びにこれに用いる集音制御方法及びプログラム |
JP4952769B2 (ja) | 2009-10-30 | 2012-06-13 | 株式会社ニコン | 撮像装置 |
JP5198530B2 (ja) | 2010-09-28 | 2013-05-15 | 株式会社東芝 | 音声付き動画像呈示装置、方法およびプログラム |
US9496841B2 (en) | 2010-10-21 | 2016-11-15 | Nokia Technologies Oy | Recording level adjustment using a distance to a sound source |
US8525868B2 (en) | 2011-01-13 | 2013-09-03 | Qualcomm Incorporated | Variable beamforming with a mobile platform |
EP3471442B1 (en) * | 2011-12-21 | 2024-06-12 | Nokia Technologies Oy | An audio lens |
US9258644B2 (en) | 2012-07-27 | 2016-02-09 | Nokia Technologies Oy | Method and apparatus for microphone beamforming |
JP5866505B2 (ja) * | 2012-12-27 | 2016-02-17 | パナソニックIpマネジメント株式会社 | 音声処理システム及び音声処理方法 |
US9860439B2 (en) | 2013-02-15 | 2018-01-02 | Panasonic Intellectual Property Management Co., Ltd. | Directionality control system, calibration method, horizontal deviation angle computation method, and directionality control method |
KR102158293B1 (ko) * | 2013-09-04 | 2020-09-21 | 삼성전자주식회사 | 이미지 촬영 방법 및 그 전자 장치 |
JP6125457B2 (ja) * | 2014-04-03 | 2017-05-10 | 日本電信電話株式会社 | 収音システム及び放音システム |
JP6878974B2 (ja) * | 2017-03-16 | 2021-06-02 | 株式会社リコー | 撮像装置、撮像システム |
JP6525029B2 (ja) * | 2017-06-29 | 2019-06-05 | 株式会社ニコン | 再生処理装置、撮像装置および再生処理プログラム |
CN112840669B (zh) | 2018-10-11 | 2023-10-13 | 株式会社半导体能源研究所 | 声源分离装置、半导体装置及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05308553A (ja) * | 1992-04-28 | 1993-11-19 | Sanyo Electric Co Ltd | ビデオカメラの録音装置 |
JPH07135694A (ja) * | 1993-11-11 | 1995-05-23 | Matsushita Electric Ind Co Ltd | マイクロホン |
JP3537962B2 (ja) * | 1996-08-05 | 2004-06-14 | 株式会社東芝 | 音声収集装置及び音声収集方法 |
JP2000209689A (ja) * | 1999-01-12 | 2000-07-28 | Canon Inc | サウンド処理装置およびその制御方法、並びに、記録媒体 |
JP2001084713A (ja) * | 1999-09-10 | 2001-03-30 | Nippon Hoso Kyokai <Nhk> | ビデオカメラと一体型の音源分離収音マイクロホンシステム |
JP2001203974A (ja) * | 2000-01-19 | 2001-07-27 | Matsushita Electric Ind Co Ltd | 音声制御型音声映像記録装置及び音声制御方法 |
JP2002252805A (ja) * | 2001-02-22 | 2002-09-06 | Ricoh Co Ltd | 撮像装置、撮像方法、プログラムおよび記録媒体 |
JP2004128646A (ja) * | 2002-09-30 | 2004-04-22 | Canon Inc | 監視システムおよび制御装置 |
-
2005
- 2005-02-09 JP JP2005032872A patent/JP4934968B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006222618A (ja) | 2006-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4934968B2 (ja) | カメラ装置、カメラ制御プログラム及び記録音声制御方法 | |
JP4539385B2 (ja) | 撮像装置、撮像制御プログラム | |
US8401364B2 (en) | Imaging device and playback device | |
JP5801026B2 (ja) | 画像音響処理装置及び撮像装置 | |
JP5594133B2 (ja) | 音声信号処理装置、音声信号処理方法及びプログラム | |
US8848082B2 (en) | Image capturing apparatus, information processing method and storage medium for estimating a position of a sound source | |
US20130021502A1 (en) | Sound corrector, sound recording device, sound reproducing device, and sound correcting method | |
JP5930684B2 (ja) | 情報処理装置及び方法、並びにプログラム | |
KR20060107328A (ko) | 촬상 장치, 음성 기록 장치 및 음성 기록 방법 | |
US9826134B2 (en) | Imaging apparatus having a microphone and directivity control | |
JP2011041096A (ja) | 携帯端末、並びにこれに用いる集音制御方法及びプログラム | |
US9232146B2 (en) | Imaging device with processing to change sound data | |
JP5998483B2 (ja) | 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体 | |
US9160460B2 (en) | Noise cancelling device | |
JP2009130767A (ja) | 信号処理装置 | |
JP2003264900A (ja) | 音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム | |
JP2012114842A (ja) | 撮像装置及び駆動雑音除去装置 | |
JP4542396B2 (ja) | 録音装置 | |
US10104291B2 (en) | Imaging device | |
JP6902961B2 (ja) | 音声処理装置及びその制御方法 | |
JP2011188055A (ja) | 撮像装置 | |
JP2022003753A (ja) | 撮像装置 | |
JP2014026002A (ja) | 録音装置及びプログラム | |
JP2020092381A (ja) | 音声取得装置、音声取得方法及び音声取得プログラム | |
JP2018207313A (ja) | 音声処理装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4934968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |