JP4793459B2 - シンボル読取装置、及びプログラム - Google Patents
シンボル読取装置、及びプログラム Download PDFInfo
- Publication number
- JP4793459B2 JP4793459B2 JP2009047709A JP2009047709A JP4793459B2 JP 4793459 B2 JP4793459 B2 JP 4793459B2 JP 2009047709 A JP2009047709 A JP 2009047709A JP 2009047709 A JP2009047709 A JP 2009047709A JP 4793459 B2 JP4793459 B2 JP 4793459B2
- Authority
- JP
- Japan
- Prior art keywords
- symbol
- image
- size
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10792—Special measures in relation to the object to be scanned
- G06K7/10801—Multidistance reading
- G06K7/10811—Focalisation
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Description
ハンディーターミナル(業務用携帯端末)などのシンボル読取装置は、カメラ等の撮像装置でシンボルを含む被写体を撮像し、当該撮像した撮像画像をデコードエンジンにより解析することで、シンボルの内容を読み取る。
従来、シームレスなフォーカス調整機能を有するデジタルカメラにおいて、バーコード等の被写体の撮影に最適なフォーカス位置を選択するための手段として、以下のような方法が存在する。例えば、PSD(Position Sensitive Detector)を利用した測距センサや2組のリニアイメージセンサを利用した位相差差分方式をとることで直接対象物までの距離を計測し、或いはレーザー照射を利用した測距方法をとることで距離を計測し、その値に沿ったフォーカス位置へとレンズを直接移動するという方法が存在する。
コントラスト法とは、フォーカス位置を最遠方端から最近接端まで移動しながら逐次画像をキャプチャーし、キャプチャーされた画像のコントラストが最も高いと判定されるフォーカス位置を探索するというものである。ただし、この方法にはフォーカス位置を移動しながら逐次画像をキャプチャーするという動作が伴うため、時間が掛かるという欠点がある。
図1に示すように、シンボル読取装置1は、撮像部10と、データ処理部20と、ユーザインタフェース部30と、加速度センサ40と、を備えて構成される。
撮像レンズ部11は、例えば、被写体を撮影するために光を集光する複数のレンズで構成され、倍率を調整するためのズームレンズ11aやピントを調整するためのフォーカスレンズ11b等を備える。
レンズ駆動部12は、被写体の撮像の際に、ズームレンズ11aを光軸方向に移動させるズームレンズ駆動部12a、フォーカスレンズ11bを光軸方向に移動させるフォーカスレンズ駆動部12b等を備える。なお、ズームレンズ駆動部12a及びフォーカスレンズ駆動部12bはそれぞれエンコーダを備え、各モータの回転量を検出することができる。
イメージセンサ13は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子により構成され、撮像レンズ部11が光を集光することによって結像した画像を、デジタル化した画像データとして取り込む。取り込まれた画像データは、データ処理部20のメモリ21に一時的に記憶される。
メモリ21は、撮影処理を行う度にイメージセンサ13が取り込んだ画像データ(例えばバーコード画像等)を一時的に記憶する。また、メモリ21は、画像処理に必要な画像データ、各種フラグの値、閾値等も記憶する。さらに、メモリ21は、画像表示を行うための表示画像データの記憶と読み出しを行うための表示メモリ領域を含んでいる。
画像処理部22は、メモリ21に一時記憶されている画像データに対して、画像表示を行うための所定の画像処理を施す。当該画像処理を施された画像データは、表示画像データとしてメモリ21の表示メモリ領域に格納される。
画像出力部23は、メモリ21の表示メモリ領域に格納された表示画像データを読み出し、当該読み出された表示画像データに基づいてRGB信号を生成し、当該生成されたRGB信号をユーザインタフェース部30の液晶表示部31に出力する。また、RGB信号を、ユーザインタフェース部30の外部インタフェース33を介して外部出力させることにより、テレビやPC、プロジェクタ等の外部機器に画像表示させることも可能である。
ズームレンズ駆動制御部24aは、DCモータによるズームレンズ11aの駆動に必要なパルス数(駆動量)を予め算出して保持しており、当該駆動量に基づいてズームレンズ11aの駆動を制御する。
フォーカスレンズ駆動制御部24bは、撮像レンズ部11により結像された画像のフォーカス精度の評価値、例えば、コントラスト値や、エッジ量に応じて、フォーカスレンズ11bの位置を制御する。また、フォーカスレンズ駆動制御部24bは、算出された駆動量に基づいてフォーカス追従位置を算出し、当該フォーカス追従位置へとフォーカスレンズ11bを駆動させる。
ぶれ補正処理部24cは、後述する加速度センサ40から入力されたシンボル読取装置1のぶれ量に応じて、撮像レンズ部11の図示しないぶれ補正レンズを光軸と直交する方向に駆動し、イメージセンサ13に結像する画像のぶれを補正するよう制御する。
液晶表示部31は、画像出力部23から出力されたRGB信号に基づいて被写体画像を表示する。具体的には、撮像部10により生成された複数の画像データに基づいたライブビュー画像や、録画中に外部メモリ34に記録される動画像を表示したり、外部メモリ34に記録された動画像を再生表示したりする。なお、液晶表示部31に、画像出力部23から適宜出力される表示画像データを一時的に記憶する画像メモリ(図示せず)を備えるようにしてもよい。
操作部32は、ユーザがシンボル読取装置1における所定の操作を行うための機能であり、ユーザの操作に応じた操作信号を制御部24に出力する。操作部32は、例えば、シャッタボタン、選択決定用ボタン、再生ボタン、撮影ボタン、モード切替ボタン等を備えている。モード切替ボタンは、動画を撮影するための動画撮影モードと静止画を撮影するための静止画撮影モードとを切り替える際に用いられるボタンである。
外部インタフェース33は、テレビやPC、プロジェクタ等の外部機器との接続用端子であり、所定の通信ケーブルを介してデータの送受信を行う。
外部メモリ34は、例えば、カード型の不揮発性メモリ(フラッシュメモリ)やハードディスク等により構成され、撮像部10により撮影され、画像処理部22により圧縮・符号化された被写体画像の画像データを、複数記憶する。
ID抽出部51は、制御部24からの指令に基づいて、メモリ21に格納されているバーコード画像からIDを抽出する。抽出されたIDは、ID格納部52に格納される。
以下、図2〜図8を用いて、デジタルカメラ1の動作を説明する。
例えば、シンボル読取装置1の撮像部10から二次元コードまでの距離が近い場合は、シンボル画像がより大きく撮像される領域でピントが合う。つまり、フォーカスレンズ11bが近接側(F−)にあるときに読み取りが成功する。
また、シンボル読取装置1の撮像部10から二次元コードまでの距離がピント位置付近にある場合は、フォーカスレンズ11bをデフォルト位置(F0)から動かさずにピントを合わせることが可能である。本実施形態では、画像解析処理を行うことにより、少々のピンボケは許容できる。そのため、比較的広い範囲でデコードを成功させることができる。
また、シンボル読取装置1の撮像部10から二次元コードまでの距離が遠い場合は、シンボル画像がより小さく撮像される領域でピントが合う。つまり、フォーカスレンズ11bが遠方側(F+)にあるときに読み取りが成功する。
図4は、本実施形態に係るシンボル読取装置1内で行われる二次元コード読取処理の一例について示したフローチャートである。この二次元コード読取処理は、制御部24がプログラムメモリ25に格納されている二次元コード読取プログラムを実行することにより実現される。
ステップS102では、撮像部10により撮像されているシンボル画像を液晶表示部31にスルー表示させる。
ステップS103では、ユーザにより操作部32の撮影ボタンが押下されたか否かを判定する。撮影ボタンが押下された場合は、次のステップS104へと移行し、撮影ボタンが押下されていなかった場合は、ステップS102へと移行する。
ステップS104では、シンボル領域算出処理を行う。このシンボル領域算出処理について、図5、図6を用いて具体的に説明する。
図5に示すように、ステップS201では、図4のステップS102でスルー表示された元画像(図6(a)参照)を2値化する(図6(b)参照)。
ステップS202では、ステップS201で2値化された元画像をブロック分割する(図6(c)参照)。例えば、QVGA(320×240)画像を8ピクセル単位で40×30個のブロックに分割する。なお、適切なピクセル単位は、予め評価実験により設定されるものとする。
ステップS203では、ステップS202で分割された各ブロックを黒ブロックと白ブロックに分割する。黒ブロックと判定するための設定値は、予め評価実験により算出されている。ただし、実際の環境に合わせて、後から変更することも可能である。
ステップS204では、元画像の中心付近の黒ブロックの塊を探索する。具体的には、元画像にラベリング処理を施すことにより塊ブロックを抽出する。
ステップS205では、黒ブロックの塊が占める総ブロック数をカウントする。
ステップS106では、フォーカスレンズ11bを遠方側(F+)へと移動させる。
ステップS107では、サイズが設定値2より大きいか否かを判定する。設定値2とは、図3に示したaの値、すなわちデフォルト位置(F0)で撮像可能な範囲と近接側(F−)で撮像可能な範囲との境界点のことである。サイズが設定値2より大きかった場合は、次のステップS108へと移行し、サイズが設定値2以下であった場合は、ステップS109へと移行する。
ステップS108では、フォーカスレンズ11bを近接側(F−)へと移動させる。
ステップS110では、ステップS109でキャプチャーされた静止画像を解析し、デコード処理を行う。
ステップS111では、静止画像のデコードが成功したか否かを判定する。デコードが成功した場合は、当該二次元コード読取処理を終了し、デコードが成功しなかった場合は、次のステップS112へと移行する。
ステップS112では、デコード処理の再試行回数を超過したか否かを判定する。当該再試行回数は、ユーザが任意に設定可能である。再試行回数を超過した場合は、次のステップS113へと移行し、再試行回数を超過しなかった場合は、ステップS109へと移行する。
ステップS113では、デコード失敗を液晶表示部31にメッセージ表示させる。当該メッセージが表示されると、当該二次元コード読取処理を終了する。
特に、液体レンズのように、1画面のキャプチャー時間よりもフォーカス移動の方が圧倒的に速いカメラモジュールでは高い効果を発揮する。
図7、図8は、本実施形態に係るシンボル読取装置1内で行われる二次元コード読取処理の一例(二次元コード読取処理2)について示したフローチャートである。
図7に示すように、ステップS301では、フォーカスレンズ11bの位置をデフォルト位置(F0)に移動させる。
ステップS302では、撮像部10により撮像されているシンボル画像を液晶表示部31にスルー表示させる。
ステップS303では、ユーザにより操作部32の撮影ボタンが押下されたか否かを判定する。撮影ボタンが押下された場合は、次のステップS304へと移行し、撮影ボタンが押下されていなかった場合は、ステップS302へと移行する。
ステップS305では、ステップS304でキャプチャーされた静止画像を解析し、デコード処理を行う。
ステップS306では、静止画像のデコードが成功したか否かを判定する。デコードが成功した場合は、当該二次元コード読取処理を終了し、デコードが成功しなかった場合は、次のステップS307へと移行する。
ステップS307では、デコード処理の再試行回数を超過したか否かを判定する。当該再試行回数は、ユーザが任意に設定可能である。再試行回数を超過した場合は、次のステップS308へと移行し、再試行回数を超過しなかった場合は、ステップS309へと移行する。
ステップS308では、デコード失敗を液晶表示部31にメッセージ表示させる。当該メッセージが表示されると、当該二次元コード読取処理を終了する。
ステップS310では、シンボル領域算出処理を行う。このシンボル領域算出処理については、図5、図6を用いて具体的に説明したので、ここでは説明を省略する。
ステップS311では、サイズが設定値1より小さいか否かを判定する。設定値1とは、図3に示したbの値、すなわちデフォルト位置(F0)で撮像可能な範囲と遠方側(F+)で撮像可能な範囲との境界点のことである。サイズが設定値1より小さかった場合は、次のステップS312へと移行し、サイズが設定値1以上であった場合は、ステップS313へと移行する。
ステップS312では、フォーカスレンズ11bを遠方側(F+)へと移動させる。
ステップS313では、サイズが設定値2より大きいか否かを判定する。設定値2とは、図3に示したaの値、すなわちデフォルト位置(F0)で撮像可能な範囲と近接側(F−)で撮像可能な範囲との境界点のことである。サイズが設定値2より大きかった場合は、次のステップS314へと移行し、サイズが設定値2以下であった場合は、ステップS304へと移行する。
ステップS314では、フォーカスレンズ11bを近接側(F−)へと移動させる。
ステップS316では、フォーカスレンズ11bを遠方側(F+)へと移動させる。
ステップS317では、推定サイズが設定値4より大きいか否かを判定する。設定値4とは、図3に示したaの値、すなわちデフォルト位置(F0)で撮像可能な範囲と近接側(F−)で撮像可能な範囲との境界点のことである。推定サイズが設定値4より大きかった場合は、次のステップS318へと移行し、推定サイズが設定値4以下であった場合は、ステップS304へと移行する。
ステップS318では、フォーカスレンズ11bを近接側(F−)へと移動させる。
これにより、二次元コードのデコードに失敗したときにも、シンボルサイズの推定ができてさえいれば、改めて二次元コードの撮影を行わなくても画像を解析してデコード処理を行うことができるため、無駄な撮影動作を省くことが可能となる。
10 撮像部
11 撮像レンズ部
11a ズームレンズ
11b フォーカスレンズ
12 レンズ駆動部
12a ズームレンズ駆動部
12b フォーカスレンズ駆動部
13 イメージセンサ
20 データ処理部
21 メモリ
22 画像処理部
23 画像出力部
24 制御部
24a ズームレンズ駆動制御部
24b フォーカスレンズ駆動制御部
24c ぶれ補正処理部
25 プログラムメモリ
30 ユーザインタフェース部
31 液晶表示部
32 操作部
33 外部インタフェース
34 外部メモリ
40 加速度センサ
50 ID判別部
51 ID抽出部
52 ID格納部
Claims (4)
- シンボルを撮影して画像を生成する撮像手段と、
前記撮像手段により生成された撮影画像から前記シンボルの大きさを検出する検出手段と、
前記検出手段により検出されたシンボルの大きさと予め設定された少なくとも2つの異なる値とを比較して大小を判定する判定手段と、
前記判定手段による判定の結果、前記シンボルの大きさが、前記2つの異なる値のうち小さい方の値よりも小さい場合は前記撮像手段の焦点位置を遠方側の所定位置へと移動させ、前記2つの異なる値のうち大きい方の値よりも大きい場合は前記撮像手段の焦点位置を近接側の所定位置へと移動させる焦点移動制御手段と、
前記撮像手段により生成された撮影画像から前記シンボルに対応するシンボルデータを解析する解析手段と、
を備えたことを特徴とするシンボル読取装置。 - 前記シンボルは、1次元バーコード又は2次元コードであることを特徴とする請求項1に記載のシンボル読取装置。
- 前記検出手段は、前記撮影画像に含まれる座標位置を示す部分に基づいて前記シンボルの大きさを検出することを特徴とする請求項1又は2に記載のシンボル読取装置。
- シンボル読取装置のコンピュータを、
シンボルを撮影して画像を生成する撮像手段、
前記撮像機能により生成された撮影画像から前記シンボルの大きさを検出する検出手段、
前記検出機能により検出されたシンボルの大きさと予め設定された少なくとも2つの異なる値とを比較して大小を判定する判定手段、
前記判定機能による判定の結果、前記シンボルの大きさが、前記2つの異なる値のうち小さい方の値よりも小さい場合は前記撮像機能の焦点位置を遠方側の所定位置へと移動させ、前記2つの異なる値のうち大きい方の値よりも大きい場合は前記撮像機能の焦点位置を近接側の所定位置へと移動させる焦点移動制御手段、
前記撮像機能により生成された撮影画像から前記シンボルに対応するシンボルデータを解析する解析手段、
として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047709A JP4793459B2 (ja) | 2009-03-02 | 2009-03-02 | シンボル読取装置、及びプログラム |
US12/710,526 US8302867B2 (en) | 2009-03-02 | 2010-02-23 | Symbol reading device, symbol reading method and program recording medium to control focus based on size of captured symbol |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009047709A JP4793459B2 (ja) | 2009-03-02 | 2009-03-02 | シンボル読取装置、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011065354A Division JP5440532B2 (ja) | 2011-03-24 | 2011-03-24 | 画像撮像装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010204792A JP2010204792A (ja) | 2010-09-16 |
JP4793459B2 true JP4793459B2 (ja) | 2011-10-12 |
Family
ID=42666595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009047709A Active JP4793459B2 (ja) | 2009-03-02 | 2009-03-02 | シンボル読取装置、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8302867B2 (ja) |
JP (1) | JP4793459B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019106443A1 (de) * | 2018-09-10 | 2020-03-12 | Jenoptik Optical Systems Gmbh | Vorrichtung und Verfahren zur Fokusverstellung für ein Gerät zur Materialbearbeitung und Gerät zur Lasermaterialbearbeitung |
JP2022154455A (ja) * | 2021-03-30 | 2022-10-13 | ブラザー工業株式会社 | 印刷装置、印刷品質判定方法、及び印刷品質判定プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3811235B2 (ja) | 1996-11-05 | 2006-08-16 | オリンパス株式会社 | バーコード読み取り装置 |
JPH1139420A (ja) | 1997-07-22 | 1999-02-12 | Mitsubishi Heavy Ind Ltd | コード読み取り装置 |
JP4281139B2 (ja) * | 1999-02-09 | 2009-06-17 | ソニー株式会社 | 位置認識装置、位置認識方法及び仮想画像立体合成装置 |
JP2002056348A (ja) * | 2000-08-07 | 2002-02-20 | Tohken Co Ltd | オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法 |
JP5011625B2 (ja) | 2001-09-06 | 2012-08-29 | 株式会社ニコン | 撮像装置 |
JP4167135B2 (ja) * | 2003-06-30 | 2008-10-15 | 株式会社オプトエレクトロニクス | 光学的情報読取装置 |
JP4534539B2 (ja) | 2004-03-18 | 2010-09-01 | カシオ計算機株式会社 | カメラ装置およびプログラム |
JP4266891B2 (ja) | 2004-07-06 | 2009-05-20 | 三洋電機株式会社 | 撮像装置 |
JP4389812B2 (ja) * | 2005-03-03 | 2009-12-24 | 株式会社デンソーウェーブ | 光学情報読取装置 |
US7748629B2 (en) * | 2006-01-31 | 2010-07-06 | Symbol Technologies, Inc. | Extended working range illumination system for an imaging-based bar code reader |
JP2008145782A (ja) | 2006-12-11 | 2008-06-26 | Pentax Corp | 焦点調節装置を備えたカメラ |
US7854385B2 (en) * | 2007-10-31 | 2010-12-21 | Symbol Technologies, Inc. | Automatic region of interest focusing for an imaging-based bar code reader |
US8083148B2 (en) * | 2008-12-16 | 2011-12-27 | Hand Held Products, Inc. | Indicia reading terminal including frame processing |
-
2009
- 2009-03-02 JP JP2009047709A patent/JP4793459B2/ja active Active
-
2010
- 2010-02-23 US US12/710,526 patent/US8302867B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8302867B2 (en) | 2012-11-06 |
JP2010204792A (ja) | 2010-09-16 |
US20100219247A1 (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3657773B1 (en) | Method for zooming by switching between dual cameras, mobile terminal and storage device | |
JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
EP2401860B1 (en) | Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame | |
CN103024265B (zh) | 摄像装置和摄像装置的摄像方法 | |
US8284994B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4730478B2 (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
US8994874B2 (en) | Image capture apparatus and control method therefor | |
JP2006344066A (ja) | 図形コード読取装置 | |
JP2007281555A (ja) | 撮像装置 | |
JP2008299784A (ja) | 被写体判定装置及びそのプログラム | |
US9412008B2 (en) | Tracking apparatus and tracking method | |
JP4894708B2 (ja) | 撮像装置 | |
US20130076940A1 (en) | Photographing apparatus and method of detecting distortion thereof | |
US10070039B2 (en) | Image processing device and image processing method | |
JP4793459B2 (ja) | シンボル読取装置、及びプログラム | |
JP2017212755A (ja) | 撮像装置 | |
KR101677699B1 (ko) | 카메라 모듈 및 이를 포함한 이동통신 단말기 | |
JP5440532B2 (ja) | 画像撮像装置及びプログラム | |
JP5195663B2 (ja) | 撮像装置、合焦方法及びプログラム | |
WO2011052120A1 (ja) | 撮影制御装置および撮影制御方法 | |
JP2009094741A (ja) | 撮像装置、撮像方法及びプログラム | |
JP5965653B2 (ja) | 追尾装置及び追尾方法 | |
JP5573311B2 (ja) | カメラ | |
JP5067323B2 (ja) | 撮影装置、及びプログラム | |
JP2008178031A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110628 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4793459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |