JP3397170B2 - 情報コードの記録位置検知装置及び光学情報読取装置 - Google Patents

情報コードの記録位置検知装置及び光学情報読取装置

Info

Publication number
JP3397170B2
JP3397170B2 JP14806899A JP14806899A JP3397170B2 JP 3397170 B2 JP3397170 B2 JP 3397170B2 JP 14806899 A JP14806899 A JP 14806899A JP 14806899 A JP14806899 A JP 14806899A JP 3397170 B2 JP3397170 B2 JP 3397170B2
Authority
JP
Japan
Prior art keywords
code
information
recording position
article
information code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14806899A
Other languages
English (en)
Other versions
JP2000337853A (ja
Inventor
利治 石橋
裕俊 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP14806899A priority Critical patent/JP3397170B2/ja
Publication of JP2000337853A publication Critical patent/JP2000337853A/ja
Application granted granted Critical
Publication of JP3397170B2 publication Critical patent/JP3397170B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、移動する物品に記
録された情報コードを読み取る技術に関する。
【0002】
【従来の技術】従来、バーコード、2次元コードなどの
情報コードを光学的に読み取る手法として、LEDなど
の発光手段が光学情報読取用の光を光学情報記録面へ出
射し、受光素子であるフォトセンサ等を配列したCCD
センサを用いてその反射光から情報コードを画像として
装置内に取り込んでデコードする手法が知られている。
【0003】この種の光学情報読取装置の中には、移動
中の情報コード、例えばベルトコンベアによって搬送さ
れる物品に記録された情報コードを読み取る装置もあっ
た。この場合、物品に記録された情報コードがちょうど
CCDセンサの視野に入るタイミングで、光学情報読取
用の光を出射しCCDセンサを露光して情報コードを画
像として取り込んでいた。
【0004】
【発明が解決しようとする課題】このように移動する物
体に記録された情報コードを適切なタイミングで読み取
るためには、物体の予め定められた位置に情報コードが
付されていなければならない。情報コードの記録位置が
ずれていると、例えば、CCDセンサの視野からはみ出
してしまい、取り込まれた画像中に情報コード領域の一
部あるいは全部が入らないという状況が生じることもあ
る。
【0005】したがって、物品に情報コードを記録した
後、その記録した情報コードが適正な位置にあるか否か
を検査できるようにすることが望ましい。しかしなが
ら、従来、上述したような物品に記録された情報コード
が当該物品の適正な位置に付されているか否かを検査す
るための装置がなかった。
【0006】本発明は、上述した問題点を解決するため
になされたものであり、移動する物品に記録された情報
コードが当該物品の適正な位置に記録されているか否か
を検査するための情報コードの記録位置検知装置及び記
録位置検知機能を備えた光学情報読取装置を提供するこ
とを目的とする。
【0007】
【課題を解決するための手段及び発明の効果】上述した
目的を達成するためになされた請求項1に記載の情報コ
ードの記録位置検知装置では、搬送路を移動する物品が
その搬送路の所定位置に来たことを検知手段が検知す
る。例えばベルトコンベアにて搬送される物品がそのベ
ルトコンベアの所定位置まで移動して来たことを検知す
るという具合である。この検知手段は、例えばフォトセ
ンサを用いて構成することが考えられる。例えばフォト
センサへ入射する光を物品が移動途中に遮る構成、ある
いは、物品による反射でフォトセンサへ光が入射する構
成としておき、フォトセンサの信号変化に基づいて検知
するという具合である。また、検知手段は、物品に塗布
された特殊インクを感知するセンサを用いて構成するこ
とが考えられる。特殊インクとは、いわゆる磁気インク
や、所定の波長の光を変調して反射するインクをいう。
このような特殊インクを物品に塗布しておき、検知手段
が、この特殊インクに所定波長の光を照射し、変調され
た反射光を検知するという具合である。
【0008】検知手段にて物品が搬送路の所定位置に来
たことが検知されると、画像取込手段は、その検知時点
から所定時間経過後に、画像の取り込みを行う。この所
定時間は、物品の適正な位置に記録された情報コードが
CCDセンサの視野に入る位置まで物品が所定位置から
移動する時間であり、搬送装置の搬送速度に応じて予め
設定される。画像取込手段は、例えばCCDセンサを用
いて構成されており、発光手段によって物品のコード記
録面に向けて出射された光の反射光を受光し、情報コー
ドを画像として取り込む。
【0009】位置情報算出手段は、取り込まれた画像に
基づき、当該画像中の情報コードの存在領域を特定可能
な位置情報を算出する。例えば情報コード領域が四辺形
の領域であれば、その四辺形の4つの頂点を位置情報と
して算出するという具合である。
【0010】そして、コード記録位置算出手段が、この
位置情報に基づき、少なくとも搬送方向における、情報
コードの物品に対する記録位置を算出する。ここで「少
なくとも搬送方向における」記録位置を算出するとした
のは、搬送方向に垂直な方向の「ずれ」が生じないよう
に各物品が搬送される場合、又は、搬送方向に垂直な方
向における物品の端部の少なくともいずれか一方が画像
に含まれる場合は、搬送方向に垂直な方向においても、
情報コードの記録位置を算出することができるからであ
る。
【0011】本発明は、物品の搬送速度が一定であると
いう前提に立って所定の取込タイミングで画像を取り込
めば物品の撮像領域が決定される、という点に着目した
ものである。そのため、物品が検知された時点から所定
時間経過後に画像を取り込み、画像中のコード領域を特
定可能な位置情報を算出することによって、情報コード
の物品に対する記録位置を検知結果として算出する。
【0012】本発明の記録位置検知装置にて検知された
記録位置を用いることによって、例えば算出した記録位
置を表示装置等に表示させて利用者がそれを確認するこ
とによって、物品に対する情報コードの記録位置を検査
できる。ところで、上述した物品に対する記録位置とし
て物品の端部からの距離という絶対的な位置を算出する
ことが考えられる。また、上述したように物品に特殊イ
ンクを塗布しておきこの特殊インクによって検知手段が
物品を検知する構成であれば、この特殊インクが塗布さ
れた位置からの距離という相対的な位置を算出してもよ
い。さらにまた、予め定められた情報コードの位置(適
正な位置)を記憶しておく構成とすれば、その適正位置
からの距離という相対的な位置を算出することが考えら
れる。
【0013】このように情報コードの適正な位置を記憶
しておけば、請求項2に示すように、さらにコード記録
位置判断手段が、コード記録位置算出手段によって算出
された記録位置に基づき、情報コードが物品の適正な位
置に記録されているか否かを判断するようにしてもよ
い。この場合、この判断結果が検知結果となっている。
すなわち、情報コードが物品の適正な位置に記録されて
いるか否かが自動的に判断されるため、利用者にとって
便利である。
【0014】なお、上述したように四辺形のコード領域
の4つの頂点の位置といった位置情報を算出する場合、
例えば請求項3に示すように、情報コードの有する位置
決め用シンボルに基づいて算出することが考えられる。
例えばQRコードといった2次元コードは、そのコード
領域が画像中で特定可能となるように位置決め用シンボ
ルと呼ばれる特定パターンを有していることが多い。し
たがって、この位置決め用シンボルを用いれば、上述の
位置情報を簡単に算出することができる。
【0015】また、位置情報としては上述したような四
辺形のコード領域の4つの頂点の位置を採用することが
一例として考えられるが、これには限定されない。例え
ば位置決め用シンボルを検出すればコード領域の大きさ
が分かるため、4つの頂点のうちの少なくとも1つの頂
点の位置を位置情報としてもよい。また例えばQRコー
ドであれば、請求項4に示すように、QRコードの位置
決め用シンボルの中心座標を位置情報とすることが考え
られる。
【0016】QRコードは、ファインダパターンと呼ば
れる3つの位置決め用シンボルを有している。そして、
この位置決め用シンボルの中心座標は、コード領域を特
定する4つの頂点位置を算出するのに比べて簡単に求め
られる。したがって、位置情報の算出処理がさらに簡単
になるという点で有利である。
【0017】ところで、搬送路を搬送される物品の向き
が一定にならない場合も想定される。例えば長方形形状
又は直方体形状の物品を長手方向に搬送するとき、物品
の形状に前後の区別がないため、コード記録面に垂直な
軸を回転軸として180度回転させた状態となってしま
うことも考えられる。そのため、コード記録面を撮像し
た場合に情報コードの向きが一定とならないことも考え
られる。つまり、情報コードが、例えば90度、180
度というように回転した状態で画像中に取り込まれるこ
とが考えられる。
【0018】そこで、請求項5に示すように、さらに、
向き判断手段を備える構成とするとよい。この向き判断
手段は、情報コードの有する位置決め用シンボルに基づ
いて、画像中の情報コードの向きを判断する。例えばQ
Rコードを例に挙げれば、コード領域の左上、左下、及
び右上に、上述した3つの位置決め用シンボルを有して
いる。したがって、この位置決め用シンボルの配置から
コードの向きを判断することができる。そしてこのと
き、コード記録位置算出手段は、向き判断手段による判
断結果に応じて、情報コードの記録位置を算出する。こ
れによって、搬送路を搬送される物品の向きが一定にな
らない場合であっても、情報コードの記録位置が適切に
算出できる。
【0019】なお、画像取込手段が複数枚の画像を取り
込むようにしてもよい。例えば請求項6に示す構成を採
用することが考えられる。すなわち、この構成では、所
定時間として複数の異なる時間が設定されており、画像
取込手段によって、一の物品に対して複数時点で複数枚
の画像が取り込まれる。すると、位置情報算出手段が複
数枚の各画像に対して位置情報を算出し、コード記録位
置算出手段が、複数枚の各画像に対して算出された位置
情報に基づき、情報コードの記録位置を算出する。
【0020】このような構成を採用すれば、物品に記録
された情報コードが複数ある場合にも対応できる。つま
り、複数枚の画像から別の情報コードの位置情報が得ら
れれば、各情報コードの記録位置を算出することができ
る。このように複数枚の画像を取り込む構成において、
物品に複数の情報コードが記録されていることを前提と
すれば、請求項7に示すように、コード記録位置算出手
段が、特定の情報コードに対する相対位置を記録位置と
して算出するようにしてもよい。
【0021】また、ここまでの説明では物品の移動速度
(搬送速度)が一定であることを前提としていたが、例
えば同じ仕様の搬送装置であっても、搬送速度にばらつ
きが見られることがある。また、経年変化によって搬送
速度が変化することもある。そこで、請求項8に示す構
成を採用することが考えられる。この構成は、同一の情
報コードに対する位置情報が複数枚の各画像から算出さ
れるように所定時間を設定しておくことを前提として、
コード記録位置算出手段が、同一の情報コードに対する
位置情報に基づき算出可能な物品の搬送速度を考慮し
て、記録位置を算出することを特徴とするものである。
【0022】この場合、所定時間は、想定される物品の
搬送速度及びコード記録面の領域などを考慮し、比較的
短い間隔で画像が取得されるように設定すればよい。画
像取得間隔を短くすれば、同一情報コードの位置情報が
複数枚の画像から得られることになる。そして、この位
置情報に基づけば、情報コードの移動速度、すなわち物
品の搬送速度が分かる。したがって、この搬送速度に基
づいて情報コードの正確な記録位置を算出することがで
きるのである。その結果、搬送速度がばらついたり、経
年変化した場合であっても、正確な情報コードの記録位
置が算出できるという優れた効果を奏する。
【0023】以上は、情報コードの記録位置検知装置の
発明として説明したが、請求項9に示すように、上述の
記録位置検知装置の構成に加え、さらにデコード手段を
備えた光学情報読取装置の発明として実現することがで
きる。デコード手段は、画像取込手段にて取り込んだ画
像中の情報コードのデコード処理を行い、情報コードと
して記録された情報を読み取る。
【0024】このような記録位置検知機能を有する光学
情報読取装置によれば、情報コードが物品の適正な位置
に記録されているか否かを判断できると共に、情報コー
ドとして記録された情報が正しいものであるか否かを検
査することができる。また、例えば物品として入場券、
乗車券などを考えた場合、それら券の規格通りの位置に
情報コードが印刷されていないときには偽造されたもの
であると判断することもできる。このような偽造を防止
するという観点からは、請求項10に示すように、記録
位置判断手段によって情報コードが物品の適正な位置に
記録されていると判断された場合に限り、デコード処理
を行うようデコード手段を構成することも有効である。
【0025】
【発明の実施の形態】以下、本発明を具体化した一実施
例を図面を参照して説明する。図1は実施例の2次元コ
ード読取装置1の斜視図であり、図2は、図1中に記号
Kで示す方向から図1を見た概略透視図である。
【0026】2次元コード読取装置1は、定置式の装置
であり、ベルトコンベア70によって搬送される物品7
1の上面(光学情報記録面)に印刷されたQRコードを
読み取る。このQRコードについては後述する。2次元
コード読取装置1は、ベルトコンベア70側方の図示し
ない支柱に固定され、ベルトコンベア70の上方に配置
されている。
【0027】2次元コード読取装置1は、光学情報読取
ユニット10と、物品検知ユニット20とを備えてお
り、2つのユニット10,20は相互に固定されて一体
となっている。このような一体化の構成は、メンテナン
ス性の向上に寄与する。最初に物品検知ユニット20に
ついて説明する。
【0028】物品検知ユニット20は、フォトセンサを
用いて構成されており、下方へ光を出射しこの反射光を
検知する。そして、反射光が検知されたか否かを示す信
号を、光学情報読取ユニット10へ出力する。物品検知
ユニット20からの光は、ベルトコンベア70と物品7
1の上面の色の違いによって、ベルトコンベア70に照
射された場合は吸収され、一方、物品71に照射された
場合は反射される。本実施例では、物品71がベルトコ
ンベア70の所定位置まで来ると、具体的には物品71
の先端面71aが図2中に記号αで示した位置(以下、
単に「位置α」という。)まで来ると、反射光が検知さ
れるものとする。
【0029】続いて光学情報読取ユニット10について
説明する。光学情報読取ユニット10は、図3に示すよ
うに、制御回路11、照明用発光ダイオード部(以下
「照明LED部」という。)12、CCDエリアセンサ
13、増幅回路14、2値化回路15、特定比検出回路
16、同期パルス発生回路17、アドレス発生回路1
8、画像メモリ19及び通信I/F回路33を備えてい
る。
【0030】制御回路11は、CPU、ROM、RA
M、I/O等を備えたコンピュータシステムとして構成
され、ROMに記憶されているプログラムに従って後述
する読取処理を実行する。上述した物品検知ユニット2
0からの信号は、この制御回路11に入力されるように
なっている。
【0031】照明LED部12は、物品71の上面に記
録されたQRコードに対して照明用の赤色光を照射する
ものである。本実施例において、この照明LED部12
は図4に示す如く構成されている。ここで照明LED部
12の構成を説明しておく。照明LED部12は、LE
D12a、光量検知センサ12b、トランジスタ12
c、アンプ部12d、抵抗器12eを備えている。
【0032】図4に示すように、制御回路11からの信
号は、アンプ部12dに入力されるようになっている。
アンプ部12dの出力端子は、トランジスタ12cのベ
ース端子に接続されている。また、トランジスタ12c
のコレクタ端子は、LED12aを介して電池(電源)
に接続されている。そして、トランジスタ12cのエミ
ッタ端子は、抵抗器12eを介して接地されている。一
方、光量検知センサ12bは、制御回路11に接続され
ており、LED12aから出射される赤色光の光量を検
知し、電気信号に変換して制御回路11へ出力する。
【0033】この構成において制御回路11は、光量検
知センサ12bからの信号に基づき、LED12aから
の赤色光の光量が経年変化等により減少した場合、アン
プ部12dへLED12aを流れる電流量を増やすよう
制御信号を出力する。すると、その制御信号に基づき、
アンプ部12dがトランジスタ12cのベース電流を可
変し、その結果、LED12aを流れる電流量が増加す
る。これによって、LED12aから出射される赤色光
の光量を一定とすることができる。
【0034】図3中のCCDエリアセンサ13は、2次
元的に配列された複数の受光素子であるCCDを有して
おり、物品71の上面からの反射光を受光し、物品71
の上面の所定領域を撮像してその2次元画像を水平方向
の走査線信号として出力する。この走査線信号は増幅回
路14によって増幅されて2値化回路15に出力され
る。
【0035】増幅回路14は、制御回路11から入力し
たゲインコントロール電圧に対応する増幅率で、CCD
エリアセンサ13から出力された走査線信号を増幅す
る。2値化回路15は、増幅回路14にて増幅された走
査線信号を、閾値に基づいて2値化し、特定比検出回路
16及び画像メモリ19に出力する。
【0036】特定比検出回路16は、2値化回路15に
て2値化された走査線信号の内から後述する所定の周波
数成分比を検出し、その検出結果を画像メモリ19に出
力する。また、2値化回路15から出力される2値デー
タは、画像メモリ19に画像データとして記憶される。
CCDエリアセンサ13は、制御回路11から指示され
たタイミングで画像を検出する。なお、本実施例では、
このように特定比検出回路16によって所定の周波数成
分比を検出した後に、2値データを画像メモリ19に画
像データとして記憶する構成であるが、別の手法とし
て、2値データを画像メモリ19に画像データとして記
憶し、その後、その画像データに基づいて周波数成分比
等の特徴的なパターンの検出を行うよう構成してもよ
い。
【0037】同期パルス発生回路17は、同期パルスを
出力する。アドレス発生回路18はこの同期パルスをカ
ウントして、画像メモリ19の画像データ記憶領域に対
するアドレスを発生させる。画像データである2値デー
タは、アドレス毎に16ビット単位で書き込まれる。な
お、本実施例では、16ビット単位で書き込むようにし
ているが、例えば8ビット単位で書き込むようにしても
よい。
【0038】所定の周波数成分比を検出する特定比検出
回路16は、2値化回路15からの信号における「1」
から「0」への変化あるいは「0」から「1」への変化
を検出し、ある変化点から次の変化点までの間に、同期
パルス発生回路17から出力された同期パルスをカウン
トすることにより、2次元画像の中の明(白)の連続す
る長さ及び暗(黒)の連続する長さを求める。本実施例
では、QRコードを対象としているからである。
【0039】ここでQRコードについて説明する。図8
の説明図にQRコードを例示した。図8に示すようにQ
Rコードは、3つの位置決め用シンボルA,C,Dを有
している。QRコードを読み取る際、まず最初にこの3
つの位置決め用シンボルA,C,Dを検出する。この位
置決め用シンボルA,C,Dは、明暗の比率が走査方向
によらず特定の比率、1(暗):1(明):3(暗):
1(明):1(暗)となるパターンである。
【0040】したがって、特定比検出回路16にて求め
られる長さの比がこの特定の比率になったことを判断し
て、位置決め用シンボルA,C,Dを検出することがで
きる。なお、QRコードは、この位置決め用シンボル
A,C,Dの間に、明、暗のセルを交互に配列したタイ
ミングセルE,Fを有するため、さらにこのタイミング
セルの中心位置から他のセルの中心位置が求められてデ
コードされる。
【0041】通信I/F回路33は、図示しない外部装
置との間で通信を行うものであり、図示しない通信用発
光素子を介してデータを外部装置に送信したり、図示し
ない通信用受光素子を介して外部装置からの信号を受信
する。次に、本2次元コード読取装置1と、搬送される
物品71との位置関係などを説明する。
【0042】図2に示すように、光学情報読取ユニット
10の下面、すなわちベルトコンベア70側にある面に
は、物品71の上面からの反射光を入射させるための読
取口10aが形成されている。CCDエリアセンサ13
の視野は、図5(a)に示すように、物品71の上面の
50mm四方の領域である。図1に示すようにベルトコ
ンベア70によって搬送される物品71の上面には2つ
のQRコードが搬送方向に並んで印刷されているが、上
述したCCDエリアセンサ13の視野に入ると、QRコ
ードはレンズを介してCCDエリアセンサ13に適切に
結像される。このQRコードは、図5(b)に示すよう
に30mm四方のコードである。このQRコードが適正
な位置に記録された状態は、図5(b)に示す如くであ
る。つまり、搬送方向に見ると、物品71の先端面71
aから10mmの間隔をあけて1つ目のQRコードが記
録されており、さらに1つ目のQRコードと20mmの
間隔で2つ目のQRコードが記録されている。また、搬
送方向と垂直な方向に見ると、各QRコードは、物品の
端面71b,71cからそれぞれ30mmの間隔をあけ
て記録されている。
【0043】したがって、QRコードが適正な位置にあ
れば、図2に示す搬送方向におけるCCDエリアセンサ
13の視野の端のうちで上述した位置αから遠い側の
端、すなわち図2中の記号βで示す位置(以下、単に
「位置β」という。)まで物品71の先端面71aが来
ると、CCDエリアセンサ13の視野のちょうど真ん中
に1つ目のQRコードが入ることになる。本実施例で
は、この位置βが位置αから90mmとなっている(図
2参照)。また、CCDエリアセンサ13の視野のちょ
うど真ん中に2つ目のQRコードが来るのは、さらに物
品71が50mm移動した時であり、物品71の先端面
71aが位置αから140mmだけ移動した位置、すな
わち図2中に記号δで示す位置(以下、単に「位置δ」
という。)に来たときである。
【0044】本実施例では、画像として取り込んだQR
コードが物品の適正な位置(図5(b)に示した位置)
に記録されているか否かを判断するため、上述した2つ
の位置β,δ及びそれら位置β,δの中間位置、すなわ
ち図2中に記号γで示す位置(以下、単に「位置γ」と
いう。)の3つの位置に物品71が来ると予測されるタ
イミングで計3枚の画像を取り込む。位置γは、位置α
から115mmとなっている。
【0045】なお、本実施例では、各物品71間で搬送
方向に垂直な方向の「ずれ」は生じないものとする。次
に、本実施例の2次元コード読取装置1の動作を説明す
る。本実施例の2次元コード読取装置1は、光学情報読
取ユニット10の制御部11にて実行される読取処理に
特徴を有している。この読取処理では、物品71の先端
面71aが位置αに来たことを物品検知ユニット20か
らの信号に基づき検知し、その検知時点から所定時間の
経過を判断することによって物品71の先端面71aが
上述した位置β,γ,δまで移動したことを判断してQ
Rコードを画像として取り込む。このとき、この読取処
理では、位置β,γ,δで取り込まれた各画像からQR
コードの物品71に対する記録位置を算出し、当該記録
位置が適正な位置であるか否かを判断し、判断結果に基
づきデコード処理を実行する。
【0046】この読取処理の詳細を、図6のフローチャ
ートに基づいて説明する。まず最初のステップS100
において、物品71を検知したか否かを判断する。この
処理は、物品検知ユニット20からの信号に基づき、物
品71の先端面71aが位置αに来たことを判断するも
のである。ここで物品を検知した場合(S100:YE
S)、S110へ移行する。一方、物品を検知しないう
ちは(S100:NO)、この判断処理を繰り返す。
【0047】S110では、所定時間が経過したか否か
を判断する。ベルトコンベア70の搬送速度は仕様で6
00mm/秒であるとする。したがって、位置αから位
置βまで物品71の先端面71aが移動するのに要する
時間は、90÷600=150ミリ秒である。同様に、
位置αから位置γまで移動するのに要する時間は115
÷600≒192ミリ秒、位置δまで移動するのに要す
る時間は140÷600≒233ミリ秒である。したが
って、所定時間として3つの時間、すなわち150ミリ
秒、192ミリ秒、233ミリ秒を設定しておく。
【0048】S110において所定時間の経過が判断さ
れると(S110:YES)、S120にて画像の取り
込みを行い、S130へ移行する。S130では、所定
枚数取り込んだか否かを判断する。ここで1枚又は2枚
の画像しか取り込んでいない場合(S130:NO)、
S110へ移行し次の画像を取り込む。3枚の画像が取
り込まれている場合(S130:YES)、S140へ
移行する。
【0049】S140では、画像中のQRコードの位置
決め用シンボルの中心座標を算出する。本実施例では、
QRコードの有する3つの位置決め用シンボルのうちの
左上の位置決め用シンボルの中心座標を算出する。例え
ば図7に示すように各画像が取り込まれたものとして以
下の説明を続ける。なお、図7(a)は、1枚目の画像
領域を示している。同様に、図7(b)が2枚目、図7
(c)が3枚目の画像領域を示している。
【0050】図7(a)では、1つ目のQRコードの3
つの位置決め用シンボルA,C,Dの全てが画像中にあ
るため、位置決め用シンボルA,C,Dの配置に基づい
て、左上の位置決め用シンボルAの中心座標、記号X1
で示した位置(以下、単に「位置X1」という。)の座
標を算出する。図7(c)についても同様に、2つ目の
QRコードの左上の位置決め用シンボルAの中心座標、
記号Y3で示した位置(以下、単に「位置Y3」とい
う。)の座標を算出する。
【0051】図7(b)については次のようにして算出
する。例えば図7(b)の画像領域に含まれる1つ目の
QRコードについては、右上の1つの位置決め用シンボ
ルCのみが画像中に含まれている。この場合、位置決め
用シンボルA,C,Dの配置から、画像中に含まれる位
置決め用シンボルが右上の位置決め用シンボルCである
と判断できる。したがって、その位置決め用シンボルの
中心座標から左上の位置決め用シンボルAの中心座標
(画像の外にある位置座標)を求める。この位置を図中
に記号X2として示した(以下、単に「位置X2」とい
う。)。
【0052】一方、図7(b)の画像領域に含まれる2
つ目のQRコードについては、左上及び左下の2つの位
置決め用シンボルA,Dが画像中に含まれている。この
場合、位置決め用シンボルA,C,Dの配置から、上下
に並んだ位置決め用シンボルの上側の位置決め用シンボ
ルが左上の位置決め用シンボルAであると判断できる。
したがって、その位置決め用シンボルの中心座標を求め
る。この位置を図中に記号Y2として示した(以下、単
に「位置Y2」という。)。
【0053】このようにして各画像について位置情報と
しての中心座標が算出されるのであるが、3つの位置決
め用シンボルが1つも画像中にない場合には、位置決め
用シンボルの中心座標が算出できない。そこで続くS1
50では、S140においてQRコードの位置決め用シ
ンボルの中心座標が算出できたか否かを判断する。中心
座標が算出できた場合(S150:YES)、S160
へ移行する。一方、中心座標が算出できなかった場合
(S150:NO)、すなわち3つの位置決め用シンボ
ルが1つも画像中にない場合には、情報コードの記録位
置が適正でないと判断し、S180へ移行する。
【0054】S160では、各画像に対して算出した中
心座標から、物品71の搬送速度を算出する。ここで
は、図7(a)及び(b)の各画像から算出した位置X
1及び位置X2の座標値と画像取込タイミングとに基づ
いて、物品71の搬送速度を算出する。具体的には、1
92−150=42ミリ秒の間に位置X1と位置X2と
の差分だけ移動したと考えられるため、位置X1と位置
X2の差分で示される距離を42ミリ秒という時間で割
ればよい。なお、同一のQRコードの位置情報に基づけ
ば搬送速度は分かるため、図7(b)及び(c)の各画
像から算出した位置Y2及び位置Y3の座標値と画像取
込タイミングとに基づいて、物品71の搬送速度を算出
してもよい。
【0055】ベルトコンベア70の搬送速度は、仕様で
は600mm/秒であるが、このS160の処理によっ
て正確な搬送速度が算出される。搬送速度は、同一製品
の間でも5パーセント程度のばらつきがあり、また、経
年変化することも考えられるからである。
【0056】続く170では、QRコードの物品に対す
る記録位置を算出する。S160にて搬送速度が算出さ
れると、この搬送速度から物品71のどの領域が撮像さ
れているのかが分かる。例えば1枚目の画像は、物品7
1が位置αに来た時点から150ミリ秒後に取り込まれ
る。したがって、150ミリ秒に搬送速度を掛けた距離
だけ物品71が移動した時点で、1枚目の画像が取り込
まれる。
【0057】ここでは、図7(a)に示す1枚目の画像
領域の位置X1の座標値から1つ目のQRコードの記録
位置を算出する。また、図7(b)に示す画像からは位
置X2及び位置Y2の座標が算出されるため、この2つ
の位置X2,Y2座標値に基づき、2つ目のQRコード
の記録位置を1つ目のQRコードの記録位置に対する相
対位置として算出する。
【0058】そして次のS180では、QRコードの記
録位置が適正であるか否かを判断する。QRコードの記
録位置が適正である場合(S180:YES)、すなわ
ち図5(b)に示す位置関係である場合には、S190
へ移行する。一方、QRコードの記録位置が適正でない
場合(S180:NO)、S200へ移行する。
【0059】S190では、デコード処理を行い、その
後、本読取処理を終了する。例えば1つ目のQRコード
は、図7(a)に示した1枚目の画像に基づきデコード
処理を行い、2つ目のQRコードは図7(c)に示した
2枚目の画像に基づきデコード処理を行うという具合で
ある。
【0060】S200では、警告処理を実行し、その
後、本読取処理を終了する。警告処理は、例えば図示し
ない光学情報読取ユニット10のブザー等を用いて利用
者に異常を報知するものであることが考えられる。ま
た、光学情報読取ユニット10が表示装置を備える構成
であれば、この表示装置にその旨を表示するようにして
もよい。
【0061】次に、本実施例の2次元コード読取装置1
の発揮する効果を説明する。本2次元コード読取装置1
では、物品検知ユニット20にて物品71が所定位置に
来たことを検知し(図6中のS100)、その時点から
所定時間が経過した時点で画像を取り込み(S110,
S120)、画像中のQRコードが有する位置決め用シ
ンボルの中心座標を算出する(S140)。この中心座
標からQRコードの物品71に対する記録位置を算出し
(S170)、記録位置が適正であれば(S180:Y
ES)、デコード処理を行う(S190)。一方、位置
決め用シンボルの中心座標が算出できない場合(S15
0:NO)、又はQRコードの記録位置が適正でない場
合には(S180:NO)、警告処理を実行する(S2
00)。
【0062】つまり、本2次元コード読取装置1によれ
ば、搬送路を移動する物品71に記録されたQRコード
が適正な位置に記録されているか否かを簡単に判断する
ことができる。例えば、従来、このような移動する物品
の適正な位置にQRコードなどの情報コードが記録され
ているか否かを判断する装置はなかった。そのため、例
えば物品にQRコードを印刷した後、そのQRコードが
適正な位置に印刷されているか否かを検査しようとすれ
ば、一つずつ検査することになる。これに対して、2次
元コード読取装置1を用いれば、搬送路を物品が移動し
ている状態で、QRコードがその物品の適正な位置に印
刷されているか否かを検査することができる。また、適
正な位置に印刷されている場合、その後、デコード処理
がなされるため、デコード処理結果に基づいてQRコー
ドとして記録された情報が正しいか否かを判断すること
もできる。
【0063】また、本2次元コード読取装置1を、例え
ば入場券、乗車券などに印刷されたQRコードを読み取
るために使用すれば、規格通りの位置にQRコードが印
刷されていない券については、QRコードが読み取られ
ない。したがって、偽造された券の使用防止に効果的で
ある。
【0064】さらにまた、本2次元コード読取装置1で
は、複数枚の画像を所定の取込タイミングで取り込み、
これらの画像に基づき物品71の搬送速度を算出する
(S160)。そして、この搬送速度に基づいてQRコ
ードの記録位置を算出する(S170)。これによっ
て、たとえ搬送装置の搬送速度にばらつきや経年変化が
見られる場合であっても、正確なQRコードの記録位置
を算出することができ、結果として、QRコードが適正
な位置に記録されているか否かを高い精度で判断するこ
とができる。この点からも、上述したような偽造した券
の使用防止に効果的である。
【0065】また、本2次元コード読取装置1では、Q
Rコードを対象としており、画像中のコード領域を特定
するための位置情報として、QRコードの有する位置決
め用シンボルの中心座標を算出する(S140)。した
がって、位置情報の算出処理が簡単である。
【0066】なお、本実施例の物品検知ユニット20及
び光学情報読取ユニット10の制御回路11が「検知手
段」に相当し、光学情報読取ユニット10の照明LED
部12が「発光手段」に相当し、光学情報読取ユニット
10のCCDエリアセンサ13が「画像取込手段」に相
当し、光学情報読取ユニット10の制御回路11が「位
置情報算出手段」、「コード記録位置算出手段」、「コ
ード記録位置判断手段」及び「デコード手段」に相当す
る。
【0067】また、図6中のS100の処理が検知手段
としての処理に相当し、S110〜S130の処理が画
像取込手段としての処理に相当し、S140の処理が位
置情報算出手段としての処理に相当し、S170の処理
がコード記録位置算出手段としての処理に相当し、S1
80の処理がコード記録位置判断手段としての処理に相
当し、S190の処理がデコード手段としての処理に相
当する。
【0068】以上、本発明はこのような実施例に何等限
定されるものではなく、本発明の主旨を逸脱しない範囲
において種々なる形態で実施し得る。 (1)上記実施例では、搬送路を搬送される物品71が
所定の向きに整列されていることを前提としていたが、
ある物品71はコード記録面に垂直な軸を回転軸として
180度回転した状態で搬送されるというように搬送路
に対して物品71の前後がまちまちになる状況も考えら
れる。
【0069】その場合、取り込まれた画像中のQRコー
ドの向きが180度回転した状態で画像中に取り込まれ
ることがある。したがって、例えばS130で肯定判断
された直後に、QRコードが備える位置決めシンボル
A,C,Dの配置によってQRコードの向きを判断する
ステップを追加することが考えられる。この判断処理
は、例えば図7(a)又は(c)に示すようなQRコー
ドの3つの位置決めシンボルA,C,Dの全てが存在す
る画像に基づき実行するという具合である。つまり、3
つの位置決めシンボルA,C,Dが左上、左下及び右上
にある場合は回転のない状態と判断できる。また、右
下、右上及び左上にある場合は180度回転している状
態と判断できる。また、例えば物品71が正方形形状又
は立方体形状であれば、コード記録面に垂直な軸を回転
軸として90度回転した状態で搬送される状況も考えら
れる。
【0070】その場合、取り込まれた画像中のQRコー
ドの向きが90度回転した状態で画像中に取り込まれる
ことが起こり得る。このときは、上記実施例よりもCC
Dエリアセンサの視野を広く構成しておくなどして、一
のQRコードの3つの位置決め用シンボルの全てが存在
する画像を得られるようにすれば、位置決め用シンボル
が右上、左上及び右下にある場合は右方向(時計回り)
に90度回転した状態であると判断できる。また、左
下、右下及び左上にある場合は左方向(反時計回り)に
90度回転した状態であると判断できる。
【0071】そして、以降のステップでは、この判断結
果を考慮してQRコードの記録位置を算出し、記録位置
が適正か否かを判断するようにする。例えばQRコード
が90度、180度といったように回転して画像中に取
り込まれている場合、算出した中心座標を補正して回転
していない状態の中心座標を算出するようにすればよ
い。このように構成すれば、搬送路を搬送される物品7
1の向きが一定にならない場合であっても、情報コード
が物品の適正な位置に記録されているか否かを判断でき
る。
【0072】(2)また、上記実施例ではQRコードを
用いているが、本発明はQRコード以外の2次元コード
やバーコードであっても位置情報の算出アルゴリズムを
変更して同様に適用することができる。 (3)上記実施例において物品検知ユニット20は、フ
ォトセンサを用いて構成されており、物品71からの反
射光に基づいて物品71が位置α(図2参照)に来たこ
とを検知していた。
【0073】この物品検知ユニット20に代え、特殊イ
ンク感知ユニットを光学情報読取ユニット10と一体に
構成することが考えられる。その場合は、物品71に特
殊インクを塗布しておく。例えば図9に示す如くであ
る。特殊インクとは、いわゆる磁気インクや、所定の波
長の光を変調して反射するインクをいう。このような特
殊インクは、通常、可視光線を吸収するため人間の目に
見えない。したがって、図9に示すようにQRコードに
重ねて塗布することも考えられる。そして、特殊インク
感知ユニットが、物品71に塗布された特殊インクに所
定波長の光を照射し、変調されて反射された光を検知す
る。これによって、物品71が位置αに来たことを検知
するようにしてもよい。
【0074】(4)また、物品71に特殊インクが塗布
されていることを前提とすれば、特殊インクの塗布され
た位置(例えば図9に矢印で示す塗布位置)からの相対
位置としてQRコードの記録位置を算出するようにして
もよい。 (5)さらに図10に示すように、物品検知ユニット2
0、特殊インク感知ユニット21、及び光学情報読取ユ
ニット10を備える構成を採用してもよい。このとき、
各ユニット10,20,21は、相互に位置関係が変わ
らないように一体化されている。このように一体化した
構成を採用すれば、本装置を設置する際、各ユニット1
0,20,21を別々に設置する場合と比べて、寸法誤
差を減少させることができる点で有利である。そして、
物品検知ユニット20にて物品71が位置αに来たこと
を検知すると共に、特殊インク感知ユニット21にて物
品71が位置αとは別の位置(図10中に記号εで示し
た位置)に来たことを検知するようにする。
【0075】このようにすれば、物品検知ユニット20
によって物品71が検知された時点と特殊インク感知ユ
ニット21にて物品71が検知された時点とに基づい
て、物品71の搬送速度を算出することもできる。ま
た、特殊インク感知ユニット21にて物品71が検知さ
れた時点に基づいて、QRコードの記録位置を算出する
こともできる。したがって、物品検知ユニット20及び
特殊インク感知ユニット21の両方のユニット20,2
1による物品71のそれぞれの検知時点に基づきQRコ
ードの記録位置を算出すれば、QRコードの記録位置を
より正確に算出することができる。
【図面の簡単な説明】
【図1】 実施例の2次元コード読取装置の斜視図であ
る。
【図2】 図1に示した斜視図を図1中の記号Kで示す
方向から見た概略透視図である。
【図3】 実施例の2次元コード読取装置の概略構成を
示すブロック図である。
【図4】 光学情報読取ユニットを備える照明用発光ダ
イオードの構成を説明する回路図である。
【図5】 物品の上面に記録されたQRコードの位置を
示す説明図である。
【図6】 2次元コード読取装置にて実行される読取処
理を示すフローチャートである。
【図7】 画像中のQRコードの位置情報及び基準位置
との差の算出を示す説明図である。
【図8】 QRコードを例示する説明図である。
【図9】 物品に対する特殊インクの塗布を示す説明図
である。
【図10】 別実施例の2次元コード読取装置の構成を示
す説明図である。
【符号の説明】
1…2次元コード読取装置 10…光学情報
読取ユニット 10a…読取口 11…制御
回路 12…照明用発光ダイオード部 13…CCD
エリアセンサ 14…増幅回路 15…2値化
回路 16…特定比検出回路 17…同期パ
ルス発生回路 18…アドレス発生回路 19…画像メ
モリ 20…物品検知ユニット 21…特殊イ
ンク感知ユニット 33…通信I/F回路 70…ベルト
コンベア 71…物品 71a…先端面 71b,71c…端面
フロントページの続き (56)参考文献 特開 平9−185671(JP,A) 特開 平11−31225(JP,A) 特開 平8−101016(JP,A) 特開 平7−243808(JP,A) 特表 平11−502348(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 G06T 7/00 - 7/60

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】搬送路を移動する物品が当該搬送路の所定
    位置に来たことを検知する検知手段と、 前記物品のコード記録面へ光を出射する発光手段と、 前記検知手段によって前記物品が所定位置に来たことが
    検知された時点から所定時間経過後に、前記発光手段に
    よって出射された光の反射光に基づき、前記物品の前記
    コード記録面に記録された情報コードを画像として取り
    込む画像取込手段と、 前記画像取込手段にて取り込まれた画像に基づき、当該
    画像中の前記情報コードの存在領域を特定可能な位置情
    報を算出する位置情報算出手段と、 該位置情報算出手段にて算出された位置情報に基づき、
    少なくとも前記搬送方向における、前記情報コードの前
    記物品に対する記録位置を算出するコード記録位置算出
    手段とを備えていることを特徴とする情報コードの記録
    位置検知装置。
  2. 【請求項2】請求項1に記載の記録位置検知装置におい
    て、 さらに、前記コード記録位置算出手段によって算出され
    た前記記録位置に基づき、前記情報コードが前記物品の
    適正な位置に記録されているか否かを判断するコード記
    録位置判断手段を備えていることを特徴とする情報コー
    ドの記録位置検知装置。
  3. 【請求項3】請求項1又は2に記載の記録位置検知装置
    において、 前記位置情報算出手段は、前記情報コードの有する位置
    決め用シンボルに基づいて前記位置情報を算出すること
    を特徴とする情報コードの記録位置検知装置。
  4. 【請求項4】請求項3に記載の記録位置検知装置におい
    て、 前記情報コードがQRコードであることを前提として、 前記位置情報算出手段は、QRコードの位置決め用シン
    ボルの中心座標を前記位置情報として算出することを特
    徴とする情報コードの記録位置検知装置。
  5. 【請求項5】請求項3又は4に記載の記録位置検知装置
    において、 さらに、前記情報コードの有する位置決め用シンボルに
    基づいて、前記画像中の前記情報コードの向きを判断す
    る向き判断手段を備え、 前記コード記録位置算出手段は、前記向き判断手段によ
    る判断結果に応じて前記記録位置を算出することを特徴
    とする情報コードの記録位置検知装置。
  6. 【請求項6】請求項1〜5のいずれかに記載の記録位置
    検知装置において、 前記所定時間として複数の異なる時間が設定されている
    ことを前提として、 前記画像取込手段は、前記検出手段によって前記物品が
    所定位置に来たことが検出された時点から当該所定時間
    が経過した複数の時点で前記画像の取り込みを行い、 前記位置情報算出手段は、前記複数枚の各画像に対して
    位置情報を算出し、 前記コード記録位置算出手段は、前記複数枚の各画像に
    対して算出された位置情報に基づき、前記記録位置を算
    出することを特徴とする情報コードの記録位置検知装
    置。
  7. 【請求項7】請求項6に記載の記録位置検知装置におい
    て、 前記物品に複数の情報コードが記録されていることを前
    提として、 前記コード記録位置算出手段は、特定の情報コードに対
    する相対位置を前記記録位置として算出することを特徴
    とする情報コードの記録位置検知装置。
  8. 【請求項8】請求項6又は7に記載の記録位置検出装置
    において、 同一の情報コードに対する前記位置情報が前記複数枚の
    各画像から算出されるように前記所定時間を設定してお
    くことを前提として、 前記コード記録位置算出手段は、前記同一の情報コード
    に対する位置情報に基づき算出可能な前記物品の搬送速
    度を考慮して、前記記録位置を算出することを特徴とす
    る情報コードの記録位置検知装置。
  9. 【請求項9】請求項1〜8のいずれかに記載の記録位置
    検知装置と、 前記画像取込手段にて取り込まれた画像中の情報コード
    に対するデコード処理を行い、前記情報コードとして記
    録された情報を読み取るデコード手段とを備えているこ
    とを特徴とする光学情報読取装置。
  10. 【請求項10】請求項2〜8のいずれかに記載の記録位
    置検知装置と、 前記画像取込手段にて取り込まれた画像中の情報コード
    に対するデコード処理を行い、前記情報コードとして記
    録された情報を読み取るデコード手段とを備えており、 前記デコード手段は、前記コード記録位置判断手段によ
    って前記情報コードが物品の適正な位置に記録されてい
    ると判断された場合に限り、前記デコード処理を行うこ
    とを特徴とする光学情報読取装置。
JP14806899A 1999-05-27 1999-05-27 情報コードの記録位置検知装置及び光学情報読取装置 Expired - Fee Related JP3397170B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14806899A JP3397170B2 (ja) 1999-05-27 1999-05-27 情報コードの記録位置検知装置及び光学情報読取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14806899A JP3397170B2 (ja) 1999-05-27 1999-05-27 情報コードの記録位置検知装置及び光学情報読取装置

Publications (2)

Publication Number Publication Date
JP2000337853A JP2000337853A (ja) 2000-12-08
JP3397170B2 true JP3397170B2 (ja) 2003-04-14

Family

ID=15444499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14806899A Expired - Fee Related JP3397170B2 (ja) 1999-05-27 1999-05-27 情報コードの記録位置検知装置及び光学情報読取装置

Country Status (1)

Country Link
JP (1) JP3397170B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4322147B2 (ja) 2004-03-09 2009-08-26 株式会社ナビタイムジャパン 地図表示機能を有する携帯端末、地図表示システムおよび情報配信サーバならびにプログラム
KR100828539B1 (ko) 2005-09-20 2008-05-13 후지제롯쿠스 가부시끼가이샤 이차원 코드의 검출 방법, 검출 장치, 및 검출 프로그램을기억한 기억 매체
JP4949800B2 (ja) * 2006-10-23 2012-06-13 大和製衡株式会社 整列コンベア用供給装置及び箱詰め装置
JP4926189B2 (ja) * 2009-01-06 2012-05-09 株式会社ナビタイムジャパン 二次元コード記録体の設置方法
JP6358057B2 (ja) * 2014-11-25 2018-07-18 株式会社デンソーウェーブ 光学的情報読取装置
CN106969766A (zh) * 2017-03-21 2017-07-21 北京品创智能科技有限公司 一种基于单目视觉和二维码路标的室内自主导航方法
CN207051946U (zh) 2017-03-31 2018-02-27 腾讯科技(深圳)有限公司 二维码和印刷物
CN113403942B (zh) * 2021-07-07 2022-11-15 西北工业大学 一种基于标签辅助的桥梁检测无人机视觉导航方法

Also Published As

Publication number Publication date
JP2000337853A (ja) 2000-12-08

Similar Documents

Publication Publication Date Title
JP3607131B2 (ja) 情報コード画像取込装置、光学情報読取装置及び画像取込タイミング設定システム
US6128420A (en) Data symbol reading system
US6695209B1 (en) Triggerless optical reader with signal enhancement features
EP2507741B1 (en) Imaging-based scanner including border searching for image acquisition
US7545722B2 (en) Method and apparatus for optically reading information attached to a target
JP3397170B2 (ja) 情報コードの記録位置検知装置及び光学情報読取装置
JP4524429B2 (ja) 情報コード印刷媒体読取方法及び情報コード印刷媒体読取装置
US6420723B2 (en) Position sensing device having a single photosensing element and dual light source
US5959286A (en) Method and apparatus for raster scanning of images
JP5224398B2 (ja) バーコードリーダおよびラベル貼付システム
JP3760594B2 (ja) 光学情報読取装置
JP3989137B2 (ja) 情報コード印刷媒体の偽造判定方法
JP4876656B2 (ja) Icカードの向き検査方法、icカードの向き検査装置及びicカードの向き検査プログラム
JP2016099852A (ja) 光学的情報読取装置
JP3700522B2 (ja) 二次元コード読取システム及び二次元コード読取方法
JP3715489B2 (ja) プリント基板検査装置
JP4231445B2 (ja) 硬貨識別装置
JP2002049888A (ja) バーコード読取装置、バーコード読取方法、バーコード読取システム及びバーコード記録媒体
JP3911892B2 (ja) 光学情報読取システム
JP2010009182A (ja) 光学式記号読取装置
JP2001312715A (ja) 光学情報読取装置
JP3817662B2 (ja) 光学式読取装置の読取方式
JP2001101357A (ja) Icカード識別装置
JPH04102052A (ja) 車両用塗面検査装置
JP4063021B2 (ja) 光学的情報読取装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090214

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100214

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100214

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120214

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120214

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130214

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130214

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130214

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140214

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees