JP4569616B2 - 画像処理装置および照合システム - Google Patents
画像処理装置および照合システム Download PDFInfo
- Publication number
- JP4569616B2 JP4569616B2 JP2007261136A JP2007261136A JP4569616B2 JP 4569616 B2 JP4569616 B2 JP 4569616B2 JP 2007261136 A JP2007261136 A JP 2007261136A JP 2007261136 A JP2007261136 A JP 2007261136A JP 4569616 B2 JP4569616 B2 JP 4569616B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- recording medium
- feature amount
- detected object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
- G03G15/00—Apparatus for electrographic processes using a charge pattern
- G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
- G03G15/5025—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the original characteristics, e.g. contrast, density
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
また、請求項4に記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、第1の記録媒体について前記記憶手段に記憶された前記特徴量と、第2の記録媒体について前記算出手段によって算出された前記特徴量とを照合する照合手段と、前記照合手段による照合結果に関する情報を出力する出力手段とを備えることを特徴とする。
請求項4〜6に係る発明によれば、被検出体の分布の特徴量を用いずに照合する場合と比較して、高速、且つ高精度に記録媒体に含有される被検出体の分布の特徴量を照合することができる。
請求項7に係る発明によれば、本構成を有しない場合に比較して、可視画像が形成された記録媒体から、被検出体に相当する画像を精度よく抽出することができる。
請求項8,9に係る発明によれば、本構成を有しない場合と比較して、記録媒体に含有される被検出体の分布の特徴量に関する情報をより少ない情報量で記憶しておくことができ、被検出体の分布の特徴量を用いずに照合する場合と比較して、高速、且つ高精度に記録媒体に含有される被検出体の分布の特徴量を照合することができる。
請求項10に係る発明によれば、被検出体の分布の特徴量を照合するとともに、可視画像の属性情報に関する情報を出力することができる。
請求項11に係る発明によれば、外部の空間領域へ記録媒体を持ち出し可能でないことを表す属性情報を出力し、記録媒体を持ち出させないような制御を行わせることができる。
請求項12に係る発明によれば、外部の空間領域へ記録媒体が持ち出されようとしていることを報知したり、ゲートを制御したりすることにより、より厳重に外部の空間領域への記録媒体の持ち出しを制限することができる。
(A)第1実施形態
(1)構成
図1は、本発明の一実施形態である照合システム100の全体構成を示す斜視図である。図1に示すように、照合システム100は、第1の装置である登録装置200と、第2の装置である照合装置300と、ゲートとして開閉可能な扉400とを備えている。この照合システム100は、例えば企業や学校の一室などのように、所定の範囲の限られた空間領域に設置される。この空間領域内には、可視画像が形成されたシート状の記録媒体(以下、印刷物という)が複数あり、それらの印刷物の中には、その外部の空間領域へ持ち出しが禁止されているものがある。この印刷物となる記録媒体は例えば用紙であり、その用紙には1又は複数の金属の被検出体が予め漉き込まれている。登録装置200は、例えば電子写真方式の画像形成装置であり、ユーザによって指示された可視画像を用紙に形成すると共に、その用紙(第1の記録媒体)を光学的に読み取ってそこに漉き込まれている被検出体の分布の特徴量を算出して記憶する。照合装置300は、例えば光学的に印刷物(第2の記録媒体)の画像を読み取るスキャナ装置であり、扉400の近傍に設置されている。扉400は通常は閉まっており、後述する扉開閉部401によって扉400の開閉が制御される。
画像形成ユニットは、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)の各色トナー毎に設けられ、その各々が、感光体ドラム、帯電部、露光部、現像部、転写部を有する。感光体ドラムは、軸を中心にして所定の速度で周回するドラム状の部材であり、帯電部によって所定の電位に帯電される。露光部は、帯電した感光体ドラムにレーザ光を照射して静電潜像を形成する。現像部は、感光体ドラムに形成された静電潜像にトナーを付着させてトナー像として現像する。転写部は、感光体ドラムに現像された各色のトナー像を、給紙トレイから画像の形成にあわせて搬送される用紙に転写する。用紙上のトナー像が定着されたら、用紙は装置外へ排出される。
画像読取部220の構成は、具体的には図3のようになっている。図3に示すように、画像読取部220は、光源21と、センサ22と、搬送ロール23、24と、信号処理回路25とを備える。光源21は、例えば蛍光ランプであり、センサ22が撮像を行うべき位置に光を照射する。センサ22は、例えば密着型のCCD(Charge Coupled Device)イメージセンサであり、光源21により照射された光のうち用紙Sにおいて反射した反射光を受光し、その濃淡を示す画像信号を生成する。搬送ロール23、24は、用紙Sを図中の矢印方向に搬送するロール状部材である。信号処理回路25は、センサ21から供給される画像信号にAD変換等の信号処理を実行し、アナログの画像信号をデジタルの画像情報に変換して出力する回路である。なお、光源21、センサ22および用紙Sは、図3の紙面に垂直な方向に有限の幅を有している。この方向のことを、以下では「X方向」という。そして、X方向に直交する方向、すなわち図3中の矢印方向のことを、以下では「Y方向」という。
図4は、ID情報管理テーブル241の一例を示した図である。このID情報管理テーブル241においては、用紙の識別情報である「用紙ID」と、それぞれの用紙に漉き込まれた被検出体の分布の特徴量とが対応付けられている。被検出体の分布の特徴量とは、用紙に漉き込まれている被検出体がどのように分布しているかということに関する情報であり、例えば図4に示したように、「合計本数」、「領域別本数」、「重なり本数別本数」および「角度範囲別本数」といった特徴量が含まれる。「合計本数」のフィールドには、それぞれの用紙から読み取った被検出体の総数が書き込まれる。「領域別本数」のフィールドには、用紙のそれぞれの部分「F1」〜「F9」に含まれる被検出体の数が書き込まれる。「重なり本数別本数」のフィールドには、用紙面に垂直な方向から見て、互いに重なっている被検出体の数が、「1本」、「2本」、「3本以上」に分類されて書き込まれる。「角度範囲別本数」のフィールドには、用紙面における所定の方向と被検出体が延びる方向とが成す角度を所定の角度範囲R1〜R4別に分類したときの、それぞれの角度範囲R1〜R4に属する被検出体の数が書き込まれる。なお、上述した被検出体の数は、いずれも用紙から読み取られた画像において、被検出体に相当すると判断される画像に基づいて求められた値である。これらの各フィールドに書き込まれる内容やそれを求めるための具体的な手順については、後で詳述する。
図4および図5に示したように、被検出体の分布の特徴量および画像の属性情報は、それぞれ用紙IDに対応付けられている。よって、ID情報記憶部240においては、被検出体の分布の特徴量に、画像の属性情報が対応付けられて記憶されているということができる。
図2に示したように、照合装置300は、制御部310と、画像読取部320と、操作部330と、通知部340と、扉開閉部401とを備える。制御部310は、画像読取部320の動作を制御するとともに、画像読取部320から取得した画像情報に所定の画像処理を実行する。画像読取部320は、一般的なスキャナ装置と同等であり、用紙を光学的に読み取り、これを表す画像情報を生成して制御部310に供給する。ただし、画像読取部320は、印刷物において、画像が形成されていない面(本実施形態の印刷物は、用紙の片面のみに画像が形成されている)を読み取って画像情報を生成する。操作部330は、キーボード等の入力装置またはボタン等の操作子を備え、ユーザによる操作を受け付けてこれを表す制御信号を生成し、制御部310に供給する。通知部340は、液晶ディスプレイやスピーカを備え、制御部310から供給される画像信号や音声信号を出力することによりユーザに各種情報を通知する。扉開閉部401は、制御部310による制御の下、被検出体の分布の特徴量に応じて扉400の開閉を制御する。
続いて、上述の照合システム100が実行する処理の内容を説明する。
(2−1)登録装置200の動作
図8は、登録装置200の制御部210により特徴量算出プログラムP2が実行されたときの処理の概要を示すフローチャートである。この特徴量算出プログラムP2は、ユーザが用紙に画像を形成するための操作(ボタン押下等)を行い、この操作に対応する制御信号を制御部210が取得したときに実行される。このときの画像形成処理は所謂プリントアウトでもよいしコピー(複写)でもよいが、特徴量算出プログラムP2に基づく処理は、その用紙に対する画像形成処理の前に、その画像形成処理とは別のルーチンとして行われるものである。
図8において、はじめに、登録装置200の制御部210は、画像読取部220に用紙の読み取りを行わせ、画像読取部220により生成された画像情報を、インタフェース213を介して取得する(ステップSa)。次に、制御部210は、この画像情報から被検出体に相当する画像、すなわちオブジェクトを抽出する(ステップSb)。そして、制御部210は、抽出した被検出体に相当する画像に基づいて、用紙における被検出体の分布の特徴量を算出する(ステップSc)。
以下、これらステップSa〜Scのうち、特徴的な処理であるステップSb,Scについて詳細に説明する。
図9は、ステップSbのオブジェクト抽出処理を示すフローチャートである。以下、同図に沿って説明する。はじめに、制御部210は、画像読取部220により生成された画像情報に対して平滑化処理を実行する(ステップSb1)。この処理は、基材部分の濃淡の差を低減させるための処理であり、例えば、所定のサイズの平滑化フィルタを適用することにより実現される。続いて、制御部210は、画像情報に対して膨張処理を実行する(ステップSb2)。この処理は、被検出体が埋め込まれている部分を強調するための処理であり、具体的には、注目画素の近傍にある他の画素(以下「近傍画素」という。)を参照し、近傍画素に1つでも注目画素の階調値よりも大きい(すなわち濃い)階調値を有する画素があれば、注目画素の階調値をその近傍画素の階調値に置換する処理である。
向の座標値を表しており、jはY方向の座標値を表している。また、説明の便宜上、画素Pの階調値は「1」であり、その他の画素の階調値は全て「0」であるとする。このような画像情報に対して、例えば注目画素の上下左右の2ライン分の画素を参照した膨張処理を実行すると、画素P(i−2,j−2)を注目画素とした場合、近傍画素は、図10(b)においてハッチングで示した画素となる。すなわち、近傍画素は、画素P(i−4,j−4)〜P(i,j−4)、P(i−4,j−3)〜P(i,j−3)、P(i−4,j−2)〜P(i−3,j−2)、P(i−1,j−2)〜P(i,j−2)、P(i−4,j−1)〜P(i,j−1)、P(i−4,j)〜P(i,j)の24画素である。このとき、近傍画素には階調値が「1」である画素P(i,j)が含まれるので、注目画素である画素P(i−2,j−2)の階調値は、「0」から「1」に置換される。このような処理を各画素について実行すると、その処理結果は、図10(c)に示すように、画素P(i,j)の近傍の24画素の階調値が「1」となる。
次に、図8のステップScの特徴量算出処理について詳細に説明する。この処理は、上述のオブジェクト抽出処理においてメモリに記憶された検出値から、用紙に埋め込まれた被検出体の分布の特徴量を算出するための処理である。
この特徴量算出処理において、制御部210は、画像情報が表す画像を複数の画像(以下、部分画像という)に分割し、その部分画像領域毎に被検出体の分布の特徴量を算出する。具体的には、図13に示したように、制御部210は、画像領域全体を格子状に3×3の計9つの部分画像領域F1〜F9に分割する。図11に示した画像を部分画像領域F1〜F9に分割すると、図14に図示した通りになる。このとき、X=2338,4676の直線と、Y=1653,3306の直線が、それぞれ隣り合う部分画像領域の境界となる。
まず、制御部210は、あるオブジェクトを対象として、当該オブジェクトが属する部分画像領域がF1〜F9のいずれであるかを特定する(ステップSc2)。ここでは、各オブジェクトの重心の座標値と各部分画像領域の座標値とが比較され、その重心が属する部分画像領域が、そのオブジェクトの属する部分画像領域として特定される。図14の例で言えば、例えば、オブジェクトAは部分画像領域F2に属するし、オブジェクトBは部分画像領域F3に属する。
より具体的には、制御部210は、抽出したオブジェクトの面積または周囲長から重なり本数を算出する。被検出体の長さは25mm程度であるから、その被検出体1本当たりの面積は10000〜33000(画素)であり、被検出体1本当たりの周囲長は850〜1500(画素)である。そこで、制御部210は、オブジェクトの面積が33000以上55000未満であるか、またはオブジェクトの周囲長が1500以上3000未満であれば、重なり本数は「2」であるとし、オブジェクトの面積が55000以上であるか、またはオブジェクトの周囲長が3000以上であれば、重なり本数は「3以上」であるとしている。そして、制御部210は、オブジェクトの面積が33000未満であるか、またはオブジェクトの周囲長が1500未満であれば、重なり本数は「1」であるとしている。これにより、図16に示すように、重なりのない被検出体とみなされる場合に重なり本数「1」となり、2本の被検出体が重なって1つのオブジェクトとなっているとみなされる場合に重なり本数「2」となり、3本の被検出体が重なって1つのオブジェクトとなっているとみなされる場合に重なり本数「3以上」となる。
するから「2」である。角度範囲R3においては、オブジェクトJが属するから「1」である。角度範囲R4においては、オブジェクトA、B、CおよびFが属するから「4」である。
次に、照合装置300の動作について説明する。
印刷物を外部に持ち出したいユーザが、その印刷物を照合装置300にセットして、照合を行うための操作(ボタン押下等)を行うと、照合装置300の制御部310は、特徴量算出照合プログラムP4を実行する。なお、以下の照合装置300の動作説明においては、図11に示した画像から算出された特徴量(図19参照)と、図4に示すID情報管理テーブル241の内容(特徴量)とが照合される場合について説明する。
まず、制御部310は、画像読取部320に印刷物の読み取りを行わせ、画像読取部320により生成された画像情報を、インタフェース313を介して取得する。次に、制御部310はオブジェクト抽出処理を実行して、特徴量算出処理を実行する。この制御部310が実行する印刷物の読み取り、オブジェクト抽出処理および特徴量算出処理(図7のステップSa,Sb,Scに相当する処理)の手順については、上述した登録装置200の制御部210が実行する処理と同じであるから、その説明を省略する。
制御部310は、印刷物に基づいて特徴量を算出すると、算出した特徴量と、ID情報記憶部240のID情報管理テーブル241に書き込まれた特徴量とを照合する照合処理を実行する。
まず、制御部310は、オブジェクトの総数が一致または1個分だけ異なる用紙IDを、ID情報管理テーブル241から抽出する(ステップSd1)。図11に示した画像に属するオブジェクトの総数は10個であるから、制御部310は、「合計本数」のフィールドに「9」、「10」または「11」と書き込まれた用紙ID「2」、「6」,「7」、「8」および「9」のみを抽出する。この処理は、ID情報管理テーブル241に膨大な数の情報が記憶されている場合、制御部310がここに書き込まれたすべての特徴量と照合するようにしてしまうと、処理に要する時間も膨大になる。したがって、制御部310は、オブジェクトの総数がおおよそ一致する用紙IDを絞っておくことで、照合処理にかかる負担を低減させている。
一方、制御部310は、一致数が閾値以上であると判断すれば(ステップSd7;YES)、その一致数が現時点で最大値であるか否かを判断する(ステップSd8)。つまり、制御部310はそれよりも一致数が大きな用紙IDを特定しており、一致数が最大値よりも小さいと判断すれば(ステップSd8;NO)、印刷物は、注目している用紙IDに対応する用紙と同一物でないと判断し、上述したステップSd2に戻り、別の用紙IDに着目して上述した処理を繰り返す。一方、制御部310は、注目している用紙IDについて、一致数が最大値よりも大きいと判断すれば(ステップSd8;YES)、当該用紙IDを選択し(ステップSd9)、ステップSd2に戻り、別の用紙IDに着目して上述した処理を繰り返す。
次に、本発明の第2実施形態について説明する。この第2実施形態は、上述した第1実施形態とは、特徴量算出処理および照合処理の動作が異なっており、その他の動作および装置構成については同様である。そこで、以下では、特徴量算出処理および照合処理について詳細に説明する。
ここで、まずハフ変換処理について説明する。階調値が二値で表される画像情報における画素の位置をX座標とY座標とで表した場合、座標(x,y)を通り、x軸とのなす角がθである直線に対して原点からの距離をρとすると、X−Y座標上において座標(x,y)に位置する画素を通る全ての直線は下記式(1)で表すことができる。
(数1)
ρ=xcosθ+ysinθ (0≦θ<π) ・・・(1)
まず、登録装置200の制御部210は、用紙を読み取った画像情報を生成すると、所定の閾値を用いて二値化処理を実行する。次に、制御部210は、この画像情報にハフ変換を実行してハフ曲線を求める。上述したように、被検出体は略直線状であるから、被検出体に相当する画像も同様の略直線状となる。つまり、ある被検出体に相当する画像の画素に基づいて表された複数のハフ曲線は、ハフ平面においてある座標(交点)において交わることになる。したがって、制御部210は、ハフ平面において、多数のハフ曲線の交点を表す座標(つまり、交点を形成するための投票数が多い座標)を参照すれば、被検出体の位置および傾きに相当する情報を得ることができる。
また、用紙に漉き込まれる被検出体の数はある範囲の数に限られるから、制御部210は、投票数が多いものから順に投票数が多い座標(ρ,θ)を被検出体数に応じた所定数だけ抽出して、これを被検出体の分布の特徴量としてID情報記憶部240に書き込む。また、被検出体がやや曲線がかっている場合、ハフ平面においては、複数のハフ曲線の交点が完全には一致しない。この場合、小さな範囲内に多数の交点が集中することになるから、所定の範囲内の投票数に着目すれば、これを特徴量として抽出することもできる。
照合処理に際しては、登録装置200の場合と同じで、まず照合装置300の制御部310は、印刷物を読み取った画像情報を生成すると、二値化処理およびハフ変換処理を実行する。そして、制御部310は、ハフ平面において投票数から多いものから順に座標を抽出していき、これを被検出体の分布の特徴量とする。
次に、制御部310は、ID情報記憶部240に記憶された特徴量と、印刷物から算出した特徴量とを照合するべく、各々の特徴量から座標を1点ずつ選択して、ハフ平面におけるユークリッド距離を算出する。そして、制御部310は、このユークリッド距離が0または所定値以上小さい場合に、被検出体に相当する画像の位置および傾きが一致すると判断する。そして、制御部310は、この一致数が所定値以上である用紙IDが存在すれば、印刷物と、当該用紙IDに対応する用紙とが同一物であると判断する。この後の処理については、上述した第1実施形態と同じである。
次に、本発明の第3実施形態について説明する。この第3実施形態は、上述した第1実施形態とは動作が異なっており、装置構成については同様である。そこで、以下で、その動作内容を中心に説明する。本実施形態では、照合装置300は、クロススペクトルを用いて照合処理を実行する。つまり、登録された用紙から生成された画像情報と、印刷物から生成された画像情報との相関関係に基づいて、2つの画像情報がどの程度類似しているかによって照合を行うのである。
照合処理に際しては、照合装置300の制御部310は、上述した登録装置200の制御部210が実行する重畳画像情報の生成処理と同様にして、印刷物に基づいて重畳画像情報(以下、「照合用重畳画像情報」という)生成する。そして、制御部310は、この照合用重畳画像情報と、ID情報記憶部240に記憶された登録用重畳画像情報とを照合する。
まず、制御部310は、ID情報記憶部240に記憶されたいずれかの登録用重畳画像情報および照合用重畳画像情報に対してそれぞれ2次元フーリエ変換を実行する(ステップSd102)。なお、2次元フーリエ変換後の登録用重畳画像情報をFirとし、照合用重畳画像情報をFiで表す。そして、制御部310は、登録用重畳画像情報をFirと照合用重畳画像情報をFiとに基づいて、クロススペクトルSを算出する(ステップSd103)。クロススペクトルは、下記式(3)によって定義される。なお、F-1は、逆フーリエ変換を表す。
一方、ステップSd105における判定結果が“NO”の場合には、制御部310は、この印刷物の用紙が登録装置200に登録されていないと判断する(ステップSd107)。
次に、本発明の第4実施形態について説明する。この第4実施形態は、上述した第1実施形態とはオブジェクト抽出処理の動作が異なっており、その他の動作および装置構成については同様である。そこで、以下では、オブジェクト抽出処理について説明する。
以下では、制御部310が、生成した画像情報から被検出体に相当する画像のみを抽出する処理の流れについて、図25および図26を参照しつつ説明する。なお、以下の説明においては、画像読取部320が印刷物を読み取って生成した画像情報が表す画像において、用紙に形成された可視画像に相当する画像のことを「印刷画像」といい、被検出体に相当する画像のことを「被検出体画像」という。
なお、図において、平滑化処理部3101、第1処理部3102、第2処理部3103、第3処理部3104、減算処理部3105、オブジェクト抽出処理部3106、重なり判定部3107、補正部3108および特徴量算出部3109は、制御部310が特徴量算出照合プログラムP4実行することによって実現される。
図26は、図25に示した各機能ブロックによる処理が行われた後の画像情報が表す画像の様子を模式的に表した図である。図26に示したように、この画像は印刷画像A1および被検出画像A2からなる。
平滑化処理部3101は、画像読取部320から画像情報を取得して、平滑化処理を実行する。この処理は、例えば、所定のサイズの平滑化フィルタを適用することにより実現される。この処理により、同図(b)に示したような、ノイズ画像A3が除去された画像情報が生成される。
第1処理部3102は、画像読取部320から画像情報を取得し、画像情報に対して強い(近傍画素数が多い)膨張処理を実行してから、比較的高い閾値で二値化処理を実行する。より具体的には、第1処理部3102は、「7×7画素の膨張処理」を3回実行した後、「5×5画素の膨張処理」を3回実行し、さらに、閾値を画像情報の全画素の階調値の平均値から「45」を加算した値として二値化処理を実行する。この処理により、同図(c)に示したような、強い膨張処理により印刷画像A1および被検出体画像A2が強調され、且つ、高い閾値の二値化処理により輝度の高い印刷画像A1のみが現れた画像情報が生成される。
第2処理部3103は、画像読取部320から画像情報を取得し、画像情報に対して弱い膨張処理(近傍画素数が少ない)を実行してから、比較的低い閾値で二値化処理を実行する(d)。より具体的には、第2処理部3103は、「5×5画素の膨張処理」を2回実行した後、「3×3画素の膨張処理」を3回実行し、さらに、閾値を画像情報の全画素の階調値の平均値から「22」を加算した値として二値化処理を実行する。この処理により、同図(d)に示したような、弱い膨張処理により印刷画像A1および被検出体画像A2が細めに強調され、且つ、低い閾値の二値化処理により印刷画像A1と共に、輝度の低い被検出体画像A2が現れた画像情報が生成される。
ここで、重なり判定部3107が実行する処理の内容について図27を参照しつつ説明する。
なお、重なり判定部3107は、一部分が途切れたオブジェクトに印刷画像A1が接していないと判断すれば、当該オブジェクトは、例えば画像の読取時等に発生したノイズ等であり、被検出体画像から抽出されたものでないと判断する。
以上の処理を実行すると、重なり判定部3107は、画像情報(図26(f)および(g)に相当する画像情報)と共に、特定したオブジェクトを表す識別情報を、補正部3108に供給する。
なお、上記実施形態を次のように変形してもよい。具体的には、例えば以下のような変形が挙げられる。なお、これらの変形は、各々を適宜に組み合わせることも可能である。
なお、登録装置200は、被検出体の分布の特徴量として、用紙を読み取った画像情報を用紙IDと対応付けて、ID情報記憶部240に記憶させておく。つまりこの画像情報には、被検出体画像のみが含まれる。
照合装置300は、印刷物を読み取って、上述した図26(c)に示した輝度の高い印刷画像のみを抽出した画像情報と、同図(e)に示した被検出体画像のみが現れる画像情報を生成し、メモリ313に記憶させておく。次に、制御部310は、ID情報記憶部240に記憶された用紙ID毎に記憶された画像情報を読み出すと、この画像情報に、図26(c)に示したような印刷画像のみが現れた画像情報を重畳させる。続いて、制御部310は、この画像情報に対して第4実施形態と同様の方法でオブジェクトを抽出する処理を実行してから、照合処理を実行する。
このようにすれば、被検出体画像と印刷画像とを含む画像情報から、同じ処理によってオブジェクトを抽出する処理を行ってから照合処理が行われるため、制御部310は、オブジェクトの補正を行わなくてもよい。ただし、ID情報記憶部240に記憶されているすべての被検出体を表す画像情報に印刷画像を重畳すると、照合処理に要する時間が膨大になる虞がある。そのため、制御部310は、印刷物を読み取った画像情報と、ID情報記憶部240に記憶された画像情報とを所定の複数の画像領域に分割し、対応する画像領域どうしで、共にオブジェクトが存在する画像領域のみについて、印刷画像を復元して照合処理を実行すればよい。
次に、第2実施形態においては、画像情報の中心を原点とした場合、上記の4通りのいずれの方向で読み取られても原点の位置は不変である。しかし、ハフ平面における座標値(θ,ρ)は、読み取りの天地方向が同じで、読み取り面が反対の場合は(π−θ,ρ)の位置に対応する。また、読み取り面が同じで、読み取りの天地方向が反対の場合は(θ,−ρ)の位置に対応する。また、読み取り面および読み取りの天地方向が共に反対の場合は(π−θ,−ρ)の位置に対応する。すなわち、照合装置300はこれらの対応関係をもとに補正した座標を比較して照合処理を行えばよい。
次に、第3実施形態においては、照合用重畳画像情報と、登録用重畳画像情報を90度ずつ回転した画像情報のそれぞれとをクロススペクトルを用いて照合処理を実行すればよい。
そして、第4実施形態は、被検出体の特徴量の算出方法が同じであるから、第1実施形態と同様にして、画像領域および角度範囲の対応関係をもとに照合すればよい。
また、上述した第4実施形態で、画像情報が表す画像から被検出体に相当する画像のみを抽出した画像情報を生成する処理を、登録装置200も実行する構成としてもよい。この構成によれば、例えば予め様々な模様が描かれている用紙であっても、オブジェクトを抽出することができる。
また、この外部スキャナが、扉400の近傍の外部の空間領域に設置され、当該スキャナによって読み取られた画像に基づいて、照合装置300は照合処理を実行する。そして、照合装置300は、図示しないが、属性情報に対応付けられた持ち込みを許可するか否かが書き込まれたフィールドを参照する。照合装置300は、持ち込みを許可すれば扉400を開けるよう、扉開閉部401に制御信号を出力する。このとき、照合装置300は、持ち出された印刷物が返却された旨を検知し、これをファイルに書き込むようにして、印刷物を管理するようにしてもよい。もちろん、照合装置300は、印刷物が持ち出された場合には、その旨を当該ファイルに書き込む。
一台の装置(登録照合装置とする)で実現する場合、登録照合装置は、ユーザによって、用紙の登録を指示する操作が行われると、画像読取部にセットされた用紙(第1の記憶媒体)を読み取って画像情報を生成する。そして、登録照合装置は、被検出体の分布の特徴量を算出すると、これをID情報記憶部に記憶させておく。また、登録照合装置は、ユーザによって、印刷物の照合を指示する操作が行われると、画像読取部にセットされた印刷物(第2の記憶媒体)を読み取って画像情報を生成する。そして、登録照合装置は、被検出体の分布の特徴量を算出すると、ID情報記憶部から特徴量を読み出して照合し、その照合結果に関する情報を出力する。
また、照合システム100において、照合装置300がID情報記憶部240を備えるようにしてもよいし、外部の記憶装置としてもよい。また、画像読取部を共有する構成としてもよい。例えば、管理者が操作部230を操作することにより登録装置200に対して用紙の登録を指示すると、登録装置200は読み取った用紙を登録する一方で、印刷物を持ち出したいユーザによってセットされた印刷物を読み取ると、登録装置200はこれを読み取って生成した画像情報を照合装置300に出力する。そして、照合装置300がこの画像情報を取得して以降の処理を行う、という構成としてもよい。
Claims (12)
- 1または複数の被検出体を含有する記録媒体を読み取った画像を表す画像情報を取得する画像情報取得手段と、
前記画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する抽出手段と、
前記抽出手段により抽出された前記被検出体に相当する画像に応じて、前記記録媒体が読み取られた面に垂直な方向から見て当該記録媒体において互いに重なっている前記被検出体の数を、前記被検出体の分布の特徴量として算出する算出手段と、
前記算出手段によって算出された前記特徴量を記憶する記憶手段と
を備えることを特徴とする画像処理装置。 - 1または複数の被検出体を含有する記録媒体を読み取った画像を表す画像情報を取得する画像情報取得手段と、
前記画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する抽出手段と、
前記抽出手段により抽出された前記被検出体に相当する画像に応じて、前記記録媒体が読み取られた面における所定の方向と前記被検出体が延びる方向とが成す角度を所定の角度範囲別に分類したときの、それぞれの角度範囲に属する被検出体の数を、前記被検出体の分布の特徴量として算出する算出手段と、
前記算出手段によって算出された前記特徴量を記憶する記憶手段と
を備えることを特徴とする画像処理装置。 - 前記記憶手段は、前記算出手段によって算出された前記特徴量と、複数の前記記録媒体のそれぞれを識別する識別情報とを対応付けて記憶する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 第1の記録媒体について前記記憶手段に記憶された前記特徴量と、第2の記録媒体について前記算出手段によって算出された前記特徴量とを照合する照合手段と、
前記照合手段による照合結果に関する情報を出力する出力手段と
を備えることを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 1または複数の被検出体を含有する記録媒体を読み取った画像を表す画像情報を取得する画像情報取得手段と、
前記画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する抽出手段と、
前記抽出手段により抽出された前記被検出体に相当する画像に応じて、前記記録媒体が読み取られた面に垂直な方向から見て当該記録媒体において互いに重なっている前記被検出体の数を、前記被検出体の分布の特徴量として算出する算出手段と、
前記被検出体の分布の特徴量を外部装置から取得し、取得した特徴量と、前記算出手段によって算出された前記特徴量とを照合する照合手段と、
前記照合手段による照合結果に関する情報を出力する出力手段と
を備えることを特徴とする画像処理装置。 - 1または複数の被検出体を含有する記録媒体を読み取った画像を表す画像情報を取得する画像情報取得手段と、
前記画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する抽出手段と、
前記抽出手段により抽出された前記被検出体に相当する画像に応じて、前記記録媒体が読み取られた面における所定の方向と前記被検出体が延びる方向とが成す角度を所定の角度範囲別に分類したときの、それぞれの角度範囲に属する被検出体の数を、前記被検出体の分布の特徴量として算出する算出手段と、
前記被検出体の分布の特徴量を外部装置から取得し、取得した特徴量と、前記算出手段によって算出された前記特徴量とを照合する照合手段と、
前記照合手段による照合結果に関する情報を出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記抽出手段は、前記画像情報取得手段によって取得された画像情報から、第1の輝度よりも高い画像領域を抽出した第1の画像情報と、前記第1の輝度よりも低い第2の輝度よりも高い輝度の画像領域を抽出した第2の画像情報との差分に応じて、前記被検出体に相当する画像を抽出し、
前記算出手段は、前記抽出手段によって抽出された前記被検出体に相当する画像を表す画像情報を、前記画像情報取得手段によって取得された画像情報に応じて補正し、その補正後の画像情報に応じて前記特徴量を算出する
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。 - 1または複数の被検出体を含有する第1の記録媒体を読み取った画像を表す画像情報を取得する第1の画像情報取得手段と、
前記第1の画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する第1の抽出手段と、
前記第1の抽出手段により抽出された前記被検出体に相当する画像に応じて、前記第1の記録媒体が読み取られた面に垂直な方向から見て当該記録媒体において互いに重なっている前記被検出体の数を、前記被検出体の分布の特徴量として算出する第1の算出手段と、
前記第1の算出手段によって算出された前記特徴量を記憶する記憶手段と、
1または複数の被検出体を含有する第2の記録媒体を読み取った画像を表す画像情報を取得する第2の画像情報取得手段と、
前記第2の画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する第2の抽出手段と、
前記第2の抽出手段により抽出された前記被検出体に相当する画像に応じて、前記第2の記録媒体が読み取られた面に垂直な方向から見て当該記録媒体において互いに重なっている前記被検出体の数を、前記被検出体の分布の特徴量として算出する第2の算出手段と、
前記第2の記録媒体について前記第2の算出手段によって算出された前記特徴量と、前記第1の記録媒体について前記記憶手段に記憶された前記特徴量とを照合する照合手段と、
前記照合手段による照合結果に関する情報を出力する出力手段と
を備えることを特徴とする照合システム。 - 1または複数の被検出体を含有する第1の記録媒体を読み取った画像を表す画像情報を取得する第1の画像情報取得手段と、
前記第1の画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する第1の抽出手段と、
前記第1の抽出手段により抽出された前記被検出体に相当する画像に応じて、前記第1の記録媒体が読み取られた面における所定の方向と前記被検出体が延びる方向とが成す角度を所定の角度範囲別に分類したときの、それぞれの角度範囲に属する被検出体の数を、前記被検出体の分布の特徴量として算出する第1の算出手段と、
前記第1の算出手段によって算出された前記特徴量を記憶する記憶手段と、
1または複数の被検出体を含有する第2の記録媒体を読み取った画像を表す画像情報を取得する第2の画像情報取得手段と、
前記第2の画像情報取得手段によって取得された画像情報から前記被検出体に相当する画像を抽出する第2の抽出手段と、
前記第2の抽出手段により抽出された前記被検出体に相当する画像に応じて、前記第2の記録媒体が読み取られた面における所定の方向と前記被検出体が延びる方向とが成す角度を所定の角度範囲別に分類したときの、それぞれの角度範囲に属する被検出体の数を、前記被検出体の分布の特徴量として算出する第2の算出手段と、
前記第2の記録媒体について前記第2の算出手段によって算出された前記特徴量と、前記第1の記録媒体について前記記憶手段に記憶された前記特徴量とを照合する照合手段と、
前記照合手段による照合結果に関する情報を出力する出力手段と
を備えることを特徴とする照合システム。 - 前記第1の記録媒体に形成されている可視画像の属性を表す属性情報を取得する属性情報取得手段
を備え、
前記記憶手段は、前記第1の算出手段によって算出された前記特徴量に、前記属性情報取得手段によって取得された属性情報を対応付けて記憶し、
前記出力手段は、前記照合結果と、前記記憶手段によって前記特徴量に対応付けられて記憶されている前記属性情報とを出力する
ことを特徴とする請求項8又は9に記載の照合システム。 - 前記属性情報は、前記可視画像が形成された前記第1の記録媒体を所定の空間領域からその外部の空間領域へと持ち出し可能か否かを表す情報であり、
前記出力手段は、前記記憶手段によって前記特徴量に対応付けられて記憶されている前記属性情報が持ち出し可能ではないことを表している場合には、前記第1の記録媒体に対応する第2の記録媒体が持ち出し可能ではない旨を表す情報を出力する
ことを特徴とする請求項10に記載の照合システム。 - ゲートと、
前記照合手段による照合結果が所定の条件を満たし、前記記憶手段によって前記特徴量に対応付けられて記憶されている前記属性情報が持ち出し可能でないことを表している場合には、前記第2の記録媒体が前記外部の空間領域へ持ち出されようとしていることを報知するか、又は、前記外部の空間領域へと持ち出されないように前記ゲートを制御する制御手段と
を備えていることを特徴とする請求項11に記載の照合システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007261136A JP4569616B2 (ja) | 2007-10-04 | 2007-10-04 | 画像処理装置および照合システム |
US12/172,719 US8275167B2 (en) | 2007-10-04 | 2008-07-14 | Image processing apparatus and verification system |
KR1020080080080A KR101218613B1 (ko) | 2007-10-04 | 2008-08-14 | 화상 처리 장치 및 조합 시스템 |
CN2008101297927A CN101403886B (zh) | 2007-10-04 | 2008-08-18 | 图像处理装置和验证*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007261136A JP4569616B2 (ja) | 2007-10-04 | 2007-10-04 | 画像処理装置および照合システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009093280A JP2009093280A (ja) | 2009-04-30 |
JP4569616B2 true JP4569616B2 (ja) | 2010-10-27 |
Family
ID=40523271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007261136A Expired - Fee Related JP4569616B2 (ja) | 2007-10-04 | 2007-10-04 | 画像処理装置および照合システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8275167B2 (ja) |
JP (1) | JP4569616B2 (ja) |
KR (1) | KR101218613B1 (ja) |
CN (1) | CN101403886B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008129976A (ja) * | 2006-11-24 | 2008-06-05 | Fuji Xerox Co Ltd | 画像処理装置、画像読取装置、検査装置および画像処理方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7228425B1 (en) * | 2000-02-07 | 2007-06-05 | Koninklijke Philips Electronics N. V. | Protecting content from illicit reproduction by proof of existence of a complete data set via self-referencing sections |
JP5182594B2 (ja) * | 2010-03-31 | 2013-04-17 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム |
JP2013062648A (ja) * | 2011-09-13 | 2013-04-04 | Dainippon Printing Co Ltd | 個体識別装置、個体識別方法、及びプログラム |
JP2013196418A (ja) * | 2012-03-21 | 2013-09-30 | Dainippon Printing Co Ltd | 個体識別装置、個体識別方法、プログラム |
US9961075B2 (en) | 2012-03-30 | 2018-05-01 | Nokia Technologies Oy | Identity based ticketing |
FR3017230B1 (fr) * | 2014-02-04 | 2016-03-11 | Morpho | Procede de validation de l'utilisation d'un vrai doigt comme support d'une empreinte digitale |
US9652915B2 (en) | 2014-02-28 | 2017-05-16 | Honeywell International Inc. | System and method having biometric identification intrusion and access control |
US9552181B1 (en) * | 2016-04-22 | 2017-01-24 | Xerox Corporation | Method and apparatus for authorizing a print device to perform a service |
JP7211158B2 (ja) * | 2019-02-28 | 2023-01-24 | コニカミノルタ株式会社 | 画像形成システム、画像形成システムの制御方法及びプログラム |
WO2021193102A1 (ja) * | 2020-03-24 | 2021-09-30 | 株式会社日立国際電気 | 撮像装置、映像処理装置及び映像処理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2893336B1 (ja) * | 1998-02-27 | 1999-05-17 | 新生化学工業株式会社 | 個体識別方法 |
JP2001134765A (ja) * | 1999-11-09 | 2001-05-18 | Canon Inc | 画像検索方法及び装置 |
JP2003271907A (ja) * | 2002-03-12 | 2003-09-26 | Omron Corp | 真偽判別装置 |
JP2006268549A (ja) * | 2005-03-24 | 2006-10-05 | Daiwa Institute Of Research Ltd | 機密情報管理システム |
JP2007256101A (ja) * | 2006-03-23 | 2007-10-04 | Toyota Central Res & Dev Lab Inc | 凹凸判定装置及び凹凸判定方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4961231A (en) * | 1987-01-20 | 1990-10-02 | Ricoh Company, Ltd. | Pattern recognition method |
JPH09120456A (ja) * | 1995-10-23 | 1997-05-06 | Omron Corp | 画像処理方法及び装置並びにそれを用いた複写機並びにプリンタ及びスキャナー |
US5919730A (en) | 1996-02-08 | 1999-07-06 | Eastman Kodak Company | Copy restrictive documents |
EP1063623A4 (en) * | 1998-11-24 | 2004-08-04 | Kojin Kk | GOODS MONITORING DEVICE WITH ALARM SOUND |
JP4180715B2 (ja) * | 1998-12-14 | 2008-11-12 | 株式会社東芝 | 印刷物の汚損度判別装置 |
JP2001265183A (ja) | 2000-03-16 | 2001-09-28 | Hitachi Ltd | 印刷複写管理システム |
US7331725B2 (en) * | 2002-02-28 | 2008-02-19 | Portauthority Technologies Inc. | System and method for monitoring unauthorized dissemination of documents and portable media |
JP2004285524A (ja) | 2003-03-24 | 2004-10-14 | Fuji Xerox Co Ltd | 印刷用シートおよび文書管理装置並びに文書管理方法 |
JP4103826B2 (ja) | 2003-06-24 | 2008-06-18 | 富士ゼロックス株式会社 | 真偽判定方法、装置及びプログラム |
ATE533120T1 (de) * | 2003-07-15 | 2011-11-15 | Gemalto Sa | Chipkarte mit manipulationssicheren sicherheits- merkmalen |
JP4811250B2 (ja) * | 2006-11-30 | 2011-11-09 | 富士ゼロックス株式会社 | セキュリティシステム |
-
2007
- 2007-10-04 JP JP2007261136A patent/JP4569616B2/ja not_active Expired - Fee Related
-
2008
- 2008-07-14 US US12/172,719 patent/US8275167B2/en not_active Expired - Fee Related
- 2008-08-14 KR KR1020080080080A patent/KR101218613B1/ko active IP Right Grant
- 2008-08-18 CN CN2008101297927A patent/CN101403886B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2893336B1 (ja) * | 1998-02-27 | 1999-05-17 | 新生化学工業株式会社 | 個体識別方法 |
JP2001134765A (ja) * | 1999-11-09 | 2001-05-18 | Canon Inc | 画像検索方法及び装置 |
JP2003271907A (ja) * | 2002-03-12 | 2003-09-26 | Omron Corp | 真偽判別装置 |
JP2006268549A (ja) * | 2005-03-24 | 2006-10-05 | Daiwa Institute Of Research Ltd | 機密情報管理システム |
JP2007256101A (ja) * | 2006-03-23 | 2007-10-04 | Toyota Central Res & Dev Lab Inc | 凹凸判定装置及び凹凸判定方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008129976A (ja) * | 2006-11-24 | 2008-06-05 | Fuji Xerox Co Ltd | 画像処理装置、画像読取装置、検査装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101403886A (zh) | 2009-04-08 |
US8275167B2 (en) | 2012-09-25 |
JP2009093280A (ja) | 2009-04-30 |
KR101218613B1 (ko) | 2013-01-04 |
US20090092279A1 (en) | 2009-04-09 |
KR20090034720A (ko) | 2009-04-08 |
CN101403886B (zh) | 2011-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4569616B2 (ja) | 画像処理装置および照合システム | |
US10924621B2 (en) | Reading device to read and output an invisible image included in a document | |
US7925096B2 (en) | Method and apparatus for validating holograms | |
JP4886584B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP2012000876A (ja) | バリアブル印刷検品装置及びバリアブル印刷検品方法 | |
JP2005038389A (ja) | 真偽判定方法、装置及びプログラム | |
JP2001024888A (ja) | デジタル画像処理方法 | |
JP4834968B2 (ja) | 真偽判定システム、真偽判定装置及びプログラム | |
JP4552992B2 (ja) | 画像処理装置およびプログラム | |
JP2009077049A (ja) | 画像読み取り装置 | |
JP5454148B2 (ja) | 登録装置、真偽判定システム及び登録プログラム | |
JP2005049212A (ja) | 印刷品質検査装置及び方法 | |
JP4801008B2 (ja) | 階層化微細セキュリティマーク | |
JP6930455B2 (ja) | 情報処理装置 | |
JP3963053B2 (ja) | 画像認識装置及び記録媒体並びに画像処理装置 | |
CN101256371B (zh) | 图像形成装置和图形的印刷方法 | |
JP2020047151A (ja) | 画像形成装置、検査対象物照合装置、検査対象物照合システム、検査対象物照合方法 | |
JP2008228211A (ja) | 画像出力方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム及び記録媒体 | |
JP5127297B2 (ja) | 画像形成システムおよび製本物管理方法 | |
JP2006338331A (ja) | 紙片登録装置及び紙片登録方法 | |
JP5754096B2 (ja) | 画像処理装置、画像処理システム及びプログラム | |
CN106161828A (zh) | 一种用于对证件进行安全信息标注的复印方法及复印机 | |
JP4655615B2 (ja) | 固体識別装置及びプログラム | |
JP4288608B2 (ja) | 画像処理装置 | |
JP4968002B2 (ja) | 書類照合装置、画像形成装置、及び書類照合プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100726 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4569616 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |