JP5036637B2 - 凹凸文字抽出のための画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、形状がわからない又は形状データ未取得な曲面に施された凹凸文字を認識する際に好適な凹凸文字抽出のための画像処理方法及び画像処理装置に関する。

工場等における生産管理の一例として、個々の中間製品等に対して刻印により固有の識別番号を施し、それをＣＣＤカメラや２次元変位計(凹凸センサ)等の計測機器を用いて検出し、コンピュータを用いて自動的に文字を認識させることで、製造工程及び在庫を管理する事が行なわれている。
このような凹凸文字を認識する技術として以下の公報に開示された技術がある。

特開２００７−１１６５４号公報（特許文献１）は、カードの表面に形成されているエンボス文字を暗視野照明法によって正確に読み取ることができるエンボス文字読取方法を開示する。
このエンボス文字読取方法は、カードの一方辺の両側及び他方辺の両側から前記カードのカード表面を照明する照明光の照明条件を変えて、カード表面を繰り返し撮影するカード表面撮影工程と、異なる照明条件の下で取得された各カード表面撮影画像に基づき、エンボス文字を識別する識別工程とを含む。このエンボス文字読取方法によると、照明光の照射角度を多段階に切り換えて撮影したカード表面撮影画像の中から、エンボス文字輪郭とカード背景のコントラストの高い鮮明な撮影画像を選択して正確に文字認識を行なうことができる。

さらに、特開昭６１−１３１０８３号公報（特許文献２）は、タイヤのサイドウォール部に形成された文字を誤差なく正確に読取ることができるタイヤの文字認識方法を開示する。
この文字認識方法は、タイヤに設けられた刻印をセンサで走査し、その走査方向及び刻印の高さ方向の２つの出力を取出し、高さ方向出力の２つのレベル間の面積を求め、これを走査順に２値化して時系列的に演算装置に記憶させ、次いで得られたデータを予め演算装置のメモリに記憶された各種文字形状の２値化データと比較して読取文字の種別を判定するようにしたことを特徴とする。この文字認識方法によると、タイヤの形状、色、艶に影響されず、また、タイヤに付す文字形状に制限なく、さらには照明装置に特別な工夫がなくても、タイヤ上の文字を正確に信頼性高く読取ることができる。
特開２００７−１１６５４号公報 特開昭６１−１３１０８３号公報

画像処理を用いた文字認識において、曲面状の対象物に施された凹凸文字を認識するときには、基準となる「対象物の曲面形状」が事前にわかっていることは少ない。また、大まかにはわかっていたとしても、対象毎に若干形状が異なることはよくあることである。そのため、精度の高い文字認識が困難となっていた。
さらには、成型後の製品に施された刻印のように対象物の表面形状に歪みが生じ得る状況下で凹凸文字を認識するときには、凹凸文字の段差量が小さい（凹凸文字の品質が悪い）と影も小さくなり文字を見つけづらくなることがある。

これらの問題に対して、特許文献１の技術を適用しようとしても、この技術は、クレジットカードなどの平板上のエンボス文字の抽出に限定されたものを対象としているため、これ以外の、特に対象物表面の基準的な形状が事前にわからない場合には文字の位置を特定することは困難である。
特許文献２に開示された技術では、対象物をタイヤのサイドウォールの凸文字に限定しているので、これ以外、特に対象物表面の基準的な形状が事前にわからない場合の文字抽出を行なうことは困難である。加えて、文字認識には「２値化」の技術を用いているが、２値化技術はその閾値の取り方により得られるデータが大きく異なり、文字検出精度を一定に保つことが困難であったりする。

さらに、いずれの特許文献においても、凹凸の段差量（高さや深さ）の計測については言及がない。
そこで、本発明は、上記問題点を鑑み、形状が事前に判明していない曲面に施された凹凸文字を精度高く読取ることができる凹凸文字抽出のための画像処理方法及び画像処理装置を提供することを目的とする。

上述の目的を達成するため、本発明においては以下の技術的手段を講じた。
本発明に係る凹凸文字抽出のための画像処理方法は、表面形状データが未取得の任意の曲面に施された凹凸文字の画像を抽出するものであって、Ｚ軸方向に段差を有する凹凸文字を含んだ曲面の３次元データを取得する３次元計測ステップと、得られた前記３次元データに基づき、Ｘ軸−Ｙ軸平面である水平面内の各点における高さデータの微分値を算出する微分ステップと、算出された前記微分値に基づきつつ、前記凹凸文字の領域に対応する重みが他の領域より小さくなるように、前記各点の高さデータに対する重みを算出する重み付けステップと、前記重みと前記各点の高さデータとを用いて、前記凹凸文字が刻印された部分を除去した曲面の断面プロファイルを近似した近似曲面の３次元データを算出する近似曲面算出ステップと、前記凹凸文字を含んだ曲面の３次元データと、前記近似曲面の３次元データとから、前記凹凸文字の３次元データを抽出する凹凸文字抽出ステップと、を有することを特徴とする。

これにより、凹凸文字が付与された曲面形状が予め正確にわかっていなくとも、凹凸文字の３次元データ（位置、段差量）を確実に認識でき、正確な文字認識も可能となる。
好ましくは、前記凹凸文字抽出ステップでは、前記凹凸文字を含んだ曲面の高さデータから前記近似曲面の高さデータを減算することで、凹凸文字の段差量を算出するとよい。
好ましくは、前記３次元計測ステップは、表面形状データが未取得の任意の曲面の表面に対して、光切断線を照射するものとされ、前記近似曲面算出ステップでは、前記光切断線に沿った曲面の断面プロファイルに対して、凹凸文字に対応する部分の重みを零又は低くした条件のもとで重み付き最小二乗法を適用することで、前記近似曲面の３次元データを算出するとよい。

凹凸文字が刻印された部分を除去した曲面の断面プロファイルデータ（近似曲面データ）を正確に算出するに際しては、まず、高さデータを微分（２次微分が好ましい）した値に基づいて、各点のＺ方向座標値の重みを算出する。Ｚ方向座標値の微分値は、急峻な変化（文字を形成する凹部や凸部）で大きな値になるため、この特性を用いて文字近傍の重みを小さく算出する。この重みを用いることで、文字のある部分を除外して（低い重みとして）、曲面の形状を近似することができ、高精度に近似曲面データを算出することができる。すなわち、表面形状データが未取得の任意の曲面に施された凹凸文字が存在しても、近似曲面を正確に算出することができる。

好ましくは、凹凸文字抽出ステップは、前記重みを用いて前記凹凸文字の段差量の加重平均値を算出し、前記加重平均値が予め定められた閾値以上であるときには、凹凸文字の品質が良いと判定するステップを含むとよい。
本発明に係る凹凸文字抽出のための画像処理装置は、表面形状データが未取得の任意の曲面に施された凹凸文字の画像を抽出するものであって、Ｚ軸方向に段差を有する凹凸文字を含んだ曲面の３次元データを取得する３次元計測手段と、得られた前記３次元データに基づき、Ｘ軸−Ｙ軸平面である水平面内の各点における高さデータの微分値を算出する微分手段と、算出された前記微分値に基づきつつ、前記凹凸文字の領域に対応する重みが他の領域より小さくなるように、前記各点の高さデータに対する重みを算出する重み付け手段と、前記重みと前記各点の高さデータとを用いて、前記凹凸文字が刻印された部分を除去した曲面の断面プロファイルを近似した近似曲面の３次元データを算出する近似曲面算出手段と、前記凹凸文字を含んだ曲面の３次元データと、前記近似曲面の３次元データとから、前記凹凸文字の３次元データを抽出する凹凸文字抽出手段と、を有することを特徴とする。

本発明によると、形状が事前に判明していない曲面に施された凹凸文字を精度高く読取ることができる。

以下、本発明の実施形態を、図を基に説明する。
なお、以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰返さない。
図１を参照して、本実施形態に係る凹凸文字抽出のための画像処理（以降、画像処理装置）の全体システム構成について説明する。

この画像処理装置は、光切断法を適用した光切断法センサ１を有している。光切断法センサ１は、対象物３にライン状の光切断線（ライン状のレーザー光）を投射する投射部１１と、対象物３の表面から反射してきた光切断線を撮像する撮像部１２とを有している。
さらに、画像処理装置は、光切断法センサ１を対象物３に沿って走査するための走査用レール２を有している。これは、光切断法センサ１による１回の計測では、光切断線が当たった部分しか凹凸情報を取得できないため、当該走査用レール２を用いて光切断法センサ１を対象物３に倣う方向に走査させることにより、対象物３全体の表面形状を計測するためである。

また、画像処理装置は、光切断法センサ１に接続されて光切断法センサ１からの信号を受信して処理するパーソナルコンピュータ（以下パソコン）４を有する。なお、パソコン４による凹凸文字の読取結果はホストコンピュータ５に送信されるようになっている。
対象物３は湾曲した金属板や円筒物表面であって、画像処理装置は、対象物３上に施された凹凸文字を読取る。

詳しくは、光切断法センサ１を走査用レール２により対象物３に倣う方向に平行移動させていくことで、投射部１１から対象物３の表面に光切断線を照射し、それと同時に、対象物３から反射してくる光切断線の画像データを撮像部１２にて取得する。
取得された画像データは、パソコン４内に取り込まれ、パソコン４内で三角測量法の原理に基づいた処理を施されることで、対象物３の３次元形状データ（凹凸情報を含む）が得られる。その後、対象物３上に刻印された凹凸文字を抽出して、読取結果をホストコンピュータ５に送信する。

図２を参照して、パソコン４で実行される画像処理の概要について説明する。
本画像処理は、まず、対象物３の表面曲面データを取得する３次元計測ステップを実施し（Ｓ０）、得られた３次元データに基づき、水平面内の各点における高さデータの２次微分値を算出する微分ステップを行う（Ｓ１）。
その後、算出した２次微分値に基づいて各点の高さデータに対する「重み」を計算する重み付けステップを実行し（Ｓ２）、水平面データ及び高さデータ及び重み値に基づいて、対象物の表面曲面形状をＮ次の重み付き最小二乗法で近似し、近似曲面を算出する近似曲面算出ステップを行う（Ｓ３）。なお、近似曲面とは、凹凸文字が刻印された部分を除去した曲面の断面プロファイルから得られる対象物３の表面曲面を計算で求めたものである。

次に、Ｘ−Ｙ平面上の各点において、近似曲面と実際の表面形状データとの差分から、凹凸文字の段差の大きさを計算する凹凸文字抽出ステップを実施し（Ｓ４）、段差の大きさを輝度値に変換することにより、凹凸文字画像を生成する（Ｓ５）
生成した文字画像に対して画像処理や文字認識処理を実行することで、凹凸文字を読取り、その結果を出力する（Ｓ６）。

以下、これらに各ステップについて、図２，図３を用いてさらに詳しく説明する。
まず、図２のＳ０にて、光切断法センサ１及びパソコン４内のプログラム（公知の光切断法に基づく）を用い、対象物３の表面形状を計測する。
なお、計測によって得られた対象物３の表面形状データは、凹凸文字の段差（高さ）方向をＺ軸と定義し、このＺ軸に直行する方向をＸ軸及びＹ軸と定義する。以下の説明においては、Ｘ−Ｙ平面上の各点におけるＺ軸座標値をＺ（ｘ，ｙ）と記載する。このＳ０での処理により、図３（Ａ）に示すような曲率が一定ではない曲面の３次元データが収集される。

図３（Ｂ）は、対象物３の表面に施された凹凸文字のサンプルデータであり、Ｘ−Ｙ平面上の各点におけるＺ軸座標を輝度値に変換した画像である。色が白いほど、Ｚ軸座標が大きい値になっている。
Ｓ１にて、Ｘ−Ｙ平面上の各点におけるＺ軸座標値の２次微分値Ｚ’’（ｘ，ｙ）を計算する。２次微分の計算方法は、式（１）〜式（３）に基づく。なお、本実施形態は１次微分や３次以上の高次の微分の適用を積極的に排除するものではなく、対象物によっては１次微分や３次微分の適用も可能である。

この２次微分値Ｚ’’（ｘ，ｙ）を用いることで、凹凸文字の位置の概略特定は可能であるが、この２次微分値Ｚ’’（ｘ，ｙ）だけでは、凹凸文字の段差量（高さや深さ）はわからないので、読取と同時に凹凸文字の品質検査を行なうために、以下の処理が必要になる。なお、文字の段差量が大きく文字がハッキリとしていて、読み取りや文字認識が行いやすいものを「文字の品質」が高いということとする。

次に、Ｓ１にて算出した２次微分値Ｚ’’（ｘ，ｙ）に基づいて、Ｓ２で各データ点Ｚ（ｘ，ｙ）の重みＷ（ｘ，ｙ）を計算する。
図３（Ａ）に対して重みの計算を行なった結果を図３（Ｃ）に示す。図３（Ｃ）においては、色が白いほど重みが大きく（Ｗ（ｘ，ｙ）≒１）、色が黒いほど重みが小さい又は零である（Ｗ（ｘ，ｙ）≒０）ことを表す。重みの計算は、以下のように行われる。

まず、式（４）に基づいて、各点（各ピクセル）の暫定的な重みＳ（ｘ，ｙ）を計算する。

ここで、σは全てのｘ，ｙにおける２次微分値Ｚ’’（ｘ，ｙ）の分散値であり、式（４）で表される重みＳ（ｘ，ｙ）は、正規化された正規分布で表現されるものとなっている。この重みＳ（ｘ，ｙ）は、凹凸文字のエッジ部（輪郭部）のみに値を持つものとなるため、そのままでは、凹凸文字部分に対する重みとはならない。そこで、計算したＳ（ｘ，ｙ）を用いて、式（５）から各データ点Ｚ（ｘ，ｙ）の重みＷ（ｘ，ｙ）を計算する。

なお、ａ、ｂは任意のパラメータであって、凹凸文字幅の１／２の大きさ程度の大きさを有する。そのため、式（５）で得られた重みは、凹凸文字の文字線中側や外側においても重みを持つようになり、図３（Ｃ）の結果の如くなる。
次に、Ｓ３では、以上求めた重みＷ（ｘ，ｙ）を用いた最小二乗法により、凹凸文字が刻印された部分を除去した曲面の断面プロファイルを近似した近似曲面の３次元形状を算出する。

詳しくは、図４（Ｂ）に示すように、あるｘ座標（図４（Ａ）のＣ−Ｃ断面）でのｙ−ｚ断面を考える。このｙ−ｚ座標には、曲面の表面形状の断面プロファイルが表れるものとなる。この断面プロファイルに対して、Ｚ軸座標値Ｚ（ｘ，ｙ）と重みＷ（ｘ，ｙ）とを用いた重み付き最小二乗法を適用し、近似曲面の断面プロファイルを算出する。
この近似法であると、凹凸文字部分及びその近傍は、重みＷ（ｘ，ｙ）≒０であって、最小二乗法の計算へは反映されない状況となる。つまり、凹凸文字部分にマスクをかけた上で、最小二乗法による近似曲面（曲線）の算出を行っていることに相当する。

近似曲面の断面プロファイルをＲ（ｘ，ｙ）とすると、この表面形状Ｒ（ｘ，ｙ）の３次元分布を示したものが図３（Ｄ）である。
また、図４（Ｂ）には、重み付けしない最小二乗法により得られた、近似曲面の断面プロファイルを併記する。図４（Ｂ）の凹部分が凹凸文字部分であるが、重み付けしない最小二乗法で得られた表面形状は、この凹部の形状が加味されるため、対象物３の実際の曲面との乖離が大きいものとなっている。一方で、本方法では、重み付けステップＳ２における重み付け処理により、凹凸文字部の可能性が大きい部位を事前に除去することにより、対象物３の表面曲面の断面プロファイルひいては３次元データを正確に推定できる。

次に、Ｓ４にて、実際の曲面の３次元データＺ（ｘ，ｙ）から近似曲面の３次元データを減じて得られる値Ｄ（ｘ，ｙ）を算出する。この差分値Ｄ（ｘ，ｙ）が、凹凸文字の段差量となる。この演算は、図３（Ｂ）から図３（Ｄ）を減算する部分に相当する。
なお、Ｓ２にて算出した重みＷ（ｘ，ｙ）の逆数１／Ｗ（ｘ，ｙ）を用いつつ、式（６）に基づいて差分値Ｄ（ｘ，ｙ）の加重平均を求めることで、文字の可能性が大きい部分についての段差量（深さや高さ）の平均値μ_Ｄを求めることができる。

この値が大きいほど、凹凸文字の段差量が大きくクッキリと刻印がなされていて、文字品質が良いということができる。ゆえに、この値が一定値以上か否かを判定することにより、文字列の文字品質のチェックを行なうことができる。
Ｓ５にて、差分値Ｄ（ｘ，ｙ）を、０〜２５５の値に換え輝度値Ｐ（ｘ，ｙ）に変換する。具体的には、全てのｘ，ｙにおける最小値及び最大値を、それぞれＤmin及びＤmaxとして、式（７）に基づいて、輝度値Ｐ（ｘ，ｙ）を算出する。

抽出された凹凸文字データを、式（７）に基づいて輝度画像に変換した結果を図３（Ｅ）に示す。
Ｓ６にて、生成した文字画像（図３（Ｅ））に対して文字認識を実行して、その結果をホストコンピュータ５に送信するようにしている。
なお、比較のため、近似曲面を求めず、図３（Ｂ）に対し単純に２値化処理を行った結果を図３（Ｆ）に示す。これらから、本件の図３（Ｅ）が従来の図３（Ｆ）に比較して、十分にきれいな（誤認識の可能性の極めて低い）文字画像を生成できたことが明らかである。

以上のようにして、本実施形態に係る画像処理装置によると、曲率が一定ではない(事前に対象物の形状がわかっていない)曲面に施された凹凸文字に対しても、文字以外の背景（文字認識にとってのノイズ）を全て消去して、文字のみが強調された文字画像を生成することができ、正確な文字認識を可能にする。
さらに、読取と同時に凹凸文字の段差量をチェックすることができ、読取の信頼性を高める判断とすることが可能になる。

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明の実施形態に係る画像処理装置の全体システム構成図である。 本発明の実施形態に係る画像処理方法を示すフローチャートである。 本発明の実施形態に係る画像処理方法で処理された場合の凹凸文字画像の遷移図である。 近似曲面を求める方法を説明するための図である。

１ 光切断法センサ
２ 走査用レール
３ 対象物
４ パソコン
５ ホストコンピュータ
１１ 投射部
１２ 撮像部

Claims (5)

1. 表面形状データが未取得の任意の曲面に施された凹凸文字の画像を抽出する画像処理方法であって、
   Ｚ軸方向に段差を有する凹凸文字を含んだ曲面の３次元データを取得する３次元計測ステップと、
   得られた前記３次元データに基づき、Ｘ軸−Ｙ軸平面である水平面内の各点における高さデータの微分値を算出する微分ステップと、
   算出された前記微分値に基づきつつ、前記凹凸文字の領域に対応する重みが他の領域より小さくなるように、前記各点の高さデータに対する重みを算出する重み付けステップと、
   前記重みと前記各点の高さデータとを用いて、前記凹凸文字が刻印された部分を除去した曲面の断面プロファイルを近似した近似曲面の３次元データを算出する近似曲面算出ステップと、
   前記凹凸文字を含んだ曲面の３次元データと、前記近似曲面の３次元データとから、前記凹凸文字の３次元データを抽出する凹凸文字抽出ステップと、
   を有することを特徴とする凹凸文字抽出のための画像処理方法。
2. 前記凹凸文字抽出ステップでは、前記凹凸文字を含んだ曲面の高さデータから前記近似曲面の高さデータを減算することで、凹凸文字の段差量を算出することを特徴とする請求項１に記載の凹凸文字抽出のための画像処理方法。
3. 前記３次元計測ステップは、表面形状データが未取得の任意の曲面の表面に対して、光切断線を照射するものとされ、
   前記近似曲面算出ステップでは、前記光切断線に沿った曲面の断面プロファイルに対して、凹凸文字に対応する部分の重みを零又は低くした条件のもとで重み付き最小二乗法を適用することで、前記近似曲面の３次元データを算出することを特徴とする請求項１又は２に記載の凹凸文字抽出のための画像処理方法。
4. 凹凸文字抽出ステップは、前記重みを用いて前記凹凸文字の段差量の加重平均値を算出し、前記加重平均値が予め定められた閾値以上であるときには、凹凸文字の品質が良いと判定するステップを含むことを特徴とする請求項２又は３に記載の凹凸文字抽出のための画像処理方法。
5. 表面形状データが未取得の任意の曲面に施された凹凸文字の画像を抽出する画像処理装置であって、
   Ｚ軸方向に段差を有する凹凸文字を含んだ曲面の３次元データを取得する３次元計測手段と、
   得られた前記３次元データに基づき、Ｘ軸−Ｙ軸平面である水平面内の各点における高さデータの微分値を算出する微分手段と、
   算出された前記微分値に基づきつつ、前記凹凸文字の領域に対応する重みが他の領域より小さくなるように、前記各点の高さデータに対する重みを算出する重み付け手段と、
   前記重みと前記各点の高さデータとを用いて、前記凹凸文字が刻印された部分を除去した曲面の断面プロファイルを近似した近似曲面の３次元データを算出する近似曲面算出手段と、
   前記凹凸文字を含んだ曲面の３次元データと、前記近似曲面の３次元データとから、前記凹凸文字の３次元データを抽出する凹凸文字抽出手段と、
   を有することを特徴とする凹凸文字抽出のための画像処理装置。