JP2003317033A - 画像処理におけるアフィン変換係数算出方法および画像処理装置 - Google Patents
画像処理におけるアフィン変換係数算出方法および画像処理装置Info
- Publication number
- JP2003317033A JP2003317033A JP2002121117A JP2002121117A JP2003317033A JP 2003317033 A JP2003317033 A JP 2003317033A JP 2002121117 A JP2002121117 A JP 2002121117A JP 2002121117 A JP2002121117 A JP 2002121117A JP 2003317033 A JP2003317033 A JP 2003317033A
- Authority
- JP
- Japan
- Prior art keywords
- affine transformation
- matrix
- image
- character
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 74
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 109
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Abstract
(57)【要約】
【課題】 対象画像の幾何学的歪みを補正するためのア
フィン変換係数算出方法およびその画像処理装置を提供
することを目的とするものである。 【解決手段】 撮影した文字列の画像を２値化処理して
この文字列の各文字の外接長方形を抽出する手順と、文
字列に対応する基準図形の外接長方形間の中心点距離
と、２値化処理した文字列の外接長方形の幾何学的位置
関係とによって、アフィン変換行列の一部の係数を算出
する手順と、文字列の一方の文字画像の第１モーメント
行列を求める手順と、第１モーメント行列を求めた文字
に対応する基準画像の第２モーメント行列を求める手順
と、このアフィン変換行列の一部の係数、第１と第２モ
ーメント行列とによって、アフィン変換行列の残りの係
数を求める手順とを有するアフィン変換係数算出方法で
ある。
フィン変換係数算出方法およびその画像処理装置を提供
することを目的とするものである。 【解決手段】 撮影した文字列の画像を２値化処理して
この文字列の各文字の外接長方形を抽出する手順と、文
字列に対応する基準図形の外接長方形間の中心点距離
と、２値化処理した文字列の外接長方形の幾何学的位置
関係とによって、アフィン変換行列の一部の係数を算出
する手順と、文字列の一方の文字画像の第１モーメント
行列を求める手順と、第１モーメント行列を求めた文字
に対応する基準画像の第２モーメント行列を求める手順
と、このアフィン変換行列の一部の係数、第１と第２モ
ーメント行列とによって、アフィン変換行列の残りの係
数を求める手順とを有するアフィン変換係数算出方法で
ある。
Description
【０００１】
【発明の属する技術分野】本発明は、幾何学的歪みを含
む画像、例えば２つの文字列からなる画像をアフィン変
換により補正する画像処理におけるアフィン変換係数算
出方法、およびその画像処理装置に関するものであ。
む画像、例えば２つの文字列からなる画像をアフィン変
換により補正する画像処理におけるアフィン変換係数算
出方法、およびその画像処理装置に関するものであ。
【０００２】
【従来の技術】画像処理装置は、各種検査装置、組立ロ
ボット或いは事務機器等広く利用されている。その画像
処理装置の一例として、テレビカメラで撮影された画像
から文字や番号を認識する画像処理がある。この種の画
像処理装置には、例えば、駐車場等に監視カメラを設置
して、撮影した車両のナンバープレートの画像を画像処
理して車両番号を認識する装置、所謂車両番号認識装置
がある。
ボット或いは事務機器等広く利用されている。その画像
処理装置の一例として、テレビカメラで撮影された画像
から文字や番号を認識する画像処理がある。この種の画
像処理装置には、例えば、駐車場等に監視カメラを設置
して、撮影した車両のナンバープレートの画像を画像処
理して車両番号を認識する装置、所謂車両番号認識装置
がある。
【０００３】
【発明が解決しようとする課題】車両番号認識装置等の
画像処理装置では、駐車場等の定位置に監視カメラを固
定して、駐車する車両を撮影して監視する。監視カメラ
で撮影された車両映像は、監視室内のモニターに表示さ
れ、またビデオテープ・レコーダ（ＶＴＲ）に記録され
る。撮影された車両のナンバープレートは、駐車位置や
車種によりナンバープレートの取り付けられている位置
等が異なるため、撮影するカメラ視野の中心に車両番号
が撮影されるとは限らない。従って、車両番号がレンズ
の中心にくることもあれば、画像の端に撮影されること
もあり、このような場合には歪みを伴った画像となる。
画像処理装置では、駐車場等の定位置に監視カメラを固
定して、駐車する車両を撮影して監視する。監視カメラ
で撮影された車両映像は、監視室内のモニターに表示さ
れ、またビデオテープ・レコーダ（ＶＴＲ）に記録され
る。撮影された車両のナンバープレートは、駐車位置や
車種によりナンバープレートの取り付けられている位置
等が異なるため、撮影するカメラ視野の中心に車両番号
が撮影されるとは限らない。従って、車両番号がレンズ
の中心にくることもあれば、画像の端に撮影されること
もあり、このような場合には歪みを伴った画像となる。
【０００４】また、複数のカメラの設置箇所から得られ
る画像を一つの画像処理装置で処理する場合は、車種の
相違により撮影位置が異なるのみならず、カメラの設置
箇所の高さ、撮影角度と言った条件等によって、車両の
ナンバープレートの撮影位置が異なり、複雑に歪みが発
生して、車両番号を認識できないことがある。
る画像を一つの画像処理装置で処理する場合は、車種の
相違により撮影位置が異なるのみならず、カメラの設置
箇所の高さ、撮影角度と言った条件等によって、車両の
ナンバープレートの撮影位置が異なり、複雑に歪みが発
生して、車両番号を認識できないことがある。
【０００５】さらに、駐車場で監視に使用されるカメラ
は、撮影のための照明が施されていない場所での撮影で
あり、光学的に貧弱な条件で撮影されており、しかも安
価なテレビカメラが使用される場合が多い。従って、こ
のような監視カメラから得られる画像は幾何学的に歪ん
だ画像となり易く、ナンバープレートの車両番号を認識
が困難になることが多い。
は、撮影のための照明が施されていない場所での撮影で
あり、光学的に貧弱な条件で撮影されており、しかも安
価なテレビカメラが使用される場合が多い。従って、こ
のような監視カメラから得られる画像は幾何学的に歪ん
だ画像となり易く、ナンバープレートの車両番号を認識
が困難になることが多い。
【０００６】本発明は、上述した課題に鑑みなされたも
のであって、対象画像の幾何学的歪みを補正するための
アフィン変換係数算出方法およびその画像処理装置を提
供することを目的とするものである。
のであって、対象画像の幾何学的歪みを補正するための
アフィン変換係数算出方法およびその画像処理装置を提
供することを目的とするものである。
【０００７】
【課題を解決するための手段】本発明は、上記の目的を
達成するためになされており、請求項１の発明は、撮影
された少なくとも２つの文字列の画像を２値化処理して
該文字列の各文字の外接長方形を抽出する手順と、前記
文字列に対応する基準図形の外接長方形間の中心点距離
と、前記２値化処理した文字列の外接長方形の幾何学的
位置関係とによって、アフィン変換行列の一部の係数を
算出する手順と、前記文字列の一方の文字画像の第１モ
ーメント行列を求める手順と、前記第１モーメント行列
を求めた文字に対応する基準画像の第２モーメント行列
を求める手順と、前記アフィン変換行列の一部の係数
と、前記第１と第２モーメント行列とによって、前記ア
フィン変換行列の残りの係数を求める手順とを有するこ
とを特徴とする画像処理におけるアフィン変換係数算出
方法である。
達成するためになされており、請求項１の発明は、撮影
された少なくとも２つの文字列の画像を２値化処理して
該文字列の各文字の外接長方形を抽出する手順と、前記
文字列に対応する基準図形の外接長方形間の中心点距離
と、前記２値化処理した文字列の外接長方形の幾何学的
位置関係とによって、アフィン変換行列の一部の係数を
算出する手順と、前記文字列の一方の文字画像の第１モ
ーメント行列を求める手順と、前記第１モーメント行列
を求めた文字に対応する基準画像の第２モーメント行列
を求める手順と、前記アフィン変換行列の一部の係数
と、前記第１と第２モーメント行列とによって、前記ア
フィン変換行列の残りの係数を求める手順とを有するこ
とを特徴とする画像処理におけるアフィン変換係数算出
方法である。
【０００８】請求項１の発明では、入力された対象画像
をアフィン変換して歪みを補正する際に、対象画像のア
フィン変換行列の各係数（ａ，ｂ，ｃ，ｄ，ｔｘ，ｔ
ｙ）を算出するアフィン変換係数算出方法であって、撮
影された少なくとも２つの文字列からなる画像を２値化
処理して文字列の各文字の外接長方形を抽出し、この文
字列に対応する基準図形の外接長方形間の中心点距離
と、２値化処理した文字列の外接長方形の幾何学的位置
関係とによって、アフィン変換行列の一部の係数（ａ，
ｃ）を算出し、続いて、２値化処理して得られた文字列
の一方の文字画像の第１モーメント行列を求め、かつこ
の文字画像に対応する基準画像の第２モーメント行列を
求めて、第１モーメント行列、第２モーメント行列およ
びアフィン変換行列の一部の係数（ａ，ｃ）により、対
象画像のアフィン変換行列の残りの係数（ｂ，ｄ）を求
めるアフィン変換係数算出方法である。なお、アフィン
変換行列の係数（ｔｘ，ｔｙ）は、基準図形の中心点を
原点とするｘ，ｙ座標をすると、その基準図形の中心点
のｘ，ｙ成分に相当する。
をアフィン変換して歪みを補正する際に、対象画像のア
フィン変換行列の各係数（ａ，ｂ，ｃ，ｄ，ｔｘ，ｔ
ｙ）を算出するアフィン変換係数算出方法であって、撮
影された少なくとも２つの文字列からなる画像を２値化
処理して文字列の各文字の外接長方形を抽出し、この文
字列に対応する基準図形の外接長方形間の中心点距離
と、２値化処理した文字列の外接長方形の幾何学的位置
関係とによって、アフィン変換行列の一部の係数（ａ，
ｃ）を算出し、続いて、２値化処理して得られた文字列
の一方の文字画像の第１モーメント行列を求め、かつこ
の文字画像に対応する基準画像の第２モーメント行列を
求めて、第１モーメント行列、第２モーメント行列およ
びアフィン変換行列の一部の係数（ａ，ｃ）により、対
象画像のアフィン変換行列の残りの係数（ｂ，ｄ）を求
めるアフィン変換係数算出方法である。なお、アフィン
変換行列の係数（ｔｘ，ｔｙ）は、基準図形の中心点を
原点とするｘ，ｙ座標をすると、その基準図形の中心点
のｘ，ｙ成分に相当する。
【０００９】また、請求項２の発明は、請求項１に記載
の画像処理におけるアフィン変換係数算出方法におい
て、前記アフィン変換行列の残りの係数は、前記第２モ
ーメント行列をＭ、前記第１モーメント行列をＭ′、前
記アフィン変換行列をＡおよびその転置行列をＡｔ とし
た場合、下記（１）式のノルムを最小とする係数によっ
て求める手順によることを特徴とする画像処理における
アフィン変換係数算出方法である。
の画像処理におけるアフィン変換係数算出方法におい
て、前記アフィン変換行列の残りの係数は、前記第２モ
ーメント行列をＭ、前記第１モーメント行列をＭ′、前
記アフィン変換行列をＡおよびその転置行列をＡｔ とし
た場合、下記（１）式のノルムを最小とする係数によっ
て求める手順によることを特徴とする画像処理における
アフィン変換係数算出方法である。
【００１０】
【数２】
【００１１】また、請求項３の発明は、請求項１又は２
に記載の画像処理におけるアフィン変換係数算出方法に
おいて、前記少なくとも２つの文字列がナンバープレー
トの車両番号であることを特徴とする画像処理における
アフィン変換係数算出方法である。
に記載の画像処理におけるアフィン変換係数算出方法に
おいて、前記少なくとも２つの文字列がナンバープレー
トの車両番号であることを特徴とする画像処理における
アフィン変換係数算出方法である。
【００１２】請求項３の発明では、撮影対象が不特定の
位置に存在する駐車場の車両のナンバープレートの車両
番号を認識する際、対象画像が明確であるので、ナンバ
ープレートの対象画像文字の歪み補正して認識する際の
処理として、アフィン変換係数算出方法による画像処理
が好ましい。
位置に存在する駐車場の車両のナンバープレートの車両
番号を認識する際、対象画像が明確であるので、ナンバ
ープレートの対象画像文字の歪み補正して認識する際の
処理として、アフィン変換係数算出方法による画像処理
が好ましい。
【００１３】また、請求項４の発明は、少なくとも２つ
の文字列の画像を２値化して該文字列の一文字づつの外
接長方形を算出する外接長方形抽出部と、前記文字列に
対応する基準図形の外接長方形間の中心点距離と、前記
２値化処理した文字列の外接長方形の幾何学的位置関係
とによって、アフィン変換行列の一部の係数を算出する
第１アフィン変換行列係数算出部と、前記文字列の一方
の文字画像の第１モーメント行列を算出する第１モーメ
ント行列算出部と、前記第１モーメント行列を求めた文
字に対応する基準画像の第２モーメント行列を算出する
第２モーメント行列算出部と、前記第１アフィン変換行
列の一部の係数と、前記第１と第２モーメント行列とに
より、前記アフィン変換行列の残りの係数を算出する第
２アフィン変換行列係数算出部とを備えることを特徴と
する画像処理装置である。
の文字列の画像を２値化して該文字列の一文字づつの外
接長方形を算出する外接長方形抽出部と、前記文字列に
対応する基準図形の外接長方形間の中心点距離と、前記
２値化処理した文字列の外接長方形の幾何学的位置関係
とによって、アフィン変換行列の一部の係数を算出する
第１アフィン変換行列係数算出部と、前記文字列の一方
の文字画像の第１モーメント行列を算出する第１モーメ
ント行列算出部と、前記第１モーメント行列を求めた文
字に対応する基準画像の第２モーメント行列を算出する
第２モーメント行列算出部と、前記第１アフィン変換行
列の一部の係数と、前記第１と第２モーメント行列とに
より、前記アフィン変換行列の残りの係数を算出する第
２アフィン変換行列係数算出部とを備えることを特徴と
する画像処理装置である。
【００１４】請求項４の発明では、少なくとも２つの文
字列の画像を２値化処理部で２値化処理して、外接長方
形抽出部でその画像の一文字づつの外接長方形を算出
し、アフィン変換行列係数算出部で、文字列に対応する
基準図形の外接長方形間の中心点距離と、２値化処理し
た文字列の外接長方形の幾何学的位置関係とによって、
アフィン変換行列の一部の係数（ａ，ｃ）を算出する。
第１モーメント行列算出部で、文字列の一方の文字画像
の第１モーメント行列を算出する。続いて、第２モーメ
ント行列算出部で、第１モーメント行列を求めた文字に
対応する基準画像の第２モーメント行列を算出する。な
お、基準画像の第２モーメント行列は、予め算出するこ
とができる。その場合、対象の基準画像のモーメント行
列を記憶手段から読み出すようにしてもよい。第１と第
２モーメント行列算出部は、同一の演算手段である。続
いて、アフィン変換行列係数算出部によって、アフィン
変換行列の一部の係数と、第１と第２モーメント行列と
により、アフィン変換行列の残りの係数（ｂ，ｄ）を算
出する。
字列の画像を２値化処理部で２値化処理して、外接長方
形抽出部でその画像の一文字づつの外接長方形を算出
し、アフィン変換行列係数算出部で、文字列に対応する
基準図形の外接長方形間の中心点距離と、２値化処理し
た文字列の外接長方形の幾何学的位置関係とによって、
アフィン変換行列の一部の係数（ａ，ｃ）を算出する。
第１モーメント行列算出部で、文字列の一方の文字画像
の第１モーメント行列を算出する。続いて、第２モーメ
ント行列算出部で、第１モーメント行列を求めた文字に
対応する基準画像の第２モーメント行列を算出する。な
お、基準画像の第２モーメント行列は、予め算出するこ
とができる。その場合、対象の基準画像のモーメント行
列を記憶手段から読み出すようにしてもよい。第１と第
２モーメント行列算出部は、同一の演算手段である。続
いて、アフィン変換行列係数算出部によって、アフィン
変換行列の一部の係数と、第１と第２モーメント行列と
により、アフィン変換行列の残りの係数（ｂ，ｄ）を算
出する。
【００１５】
【発明の実施の形態】以下、本発明に係る実施の形態に
ついて、図面を参照して説明する。なお、図１は、本発
明に係る実施形態の画像処理装置を示すブロック図であ
り、図２は、本実施形態のアフィン変換係数算出方法の
概要を示す流れ図である。本実施形態では、駐車場に駐
車する車両のナンバープレートなどの車両番号から構成
される複数の文字列を撮影した場合を想定して説明す
る。
ついて、図面を参照して説明する。なお、図１は、本発
明に係る実施形態の画像処理装置を示すブロック図であ
り、図２は、本実施形態のアフィン変換係数算出方法の
概要を示す流れ図である。本実施形態では、駐車場に駐
車する車両のナンバープレートなどの車両番号から構成
される複数の文字列を撮影した場合を想定して説明す
る。
【００１６】本実施形態では、車両のナンバープレート
の２つの文字として、「１」，「０」を撮影した場合を
説明する。因みに、図３はテレビカメラで得られた入力
画像、図４は基準画像図形であり、図５は入力画像のア
フィン変換の説明図である。
の２つの文字として、「１」，「０」を撮影した場合を
説明する。因みに、図３はテレビカメラで得られた入力
画像、図４は基準画像図形であり、図５は入力画像のア
フィン変換の説明図である。
【００１７】図１は、本発明の画像処理装置の実施形態
を示し、駐車場に駐車する車両のナンバープレートを撮
影する監視カメラ（テレビカメラ）１、テレビカメラ１
からの映像信号，ＶＴＲに録画された映像信号或いはメ
モリカードに記憶された映像信号をデジタル化するＡ／
Ｄ変換器２、Ａ／Ｄ変換器２からのデジタル信号を記憶
される対象画像を記憶する画像メモリ３、２値化処理し
た２値化画像を記憶する２値化画像メモリ３ａ、基準図
形を記憶する画像メモリ４、デジタル信号を画像処理す
る画像処理部５、Ｄ／Ａ変換器６、表示部（モニター）
７、キーボード等の入力装置８から構成されている。な
お、画像メモリは、２値化画像メモリ３ａと画像メモリ
３とを共用してもよい。また、画像処理装置は、概ねテ
レビカメラ１を除く部分が含まれる。
を示し、駐車場に駐車する車両のナンバープレートを撮
影する監視カメラ（テレビカメラ）１、テレビカメラ１
からの映像信号，ＶＴＲに録画された映像信号或いはメ
モリカードに記憶された映像信号をデジタル化するＡ／
Ｄ変換器２、Ａ／Ｄ変換器２からのデジタル信号を記憶
される対象画像を記憶する画像メモリ３、２値化処理し
た２値化画像を記憶する２値化画像メモリ３ａ、基準図
形を記憶する画像メモリ４、デジタル信号を画像処理す
る画像処理部５、Ｄ／Ａ変換器６、表示部（モニター）
７、キーボード等の入力装置８から構成されている。な
お、画像メモリは、２値化画像メモリ３ａと画像メモリ
３とを共用してもよい。また、画像処理装置は、概ねテ
レビカメラ１を除く部分が含まれる。
【００１８】画像処理部５には、対象画像を２値化処理
する２値化処理部５ａを含み、図形歪み補正部として
は、外接長方形抽出部５ｂ、第１のアフィン変換行列係
数算出部５ｃ、対象画像のモーメント行列算出部５ｄ、
基準図形のモーメント行列算出部５ｅ、第２のアフィン
変換行列係数算出部５ｆが含まれる。なお、モーメント
行列算出部５ｄとモーメント行列算出部５ｅとは、対象
は異なるが同一の演算手段により演算処理がなされる
で、画像処理部５に１つの演算手段を備えればよい。
する２値化処理部５ａを含み、図形歪み補正部として
は、外接長方形抽出部５ｂ、第１のアフィン変換行列係
数算出部５ｃ、対象画像のモーメント行列算出部５ｄ、
基準図形のモーメント行列算出部５ｅ、第２のアフィン
変換行列係数算出部５ｆが含まれる。なお、モーメント
行列算出部５ｄとモーメント行列算出部５ｅとは、対象
は異なるが同一の演算手段により演算処理がなされる
で、画像処理部５に１つの演算手段を備えればよい。
【００１９】続いて、本実施形態の画像処理装置による
アフィン変換係数算出方法について、図２の流れ図を参
照して説明する。一例として、車両のナンバープレート
の文字（「１」，「０」）の歪み補正する場合について
説明する。
アフィン変換係数算出方法について、図２の流れ図を参
照して説明する。一例として、車両のナンバープレート
の文字（「１」，「０」）の歪み補正する場合について
説明する。
【００２０】先ず、ステップＳ１では、監視カメラ１よ
り画像を取得し、画像メモリ３に記憶する。なお、監視
カメラ１で撮影された画像をＶＴＲ１ａやカードメモリ
１ｂ等に記憶して、必要な画像を画像メモリ３に記憶し
てもよい。画像メモリ３に記憶した画像の内の対象画
像，文字列（「１」と「０」）は、図３に示すように歪
んだ画像である。これらの番号認識における画像処理に
は、基準となる辞書パターンと比較して幾何学的補正を
する必要がある。辞書パターン（基準図形）は画像メモ
リ４に記憶されている。
り画像を取得し、画像メモリ３に記憶する。なお、監視
カメラ１で撮影された画像をＶＴＲ１ａやカードメモリ
１ｂ等に記憶して、必要な画像を画像メモリ３に記憶し
てもよい。画像メモリ３に記憶した画像の内の対象画
像，文字列（「１」と「０」）は、図３に示すように歪
んだ画像である。これらの番号認識における画像処理に
は、基準となる辞書パターンと比較して幾何学的補正を
する必要がある。辞書パターン（基準図形）は画像メモ
リ４に記憶されている。
【００２１】ステップＳ２では、取得した画像に対して
２値化処理部５ａにより２値化を行って、図３に示す歪
みのある図形を抽出して、２値化画像メモリ３ａに記憶
し、ステップＳ３に進む。ステップＳ３では、２値化処
理された処理対象の文字列（「１」と「０」）に対し
て、外接長方形抽出部５ｂで演算処理して、図３に示す
外接長方形ｏｂｊ１，ｏｂｊ２を抽出する。
２値化処理部５ａにより２値化を行って、図３に示す歪
みのある図形を抽出して、２値化画像メモリ３ａに記憶
し、ステップＳ３に進む。ステップＳ３では、２値化処
理された処理対象の文字列（「１」と「０」）に対し
て、外接長方形抽出部５ｂで演算処理して、図３に示す
外接長方形ｏｂｊ１，ｏｂｊ２を抽出する。
【００２２】続いて、ステップＳ４に進み、第１のアフ
ィン変換行列係数算出部５ｃにより、アフィン変換行列
係数（ａ，ｃ）を算出する。アフィン変換行列係数は、
下記１式（数３）に示すように、ａ，ｂ，ｃ，ｄ，ｔ
ｘ ，ｔｙ の６つの係数があり、ステップＳ４では、
アフィン変換行列係数（ａ，ｃ）を算出する。
ィン変換行列係数算出部５ｃにより、アフィン変換行列
係数（ａ，ｃ）を算出する。アフィン変換行列係数は、
下記１式（数３）に示すように、ａ，ｂ，ｃ，ｄ，ｔ
ｘ ，ｔｙ の６つの係数があり、ステップＳ４では、
アフィン変換行列係数（ａ，ｃ）を算出する。
【００２３】アフィン変換行列係数（ａ，ｃ）の算出に
ついて、詳細に説明すると、まず、下記１式（数１）で
示すように、図４の基準図形から図５の歪みを有する画
像へのアフィン変換を定義する。この１式のアフィン変
換行列は、２次元座標系でベクトル・マトリックス表現
で表している。
ついて、詳細に説明すると、まず、下記１式（数１）で
示すように、図４の基準図形から図５の歪みを有する画
像へのアフィン変換を定義する。この１式のアフィン変
換行列は、２次元座標系でベクトル・マトリックス表現
で表している。
【００２４】
【数３】
【００２５】図５の外接長方形ｏｂｊ０およびｏｂｊ１
の中心点ｃ０およびｃ１を定めて、ベクトルｃ０−ｃ１
から下記２式（数４）を用いて、上記アフィン変換行列
係数（ａ，ｃ）を求める。なお、中心点ｃ０のｘ成分お
よびｙ成分をｃ０ｘおよびｃ０ｙとし、中心点ｃ１のｘ
成分およびｙ成分をｃ１ｘおよびｃ１ｙとする。また、
本実施形態の場合は、車両のナンバープレートの文字の
歪み補正であるので、ナンバープレートの文字間隔Ｄは
一定であり、５．５ｃｍか、８．５ｃｍである。これら
の値からアフィン変換行列係数（ａ，ｃ）は、文字列が
水平配列のため下記２式（数４）から算出することがで
きる。
の中心点ｃ０およびｃ１を定めて、ベクトルｃ０−ｃ１
から下記２式（数４）を用いて、上記アフィン変換行列
係数（ａ，ｃ）を求める。なお、中心点ｃ０のｘ成分お
よびｙ成分をｃ０ｘおよびｃ０ｙとし、中心点ｃ１のｘ
成分およびｙ成分をｃ１ｘおよびｃ１ｙとする。また、
本実施形態の場合は、車両のナンバープレートの文字の
歪み補正であるので、ナンバープレートの文字間隔Ｄは
一定であり、５．５ｃｍか、８．５ｃｍである。これら
の値からアフィン変換行列係数（ａ，ｃ）は、文字列が
水平配列のため下記２式（数４）から算出することがで
きる。
【００２６】
【数４】
【００２７】次に、ステップＳ４に続いて、ステップＳ
５に進み、モーメント行列算出部５ｃによって、対象画
像のモーメント行列Ｍ′を求める。ステップＳ５では、
文字列の「１」と「０」のうち、「０」の文字画像のモ
ーメント行列を求める。ある領域Ｒにおける重心を原点
としたξ−η座標系における画像ｆＲ（ξ，η）のモー
メントｍｐｑとモーメント行列Ｍ０ を３式（数５）と
４式（数６）で定義する。３式および４式に則り、文字
「０」のモーメント行列、すなわち、図５の図形ｏｂｊ
０のモーメント行列Ｍ′を算出する。
５に進み、モーメント行列算出部５ｃによって、対象画
像のモーメント行列Ｍ′を求める。ステップＳ５では、
文字列の「１」と「０」のうち、「０」の文字画像のモ
ーメント行列を求める。ある領域Ｒにおける重心を原点
としたξ−η座標系における画像ｆＲ（ξ，η）のモー
メントｍｐｑとモーメント行列Ｍ０ を３式（数５）と
４式（数６）で定義する。３式および４式に則り、文字
「０」のモーメント行列、すなわち、図５の図形ｏｂｊ
０のモーメント行列Ｍ′を算出する。
【００２８】
【数５】
【００２９】
【数６】
【００３０】ステップＳ６では、文字「０」の基準とな
る画像のモーメント行列Ｍを求める。算出方法について
は、ステップＳ５と同様にして、３式（数５）および４
式（数６）を用いて求める。文字０の基準図形のモーメ
ント行列Ｍを算出する。なお、モーメント行列Ｍは、基
準パターンであるので、予め算出してもよい。
る画像のモーメント行列Ｍを求める。算出方法について
は、ステップＳ５と同様にして、３式（数５）および４
式（数６）を用いて求める。文字０の基準図形のモーメ
ント行列Ｍを算出する。なお、モーメント行列Ｍは、基
準パターンであるので、予め算出してもよい。
【００３１】ステップＳ７では、第２のアフィン変換行
列係数算出部５ｆに基づいて、アフィン変換行列係数
（ｂ，ｄ）を求める。第２のアフィン変換行列係数算出
部５ｆでは、ステップＳ５で算出したモーメント行列
Ｍ′と、ステップＳ６で算出したモーメント行列Ｍと、
ステップＳ４で求めた係数ａ，ｃとにより、下記５式
（数７）のノルム（norm）から演算処理して算出する。
なお、アフィン変換行列Ａについての既知の係数ａおよ
びｃと、未知の係数ｂおよびｄとによって、転置行列Ａ
ｔ を求める。
列係数算出部５ｆに基づいて、アフィン変換行列係数
（ｂ，ｄ）を求める。第２のアフィン変換行列係数算出
部５ｆでは、ステップＳ５で算出したモーメント行列
Ｍ′と、ステップＳ６で算出したモーメント行列Ｍと、
ステップＳ４で求めた係数ａ，ｃとにより、下記５式
（数７）のノルム（norm）から演算処理して算出する。
なお、アフィン変換行列Ａについての既知の係数ａおよ
びｃと、未知の係数ｂおよびｄとによって、転置行列Ａ
ｔ を求める。
【００３２】
【数７】
【００３３】アフィン変換の残りの係数（ｂ，ｄ）は、
反復法を用いて、５式のノルムが最小の値になるように
求める。なお、反復法について説明すると、第１に係数
にある値を代入してノルムを算出し、第２に第１よりは
ノルムが小さくなるような別の係数を代入していく。こ
の動作を繰り返して、ノルムの最小値を検出したとき、
演算処理を終了して、その時の係数値を最終値とする。
このようにして、アフィン変換行列係数ａ，ｂ，ｃおよ
びｄを算出することができる。
反復法を用いて、５式のノルムが最小の値になるように
求める。なお、反復法について説明すると、第１に係数
にある値を代入してノルムを算出し、第２に第１よりは
ノルムが小さくなるような別の係数を代入していく。こ
の動作を繰り返して、ノルムの最小値を検出したとき、
演算処理を終了して、その時の係数値を最終値とする。
このようにして、アフィン変換行列係数ａ，ｂ，ｃおよ
びｄを算出することができる。
【００３４】なお、アフィン変換行列係数ｔｘおよびｔ
ｙについては、図４のようにｏｂｊ０に対応する基準図
形の中心点を原点とした時、ｃ０のｘ，ｙ成分に一致す
る。
ｙについては、図４のようにｏｂｊ０に対応する基準図
形の中心点を原点とした時、ｃ０のｘ，ｙ成分に一致す
る。
【００３５】本実施形態では、上記のような方法でアフ
ィン変換行列係数（ａ，ｂ，ｃ，ｄ，ｔｘ ，ｔｙ ）
を求めることができ、この算出した係数を用いて文字画
像を逆変換することで、歪みを補正した画像を得ること
ができる。この画像からナンバープレートの文字
「１」，「０」を認識することができる。このような画
像処理を行うことによって、ナンバープレートの全ての
文字を認識することができる。
ィン変換行列係数（ａ，ｂ，ｃ，ｄ，ｔｘ ，ｔｙ ）
を求めることができ、この算出した係数を用いて文字画
像を逆変換することで、歪みを補正した画像を得ること
ができる。この画像からナンバープレートの文字
「１」，「０」を認識することができる。このような画
像処理を行うことによって、ナンバープレートの全ての
文字を認識することができる。
【００３６】なお、本実施形態では、処理対象文字が既
知としている場合を説明した。しかし、実際の画像認識
では、撮影された対象画像が未知である場合が多く、こ
のような場合には、全ての数字の基準画像に対して係数
の算出を行い、ファイン変換行列係数算出後、逆変換を
行って基準画像との誤差を算出し、誤差の小さいものを
変換係数とする。また、対象画像と基準画像の大きさが
異なる場合についても同様に、基準ベクトルと対象画像
との特徴ベクトルとのノルムが最小値となるように演算
処理して求めることができる。
知としている場合を説明した。しかし、実際の画像認識
では、撮影された対象画像が未知である場合が多く、こ
のような場合には、全ての数字の基準画像に対して係数
の算出を行い、ファイン変換行列係数算出後、逆変換を
行って基準画像との誤差を算出し、誤差の小さいものを
変換係数とする。また、対象画像と基準画像の大きさが
異なる場合についても同様に、基準ベクトルと対象画像
との特徴ベクトルとのノルムが最小値となるように演算
処理して求めることができる。
【００３７】なお、本発明では、ナンバープレートの文
字の認識について説明したが、この実施形態に限定する
ことなく、種々の用途、例えば図形処理等に応用できる
ことは明らかである。
字の認識について説明したが、この実施形態に限定する
ことなく、種々の用途、例えば図形処理等に応用できる
ことは明らかである。
【００３８】
【発明の効果】上述のように、本発明によれば、処理対
象画像のモーメントと、アフィン変換行列との演算結果
の差のノルムの最小値よりアフィン変換行列係数を求め
ているので、基準図形との誤差を最小にすることができ
る。そのため、幾何学補正の誤差を最小にすることがで
きるので、後の文字認識等の画像処理の精度を高めるこ
とができる効果を有する。
象画像のモーメントと、アフィン変換行列との演算結果
の差のノルムの最小値よりアフィン変換行列係数を求め
ているので、基準図形との誤差を最小にすることができ
る。そのため、幾何学補正の誤差を最小にすることがで
きるので、後の文字認識等の画像処理の精度を高めるこ
とができる効果を有する。
【００３９】また、モーメントを使用することにより、
低解像度画像にも使用できる。従って、認識処理を含む
監視システムなどに好適な画像処理におけるアフィン変
換係数算出方法およびその画像処理装置を提供できる利
点がある。
低解像度画像にも使用できる。従って、認識処理を含む
監視システムなどに好適な画像処理におけるアフィン変
換係数算出方法およびその画像処理装置を提供できる利
点がある。
【図１】本発明に係る実施形態の画像処理装置の概要を
示すブロック図である。
示すブロック図である。
【図２】本実施形態のアフィン変換係数算出方法の概要
を示す流れ図である。
を示す流れ図である。
【図３】本実施形態のテレビカメラで得られた入力画像
を示し図である。
を示し図である。
【図４】基準画像図形を示す図である。
【図５】入力画像に対するアフィン変換の説明図であ
る。
る。
１ テレビカメラ
２ Ａ／Ｄ変換部
３ 対象画像を記憶する画像メモリ
３ａ ２値化画像メモ
４ 基準図形画像メモ
５ 画像処理部
５ａ ２値化処理部
５ｂ 外接長方形抽出部
５ｃ 第１アフィン変換行列係数算出部
５ｄ 対象画像モーメント行列算出部
５ｅ 基準画像モーメント行列算出部
５ｆ 第２アフィン変換行列係数算出部
６ Ｄ／Ａ変換部
７ 表示部
８ 入力装置
Claims (4)
- 【請求項１】 撮影された少なくとも２つの文字列の画
像を２値化処理して該文字列の各文字の外接長方形を抽
出する手順と、 前記文字列に対応する基準図形の外接長方形間の中心点
距離と、前記２値化処理した文字列の外接長方形の幾何
学的位置関係とによって、アフィン変換行列の一部の係
数を算出する手順と、 前記文字列の一方の文字画像の第１モーメント行列を求
める手順と、 前記第１モーメント行列を求めた文字に対応する基準画
像の第２モーメント行列を求める手順と、 前記アフィン変換行列の一部の係数と、前記第１と第２
モーメント行列とによって、前記アフィン変換行列の残
りの係数を求める手順とを有することを特徴とする画像
処理におけるアフィン変換係数算出方法。 - 【請求項２】 請求項１に記載の画像処理におけるアフ
ィン変換係数算出方法において、 前記アフィン変換行列の残りの係数は、前記第２モーメ
ント行列をＭ、前記第１モーメント行列をＭ′、前記ア
フィン変換行列をＡおよびその転置行列をＡｔ とした場
合、下記（１）式のノルムを最小とする係数によって求
める手順によることを特徴とする画像処理におけるアフ
ィン変換係数算出方法。 【数１】 - 【請求項３】 請求項１又は２に記載の画像処理におけ
るアフィン変換係数算出方法において、 前記少なくとも２つの文字列がナンバープレートの車両
番号であることを特徴とする画像処理におけるアフィン
変換係数算出方法。 - 【請求項４】 少なくとも２つの文字列の画像を２値化
して該文字列の一文字づつの外接長方形を算出する外接
長方形抽出部と、 前記文字列に対応する基準図形の外接長方形間の中心点
距離と、前記２値化処理した文字列の外接長方形の幾何
学的位置関係とによって、アフィン変換行列の一部の係
数を算出する第１アフィン変換行列係数算出部と、 前記文字列の一方の文字画像の第１モーメント行列を算
出する第１モーメント行列算出部と、 前記第１モーメント行列を求めた文字に対応する基準画
像の第２モーメント行列を算出する第２モーメント行列
算出部と、 前記第１アフィン変換行列の一部の係数と、前記第１と
第２モーメント行列とにより、前記アフィン変換行列の
残りの係数を算出する第２アフィン変換行列係数算出部
とを備えることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002121117A JP4187458B2 (ja) | 2002-04-23 | 2002-04-23 | 画像処理におけるアフィン変換係数算出方法および画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002121117A JP4187458B2 (ja) | 2002-04-23 | 2002-04-23 | 画像処理におけるアフィン変換係数算出方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003317033A true JP2003317033A (ja) | 2003-11-07 |
| JP4187458B2 JP4187458B2 (ja) | 2008-11-26 |
Family
ID=29537154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002121117A Expired - Fee Related JP4187458B2 (ja) | 2002-04-23 | 2002-04-23 | 画像処理におけるアフィン変換係数算出方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4187458B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100603618B1 (ko) * | 2004-10-18 | 2006-07-24 | 한국전자통신연구원 | 어파인 변환을 이용한 문서 영상의 기하학적 왜곡 보정장치 및 방법 |
| US20100208999A1 (en) * | 2009-02-13 | 2010-08-19 | Samsung Electronics Co., Ltd. | Method of compensating for distortion in text recognition |
| JP2012222374A (ja) * | 2011-04-04 | 2012-11-12 | Hitachi Consumer Electronics Co Ltd | 車載カメラシステム |
| JP2013257864A (ja) * | 2012-06-12 | 2013-12-26 | Xerox Corp | 自動ナンバープレート認識のための幾何学的事前補正 |
| CN112907453A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种笔记本内结构图像矫正方法 |
| CN113393369A (zh) * | 2021-05-25 | 2021-09-14 | 万翼科技有限公司 | 工程图纸中感应范围的检测方法及相关设备 |
| CN115383517A (zh) * | 2022-10-27 | 2022-11-25 | 深圳市睿达科技有限公司 | 一种局部识别n点位置进行整体定位的方法和装置 |
| CN117974767A (zh) * | 2024-04-01 | 2024-05-03 | 深圳中科精工科技有限公司 | 一种连接器的目标区域定位方法 |
-
2002
- 2002-04-23 JP JP2002121117A patent/JP4187458B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100603618B1 (ko) * | 2004-10-18 | 2006-07-24 | 한국전자통신연구원 | 어파인 변환을 이용한 문서 영상의 기하학적 왜곡 보정장치 및 방법 |
| US20100208999A1 (en) * | 2009-02-13 | 2010-08-19 | Samsung Electronics Co., Ltd. | Method of compensating for distortion in text recognition |
| KR101035739B1 (ko) | 2009-02-13 | 2011-05-20 | 전남대학교산학협력단 | 문자 인식의 왜곡을 보정하는 방법 |
| US8417057B2 (en) | 2009-02-13 | 2013-04-09 | Samsung Electronics Co., Ltd. | Method of compensating for distortion in text recognition |
| JP2012222374A (ja) * | 2011-04-04 | 2012-11-12 | Hitachi Consumer Electronics Co Ltd | 車載カメラシステム |
| JP2013257864A (ja) * | 2012-06-12 | 2013-12-26 | Xerox Corp | 自動ナンバープレート認識のための幾何学的事前補正 |
| CN112907453A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种笔记本内结构图像矫正方法 |
| CN113393369A (zh) * | 2021-05-25 | 2021-09-14 | 万翼科技有限公司 | 工程图纸中感应范围的检测方法及相关设备 |
| CN115383517A (zh) * | 2022-10-27 | 2022-11-25 | 深圳市睿达科技有限公司 | 一种局部识别n点位置进行整体定位的方法和装置 |
| CN115383517B (zh) * | 2022-10-27 | 2022-12-20 | 深圳市睿达科技有限公司 | 一种局部识别n点位置进行整体定位的方法和装置 |
| CN117974767A (zh) * | 2024-04-01 | 2024-05-03 | 深圳中科精工科技有限公司 | 一种连接器的目标区域定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4187458B2 (ja) | 2008-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| JP3156817B2 (ja) | 車両周辺監視装置 | |
| US8417059B2 (en) | Image processing device, image processing method, and program | |
| US7565029B2 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
| KR101175097B1 (ko) | 파노라마 영상 생성 방법 | |
| CN108229475B (zh) | 车辆跟踪方法、***、计算机设备及可读存储介质 | |
| CN113191954B (zh) | 一种基于双目相机的全景图像拼接方法 | |
| CN103902953B (zh) | 一种屏幕检测***及方法 | |
| CN112801870B (zh) | 一种基于网格优化的图像拼接方法，拼接***及可读存储介质 | |
| CN105335977B (zh) | 摄像***及目标对象的定位方法 | |
| CN111383252A (zh) | 多相机目标追踪方法、***、装置及存储介质 | |
| CN114742866A (zh) | 图像配准方法、装置、存储介质及电子设备 | |
| JP4187458B2 (ja) | 画像処理におけるアフィン変換係数算出方法および画像処理装置 | |
| JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
| CN114897676A (zh) | 一种无人机遥感多光谱图像拼接方法、设备及介质 | |
| CN108961182B (zh) | 针对视频图像的竖直方向灭点检测方法及视频扭正方法 | |
| US20210012110A1 (en) | Method and apparatus for performing object detection according to bounding box distribution that is determined by considering lens configuration | |
| CN112184544B (zh) | 图像拼接的方法和装置 | |
| JP2005070985A (ja) | 画像処理装置および方法、並びにプログラム | |
| KR20180131743A (ko) | Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치 | |
| CN116579920A (zh) | 一种基于异构多模全景立体成像***图像拼接方法及*** | |
| JP3534551B2 (ja) | 動き検出装置 | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
| JP2004220371A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体 | |
| JP2012118656A (ja) | 駐車枠検出装置及び駐車枠検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4187458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |