JP2002358529A

JP2002358529A - 画像処理方法及び画像処理装置

Info

Publication number: JP2002358529A
Application number: JP2001167016A
Authority: JP
Inventors: Daisuke Abe; 大輔阿部; Nobuhiro Tsunashima; 宣浩綱島; Morihito Shiobara; 守人塩原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-06-01
Filing date: 2001-06-01
Publication date: 2002-12-13
Anticipated expiration: 2021-06-01
Also published as: JP4509423B2

Abstract

(57)【要約】【課題】本発明は、移動する対象物体を撮影した映像
から抽出された複数枚の画像に基づいた高解像度化処理
により対象物体上の文字や記号情報を読み取ることがで
きる画像処理方法及び装置を提供する。【解決手段】対象物体を撮影した映像から複数の時系
列画像に基づいて、対象物体に係る文字又は記号情報を
含む画像領域ｐ0〜ｐ3を各々探索して取り出す。前記対
象物体が移動する運動状態を、例えば、等速直線運動Ｌ
と想定し、画像領域ｐ0〜ｐ3の位置を、運動Ｌに沿って
時刻ｔ0〜ｔ3において等間隔となるように修正する位置
合わせを行う。位置が合わされた画像領域ｐ0〜ｐ3を重
ね合わせ高解像度処理を行い、高解像度化画像に含まれ
る文字や記号を読み取る。同一対象物体に対し位置合わ
せされた複数の画像領域を用いることで、高解像度処理
の精度を向上できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像中の文字や記
号を自動で読み取り可能にする画像処理方法および画像
処理装置に関し、特に、抽出された複数枚の画像から高
解像度で文字や記号を読み取ることができる画像処理に
関する。

【０００２】

【従来の技術】従来から、例えば、学校や会社などにお
いて、建物の出入り口にカメラを設置しておき、出入り
する人物の身体に付けられた名札の文字を読み取ること
が行われている。この読み取られた名札の文字に基づい
て、建物への人の出入を管理するシステムが設置されて
いた。

【０００３】また、製品生産工場などの製造現場におい
て、出荷物をベルトコンベア上に流して仕分けする際、
現場に設置されているカメラにより、ベルトコンベア上
を流れ移動している荷物の映像を撮影し、その映像から
荷物に貼られているシールの文字を読み取ることで、移
動する各荷物を自動的に送り先ごとに仕分けする物流監
視システムなどが使用されている。

【０００４】映像中で移動している文字や記号を読み取
る技術を、例えば、図１に示されるような、ベルトコン
ベア２、照明装置３、カメラ４、認識装置５、そしてモ
ニタを備えた物流監視システムを用いて説明する。生産
工場などにおいて、ベルトコンベア２の傍らに設置され
ているカメラ４によって、移動する出荷物１の映像を撮
影し、認識装置５でその映像から出荷物１に貼られてい
るラベル７の文字を読み取り、出荷物１を送り先などに
仕分けするというように、出荷物１の物流監視が行われ
ている。

【０００５】映像中のラベル７における文字や記号を読
み取る方法は、例えば、テンプレートマッチング（テレ
ビジョン学会編、「画像工学 −画像のエレクトロニク
ス−」、pp.132-133）と呼ばれる画像処理方法を用いて
いた。この技術は、物体中の文字が書かれている部分
を、予め「辞書」として持っている文字のテンプレート
と照合させ、辞書のテンプレートと最も類似しているも
のを読み取り、その結果を出力している。

【０００６】この技術による読み取り方法では、カメラ
４と出荷物４とが離れているため、ラベル７に書かれて
いる文字が小さくなると、文字自体が潰れてしまい、他
の文字と似通ったものとなり、読み取ったときの文字認
識が困難になる。その結果、ある程度大きく映っている
文字を対象とせざるを得ない。そのため、この技術によ
り、ラベル７上の文字や記号を読み取る場合、文字や記
号を大きく撮影する必要があり、カメラ４の撮影範囲が
限定されることとなる。しかし、例えば、物流監視シス
テムにおいては、ベルトコンベア２上を移動する出荷物
１には、様々な大きさのものがあることや、出荷物１の
種類によっては貼られたラベル７の位置が異なるなどの
理由により、確実にラベル７を検出できるようにするた
めに、カメラ４の撮影範囲をできるだけ広くとる必要性
がでてくる。

【０００７】そこで、この技術を用いてより広い範囲を
監視するためには、例えば、特開平１１−２８４９８１
号公報に見られるように、広い範囲を複数の領域に分
け、複数台のカメラを用いて各カメラに各領域を割り当
てるようにすることが開示されている。しかし、この手
法では、カメラ台数が増加するばかりでなく、その増加
に伴って照明装置、処理装置等の周辺機器も増えるた
め、コスト面や設置場所の確保などの問題があった。

【０００８】

【発明が解決しようとする課題】以上述べたように、従
来技術による読み取り方法では、「カメラの台数」と
「文字や記号の読み取り可能範囲」とにトレードオフの
関係があった。そのため、少ないカメラ台数で広い範囲
を撮影した場合、対象となる文字や記号の解像度が低く
なり、文字や模様の情報が不足するため、一部分が潰れ
たり欠けたりして、それらを読み取ることができないと
いう問題がある。

【０００９】この問題を解決するために、画像処理によ
り画像の解像度を上げる高解像度化技術が開発（例え
ば、青木ら、「複数のディジタル画像からの超解像度処
理」、第２回画像センシングシンポジウム、pp.65-70）
されている。この高解像度化技術は、映像中の複数枚の
画像を用い、各画像の画素の情報を足し合わせること
で、高い解像度かつ鮮明な画像を生成するというもので
ある。

【００１０】ここで、高解像度化技術における高解像度
化処理の原理を以下に説明する。高解像度化とは、画像
形成過程をモデル化し、その逆問題を解くことで形成さ
れた画像の原因となる高精細な画像を推定することであ
る。具体的には、例えば、以下のような解法により高解
像度画像を生成する。Ｆ(X、Y)を理想的な高解像度画像
とし、Ｆ(X、Y)を座標変換することによって得られるｋ
番目のフレームにおける高解像度画像をＦ_k(X、Y)とす
る。つまり、座標変換式をＸ＝Ｘ_k(x、y)、Ｙ＝Ｙ_k(x、y) …(1) とすると、ｋ番目のフレームにおける高解像度画像はＦ_k(X、Y)＝Ｆ(Ｘ_k(x、y)、Ｙ_k(x、y)) …(2) となる。

【００１１】ｋ番目の低解像度の観測画像をＧ_k(i、j)
とおくと、

【００１２】

【数１】

【００１３】ここで、ｗ(i、j:x、y)はＣＣＤ各画素の
空間位置や開口特性によって定まる窓関数（ＰＳＦ）で
ある。ここ整数値(i、j)に対してｗ(i、j;x、y)＝1、 i−0.5＜x＜i＋0.5、j−0.5＜y＜j＋0.5 ＝0、その他 …(4) であることを仮定する。これは各受光素子が正方形であ
り、隙間無く画像面を覆っていることを意味している。
なお、ｗ(i、j;x、y)が別の形の関数であっても、以下
の議論は成立する。(2)式及び(3)式より

【００１４】

【数２】

【００１５】ここで、ｘ_k(X、Y)、ｙ_k(X、Y)は(1)式の
座標変換の逆変換である。また、(δ(x、y)／δ(X、Y))
は変数変換のヤコビアン(各場所毎に面積が何倍になっ
ているかを表すスケールファクタ)であり、ｗ_k(i、j;X、Y) ＝ｗ(i、j:ｘ_k(X、Y)、ｙ_k(X、Y))(δ(x、y)／δ(X、Y)) …(6) とおくと

【００１６】

【数３】

【００１７】が得られる。この式はｋ番目のフレームと
して観測される画像Ｇ_k(i、j)と高解像度の理想画像Ｆ
(X、Y)の関係を表す。観測画像Ｇ_k(i、j)が与えられた
ときに、その基となる高解像度の理想画像Ｆ(X、Y)を求
めたいというのが解くべき問題である。この(7)式自身
はＦ(X、Y)が任意に高解像度(X、Yが任意の実数)であっ
ても成立するが、あまり解像度が高いと未知数の数が多
すぎ、解が一意に定まらない。そこで、Ｆ(X、Y)が整数
格子上でのみ値を持つ離散的な画像Ｈ(I、J)から先に定
義した窓関数ｗ(I、J;X、Y)を使って

【００１８】

【数４】

【００１９】で表されるものと仮定する。するとＦ(X、
Y)は階段関数となり、未知数の数は整数格子点の数に削
減される。なお、画像の離散表現は別の方法も有り得る
が、任意の窓関数に対してこの議論は成り立つ。

【００２０】

【数５】

【００２１】ここで、(11)式を最小二乗の意味で最適に
満たす高解像度画像Ｈ(I、J)を求めればよい。つまり、
次の評価関数

【００２２】

【数６】

【００２３】を最小にするようなＨ(I、J)を求めればよ
い。以上のような処理により、高解像度化画像が生成さ
れる。しかしながら、このような高解像度化技術では、
各画像の各画素を対応づけ画素値を重ね合わせること
で、高解像度化画像を生成していくため、１画素以下の
精度で各画像の位置を合わせる必要があり、各画像のう
ち１枚でもその位置がずれていると、鮮明な高解像度画
像は得られない。このため、各画像の位置合わせが重要
となる。しかし、対象の画像自体が低解像度になってい
る場合、画像中の対象の大きさが小さいため厳密に位置
合わせを行うことは難しい。

【００２４】そこで、本発明は、映像中を移動している
対象物体の動きに合わせて、読み取りの対象物体の各画
像で切り出された位置を拘束することで、画像全体を通
して厳密な位置合わせを可能とし、高解像度をより向上
する画像処理装置及び画像処理方法を提供することを目
的とする。

【００２５】

【課題を解決するための手段】以上の課題を解決するた
めに、本発明では、移動する対象物体を撮影した映像か
ら当該対象物体に係る対象情報を自動で読み取る画像処
理方法において、前記映像における時系列の複数の画像
毎に、前記対象情報を含む所定範囲の画像領域を探索す
る探索段階と、探索された各々の前記画像領域の位置
を、前記対象物体の移動に合った位置に修正して、各画
像領域の位置合わせを行う位置合わせ段階と、位置合わ
せされた前記各画像領域を重ね合わせて高解像度処理を
行う高解像度化画像処理段階とを含めた。

【００２６】そして、前記対象情報には文字又は記号が
含まれ、前記探索段階では、前記画像の各々において、
前記文字又は記号に係るレイアウト情報に基づいて前記
画像領域を探索するようにした。さらに、前記位置合わ
せ段階では、前記対象物体の移動が等速直線運動である
として、前記各画像領域の位置を該等速直線上の位置に
修正して位置合わせを行い、前記画像領域の位置が前記
対象物体の移動位置から所定値を超えてずれているとき
には、当該画像領域を位置合わせ処理の対象から除くよ
うにした。

【００２７】また、本発明では、移動する対象物体を撮
影した映像から当該対象物体に係る対象情報を自動で読
み取る画像処理装置において、前記映像における時系列
の複数の画像毎に、前記対象情報を含む所定範囲の画像
領域を探索する探索手段と、探索された各々の前記画像
領域の位置を、前記対象物体の移動に合った位置に修正
して、各画像領域の位置合わせを行う位置合わせ手段
と、位置合わせされた前記各画像領域を重ね合わせて高
解像度処理を行う高解像度化画像処理手段とを備えるこ
ととした。

【００２８】

【発明の実施の形態】以下、本発明について、高解像度
化技術を用いた文字認識処理装置に適用した場合の実施
形態を説明する。〔第１の実施形態〕図１に示されるように、固定された
カメラ４によって、ベルトコンベア２上に載せられて移
動する荷物１を撮影すると、モニタ６に映し出される荷
物１に係る画像は、ベルトコンベアの移動に従って画面
中を移動していくとする。ここで、対象である移動する
荷物１に係る画像を含む複数枚の各画像から文字らしい
領域を、例えば、対象中の文字列の配置情報により切り
出す。切り出した文字領域の位置には、荷物１の振動な
どによって多少の誤差を含むため、各画像間での誤差が
累積され全体として大きなずれが発生する。

【００２９】そこで、本実施形態では、映像中を移動し
ている対象の動きを、微小時間において何らかの運動で
表現し、例えば、ベルトコンベア２上の荷物１の運動
は、微小時間においては「等速直線運動」で表されると
し、読み取りの対象である荷物１に貼られているラベル
７に係る各画像で切り出された位置が「等速直線運動」
をするように対象の位置を拘束することで、画像全体を
通して厳密な位置合わせを行うことができるようにし
た。このような位置合わせ処理により、良好な高解像度
化処理が行うことができ、対象中の文字や記号の解像度
を高くできるため、ラベル７に書かれた文字や記号を容
易に読み取ることができる。

【００３０】第１の実施形態による位置合わせ処理を含
む文字認識処理装置のブロック構成を図２に示す。文字
認識処理装置１０には、カメラ４などの画像入力装置か
ら得られるアナログ映像入力信号、又は画像記録装置か
らの出力などのディジタル映像入力信号が供給される。
入力信号がアナログ映像信号である場合には、そのアナ
ログ映像信号をＡ／Ｄ変換部１１でディジタル信号に変
換した後に、或いは入力信号が画像記録装置からの出力
などのディジタル映像信号である場合には、そのディジ
タル信号のまま入力される画像制御部１２を有する。そ
して、画像制御部１２で入力された画像を記憶する第１
画像記憶部１３と、対象探索部１５や位置合わせ処理部
１６で処理された結果を記憶する第２画像記憶部１４
と、与えられたレイアウトに基づき、移動している対象
を探索する対象探索部１５と、各時刻での画像における
対象の位置を合わせる位置合わせ処理部１６と、各時刻
での対象の位置を合わせた結果から高解像度化処理を行
う高解像度化処理部１７と、高解像度化した画像に対し
て文字列や記号の読み取りを行う文字認識部１８を備え
ている。

【００３１】以下、第１の実施形態に係る文字認識処理
装置１０の動作について、ブロック毎に詳細に説明す
る。・入力された画像のＡ／Ｄ変換カメラ４などの画像入力装置から得られるアナログ映像
をＡ／Ｄ変換部１１によりディジタル化し、後段の画像
制御部１２へ出力する。ただし、入力映像がディジタル
映像の場合は、Ａ／Ｄ変換部１１のない構成となる。・Ａ／Ｄ変換された画像の制御画像制御部１２は、Ａ／Ｄ変換部１１からの出力画像又
は画像記録装置などからの出力画像によるディジタル映
像信号を制御し、第１画像記憶部１３に画像を記憶する
とともに、後段の対象探索部１５に送る。・画像の記憶第１画像記憶部１３には、画像制御部１２に入力された
ディジタル映像信号に係る画像データを記憶する。ま
た、ある程度の時間の画像データを記憶できるだけのメ
モリ容量を持っているため、後段の対象探索部１５で処
理を行っている間も入力される画像データを記憶するこ
とができる。・処理結果の記憶第２画像記憶部１４には、対象探索部１５や位置合わせ
処理部１６で処理された結果を記憶する。なお、第２画
像記憶部１４を第１画像記憶部１３と別に示したが、記
憶部としての構成としては、一つのものでもよく、説明
の便宜上、個別の構成として示した。・認識対象の探索対象探索部１５では、画像制御部１２から送られた映像
信号による画像に対象となる画像が含まれているかどう
かを探す。

【００３２】先ず、画像制御部１２から入力され、ある
時刻ｔのタイミングで撮影された画像に、対象が存在す
るかどうかを調べる。具体的には、入力された画像に対
して２値化、ラベリング処理を行うことで、図３（ａ）
のように文字らしい部分を検出する。同図中では、文字
らしい部分を、丸形状又は楕円形状で示した。次に、例
えば、図３（ｂ）に示されるような、名札のように、予
め、対象の文字列などの配置関係を示すレイアウト情報
を与える。このとき、レイアウト情報は、どんな文字又
は記号であるかは必要なく、それらの配置関係を判別す
ることができる程度のものである。

【００３３】その文字らしい部分の配置がレイアウト情
報と類似している所定範囲の領域を見つける。レイアウ
ト情報との類似度が、ある閾値以下の場合は、「対象な
し」を表す信号を画像制御部１２に送り、画像制御部１
２は、第１画像記憶部１３に記憶している次の時刻の画
像を対象探索部１５へ出力し、次いで、対象探索部１５
は、その画像に対して探索を行う。

【００３４】その画像について、レイアウト情報との類
似度がある閾値以上の場合は、類似していると判断し、
図３（ａ）に示されるように、次の時刻における所定範
囲を有する領域Ｐの四隅の座標(ｘ1、ｙ1)、(ｘ2、ｙ
2)、(ｘ3、ｙ3)、(ｘ4、ｙ4)と、領域Ｐに係る画像デー
タとを第２画像記憶部１４へ出力し記憶する。これと同
時に、「対象あり」を表す信号を画像制御部１２に送
る。

【００３５】このようにして、画像制御部１２は、第１
画像記憶部１３に記憶している時刻ｔが時刻ｔ0から時
刻ｔn-1までであれば、各時刻の画像を対象探索部１５
に順次入力する。そして、対象探索部１５では、順次入
力される画像について順次探索処理を行う。ここで、入
力される画像の枚数ｎは、高解像度化処理部１７で用い
る枚数である。

【００３６】次に、時刻ｔ1〜ｔn-1における対象の位置
を追跡する。具体的には、例えば、時刻ｔ0で検出した
対象の四隅の座標(ｘ10、ｙ10)、(ｘ20、ｙ20)、(ｘ3
0、ｙ30)、(ｘ40、ｙ40)から検出した領域ｐ0をテンプ
レートとしたテンプレートマッチングにより対象の追跡
を実現する。追跡により得られた各時刻ｔiでの対象領
域ｐiの四隅の座標(ｘ1i、ｙ1i)、(ｘ2i、ｙ2i)、(ｘ3
i、ｙ3i)、(ｘ4i、ｙ4i)と、領域ｐiに係る画像データ
を第２画像記憶部１４へ出力し記憶していく。ここで、
処理枚数がｎであれば、ｉ＝０〜（ｎ−１）である。

【００３７】図４に、探索処理によって得られた対象領
域の具体例を、ｎ＝４の場合について示した。対象領域
が、ｐ0〜ｐ3の四角枠で示される。以上の処理を、処理
枚数分ｎだけ繰り返すことにより、各時刻における対象
領域の四隅の座標が求まる。この四隅の座標を基に、後
段の位置合わせ処理部１６で各画像の対象領域について
位置合わせを行う。・各画像の位置合わせ処理対象探索部１５での処理が終了すると、第２画像記憶部
１４に記憶された各時刻の画像と各画像での対象領域の
四隅の座標が、位置合わせ処理部１６に順次入力され
る。入力された時刻ｔ0から時刻ｔn-1までのｎ枚の画像
における対象の位置合わせを行う。

【００３８】先ず、ｎ枚の画像のある一枚を取り出し、
ある大きさに拡大した画像(以下基準画像と呼ぶ)を作成
する。その画像に対応するように、残りの（ｎ−１）枚
の画像の位置を合わせるための射影変換を求める。拡大
する大きさが、高解像度化処理により生成される画像の
大きさとなる。一般に、２枚の画像間で４点の対応関係
が与えられると、２枚の画像を結び付ける射影変換が定
まる。そこで、ｍ番目(ｍ＜ｎ)の入力画像における４頂
点を(ｘm1、ｙm1)、(ｘm2、ｙm2)、(ｘm3、ｙm3)、(ｘm
4、ｙm4)とし、基準画像における座標を(ｘM1、ｙM1)、
(ｘM2、ｙM2)、(ｘM3、ｙM3)、(ｘM4、ｙM4)とし、基準
画像をｍ番目の入力画像に変換する射影変換は、ｘmi＝(a1・ｘMi＋a2・ｙMi＋a3)／(a7・ｘMi＋a8・ｙMi＋a9) ｙmi＝(a4・ｘMi＋a5・ｙMi＋a6)／(a7・ｘMi＋a8・ｙMi＋a9) （４頂点であるので、i＝1、2、3、4） …(13) となる。

【００３９】対象探索部１５で求められた各画像の四隅
の座標を、(13)式に代入する。このことにより、変換係
数ａ1〜ａ9の９個の未知数に対して８個の線形方程式を
与えることになるが、(13)式は、ａ1〜ａ9を定数倍して
も変化しないスケール不変性があるので、例えば、ａ9
＝1であるという制約を与えれば、解が一意的に定ま
る。以上の処理により、基準画像をｍ番目の入力画像に
変換する射影変換が求められる。この逆変換をｍ番目の
入力画像に施せば、基準画像と位置が合うことになる。

【００４０】ここで、実際には、各画像の対象領域の解
像度が低いため、求まった対象領域の位置には、誤差を
含んでいる。そこで、対象物体の運動に対応して、位置
合わせを修正する。移動している対象物体は、微小時間
の間隔で見た場合、決められた所定の運動をしていると
見ることができる。その運動を満足するように、各時刻
で検出された対象領域の位置を修正してやることによ
り、対象領域の位置合わせを厳密に行うことができる。

【００４１】具体的には、例えば、図４のように、時刻
ｔ0〜ｔ3での各逆射影変換による対象領域ｐ0〜ｐ3の位
置が表されている場合、図５に示されるように、微小時
間における対象領域の運動を所定の運動に当て嵌める。
例えば、対象物体の運動が等速直線運動と見なす。図５
においては、破線Ｌによる矢印のように運動していると
する。同図は、対象物体の運動をモニタ６上の画面で見
た状態で示している。

【００４２】先ず、各時刻での対象領域の四隅の位置に
対応する点のうち、領域ｐ0〜ｐ3の左上の点が領域を代
表する位置であるとして、それらの座標を、図５中に丸
印で示されるように、(ｘ10、ｙ10)、(ｘ11、ｙ11)、
(ｘ12、ｙ12)、(ｘ13、ｙ13)とする。そこで、図６に示
すように、図５に丸印で示されるような各対象領域の代
表位置について、対象物体の運動を表す直線Ｌ上に並ぶ
ように修正する。図示のように、各座標は、(ｘm10、ｙ
m10)、(ｘm11、ｙm11)、(ｘm12、ｙm12)、(ｘm13、ｙm1
3)に修正される。しかし、ここでは、各座標が直線Ｌ上
に位置されたに過ぎず、まだ等速運動に修正されていな
い。

【００４３】次に、各座標が、図７のように直線Ｌで示
される等速運動をしているとするために、各時間間隔の
移動量が等しくなるように修正される。(13)式による射
影変換を用い、各対象領域の画像データに対して再計算
する。修正された後の各座標は、図７に示されるよう
に、(ｘM10、ｙM10)、(ｘM11、ｙM11)、(ｘM12、ｙM1
2)、(ｘM13、ｙM13)となって、対象領域ｐ0〜ｐ3が、直
線Ｌに沿った等速直線運動となるように、各領域の座標
が修正される。

【００４４】このように、各時刻の座標を全体の運動に
より拘束することで、各時刻の画像間で生じる誤差を累
積することがないため、大きなずれのない厳密な位置合
わせを可能とする。また、対象の運動により拘束せず
に、四隅の点の対応のみで射影変換を求める場合も含
む。以上のように、各時刻ｔ0〜ｔ3での対象の位置を合
わせ、重ね合わした画像をつくり、その画像を高解像度
化処理部１７へ出力する。・重ね合わされた画像の高解像度化処理高解像度化処理部１７では、位置合わせ処理部１６で生
成されたｎ枚の画像に対して高解像度化処理を行う。こ
こで行う高解像度化とは、画像形成過程をモデル化し、
その逆問題を解くことで形成された画像の原因となる高
精細な画像を推定することであり、具体的には、前述の
(1)乃至(12)式による高解像度化処理である。(12)式で
表される評価関数を最小にするようなＨ(I、J)が求めら
れる。このような処理により生成された高解像度化画像
が、を文字認識部１８に出力される。・高解像度化画像からの文字認識文字認識処理部１８は、高解像度化処理部１７から出力
された画像を用いて文字認識を行う。

【００４５】具体的には、例えば、文字レイアウトに含
まれる可能性のある文字(漢字、数字、アルファベット
など)の大きさや位相の異なるパターンを認識するため
に、予め辞書として用意しておく。そこで、高解像度化
処理を施された画像中の文字と辞書画像とのテンプレー
トマッチングを行い、マッチング度が高いものを文字な
どの認識結果として出力する。テンプレートマッチング
の方法としては、入力画像（Ｘ、Ｙ）におけるｉ番目の
画素Ｘ_i、Ｙ_iについて、(14)式の計算を行い、マッチン
グ度Ｍが小さいほど似通った領域であるとする。ただ
し、Ｍ≧０である。

【００４６】

【数７】

【００４７】以上の処理による文字などの認識結果を、
ベルトコンベア２の下流において別途用意されている仕
分け装置に出力する。その仕分け装置によって、対象物
体である荷物１の仕分けを自動で行うことや、モニタ６
に出力して作業員が荷物１の仕分けをすることなどのよ
うに、物流監視システムを構築できる。〔第２の実施形態〕第２の実施形態による文字認識処理
装置１０のブロック構成を図８に示す。

【００４８】図２に示された第１の実施形態による文字
認識処理装置１０において、位置合わせ処理部１６の後
段に、画像選択処理部１９を加えたものである。第１の
実施形態では、対象が発見された時刻ｔ0からｔn-1まで
の各時刻での画像であるｎ枚の入力画像を用い高解像度
化処理を行っている。しかし、入力されたｎ枚の画像に
は、位置合わせがうまく行えていない画像など高解像度
化処理に不適な画像も含まれている可能性が高い。その
ような画像を高解像度化処理に用いた場合、悪い影響を
与えることがある。

【００４９】そこで、第２の実施形態では、ｎ枚の画像
から位置ずれの大きい画像を除去することにより、良好
な高解像度化が得られるようにした。具体的には、例え
ば、上述した高解像度化処理における(12)式に示すテン
プレートマッチングを、位置合わせを行った各画像と基
準画像との間で行う、マッチング度Ｍの値が大きい画像
ほど、位置ずれが大きいと考えられる。よって、画像選
択処理部１９によりマッチング度を計算し、その値が閾
値より大きい画像を除去した後で、比較的位置ずれが少
ない画像に基づいて高解像度化処理を行う。

【００５０】従って、高解像度化処理において、処理に
不適当な画像を処理対象から取り除くことにより、一層
精度の高い処理を行うことができる。これまで、物流監
視システムを例にして説明してきたが、これに限られ
ず、建物への人の出入チェックシステムなど、移動する
物に付けられている対象情報を認識する必要があるよう
なところに、本実施形態による複数画像を用いた高解像
度化画像処理を適用することができる。

【００５１】対象情報についても、文字又は記号だけで
なく、物体中の特定形状などによる図形でもよい。この
場合には、高解像度化処理部の後段にある文字認識部の
代わりに、図形認識部を置く。本実施形態による高解像
度化処理を適用した文字認識処理装置の動作として、探
索対象とする物体が等速直線運動に従って移動している
例を挙げて説明したが、探索対象物体がカメラで撮影さ
れる範囲内で、決まった経路で移動することが把握され
ているならば、その経路を探索対象の運動としてそれに
拘束するように各対象領域を修正するようにしてもよ
い。

【００５２】また、これまで、カメラで撮影された画面
内において、一つの対象物体の探索を行う例を説明した
が、同時に２以上の対象物体を探索することもでき、こ
の場合には、各対象物体のそれぞれの運動を予め決定し
ておくことにより、各対象物体について、一つのカメラ
による撮影画像に基づいて広範囲の監視を実現すること
ができる。

【００５３】さらに、カメラによって撮影された画面が
揺らいでいるような場合、対象物体が止まっていても、
決まった経路として各対象領域を停止運動に拘束するこ
とで、より鮮明な高解像度化画像を作成することができ
る。（付記１）移動する対象物体を撮影した映像から当該
対象物体に係る対象情報を自動で読み取る画像処理方法
であって、前記映像における時系列の複数の画像毎に、
前記対象情報を含む所定範囲の画像領域を探索する探索
段階と、探索された各々の前記画像領域の位置を、前記
対象物体の移動に合った位置に修正して、各画像領域の
位置合わせを行う位置合わせ段階と、位置合わせされた
前記各画像領域を重ね合わせて高解像度処理を行う高解
像度化画像処理段階とを含むことを特徴とする画像処理
方法。（付記２）前記対象情報が文字又は記号を含み、前記
探索段階では、前記画像の各々において、前記文字又は
記号に係るレイアウト情報に基づいて前記画像領域を探
索することを特徴とする付記１に記載の画像処理方法。（付記３）前記位置合わせ段階では、前記対象物体が
微小時間毎に移動しているとし、前記画像領域の位置を
前記時間に対応する前記対象物体の移動位置に従って修
正し位置合わせを行うことを特徴とする付記１又は２に
記載の画像処理方法。（付記４）前記位置合わせ段階では、前記対象物体の
移動が等速直線運動であるとして、前記各画像領域の位
置を該等速直線上の位置に修正して位置合わせを行うこ
とを特徴とする付記３に記載の画像処理方法。（付記５）前記位置合わせ段階では、前記画像領域の
位置が前記対象物体の移動位置から所定値を超えてずれ
ているとき、当該画像領域を位置合わせ処理の対象から
除くことを特徴とする付記１乃至４のいずれか一つに記
載の画像処理方法。（付記６）前記高解像度化画像に基づいて前記文字又
は記号情報の認識を行う文字認識処理段階を含むことを
特徴とする付記２乃至５のいずれか一つに記載の画像処
理方法。（付記７）移動する対象物体を撮影した映像から当該
対象物体に係る対象情報を自動で読み取る画像処理装置
であって、前記映像における時系列の複数の画像毎に、
前記対象情報を含む所定範囲の画像領域を探索する探索
手段と、探索された各々の前記画像領域の位置を、前記
対象物体の移動に合った位置に修正して、各画像領域の
位置合わせを行う位置合わせ手段と、位置合わせされた
前記各画像領域を重ね合わせて高解像度処理を行う高解
像度化画像処理手段とを有することを特徴とする画像処
理装置。（付記８）前記対象情報が文字又は記号を含み、前記
探索手段は、前記画像の各々において、前記文字又は記
号に係るレイアウト情報に基づいて前記画像領域を探索
することを特徴とする付記７に記載の画像処理装置。（付記９）前記位置合わせ手段は、前記対象物体が微
小時間毎に移動しているとし、前記画像領域の位置を前
記時間に対応する前記対象物体の移動位置に従って修正
し位置合わせを行うことを特徴とする付記７又は８に記
載の画像処理装置。（付記１０）前記位置合わせ手段は、前記対象物体の
移動が等速直線運動であるとして、前記各画像領域の位
置を該等速直線上の位置に修正して位置合わせを行うこ
とを特徴とする付記９に記載の画像処理装置。（付記１１）前記位置合わせ手段には、前記画像領域
の位置が前記対象物体の移動位置から所定値を超えてず
れているとき、当該画像領域を位置合わせ処理の対象か
ら除く画像選択手段を備えたことを特徴とする付記７乃
至１０のいずれか一つに記載の画像処理装置。（付記１２）前記高解像度化画像に基づいて前記文字
又は記号情報の認識を行う文字認識処理手段を有するこ
とを特徴とする付記８乃至１１のいずれか一つに記載の
画像処理装置。

【００５４】

【発明の効果】本発明の効果は、映像中の文字や記号を
含む移動している対象の各時刻での位置を、対象の運動
により拘束することで厳密に合わせることができるた
め、高解像度化処理が良好に行え、自動で文字や記号を
読み取ることができる。それにより、カメラの撮影範囲
を広げることができ、例えば、物流監視システムに適用
した場合、複数台のベルトコンベアを１台のカメラでの
監視が可能となり、システムの大幅なコストダウンにつ
ながる。

【図面の簡単な説明】

【図１】物流監視システムの概略構成を示す図である。

【図２】第１の実施形態を適用した文字認識処理装置に
係るブロック構成を示した図である。

【図３】レイアウト情報による認識対象の探索を説明す
る図である。

【図４】モニタに映し出された各時刻での認識対象の位
置を示した図である。

【図５】微少時間における認識対象の運動を修正するた
めの該対象画像の代表点を特定した状態を説明する図で
ある。

【図６】各対象画像の代表点を直線上に並べ、認識対象
の運動による画像位置の修正について説明する図であ
る。

【図７】認識対象が等速直線運動となるように、各対象
画像を各時間の移動量が等しくなるように修正した状態
を示す図である。

【図８】第２の実施形態を適用した文字認識処理装置に
係るブロック構成を示した図である。

【符号の説明】

１…荷物２…ベルトコンベア３…照明装置４…カメラ５…認識装置６…モニタ７…ラベル１０…文字認識処理装置１１…Ａ／Ｄ変換器１２…画像制御部１３…第１画像記憶部１４…第２画像記憶部１５…対象探索部１６…位置合わせ処理部１７…高解像度化処理部１８…文字認識部１９…画像選択処理部

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｈ０４Ｎ 5/915 Ｈ０４Ｎ 5/91 Ｋ (72)発明者塩原守人神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内Ｆターム(参考） 5B057 CA12 CA16 CB12 CB16 CE03 5C052 AA00 DD04 5C053 FA11 GB19 HA29 KA01 KA24 LA01 5C054 AA01 EJ07 FC13 HA03 5L096 FA69 HA04 JA03

Claims

【特許請求の範囲】

【請求項１】移動する対象物体を撮影した映像から当
該対象物体に係る対象情報を自動で読み取る画像処理方
法であって、前記映像における時系列の複数の画像毎に、前記対象情
報を含む所定範囲の画像領域を探索する探索段階と、探索された各々の前記画像領域の位置を、前記対象物体
の移動に合った位置に修正して、各画像領域の位置合わ
せを行う位置合わせ段階と、位置合わせされた前記各画像領域を重ね合わせて高解像
度処理を行う高解像度化画像処理段階とを含むことを特
徴とする画像処理方法。
【請求項２】前記対象情報が文字又は記号を含み、前記探索段階では、前記画像の各々において、前記文字
又は記号に係るレイアウト情報に基づいて前記画像領域
を探索することを特徴とする請求項１に記載の画像処理
方法。
【請求項３】前記位置合わせ段階では、前記対象物体
の移動が等速直線運動であるとして、前記各画像領域の
位置を該等速直線上の位置に修正して位置合わせを行う
ことを特徴とする請求項１又は２に記載の画像処理方
法。
【請求項４】前記位置合わせ段階では、前記画像領域
の位置が前記対象物体の移動位置から所定値を超えてず
れているとき、当該画像領域を位置合わせ処理の対象か
ら除くことを特徴とする請求項１乃至４のいずれか一項
に記載の画像処理方法。
【請求項５】移動する対象物体を撮影した映像から当
該対象物体に係る対象情報を自動で読み取る画像処理装
置であって、前記映像における時系列の複数の画像毎に、前記対象情
報を含む所定範囲の画像領域を探索する探索手段と、探索された各々の前記画像領域の位置を、前記対象物体
の移動に合った位置に修正して、各画像領域の位置合わ
せを行う位置合わせ手段と、位置合わせされた前記各画像領域を重ね合わせて高解像
度処理を行う高解像度化画像処理手段とを有することを
特徴とする画像処理装置。