JP5031504B2

JP5031504B2 - 画像処理装置および操作者検索方法

Info

Publication number: JP5031504B2
Application number: JP2007258888A
Authority: JP
Inventors: 昌弘松下; 弘隆椎山; 洋東條; 浩一馬養; 光太郎矢野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-10-02
Filing date: 2007-10-02
Publication date: 2012-09-19
Anticipated expiration: 2027-10-02
Also published as: US8355583B2; US20090087101A1; JP2009089250A

Description

本発明は、画像読み取り手段で読み取った画像を印刷出力する画像処理装置、方法及びプログラムに関する。

コンビニエンスストア、カメラ量販店等において、複写機を利用したコピーサービスや、デジタルラボ機を利用した印刷サービスが提供されている。これらのサービスは、一般の利用者が店員に操作を手伝ってもらわなくても気軽に利用できるが、原稿や印刷物の取り忘れも頻繁に発生している。

このような問題に対して、特許文献１では、原稿の排出を促すことにより、原稿の取り忘れを防止しようとしている。
特開２００５−８４４０３

しかし、従来の技術では原稿の排出を促す表示や警告音にユーザが気付かなかったり、排出した原稿を台の上に置いて忘れたりするということがあった。また、原稿を持ち帰っても印刷物を取り忘れるということもあった。

実際、印刷物の取り忘れが発生した場合、コンビニエンスストアの店員などの複写機管理者は、原稿や印刷物を取りに戻って来た持主に対して、その原稿や印刷物が本人のものかどうかを確認する事が困難であった。

上記課題を解決するための本発明に係る代表的な構成は、印刷情報を記録媒体に記録する記録装置に対する画像処理装置であって、
前記印刷情報から特徴量を抽出する特徴量抽出手段と、
前記印刷情報を前記記録媒体に記録した日時と前記特徴量とを関連付けて保存する保存手段と、
所定の記録媒体の特徴量と、記録に用いた印刷情報の特徴量とを比較し、前記所定の記録媒体と類似度の高い印刷情報を検索する検索手段と、
前記検索手段によって検索された印刷情報を記録した日時に基づいて、当該画像処理装置周辺を撮像している監視カメラシステムの撮像画像から識別用画像を取得し、取得した当該識別用画像を出力する出力手段と、を有することを特徴とするものである。

本発明によれば、印刷物から印刷出力した日時を検索できるために、印刷物を出力したユーザーの確認が容易になる。

また、本発明によれば、操作者を識別可能な画像を、原稿から読み取った画像の特徴量や印刷出力した日時、原稿から読み取った印刷情報などの索引情報と関連付けて記憶保存することで、印刷物を出力したユーザーの確認が容易になり、出力したユーザーを特定する精度も上がる。

以下、添付の図面を参照して本発明の一実施形態を説明する。

〔実施形態１〕
本実施形態は、画像形成装置の操作者の撮像に特化したカメラを画像形成装置の一部として装備している場合の一例である。

〔画像処理装置の制御構成〕
図１は、本実施形態における画像形成装置の構成を示すブロック図である。

図１において、読み取り手段である画像読み取り部１０１は、原稿台、又はオートドキュメントフィーダ（ＡＤＦ）、媒体リーダを備え、原稿に記録又は保存されている画像を読み取る。原稿台やＡＤＦから画像を読み取る場合は、原稿からの原稿画像を不図示の光学系で読み取りラスタ画像を得る。媒体リーダから読み取る場合は、磁気メモリ、磁気ディスク、光学ディスク、光磁気ディスク等の記憶媒体から、磁気的もしくは光学的に情報を読み出すことで画像を得る。以下、簡略のため画像読み取り部１０１は原稿台として説明する。

尚、本実施形態では、画像読み取り部１０１の原稿台から読み取る媒体として、紙文書を例に挙げて説明するが、紙以外の記録媒体（例えば、ＯＨＰシート、フィルム等の透過原稿、布等）を読み取り対象としても良い。

また、画像形成装置は、記録信号に対応する画像を印刷部１０２で記録媒体に記録する複写機能を有している。

データ処理部１０３の有するＣＰＵ（不図示）は、記憶部１０４が有するＲＡＭなどに保存されているプログラムを実行したり、原稿から読み取った印刷情報を処理して記録信号を生成したりする。保存手段（以下、記憶部１０４）はプログラムや画像信号を保持するＲＡＭや、変更を必要としないプログラムやパラメータを格納する不揮発性のメモリであるＲＯＭ、ＨＤＤなどの記憶媒体を少なくとも１つ備えている。

原稿画像を１つ複写する場合、データ処理部１０３は印刷情報を処理して記録信号を生成し、印刷部１０２に送信する。

一方、原稿画像を複数枚複写する場合は、データ処理部１０３によって生成した画像信号を記憶部１０４に記録信号を記憶保持させ、これを印刷部１０２に順次出力して記録媒体上に印刷してもよい。

操作者からの指示は入力部１０５から行われ、データ処理部１０３によって処理されることで画像形成装置が制御される。また、画像形成装置の状態や処理中の画像データは、表示部１０６に表示される。

データベース１０７は、画像読み取り部１０１で読み取った画像データ、及び画像データに関係する情報を登録、管理する。

撮像部１０８は、操作者を識別する識別情報を取得するための識別用情報取得手段であって画像形成装置に付設されているビデオカメラ、スチルカメラを有し、装置を使用している操作者の顔画像が鮮明に撮像可能な場所に設けられている。

本実施形態の画像処理装置で実行する処理は、印刷操作時に、画像を読み込み印刷する際に画像データを登録する処理と、置き去られた原稿もしくは印刷物から持主（又は操作者）を検索する持主検索処理との２つがある。
まず、印刷操作時の処理の詳細について説明する。

〔印刷操作時の処理〕
印刷操作時の処理の概要について図２を用いて説明する。図２は、本実施形態に係る画像処理の流れを説明するためのフローチャートである。

まず、ステップＳ２０１において操作者が原稿台に原稿を置く。次にステップＳ２０２において、操作者がコピーボタンを押下すると、ステップ２０３に遷移する。この時、データ処理部１０３はコピーボタンの押下を受け付けたことをトリガとして、撮像部１０８に対して撮像信号送り、操作者を撮影する。このため、撮像部１０８はコピーボタンの押下に応じたユーザの立ち位置を考慮して設置される必要がある。

ここでは、コピーボタンを一例に挙げたが、複写作業に伴う操作者が取る所定作業に応じた位置に撮像部１０８を設け、この所定作業に対応して撮像してもよい。所定作業とは、例えばコンビニエンスストアで用いられている場合は原稿蓋の開閉や、硬貨の挿入などが挙げられる。

また、所定時間の間、連続撮影を行い、連続撮影された画像の中から顔の検出を行い、操作者の顔画像として確度が高い画像を、操作者を識別する識別用情報として抽出してもよい。顔を検出にはパターンマッチングを利用した方法など、従来の手法を利用すればよい。

次に、ステップＳ２０４において、画像読み取り部１０１の原稿台にある原稿から画像の読み取りを行い、ステップＳ２０５において、読み込んだ画像の印刷を行う。

最後に、ステップＳ２０６において、撮影画像を読み込んだ画像などの索引情報と関連付けて登録する登録処理を行う。登録処理の詳細は後述する。

〔画像登録処理〕
ステップＳ２０６の登録処理の詳細について図３を用いて説明する。図３は、本実施形態の登録処理の概略を示すフローチャートである。

本実施形態の処理では、像域分離にて分離された各領域を所定の順序に従って着目し、印刷原稿に対応する特徴量を抽出し索引情報として登録する。所定の順序については後述する。

まず、ステップＳ３０１において、読み取り画像に対して、像域分離処理を行い、絵柄領域とテキスト領域に分離する。像域分離処理の詳細については後述する。

次に、ステップＳ３０２において、最初の領域に着目する。

ステップＳ３０３において、着目した領域が絵柄領域のときはステップＳ３０４へ、着目した領域がテキスト領域のときはステップＳ３０５へ進む。

ステップＳ３０４において、着目した領域から画像特徴量を抽出し、ステップＳ３０６へ進む。ステップＳ３０４の画像特徴量の抽出処理についての詳細は後述する。

ステップＳ３０５において、着目した領域からテキスト特徴量を抽出し、ステップＳ３０６へ進む。ステップＳ３０５のテキスト特徴量の抽出処理についての詳細は後述する。

次に、ステップＳ３０６において、すべての領域の特徴量抽出処理が終了していればステップＳ３０８へ進み、終了していなければステップＳ３０７へ進む。

ステップＳ３０７において、次の領域を着目領域として設定し、ステップＳ３０３に戻る。

最後に、ステップＳ３０８において、特徴量の登録を行う。ステップＳ３０８の特徴量登録処理については後述に詳細を記載する。

本実施形態では、ステップＳ３０１において、像域分離処理を行っているが、本処理を行わず、入力画像全体の画像特徴量を抽出するようにしてもよい。

本実施形態では、ステップＳ３０１の像域分離を行って抽出された領域を、絵柄領域とテキスト領域の２種類に分類しているが、これら２種類に限定するものではない。絵柄領域を更に、写真領域、図面領域、線画領域、表領域等に分類してもよいし、テキスト領域を更に、キャプション領域、本文領域等に分類してもよい。また、領域の種類を多くした場合は、必要に応じて、相応した特徴量を抽出するようにしてもよい。

また、絵柄領域やテキスト領域がどう配置されているかというレイアウト情報を特徴量として抽出するようにしてもよい。

〔像域分離処理〕
ステップＳ３０１の像域分離処理の詳細について図４を用いて説明する。ここで、図４は、本実施形態における画像ブロック抽出例を示す図である。

像域分離処理とは、例えば、図４における画像４０１を４０２に示すように、意味のあるブロック毎の塊として認識する。そして、該ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。

ここで、像域分離処理の一実施形態について詳細に説明する。

まず、入力画像を白黒画像に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。そして、面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出する。さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類する。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、近接する文字が整列良くグループ化可能な部分を文字ブロックとする。文字ブロック意外の画素塊を絵柄ブロックとする。また、絵柄ブロックについて、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。

〔画像特徴量の抽出処理〕
ステップＳ３０４の画像特徴量の抽出処理について図５のフローチャートを用いて詳細を説明する。

本実施形態では、一例として、画像の色に関する画像特徴量を抽出する画像特徴量の抽出処理を行う。尚、以下で説明する抽出処理では、抽出処理の対象となる画像を複数のメッシュブロックに分割し、各メッシュブロックの色ヒストグラム中の最頻色を有する色と、各メッシュブロックの位置情報を対応づけた情報とを画像特徴情報として抽出する。

まず、画像を複数のメッシュブロックに分割する（ステップＳ５０１）。図６は、画像の縦横をそれぞれ９等分する、８１個のメッシュブロック（９×９）へ分割する例を示す図である。なお、簡略のため８１個に分割しているが、実際の処理では２２５（１５×１５）個に分割するなど、さらに細かく分ける事が望ましい。

次に、処理順序に従って１番のメッシュブロックを処理対象として着目する（ステップＳ５０２）。この処理順序は、予め処理順序が決定された順序決定テーブル（図７に例示）を参照して行う。

次いで、未処理のメッシュブロックの有無を判定する（ステップＳ５０３）。その結果、未処理のメッシュブロックがない場合（Ｎｏ）は、処理を終了する。一方、未処理のメッシュブロックがある場合（Ｙｅｓ）は、ステップＳ５０４に進む。

ステップＳ５０４では、メッシュブロックの全画素の各濃度値を、図８に示す色空間を分割して作った部分空間（以下、色ビン）へ射影し、色ビンに対する色ヒストグラムを生成する。すなわち、図８は、本実施形態における色空間上の色ビン構成の一例を示す図である。

なお、本実施形態では簡略のため、ＲＧＢ色空間を３×３×３＝２７に等分割した色ビンへ、メッシュブロックの全画素の濃度値を射影している。実際には、ＲＧＢ色空間を６×６×６＝２１６程度に分割した色ビンを用いるほうが好ましい。

その後、色ヒストグラムの最頻色ビンの色ビンＩＤをそのメッシュブロックの代表色と決定し、そのメッシュブロックとその位置に対応づけて記憶部１０４に記憶する（ステップＳ５０５）。

そして、図７に示す順序決定テーブルを参照して、次の処理対象となるメッシュブロックを設定する（ステップＳ５０６）。その後、ステップＳ５０３に戻って、未処理のメッシュブロックがなくなるまで、ステップＳ５０３〜ステップＳ５０６の処理を繰り返す。

以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を画像特徴量として抽出することができる。

〔テキスト特徴量の抽出処理〕
ステップＳ３０５におけるテキスト特徴量の抽出処理の詳細について説明する。本実施形態では、領域中のテキストにＯＣＲ（文字認識）処理を施して得られる文字コードをテキスト特徴量とする。一例として、ＯＣＲ処理によって得られる文字コードをそのままテキスト特徴量としているが、ＯＣＲを行った結果から文字数や、漢字、ひらがな等の割合、領域における文字の散らばり等、統計的データを用いてテキスト特徴量としてもよい。

ここで、ＯＣＲ（文字認識）処理とは、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得するものである。この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

像域分離処理（ステップＳ３０１あるいはステップＳ１３０１）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対して横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出す。その後、文字列から文字を切り出して文字画像を取得する。

ここで、横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。また、文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。

〔特徴量の登録処理〕
ステップＳ３０８における特徴量の登録処理の詳細について説明する。

まず、読み取り画像に固有の画像ＩＤを割り振る。次に図９のように操作者画像と関連付けて記憶させる。

次に、ステップＳ３０１で分離された領域ごとに、領域ＩＤを割り振る。そして図１０のように、画像ＩＤ、領域ＩＤ、領域属性を関連付けて記憶させる。

次に、図１１に示すように、ステップＳ３０５で抽出した特徴量を領域ＩＤや画像ＩＤと関連付けて記憶させる。

〔操作者検索処理〕
置き去られた原稿もしくは印刷物から操作者を検索する持主検索処理の概要について、図１２を用いて説明する。図１２は、本実施形態における操作者を検索する処理を示すフローチャートである。

まず、ステップＳ１２０１において、操作者が原稿台に原稿を置く。
次に、ステップＳ１２０２において、操作者が検索ボタンを押下することにより、ステップＳ１２０３に遷移し、原稿台から画像の読み取りを行う。

次に、ステップＳ１２０４において、読み込んだ画像から特徴量を抽出し、印刷原稿に対応する特徴量の中から比較検索する検索処理を行う。ステップＳ１２０４の検索処理の詳細については後述する。

次に、ステップＳ１２０５において、ステップＳ１２０４の検索処理により絞り込まれた登録画像から、図９を用いて操作者画像を特定し、ステップＳ１２０６において、操作者の画像を印刷する。操作者画像が１枚に絞れなかった場合は、候補となる操作者の画像を順次印刷してもよい。

ステップＳ１２０７において、データ削除を行うかの問い合わせを行い、ＹＥＳの場合はステップＳ１２０８に進み、ＮＯの場合はそのまま終了する。ステップＳ１２０８において、データの削除を行い、処理を終了する。

本実施形態では、検索結果を印刷するようにしているが、画像形成装置に付属のモニタに表示するようにしてもよい。

同じ原稿が何回も印刷される可能性が高い場所に設置された画像形成装置に対して、候補者を印刷すると膨大になる場合があるので、記録日時や印刷条件などの絞り込みをかけた上で出力できるようにしておくのが望ましい。

なお、識別用情報として操作者の顔画像を用いている場合、持主検索処理は管理者のみが使用できる様に制限した方が望ましい。

〔検索処理の詳細説明〕
ステップＳ１２０４の検索処理の詳細について図１３を用いて説明する。図１３は、本実施形態における検索処理を説明するためのフローチャートである。

まず、ステップＳ１３０１において、読み取り画像に対して、前述した像域分離処理を行い、絵柄領域とテキスト領域に分離する。

次に、ステップＳ１３０２において、すべての登録画像を候補画像に設定する。

ステップＳ１３０３において、最初の領域に着目する。

ステップＳ１３０４において、着目領域が絵柄領域のときはステップＳ１３０５へ、着目領域がテキスト領域のときはステップＳ１３０７へ進む。

ステップＳ１３０５において、前述した画像特徴量抽出処理を行い、ステップＳ１３０６において、候補画像に含まれる絵柄領域の画像特徴量と画像特徴量比較処理を行い、ステップＳ１３０９へ進む。ステップＳ１３０６の画像特徴量比較処理の詳細については後述する。

ステップＳ１３０７において、前述したテキスト特徴量抽出処理を行い、ステップＳ１３０８において、候補画像に含まれるテキスト領域のテキスト特徴量とテキスト特徴量比較処理を行い、ステップＳ１３０９へ進む。ステップＳ１３０８のテキスト特徴量比較処理の詳細については後述する。

ステップＳ１３０９において、類似度が閾値以下の画像を候補画像から除外する。

次に、ステップＳ１３１０において、候補画像が１枚に絞られていれば、処理を終了し、絞られていなければステップＳ１３１１へ進む。

ステップＳ１３１１において、読み取り画像のすべての領域に対する特徴量比較処理が終了していれば、処理を終了し、まだ終了していなければ、ステップＳ１３１２へ進む。

ステップＳ１３１２において、次の領域を着目領域として設定し、ステップＳ１３０４に戻る。

本実施形態では、領域１つ１つの比較を行いながら候補を絞っているが、すべての領域の比較を行った上で、総合判断をして候補を定めるようにしてもよい。

本実施形態では、領域ごとに比較処理を行っているが、特徴量抽出時にレイアウト情報抽出している場合は、レイアウト情報を比較するようにしてもよい。

〔画像特徴量比較処理〕
ステップＳ１３０６の画像特徴量比較処理の詳細について図１４を用いて説明する。図１４は、本実施形態における画像特徴量比較処理の詳細を説明するためのフローチャートである。

まず、検索元画像と比較先画像の画像特徴量を読み出す（ステップＳ１４０１）。次に、処理対象とする画像中のメッシュブロックを先頭に設定する（ステップＳ１４０２）。さらに、検索元画像の画像特徴量と、比較対象の画像特徴量の類似度を示す類似距離を０にリセットする（ステップＳ１４０３）。

その後、未比較のメッシュブロックの有無を判定する（ステップＳ１４０４）。その結果、未比較のメッシュブロックがない場合（Ｎｏ）は、ステップＳ１４０８に進む。一方、未比較のメッシュブロックがある場合（Ｙｅｓ）は、ステップＳ１４０５に進む。

ステップＳ１４０５では、検索元画像と比較先画像のそれぞれの画像特徴量から、それぞれのメッシュブロックの色ビンＩＤを取得する。次いで、図１５に示す色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応するメッシュブロックの局所的類似距離を取得する（ステップＳ１４０６）。そして、取得した局所的類似距離を直前の処理で取得している類似距離に累積加算し、この類似距離は記憶部１０４に記憶する（ステップＳ１４０７）。

ここで、色ビンペナルティマトリックスについて、図１５を用いて説明する。図１５は、本実施形態で使用される色ビンペナルティマトリックスの一構成例を示す図である。色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１５によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、すなわち、類似度が低くなるほど、その類似距離が大きくなるように構成されている。また、色ビンペナルティマトリックスは、同一色ビンＩＤの対角位置はすべて類似距離が０であり、それを境として対象性を有している。

このように、本実施形態に係る画像処理装置では、図１５に示すような色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。

そして、図７に示す順序決定テーブルを参照して、次の処理対象となるメッシュブロックを設定する（ステップＳ１４０７）。その後、ステップＳ１４０４に戻る。

一方、ステップＳ１４０４で未比較のメッシュブロックがないと判断された場合（Ｎｏ）、記憶部１０４に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する（ステップＳ１４０８）。尚、類似度への変換は、例えば、類似距離が最小値のときの類似度を１００％、類似距離が最大値のときの類似度を０％として、その範囲内の類似距離に対する類似度は、最小値或いは最大値に対する差に基づいて算出するようにすれば良い。

〔テキスト特徴量比較処理〕
次に、ステップＳ１３０８のテキスト特徴量比較処理の詳細について説明する。この処理では、検索元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。

以上、本実施形態では画像形成装置の操作者を識別するための識別用情報としての顔画像を撮像する撮像装置を用意してある場合について説明した。本実施形態によると、放置された原稿や印刷物から精度良く、持主を特定する事が可能となる。

〔実施形態２〕
本実施形態は、画像形成装置の操作者の撮像に特化した撮像装置が存在しない場合を説明する。装置付近を撮像する監視カメラ等から撮像画像を流用し放置媒体から持主を検索可能にする方法を以下に説明する。

なお、実施形態１と同一機能を有するものには同一符号を付すとともに、構成的、機能的に変わらないものについてはその説明を省略する。

〔印刷操作時の処理〕
印刷操作時の処理の概要について図２を用いて説明する。

ステップＳ２０１およびステップＳ２０２については、実施形態１と同様である。次に、ステップＳ２０３の操作者撮影処理をスキップしステップＳ２０４に遷移する。ステップＳ２０４およびステップＳ２０５については、実施形態１と同様である。続いてステップＳ２０６において、読み込んだ画像から特徴量を抽出し、画像を読み込んだ日時（記録日時）と関連付けて登録する。ステップＳ２０６登録処理の詳細については後述する。

〔特徴量の登録処理〕
特徴量の登録処理の詳細について説明する。

まず、読み取り画像に固有の画像ＩＤを割り振り、記録日時と関連付けて記憶させる。図１６は、本実施形態において登録される画像ＩＤ、記録日時を有する索引情報の一例を示す図である。

次に、ステップＳ３０１で分離された領域ごとに、領域ＩＤを割り振り、画像ＩＤ、領域属性と関連付けて記憶させる。図１０は、本実施形態において登録される、画像ＩＤ、領域ＩＤ、領域属性を有する索引情報の一例を示す図である。

次に、それぞれの領域に対応する特徴量を画像ＩＤ、領域ＩＤと関連付けて記憶させる。図１１は、画像ＩＤ、領域ＩＤ、画像特徴量を有する索引情報の一例を示す図であり、図１２は、画像ＩＤ、領域ＩＤ、テキスト特徴量を有する索引情報の一例を示す図である。

〔監視カメラによる撮像〕
本実施形態では、画像形成装置の操作とは独立して、監視カメラによる撮像が行われる。監視カメラは少なくとも装置が使用される瞬間又は時間帯に撮像している。また、記録にあたっては、記録日時の情報も付加される。なお、監視カメラで撮像した画像は、画像形成装置の受信手段によって、参照可能に受信される。

〔検索処理〕
検索処理の詳細について、図１７を用いて説明する。図１７は、本実施形態における検索処理の詳細を説明するためのフローチャートである。

まず、ステップＳ１７０１において、検索処理により絞り込まれた索引情報から、図１６を用いて日付を特定する。

次に、ステップＳ１７０２において、監視カメラの記録画像から該当する記録日時の記録画像を抽出する。続いてステップＳ１７０３において、抽出した記録画像から、画像形成装置を操作している人物を抽出する。人物抽出処理については、人物がいないときの画像形成装置周辺の画像との差分を取る方法や、パターンマッチングを用いて行う方法等、従来の手法を利用すればよい。次に、ステップＳ１７０４において、該画像を操作者画像の候補とする。

次に、ステップＳ１７０５において、該画像から顔検出を行う。ステップＳ１７０６において、顔検出できればステップＳ１７０７へ、顔検出できなければステップＳ１７０９へ進む。ステップＳ１７０７において、該画像の顔検出の確度が、操作者画像候補の顔検出の確度よりも高ければステップＳ１７０８へ、低ければステップＳ１７０９へ進む。ステップＳ１７０８において、操作者画像候補を該画像に交換する。

次にステップＳ１７０９において、監視カメラの記録画像において、該画像の人物のトレースを行う。ステップＳ１７１０において、一定間隔（フレーム）後までトレースができていれば、ステップＳ１７０５に戻り、トレースができなかった場合は、監視カメラの範囲外に出たということで、トレースを終了し、ステップＳ１７１１に進む。

最後に、ステップＳ１７１１において、操作者画像候補を操作者画像に特定し識別用情報とする。

本実施形態ではステップＳ１２０６の処理に静止画を用いているが、動画を再生するようにしてもよい。また、本実施形態では、該当する日時以降に対してトレースを行っているが、該当する日時以前に遡ってトレースを行ってもよい。

〔その他の実施形態〕
以上、画像形成装置を含む実施形成を説明したが、画像形成装置を監視する画像処理装置として実施してもよい。また、識別用情報として操作者を撮像した画像を用いる場合を説明したが、ＩＤカードなどの認証を用いる画像形成装置であれば、認証情報を識別用情報としてもよい。

他にも、前述の実施形態では操作者の身体的特徴として顔を撮像対象にしたが、指紋や静脈認証などの身体的特徴を識別用情報として撮像対象に用いてもよい。この場合、入力部１０５のうち画像形成処理に必須であるキーに撮像手段を設け、操作者の動作に応じて識別用情報を取得するとよい。操作者全体像を撮影した画像など、詳細な顔画像が無くても容易に本人確認ができる場合も想定できる。このような場合には、上下の服装を判別可能に撮像すればよい。

また、コンビニエンスストアやカメラ量販店等での使用について述べてきたが、オフィスにおいても同様の装置を使用することができる。オフィスにおいては、大量のコピーをする際、装置の前を離れてしまうことがあり、コピーが終わっても原稿や印刷物が置いたままになっていることがある。本発明を適用することにより、コピーを行った人を検索することができ、原稿や印刷物を持主のもとへ持って行ったり、持主に取りに行くよう促したりすることができる。

他にも、前述の実施形態では、置き去りが発生した後の対応策として適用しているが、次の操作者が操作するまで、前回の操作者の全体像をディスプレイに表示し、置き去り予防に用いても良い。

前述の本発明の一実施形態による情報処理装置は、各構成をハードウェアで構成したり、ソフトウェアで構成したり、あるいはハードウェアとソフトウェアの両方で構成したりする事も考えられる。また、複数のソフトウェアやハードウェアの共同によって、本発明の構成を成してもよい。

また、システムあるいは装置のＣＰＵ（またはＭＰＵ）が、前述した実施形態のフローに対応するコンピュータ読み取り可能なプログラムコードを記憶した記憶媒体からプログラムコードを読み出し実行する場合も考えられる。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

さらに、コンピュータに接続された機能拡張ユニットが、記憶媒体からプログラムコードを読み出し、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが前述の実施形態のフローに対応する処理を行う事もできる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

画像処理装置の構成例を示すブロック図である。画像処理を示すフローチャートである。画像登録処理を示すフローチャートである。画像ブロック抽出例を示す図である。画像特徴量の抽出処理を示すフローチャートである。画像を複数のメッシュブロックへ分割する例を示す図である。順序決定テーブルの一例を示す図である。色空間上の色ビンの構成例を示す図である。索引情報としての画像ＩＤと識別用情報としての操作者画像を関連付けた一例を示す図である。画像ＩＤ、領域ＩＤ、領域属性を有する索引情報の一例を示す図である。画像ＩＤ、領域ＩＤ、特徴量を有する索引情報の一例を示す図である。操作者情報を検索する処理の概略を示すフローチャートである。検索処理の詳細を示すフローチャートである。画像特徴量比較処理を示すフローチャートである。色ビンペナルティマトリックスの一構成例を示す図である。画像ＩＤ、日時を有する索引情報の一例を示す図である。（実施形態２）検索処理の詳細を示すフローチャートである。（実施形態２）

符号の説明

１０１画像読み取り部
１０２印刷部
１０３データ処理部
１０４記憶部
１０５入力部
１０６表示部
１０７データベース
１０８撮像部

Claims

印刷情報を記録媒体に記録する記録装置に対する画像処理装置であって、
前記印刷情報から特徴量を抽出する特徴量抽出手段と、
前記印刷情報を前記記録媒体に記録した日時と前記特徴量とを関連付けて保存する保存手段と、
所定の記録媒体の特徴量と、記録に用いた印刷情報の特徴量とを比較し、前記所定の記録媒体と類似度の高い印刷情報を検索する検索手段と、
前記検索手段によって検索された印刷情報を記録した日時に基づいて、当該画像処理装置周辺を撮像している監視カメラシステムの撮像画像から識別用画像を取得し、取得した当該識別用画像を出力する出力手段と、を有することを特徴とする画像処理装置。
前記出力手段は人物抽出処理手段と顔検出手段とを有し、前記監視カメラが撮影した撮像画像に対して人物がいないときの画像との差分から前記人物抽出手段によって人物画像を抽出し、前記顔検出手段は当該人物画像について顔検出を行い、前記顔検出手段によって顔が検出できた撮像画像を前記識別用画像とすることを特徴とする請求項１に記載の画像処理装置。
印刷情報を記録媒体に記録する記録装置に対する操作者検索方法であって、
前記印刷情報から特徴量を抽出する特徴量抽出工程と、
印刷情報を前記記録媒体に記録した日時と前記特徴量とを関連付けて保存する保存工程と、
所定の記録媒体の特徴量と、記録に用いた印刷情報の特徴量とを比較し、前記所定の記録媒体と類似度の高い印刷情報を検索する検索工程と、
前記検索工程において検索された印刷情報を記録した日時に基づいて、当該画像処理装置周辺を撮像している監視カメラシステムの撮像画像から識別用画像を取得し、取得した当該識別用画像を出力する出力工程と、
を有することを特徴とする操作者検索方法。