JP2004304822A - 画像処理システム及び画像処理システムの画像処理方法 - Google Patents

Abstract

【課題】 撮像条件の設定から抽出画像の生成まで一連の処理を端末処理側で制御することができる画像処理システムを提供する。
【解決手段】 カメラ１および端末装置２１がデータ通信バス２４を介して接続された撮像システムでは、端末装置２１は、カメラ１に対して被写体抽出のための被写体抽出撮像モードの設定コマンドを送信すると、カメラ１は、このコマンドの応答として同一の被写体を複数の撮像条件で撮影するように撮像パラメータを制御して撮像する。端末装置２１は、カメラ１により撮像された複数の画像データを受信し、これら複数の画像データのうち１つの画像データを表示装置２６に表示する。表示された画像データ上の任意の点を指定し、複数の画像データと指定された点に基づき、被写体抽出の対象領域を判別し、この対象領域の画像データを複数の画像データから切り出す。
【選択図】 図１

Description

本発明は、撮像パラメータを制御することにより得られる画像を処理する画像処理システム及び画像処理システムの画像処理方法に関する。

従来、この種の画像処理システムの撮像部では、信号処理のディジタル化に伴い、映像情報の処理、加工の自由度の向上にしたがって内部での処理には、輝度レベル、色調の変換、ホワイトバランス処理、量子化サイズ変換などの比較的軽易な処理の他、エッジ抽出機能や色成分の逐次成長法を用いた画像抽出機能（非特許文献１）を有する処理などがある。

また、背景画像との差分に基づいて画像抽出を行う手法において、背景画像の撮影時に平均輝度が適正となるように絞り制御部を設定し、背景画像と同じ設定値を用いて現画像を撮像してそれらの差分データに基づき物体画像の抽出を行うことが示されている（特許文献１）。
特開平６−２５３１９７号公報では テレビジョン学会技術報告、ｖｏｌ．１８，ｐｐ．１３−１８，１９９４

しかしながら、従来の画像処理システムでは撮像部の内部に被写体抽出時に撮像モードを外部から適正に制御するためのコマンド通信制御部、または撮像部内に被写体抽出用画像を撮像する際に必要な撮像パラメータの制御機能を有しないために画像抽出に最適な撮像条件を設定することができなかった。したがって、画像抽出の目的のために照明条件の変化、被写体運動の有無、撮像部自体の運動の有無など撮影状況に応じて撮像条件を最適に設定することができなかった。

また、カメラを遠隔地点から操作して特定の被写体を抽出する際、通信制御手段、通信方式および制御コマンドなどが確立していなかった。特に、指定された被写体に対して適切な画角設定、フォーカシング、照明条件（例えば、ストロボ発光の有無）などの最適撮像条件の設定を自動的または対話的に行うことができなかった。

例えば、画角の最適設定は不要な背景領域を最大限排除し、画像抽出処理を効率的に行うためにも重要であるが、これを自動的または対話的に行うためのカメラと端末装置との間の通信制御および撮像制御方式が確立していないので、その機能を実現することができなかった。

そこで、本発明は、撮像条件の設定から抽出画像の生成まで一連の処理を端末処理側で制御することができる画像処理システム及び画像処理システムの画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理システムは、撮像装置と端末装置との間で通信媒体を介したデータ通信を行う画像処理システムであって、前記撮像装置は、被写体を撮像して画像データを得る撮像手段と、前記撮像手段の撮像パラメータを制御する撮像パラメータ制御手段と、を有し、前記端末装置は、前記撮像装置に対して被写体抽出のための撮像指令を送信する送信手段と、前記撮像指令の応答として前記撮像パラメータ手段が同一の被写体を複数の撮像条件で撮影するように前記撮像パラメータを制御して前記撮像手段により撮像された複数の画像データを受信する受信手段と、前記撮像装置から受信した複数の画像データのうち１つの画像データを表示する表示手段と、前記表示手段により表示された画像データ上の任意の点を指定する指定手段と、前記複数の画像データと前記指定された点に基づき、被写体抽出の対象領域を判別する領域判別処理手段と、前記領域判別処理手段により判別された対象領域の画像データを前記複数の画像データから切り出す切出手段と、を有することを特徴とする。

本発明の画像処理システムの画像処理方法は、撮像装置と端末装置との間で通信媒体を介したデータ通信を行う画像処理システムの画像処理方法であって、前記端末装置において、前記撮像装置に対して被写体抽出のための撮像指令を送信し、前記撮像装置において、前記撮像指令の応答として同一の被写体を複数の撮像条件で撮影するように撮像パラメータを制御して撮像手段に撮像させ、前記端末装置において、前記撮像手段により撮像された複数の画像データを受信し、前記撮像装置から受信した複数の画像データのうち１つの画像データを表示手段に表示し、前記表示手段により表示された画像データ上の任意の点を指定し、前記複数の画像データと前記指定された点に基づき、被写体抽出の対象領域を判別し、判別された対象領域の画像データを前記複数の画像データから切り出すことを特徴とする。

本発明によれば、撮像条件の設定から抽出画像の生成まで一連の処理を端末処理側で制御することができる。

本発明の画像処理システム及び画像処理システムの画像処理方法の実施の形態について説明する。本実施の形態における画像処理システムは撮像システムに適用される。

［第１の実施の形態］
第１の実施の形態における撮像システムは、ピント状態を制御して異なる撮像条件での画像から特定の被写体抽出処理を照明条件などによらず安定かつ高速に行うことに特徴を有する。特定の被写体抽出処理とは背景画像から被写体画像を切り出す処理であるが、この処理を画像の分類、認識、追跡などの処理に適用してもよい。

図１は第１の実施の形態における撮像システムの構成を示すブロック図である。撮像システムは、少なくとも１台以上のカメラ（撮像装置）１、複数の端末装置２１、表示装置２２およびプリンタ２５がデータ通信バス２４に接続された構成を有する。端末装置２１には指示選択を行うマウス２３や表示装置２６が設けられている。マウス２３の代わりにペン入力で指示選択を行ってもよい。また、データ通信バス２４にはバスコントロールが含まれている。

本撮像システムでは、端末装置２１およびカメラ１がいずれも複数台接続されている場合、任意の端末装置２１から任意のカメラ１における撮像モードの制御、およびカメラ内部での画像処理の制御を行うことが可能であり、いずれかの端末装置２１がサーバとして機能する。

また、所定のモードで撮像されカメラ１から出力される画像データを端末装置２１で処理して特定の被写体の切り出し処理を行うことも可能である。さらに、抽出された画像を任意の表示装置（表示装置２２、表示装置２６あるいは図示しないカメラ内部のファインダディスプレイ）に出力したり、プリンタ２５に出力することも可能である。

図２はカメラ１の内部構成を示すブロック図である。カメラ１は特定の被写体抽出用撮像モードで撮像された画像から特定の画像を抽出する抽出処理機構を有する。但し、画像の抽出に必要な処理はカメラ１で行わず、端末装置２１で行うようにしてもよい。ここで、被写体抽出用撮像モードとは、撮像パラメータ（レンズ配置、シャッタ速度、絞り径など）を制御して複数の画像データをイメージセンサから画像記録部に出力するまでの撮像動作モードを指す。

図２に示すカメラ１の内部において、２は結像光学系である。結像光学系２としては、焦点深度の浅いものが望ましい。３はレンズモータ駆動制御部であり、合焦レンズ駆動部（フォーカスモータ）、ズームレンズ駆動部、およびマウントされたレンズの種別などを読み出すレンズ情報読み出し（計測）部などから構成される。

４はイメージセンサであり、典型的なＣＣＤなどの固体撮像素子が用いられる。５は撮像パラメータ計測制御部であり、ズーム制御部５１、合焦状態検出部５２ａ、フォーカス制御部５２ｂ、シャッタ速度制御部５３、絞り計測制御部５４、画像信号特性パラメータ（ガンマ、ニー、ホワイトバランス補正、ＣＣＤなどの蓄積時間）の特徴量（例えばガンマについては補正係数など）検出部５５などを含む。

シャッタ速度制御部５３は図示しない機械的シャッタの制御を行うもので、電子シャッタを用いる場合、後述するセンサ駆動回路１８で実質的なシャッタ速度（電荷蓄積時間）を制御する。合焦状態の検出は映像信号を用いた検出方式、赤外線を用いた測距方式のいずれでもよい。６は画像記録再生部であり、撮影時に記録媒体（テープ媒体、光（磁気）ディスクなどのディスク媒体、あるいはＩＣメモリカードなどのＩＣメモリ媒体など）に所定のフォーマットでディジタル記録を行う。尚、記録媒体または画像記録再生部６はカメラ本体と着脱可能に設けてもよい。また、記録媒体には被写体抽出モードでの撮像動作手順プログラムおよび必要データなどを書き込んでおき、その情報に基づいて撮像を行うように制御してもよい。

画像の再生時、ビューファインダ（ＥＶＦ）７または後述するデータ転送部１２に画像データを出力する。８は撮像パラメータ記憶部であり、レンズモータ駆動部３からのレンズ情報、撮像パラメータ、画像信号特性パラメータおよびストロボ発光の有無、スキャニングなどの意図的なカメラ操作（運動）、手ぶれの有無などを含む撮像時の情報を記録する。これらの情報は外部制御、マニュアル操作、内蔵プログラムによる自律制御のいずれの場合にも記録され、後で同一撮像条件を再生するために用いられる。

尚、カメラ操作（スキャン、パンなど）情報については映像信号処理により検出してもよいし、撮像装置に図示しない加速度センサ、あるいはジャイロなどを内蔵させ、その出力データから判定してもよい。

９は被写体抽出、追跡、識別などのための撮像モード設定スイッチであり、このスイッチが設定されると、スイッチの投入に続く図示しないシャッタボタンなどからの撮像開始動作信号により同撮像モードによる画像取り込みが行われる。尚、撮像開始用スイッチは撮像モード設定スイッチを兼ねるように構成してもよい。

１０は外部からのコマンドデータ通信制御部である。１１は出力画像生成部であり、出力先に応じてアナログ／ディジタル画像信号を生成する。例えば、ＴＶ受像機にはＮＴＳＣ信号、またはＰＡＬ信号を生成する。さらに、出力機器に応じた濃淡の階調補正、誤差拡散処理、色成分補正処理が行われた画像信号をディスプレイ、プリンタなどに出力してもよい。このような信号の生成、加工の指示は、コマンドデータ通信制御部１０を介して外部から行うか、または図示しないカメラの操作パネル上のスイッチなどを用いて行うことができる。

１２はデータ転送部であり、図示しない通信インターフェース部、アダプター端子などを含み、外部の表示装置やコンピュータなどに画像データなどを出力する。１３は被写体抽出用の領域判別処理部（切り出し画像処理部）であり、複数の撮像条件で得られる画像を後述する方法により背景領域と被写体領域との判別、画像の切り出し等を行う。

１４は画像取り込み信号発生部であり、露光条件、撮像条件の制御状態のチェック、イメージセンサ（ＣＣＤ）での電荷蓄積・転送時間、および画像記録再生部６での画像の書き込み制御信号のタイミングなどを自動的に考慮して、適切な撮像の取り込みを行う。

１５は複数の撮像条件の設定部としてのシステム制御部であり、コマンドデータ通信制御部１０、撮像モード設定スイッチ９からの信号、あるいは画像記録再生部６の記録媒体に書き込まれた制御プログラムの情報を読み込むことにより被写体抽出モードでの一連の撮像動作用制御信号を発生する。

１６は絞りである。１７は映像信号処理部であり、前処理回路（サンプルアンドホールド回路、オートゲインコントロール回路、Ａ／Ｄ変換回路など）１７ａ、ガンマ補正処理回路１７ｂ、その他の映像信号処理回路（ホワイトバランス補正回路、手ぶれ補正回路等を含む）１７ｃから構成される。尚、これらの回路構成は図２に概略的に示したものに限定されない。

１８はイメージセンサ４を駆動するセンサ駆動回路であり、電荷蓄積時間、転送タイミングなどを制御する。また、同図において、本実施の形態に特に関係した制御信号の流れを太線の矢印で示している。

本実施の形態では、被写体抽出用撮像モードでは、合焦状態検出部５２ａからの出力に基づき、合焦用レンズモータ（フォーカスモータ）を駆動し、最適合焦レベル、即ち被写体に最もピントの合った状態においてイメージセンサ４から高解像度画像の取り込みを行った後、続いて直前の合焦レンズモータの駆動方向と同一方向にピントずれが生じるように駆動し、適切な非合焦レベルでの低解像度の取り込みを連続的に行う。

ここで、適切な非合焦レベルとは予め設定され、画像記録再生部６などの記憶部に記憶された値または外部の端末装置２１などからコマンド信号により設定された値のことであり、例えば合焦レベルからの割合（合焦値の９割のような数値）に設定される。

また、異なる非合焦レベルで撮像し、画像切り出しの初期データ抽出（粗く切り出された画像データ）のために用いてもよい。

上記連続撮像動作が終了すると、自動的に被写体抽出モードが解除されるか、あるいは撮像モード設定スイッチ９により標準モードへの復帰設定がなされる。尚、上述した撮像モードの設定および解除などの操作は端末装置２１からのコマンド入力により行ってもよい。

図３はピント制御による複数の撮像条件での撮影を行う場合の焦点信号とフォーカスレンズの撮像位置との関係を模式的に示したグラフである。初期位置からフォーカスレンズを駆動し、一旦、合焦レベルを検知して撮影した後、所定量フォーカスレンズを駆動して許容範囲内でのピントずれ画像を取り込むことが示されている。

図４はカメラおよび端末装置が接続された基本の撮像システムにおいてそれぞれの機能を示す説明図である。図中、太線の枠で示される機能（ステップＳ５１、Ｓ５２、Ｓ５４、Ｓ５８、Ｓ６０、Ｓ６１）は端末装置２１のものであり、破線で示される機能（ステップＳ５７、Ｓ５９、Ｓ６２）はカメラまたは端末装置のいずれかのものである。その他はカメラ内の機能（ステップＳ５３、Ｓ５５、Ｓ５６）である。これらの機能を順に以下に説明する。

まず、端末装置２１はカメラ１との通信セッションを確立する（ステップＳ５１）。カメラ１に対して被写体抽出用撮像モードの設定コマンドを送信する（ステップＳ５２）。

この段階では、基本制御プログラムが作動する（ステップＳ５３）か、または制御すべき撮像パラメータ、撮像条件の制御量、撮影枚数、およびカメラ内部での処理範囲（例えば、切り出し処理のための差分データ算出などの前処理まで、複数の撮像条件での撮影のみなどのように指定される）などを端末装置２１から入力して設定する（ステップＳ５４）かのいずれかを選択する。これは、端末装置２１の表示装置２６に表示されるメニューなどから選択すればよい。

尚、基本制御プログラムには、これらの条件が予め標準的に設定されている。複数の撮像条件設定による撮像時（ステップＳ５６）には、設定されたパラメータに基づく撮像条件の制御とその時の撮像パラメータ（レンズデータ、焦点距離、倍率、焦点信号、フォーカスレンズ配置、ガンマ制御値、絞り径、電荷蓄積時間など）の記録が行われる。

その後はカメラ内部での処理範囲に応じて、３通りの制御処理手順がある。標準モードに自動復帰する（ステップＳ５７）か、被写体抽出モードでの撮像動作終了後は切り出し条件入力を受ける（ステップＳ５８）か、あるいは予め設定された標準条件で切り出し処理を行う（ステップＳ５９）。

処理終了後、切り出し画像をカメラ本体内の画像記録再生部６に記録するか、外部メモリまたは表示装置２２に転送する（ステップＳ６０）か、あるいはファインダディスプレイに表示してもよい（ステップＳ６１）。尚、切り出し画像の出力形態は予め制御データ入力時または基本プログラムに指定されているものとする。上記処理の後、最終的には標準撮像モードへの自動または手動による復帰（ステップＳ６２）が行われる。

つぎに、イメージセンサ４から取り込まれた各画像の処理過程について詳述する。まず、合焦状態（ピント）を制御して得られる少なくとも２つのセンサからの映像信号に対してそれぞれ映像信号処理部１７においてガンマ補正、ホワイトバランス補正などが行われる。

撮像装置内部の領域判別処理部１３では高解像画像（合焦画像）と低解像画像（非合焦画像）との差分または２つの異なる低解像度画像間の差分データを求め、これらに対して平滑化、２値化、細線化の処理を行う。

尚、差分以外の処理については、端末装置２１からコマンドデータ通信制御部１０を介して適切な処理パラメータを入力して行ってもよい。

非合焦度の異なる低解像度の複数画像を用いる場合、空間周波数の高い成分がカットされ、それらの差分データから特定対象の輪郭線を抽出する際、余分な孤立特徴点または孤立領域の影響を抑制することができる。従って、ノイズや背景部の高い空間周波数成分、あるいは照明条件に左右されずに精度の安定した初期データ（輪郭線）を得ることができる。尚、差分によって負となる画素の出力値は値０に設定するか、あるいは各画素での差分の絶対値を出力してもよい。

つぎに、後続する初期データ（輪郭線）抽出処理について説明する。この処理はカメラ１に接続された端末装置２１においても行うことができるが、カメラ内部での演算処理については標準処理モードとして登録しておくか、コマンドデータ通信制御部１０を介して端末装置２１などから指定することもできる。典型的にはカメラ内部での標準処理として複数の撮像条件の画像間の差分算出および２値化処理または差分算出および平滑化処理などのように基本制御プログラムに設定される。

撮像条件の制御により得られる画像間の比較（差分）データ算出後の平滑化処理は、孤立特徴（不定形の同一輝度または色を有する局所領域、ラインセグメントなど）の除去およびガウシアンフィルタ等との畳み込み演算、あるいは一般的なローパスフィルタ処理などによって行われる。その後の２値化処理の閾値の設定には、大津の方法（電子情報通信学会論文誌、ｖｏｌ．Ｊ６３，ｐｐ． ３４９−３５６，１９８０）、あるいは画像を適切なサイズのブロックに分割した後、局所的な画像データ（輝度、色など）の統計処理（平均、分散値、ヒストグラムからの仮説検定など）に基づいて設定する方法などを用いればよい。

また、本実施の形態では、領域判別処理部１３において合焦状態を連続的に制御して得られる３つ以上の複数画像間の差分データ（複数ある）の平均化処理を行い、その結果に対して切り出すべき画像の初期輪郭線抽出処理（平滑化、２値化、細線化処理など）を行ってもよい。

このためには合焦状態検出部５２ａからの出力に基づき、レンズモータを高速駆動して最適合焦値を含む前半（前ピン）または後半（後ピン）、あるいは前ピン、後ピン両方を含む静止画像を少なくとも３枚、所定の時間間隔で連続撮像し、画像記録再生部６に保持する。典型的には合焦検出による画像取り込み後、複数の非合焦画像を所定枚数だけ連続撮影する。

この場合、イメージセンサ４からの信号は映像信号処理部１７を介さずに直接、キャッシュメモリなどの一時記憶部（図示せず）に高速切替転送部（図示せず）などにより転送記録される。複数撮像条件による撮像、即ち一時記憶部への画像書き込みの終了後は順次転送して映像信号処理と画像切り出しに必要な前処理などを行う。

尚、高速切替転送部はこのとき、領域判別処理部１３に直接転送してもよい。このようにイメージセンサからの映像信号に対して通常行われる非線形処理を施さないことにより撮像時の照明条件の変化、被写体の運動などの影響を抑止して処理精度の安定化をもたらすことができる。

また、映像信号処理を一連の画像取り込み後に行うことにより、撮像動作の高速化と切り出し処理の安定化、柔軟性の向上をもたらすことができる。尚、時系列的に撮像する際、直前の画像データと平均化処理により更新された差分データのみを一時的に保持してもよい。また、初期輪郭線抽出処理に使う画像の枚数を予めＮと指定すると、合焦過程においてＮ以上の画像取り込みがなされる場合、最新のＮ枚画像を保持し（古い順に消去）、しかる後、差分データの算出と平均化処理を行ってもよい。本実施の形態のように複数の合焦状態の僅かに異なる画像間の差分データを平均化することによりノイズの影響を抑制し、精度、分解能の高い画像抽出を実現できる。

図５は画像データの処理過程を示す説明図である。同図（ａ）はピントの合った画像、同図（ｂ）はピントずれを起こした場合の画像を模式的に強調した図、同図（ｃ）はユーザが同図（ａ）の画像を表示装置２６上で確認しながら抽出被写体内の一点を指示した場合に設定された局所領域を示す。

同図（ｄ）は同図（ａ）、（ｂ）の差分画像データから局所領域内において平滑化、２値化、細線化を行い、さらに輪郭線追跡処理を行った結果得られる初期輪郭線内の画像を示す。尚、図示しないが、差分画像データを求める際、上述のように合焦度が異なり、かついずれもピントずれのある画像２枚を用いてもよい。また、平滑化、２値化を行わずに輪郭線追跡処理のみを行ってもよい。

図６および図７は画像抽出処理手順を示すフローチャートである。まず、撮像システムを初期化し（ステップＳ１）、ネットワーク上に接続された機器を待機状態にする。この初期化は通常、端末装置２１側で行う。

つぎに、撮像動作から出力動作までの制御を行う機器を選択する（ステップＳ２）。制御機器が端末装置２１であるか否かを判別し（ステップＳ３）、制御機器が端末装置２１である場合、始めに待機状態で受信データまたはコマンドの有無チェックを行い（ステップＳ４）、受信データが無い場合、動作を行う撮像装置１を指定する（ステップＳ５）。

ユーザが表示装置２２上に表示された初期メニューパネルから被写体抽出モード設定を選択すると、撮像装置１に対して被写体抽出用撮像モード設定コマンドが送信される（ステップＳ６）。撮像装置１ではこのコマンドを受信すると、被写体抽出のための標準データセットを備えた基本制御プログラムをシステム制御部１５に内蔵するメモリ（ＲＯＭなど）から読み出す。

本実施の形態では、標準データセットとは、制御用撮像パラメータ（ピント）、撮像枚数、制御される撮像パラメータの許容範囲（本実施の形態では合焦レベルに対する比などで与える）、画像データ出力先（端末装置またはカメラ本体のメモリなどで与える）等の項目からなる。尚、この基本プログラムは画像記録再生部６内の記録媒体から読み出してもよい。

このとき、標準データの内容を示してユーザに対して標準データの変更有無を促すメッセージを表示し、それらの変更を必要ならばここで行う。そして、前述した方法で複数の撮像条件の設定制御と切り出しのための前処理（複数画像間の比較データなど）を行う（ステップＳ７）。

つぎに、撮像装置１からの画像を表示装置２６の画面上に表示し、抽出すべき被写体をユーザに選択させる（ステップＳ８）。即ち、マウスなどのポインティングデバイス２３で、例えば被写体内部と背景との境界付近の点を指示する（クリックする）。この場合、撮像時の画角露光条件を適切に設定することが望ましい。そこで、この段階での撮像条件の適正判断（例えば、被写体が適切な露光条件で撮像されること、抽出すべき領域の全体が存在すること、サイズが十分に大きいことなど）を行い（ステップＳ９）、問題なければ領域判別と切り出し処理に入る（ステップＳ１１）。

適切でない場合、ズーミング、撮像装置１の姿勢変更、その他の撮像パラメータの変更を画像データに基づいて自動的に行う（ステップＳ１０）。例えば、指示された点を中心とする所定領域での測光と露光条件設定、類似する画像属性を有する領域面積の算出とその画面内に占める割合が一定値以上となるようなズーミング制御を行ってもよい。

対話的な指定方法としては、複数の点を指示して被写体の概略の領域を指示するか、あるいは被写体を囲む領域の形状、サイズを指定し、例えば矩形または楕円状領域をユーザが被写体画像上でマウスでその位置のポイント指示を行うか、または一方向にスキャンニングすることによりその長さに応じたサイズの所定形状領域を半自動設定してもよい。

しかる後、その領域を中心としたズーミングおよびフォーカシング動作を行い、合焦レベルを判定してから非合焦レベルでの前述したような撮像と差分データの算出、および被写体領域の抽出のための前述した境界上の輪郭線追跡処理までを行う。

切り出し処理終了後は抽出データを記録するか否かを選択し（ステップＳ１２）、記録する場合、場所を指定し、データを書き込む（撮像装置１の内部の記憶部、端末装置内部の記憶部、ステップＳ１３）。また、この段階で画像記録しない場合も含め、つぎに抽出画像の編集（他の画像との合成など）を端末装置１のマウス２３を用いて行う（ステップＳ１４）。さらに、出力機器（プリンタ、ディスプレイなど）の特性に応じて人間の視覚特性に合わせた画像データの変換処理（ステップＳ１５）を行ってから表示してもよい（ステップＳ１６）。

受信データの有無チェック（ステップＳ４）の際、撮像装置１からデータ送信があった場合、あるいは被写体抽出モードの撮像制御プログラムなどを内蔵した記録媒体が端末装置１に装填された場合について説明する。

送信機器を判別し（ステップＳ１７）、画像データと共に撮像モードの読み出し（標準、被写体抽出モードなど）を行う（ステップＳ１８）。ここで、撮像モードを同一条件として被写体抽出での撮像と切り出し処理を行うか否かを判別し（ステップＳ１９）、撮像モードを同一条件として被写体抽出での撮像と切り出し処理を行う場合、撮像装置１を指定してステップ７以降の処理を実行する。

そうでない場合、切り出し処理を端末装置１で行うか否かをユーザに選択させ（ステップＳ２０）、それぞれに応じてステップＳ１１またはステップＳ１２以降を実行する。また、ステップＳ４で他の端末装置からのコマンドデータを受信した場合、それぞれの要求に応じた処理（ステップＳ２１）を行うことはいうまでもない。

一方、制御機器の選択（ステップＳ２）の際、撮像装置１が選択された場合、撮像装置１上での操作が第１優先として実行される。外部からの制御コマンドを受けず、基本的にカメラ上のスイッチ操作などで行う場合、ピント状態の異なる複数画像を撮像して画像切り出しの前処理を行うまでの基本処理（ステップＳ２２）の処理手順は以下の通りである。

まず、電源投入後、被写体抽出モードに設定されると、複数の撮像条件設定部において内蔵する撮像条件制御のための標準パラメータ値（例えば、非合焦レベルの範囲、切り出し処理を行うため撮像枚数など）、あるいは基本制御プログラムなどを読み出す。

レンズ情報などマウントされた結像光学系のスペック、種別をレンズモータ駆動部３により検出する。この情報は、ピント制御時にフォーカスモータの駆動量を適切に制御するか、あるいは以前に用いられた撮像条件と同一に設定する際に光学系の種別に応じた設定の高速化を可能とする目的で用いられる。

その後、通常の撮像モードと同様に倍率設定、測光と（自動）露出条件の設定を行い、つぎに被写体に対して最適合焦レベルになるまでフォーカスモータを駆動し、山登り法などに基づいて合焦判断し、被写体にピントの合った画像を撮像する。

フォーカスモータを同一方向に所定幅駆動して、焦点信号レベルを評価し、予め設定した許容範囲内の非合焦レベルであれば、撮像を行う。このとき、撮像枚数をチェックし、予め設定された最大枚数になるまでピント制御と撮像動作を繰り返す。以下、焦点信号レベルの差が小さい複数画像間で差分画像データの抽出を行い、画像切り出し処理を行う。

画像切り出し処理（輪郭線抽出処理）について説明する。ここまではマウスなどで設定した指定点を中心とする一定サイズの局所領域（またはマウスなどで任意の形状に設定した領域）に対しての統計処理に基づいて２値化閾値を設定し、２値化および細線化、輪郭追跡処理をその領域内で行ってもよい。

処理終了後、その端点を中心とする局所領域を自動設定し、同様の処理を繰り返す。この中で細線化は太い処理輪郭線中の代表点を得るための処理であり、従来の画像処理で行われる方式に限定されるものではない。例えば、粗い初期輪郭中の任意の一点から左右上下いずれかの方向に端点を探索し、つぎにその点に隣接する端点を探索して代表点としてもよい。

尚、細線化により近傍領域内で複数のエッジまたは輪郭線が存在する場合、それらをディスプレイに入力画像と重ね合わせて表示し、いずれのエッジをとるかをマウスなどの手段を用いて選択指示することを可能としてもよい。

近傍領域内に単一のエッジのみ存在するか、あるいはユーザによりエッジが選択されると予め設定された方向に輪郭線追跡処理が行われ、そのエッジに連結する細線化像の各点を初期輪郭線のサンプリング点としてそれぞれの位置を逐次記録する。

また、細線化像が分岐構造を有する場合、分岐方向の選択としては分岐前の点の追跡方向と直交方向の輪郭線の画像データ属性（色、輝度、またはそれらの分散など）が連続する分岐方向、分岐前後の方向変化が少ない方向を優先して選択する。この場合、分岐後の各点を中心とする微小領域の画像属性を検出して行う。

他の方法としては、輪郭追跡を中断し、分岐点を中心とする領域を点滅表示するなどして、いずれの分岐をとるかをユーザに選択させてもよい。但し、焦点深度の浅い結像光学系を用いた場合、抽出対象と背景との距離が被写体距離に比べて十分大きい場合、差分画像データに背景と被写体との境界部に分岐構造が出現することを抑制することができることはいうまでもない。

また、２値化、細線化処理により輪郭線が途中で分断された場合、エッジの接続処理を行う。この場合、所定のアルゴリズム（第２３回画像工学コンファレンス論文集、ｐｐ．６７−７０，１９９２など参照）により接続を自動的に行うか、あるいは輪郭追跡の結果として残存する端点に対して表示装置上で点滅表示するか、または他の輪郭線と異なる色表示を行うなど端点であることを明示するように表示を行い、ユーザがそれを確認して接続すべき端点を指示選択部を用いて指示することにより接続してもよい。接続点同士を結ぶ輪郭線としては、直線または輪郭線上の代表点を用いてスプライン補間曲線などを生成してもよい。特に、輪郭追跡後の端点が画像フレーム上にある場合、他のフレーム上の端点と結んでもよい。

上述のように、閉じた輪郭線とその内側の画像データを抽出した後、統計的処理などによる背景領域の除去処理、領域成長法、あるいは動的輪郭処理法などを適用してさらに精緻な画像抽出を行ってもよい。

尚、本実施の形態では、フォーカスレンズ制御によりピント状態の異なる複数画像を処理したが、他の撮像パラメータ（絞り、シャッタ速度など）、撮像条件（露光条件、センサ信号特性など）、あるいはそれらの組み合わせの異なる複数画像を処理して特定被写体の抽出または識別、追跡などを行ってもよい。

［第２の実施の形態］
第２の実施の形態では、前記第１の実施の形態に示した撮像方式と特定被写体画像の抽出原理をコンピュータ端末などに接続されたディジタル複写機に適用した場合を示す。

図８は第２の実施の形態における撮像システムの構成を示すブロック図である。撮像システムでは、通信ネットワークに画像入力部としての複写機２７が接続された場合を示す。

図９はディジタル複写機の概略的構成を示す説明図である。画像入力部２００は、ズーム、ピント調整機能を有する光学系２０１、イメージセンサ２０２、ハロゲンランプなどの照明手段２０３、フォーカスズームレンズモータ２０４、可視光分光フィルタ２０５、制御部２０６および赤外カット／分光補正フィルタ（図示せず）などから構成される。

プリンタ部２２０は、画像処理プロセッサ２１０、半導体レーザ２２１、感光ドラム２２２、転写ドラム２２３、回転現像機２２４などから構成される。定着機２３０、給紙部２４０、トナー供給部（図示せず）、制御プロセッサ２５０、原稿台２６０、指示選択部２７０、データ通信制御部２８０、操作パネルなどを有する。

また、プリンタ部２２０の図示しない光学系は、典型的に感光ドラムに近い順に反射ミラー、トーリックレンズ（ｆ−θレンズ）、球面レンズ、ポリゴンミラー、シリンドリカルレンズなどから構成される。

操作パネル２９０は複写機を被写体抽出複写モード設定用スイッチ２９１を有する。尚、同モードの設定は、端末装置２１のキーボードあるいはペンまたはマウスなどの指示選択部などから行うこともできる。本実施の形態では、同モード設定後、複写すべき領域マスクデータ作成のための画像取り込みを、一旦、行った後、マスク領域のみに対して半導体レーザ２２１から予め読み取られた画像データの濃淡に応じた出力の光が射出し、感光ドラム２２２に潜像が形成される。

端末装置２１の表示部に通常の複写モードで撮像して得られる画像を表示し、ユーザはそれを確認し、抽出したい被写体の背景との輪郭線上の点またはその近傍を指示する。

つぎに、制御プロセッサ２５０が撮像パラメータを制御し、異なる撮像条件（例えば、ピント）で画像を取り込み、画像処理プロセッサ２１０でそれら画像間の差分データを算出する。以下、前記第１の実施の形態と同様の抽出領域の切り出し処理（マスクデータ作成処理）を行うことにより、抽出すべき画像のみが複写される。また、抽出画像をネットワーク上の他の端末装置２１あるいは表示装置２２に転送して出力してもよい。

また、本発明は上述の構成の一部を結像光学系を有する電子写真方式のファクシミリ装置に適用することもできる。このファクシミリ装置の読み取り部は、照明部、ミラースキャン機構、前記第１の実施の形態と同様に撮像パラメータの制御可能な光学系、およびイメージセンサを有する。

記録部は電子写真方式またはレーザビームプリンタ方式、感熱転写記録方式のいずれを用いてもよい。通信制御部はディジタル回線に対して、例えばＧ４プロトコル制御、加入回線に対してＧ３／Ｇ２通信制御機能を有する。制御部は符号／復号部を有する。

このファクシミリ装置２７は外部の端末装置２１と接続され、端末装置２１から制御することができる。即ち、通常モードでの撮影後、画像データを端末装置２１の表示部に表示する。ユーザは表示部に表示された画像から抽出しかつ転送したい特定被写体を指示することにより上述の方法で画像を抽出する。

尚、上述のピント制御による撮像と特定被写体の抽出と複写は、立体物に適用することにより高精度かつ効率的に行うことができる。この場合、複写機は、立体物の設置台、撮像装置、画像処理プロセッサ、プリンタ部、定着器など通常の複写機の構成要素により構成する。特に、画像入力部２００は他の複写機の構成要素から分離し、立体物設置台の上方に設置してもよい。画像処理プロセッサ２１０で抽出された画像領域を感光ドラムに転写し、最終的に特定被写体のみを複写するまでのプロセスは上述の方法と同様である。

また、紙面などの平面状領域から特定対象画像を抽出するための好適な撮像制御方式として、画像入力部２００内の可視光分光フィルタ２０５の特性をフィルタ制御部２０６で制御することにより複数の撮像条件で画像を入力し、それらの差分データに基づき、特定被写体領域を抽出し、複写してもよい。

例えば、色調特性が特定のスペクトルに偏在する物体（例えば、全体的に赤い物体など）を抽出する際、そのスペクトルに対して透過率が高くなるように分光フィルタを制御して得られる画像と通常モードで得られる画像とを入力し、それらの差分データに基づく抽出を行う。

他の撮像制御方式として、イメージセンサ２０２の映像信号特性（ガンマなど）または露光条件（照明光強度、絞りがある場合にその径、走査入力する場合に走査速度など）を制御して得られる複数画像に対して抽出処理を行ってもよい。

この場合、特に複数画像データ間で正規化処理（例えば、最大輝度レベルが同じになるように輝度値をスケーリング変換する）をした後に両画像間の差分データを算出し、前述した方法と同様に切り出し処理を行うことが望ましい。

［第３の実施の形態］
第３の実施の形態では、既に説明した特定被写体の抽出原理を他の密着型イメージセンサ（ＣＣＤ素子など）を有する画像入力機器（画像スキャナ、ファクシミリ装置など）に適用した場合を示す。ここでは、簡単のためにファクシミリ装置に適用した場合を示す。

図１０は画像入力機器の概略的構成を示す説明図である。本体３００は、端末装置２１と接続されており、原稿３５０は密着型イメージセンサ３１０により光電変換されて画像情報が読み取られる。

本実施の形態では、イメージセンサ３１０をそのセンサ面と略直交方向に微動させる駆動制御機構３２０を有し、これにより通常モード（高解像度画像入力モード）での原稿画像入力とピントずれの生じた画像入力を行う。

同微動制御機構３２０の駆動部として、圧電素子またはボイスコイルモータなどが典型的に用いられる。尚、モデム３７０を介して転送された画像データは他のファクシミリ装置と同様、記録部（熱ヘッドなど）３３０により記録紙３６０に転写される。画像処理ユニット３４０では、イメージセンサ３１０からの出力を基に文字領域と画像領域とに分割し、前記第１の実施の形態で説明した方法に基づき、画像領域の予め指定された特定の図形要素、あるいは特定被写体領域を抽出する。

具体的には通常のセンサ面位置において画像の走査、読み取りを行い、第１の画像データを取り込み、つぎにセンサ面を微動させることによりピントずれ状態で同画像領域の走査、読み取りを行い、第２の画像データを得る。さらに、第１、第２画像間の差分データに対して前記第１の実施の形態に示したように被写体の輪郭抽出および切り出し処理を行う。

制御プロセッサ３８０は、画像の読み出し、被写体抽出、密着センサ位置の駆動制御、熱ヘッド記録、紙送りなどの制御を統括するが、端末装置２１からの制御コマンドによる制御も可能とする。

［第４の実施の形態］
第４の実施の形態では、撮像装置は赤外線通信機能を有する安価でかつ小型の無線通信制御手段を具備する。カメラ内部のその他の構成要素は前記第１の実施の形態と同様である。

また、端末装置においても通信制御部を内蔵させることにより、撮像装置の被写体抽出用撮像モードの設定信号、撮像パラメータ制御データ、切り出し画像データなどの送受信を行う。変調方式、符号化方式、データ伝送速度、データフォーマット、通信プロトコルなどによって規定される通信方式は特に限定しないが、典型的にはＩｒＤＡの定める方式が用いられる。この場合、相互に数メートル（標準的には１ｍ）以内の距離で１対１の双方向通信であることが前提となるが、原理的には１対多通信（１つの撮像装置および多数の端末装置間の通信、１つの端末装置と多数の撮像装置間の通信）が可能である。

通常、相手との通信開始時に最初に９６００ビット／秒の速度でセッションを確立し、このときに両者が対応可能な最高の伝送速度を調べ、以後はその速度で通信する。

また、データの送信権を５ｍｓから５００ｍｓ毎に交換して半２重通信を行う。端末装置から特定の撮像装置との通信セッションを確立すると、それぞれの種別（撮像装置または端末装置）、使用者のＩＤ番号などを互いに送受信することにより、撮像装置は遠隔操作による撮像待機状態となる。

この場合、カメラの操作パネルディスプレイに通信制御モードであることを示す表示がなされるようにしてもよい。これ以降、被写体抽出用撮像モードの設定から取り込まれた画像データの転送または記録までの過程は、前記第１の実施の形態と同様である。尚、同じ通信方式を採用する通信機器を通じて制御データまたは適切に圧縮符号化された画像データを公衆網またはＩＳＤＮなどの回線に接続して遠隔地へ転送することもできる。また、撮像装置の操作パネルと同様の操作パネルを端末装置の表示パネル上に表示し、タッチパネル方式で手またはペン入力によりカメラ操作情報を撮像装置に送ってもよい。

第１の実施の形態における撮像システムの構成を示すブロック図である。 カメラ１の内部構成を示すブロック図である。 ピント制御による複数の撮像条件での撮影を行う場合の焦点信号とフォーカスレンズの撮像位置との関係を模式的に示したグラフである。 カメラおよび端末装置が接続された基本の撮像システムにおいてそれぞれの機能を示す説明図である。 画像データの処理過程を示す説明図である。 画像抽出処理手順を示すフローチャートである。 図６につづく画像抽出処理手順を示すフローチャートである。 第２の実施の形態における撮像システムの構成を示すブロック図である。 ディジタル複写機の概略的構成を示す説明図である。 画像入力機器の概略的構成を示す説明図である。

符号の説明

１ カメラ
９ 撮像モード設定スイッチ
１５ システム制御部
１７ 映像信号処理部
２１ 端末装置
２６ 表示装置
５２ｂ フォーカス制御部

Claims (7)

1. 撮像装置と端末装置との間で通信媒体を介したデータ通信を行う画像処理システムであって、
   前記撮像装置は、
   被写体を撮像して画像データを得る撮像手段と、
   前記撮像手段の撮像パラメータを制御する撮像パラメータ制御手段と、を有し、
   前記端末装置は、
   前記撮像装置に対して被写体抽出のための撮像指令を送信する送信手段と、
   前記撮像指令の応答として前記撮像パラメータ手段が同一の被写体を複数の撮像条件で撮影するように前記撮像パラメータを制御して前記撮像手段により撮像された複数の画像データを受信する受信手段と、
   前記撮像装置から受信した複数の画像データのうち１つの画像データを表示する表示手段と、
   前記表示手段により表示された画像データ上の任意の点を指定する指定手段と、
   前記複数の画像データと前記指定された点に基づき、被写体抽出の対象領域を判別する領域判別処理手段と、
   前記領域判別処理手段により判別された対象領域の画像データを前記複数の画像データから切り出す切出手段と、
   を有することを特徴とする画像処理システム。
2. 前記撮像装置は、前記複数の撮像条件で撮像するための撮像パラメータを少なくとも含む前記撮像指令に対応する標準データを予め記憶する記憶手段をさらに有し、
   前記撮像パラメータ制御手段は、前記撮像指令を受信した場合、前記記憶手段に記憶された撮像パラメータを読み出すことを特徴とする請求項１に記載の画像処理システム。
3. 前記端末装置は、前記標準データを前記表示手段に表示させ、表示させた前記標準データを変更可能とすることを特徴とする請求項２に記載の画像処理システム。
4. 前記複数の撮像条件の１つは前記被写体に合焦させて撮影し合焦画像データを得るための条件であり、１つは前記被写体を合焦させないで撮影し非合焦画像データを得るための条件であることを特徴とする請求項１乃至３のいずれかに記載の画像処理システム。
5. 前記領域判別処理手段は、前記合焦画像データと前記非合焦画像データの差分データと前記指定された点に基づき、被写体抽出の対象領域を判別することを特徴とする請求項４に記載の画像処理システム。
6. 前記表示手段は、前記切出手段により切り出された画像データを表示することを特徴とする請求項１乃至５のいずれかに記載の画像処理システム。
7. 撮像装置と端末装置との間で通信媒体を介したデータ通信を行う画像処理システムの画像処理方法であって、
   前記端末装置において、
   前記撮像装置に対して被写体抽出のための撮像指令を送信し、
   前記撮像装置において、
   前記撮像指令の応答として同一の被写体を複数の撮像条件で撮影するように撮像パラメータを制御して撮像手段に撮像させ、
   前記端末装置において、
   前記撮像手段により撮像された複数の画像データを受信し、
   前記撮像装置から受信した複数の画像データのうち１つの画像データを表示手段に表示し、
   前記表示手段により表示された画像データ上の任意の点を指定し、
   前記複数の画像データと前記指定された点に基づき、被写体抽出の対象領域を判別し、
   判別された対象領域の画像データを前記複数の画像データから切り出すことを特徴とする画像処理システムの画像処理方法。

Images