JP3577127B2 - 画像取扱装置及び画像合成方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、高精細画像を形成するための業務用カメラ（以下，ＯＡカメラと呼ぶ）等に用いられる、複数の撮像素子による各部分画像の貼り合わせ処理等を行う画像取扱装置及び画像合成方法に関するものである。
【０００２】
【従来の技術】
従来、少数の画素構成で多数の画素構成による画像を得るための所定の手法を用いた画像取扱装置として、次のようなＯＡカメラが本出願人により提案されている。
【０００３】
すなわち、その所定の手法とは、撮像対象画像に対して、各部分画像毎にミラーによるスキャンを行い、取り込まれた各部分画像を、複数の撮像素子の内で各々に対応する撮像素子毎に露光し、このようにして得られた部分画像を、再び順次貼り合わせていくことにより、大きなエリアの多画素な撮像対象画像を入力することができるという手法である。その利用例としてのＯＡカメラの構成を説明するためのブロック図を図１９に示す。
【０００４】
以下、同図及び図２０を用いて、この画像取扱装置としてのＯＡカメラの構成及び動作を説明する。
【０００５】
図１９において、全反射ミラー１０１は、入射光１０２を所定の方向へ反射させて、撮像対象画像に対して反射角度を変える（以下、全反射ミラー１０１の角度を変えることを、ミラースキャンする、ともいう）ために移動可能に構成されており、全反射ミラー１０１の光軸上には、全反射ミラー１０１に近い方から、絞りやフォーカス用のレンズ等からなるレンズ部１０３、ハーフミラー１０４の順に、各々が設けられており、第１ＣＣＤ１０５と第２ＣＣＤ１０６は、２枚のイメージャーとして配設されている。第１ＣＣＤ１０５は、入射光１０２の内、ハーフミラー１０４を通過した通過光１０２ａを受光し、第２ＣＣＤ１０６は、入射光１０２の内、ハーフミラー１０４で反射した反射光１０２ｂを受光できるように構成されている。又、図２０に示すように、全反射ミラー１０１の各位置において、第１ＣＣＤ１０５には、撮像対象画像２００の一部分であるところの、部分画像Ａ、Ｂ、Ｃ、及びＤの略上半分の領域に対応する上半分画像Ａ１、Ｂ１、Ｃ１、及びＤ１が露光され、第２ＣＣＤ１０６には、同じ部分画像Ａ、Ｂ、Ｃ、及びＤの略下半分の領域に対応する下半分画像Ａ２、Ｂ２、Ｃ２、及びＤ２が同時に露光されるようにするため、２枚のイメージャーの位置関係は、各々の光軸に対して所定量だけずらせた状態で構成されている。ここで、図２０は、各部分画像の重なり領域等を説明するための説明図である。
【０００６】
更に、例えば初期角度の位置にある全反射ミラー１０１により、取り込まれた入射光１０２は、各々のイメージャーから出力され、各々対応する第１プロセス回路１０７、又は第２プロセス回路１０８を経て映像信号に変換さる。そして、イメージャーとしての２個のＣＣＤの画素が、共に７５２画素×５８０画素である場合、７５２画素×５８０画素からなる上半分画像Ａ１（図２０において、実線による斜線を施した領域）と、同画素サイズの下半分画像Ａ２（図２０において、点線による斜線を施した領域）を、１００画素×５８０画素の重なりしろＡ１２（図２０において、実線と点線による斜線を施した領域の重なり合った領域）で、一律に貼り合わせるための、縦の貼り合わせ部１０９へ入力される。すなわち、縦の貼り合わせ部１０９に入力された各映像信号は、上半分画像Ａ１と下半分画像Ａ２が、一律に貼り合わせられて、あたかも１４０４画素×５８０画素の１枚のイメージャーで取り込まれたかのような映像信号（図２０に示す撮像対象画像２００の部分画像Ａに対応）に変換される。
【０００７】
このような動作は、所定の位置に全反射ミラー１０１がスキャンされるごとに同様の処理が繰り返される。
【０００８】
次に、部分画像Ａに対応した上半分画像Ａ１と、下半分画像Ａ２が取り込まれた後、ＣＰＵ１１６からの指示に基づくミラー駆動部１１０の働きで、全反射ミラー１０１は、初期位置から所定角度移動した位置に設定される。全反射ミラー１０１は、このようにミラースキャンされた位置で、再び上記と同様の処理により、今度は撮像対象画像２００の部分画像Ｂの略上半分の領域に対応する上半分画像Ｂ１と、略下半分の領域に対応する下半分画像Ｂ２が一律に貼り合わせられて、あたかも１枚のイメージャーで取り込まれたかのような映像信号（図２０に示す、撮像対象画像２００の部分画像Ｂに対応）に変換される。
【０００９】
更に、部分画像Ｃ、及びＤを取り込むために、順次全反射ミラー１０１を所定角度づつ動かす（ミラースキャンする）毎に取り込むエリアが変わり、各々上記と同様の処理を繰り返して、全体として大きな絵が得られる。
【００１０】
但し、ここで重要なことは、上記取り込まれ、一律に貼り合わされた各部分画像（部分画像Ａ、Ｂ、Ｃ、及びＤ）を、更に貼り合わせるために、図２０に示すように、例えば初期位置で全反射ミラー１０１が、１回目に取り込み、縦の貼り合わせが行われた部分画像Ａと、２回目に取り込み、同様にして形成された部分画像Ｂ等、要するに重なり合う部分画像は、各々の画像において、予め定められた所定の重なり部分、すなわち図２０に示すように１４０４画素×７２画素からなる重なり領域を持つように構成されている点である。
【００１１】
すなわち、このような重ね合わせを行うために、図１９に示すように、先に取り込まれた部分画像の重なり領域（図２０に示すように、例えば、部分画像Ａに属する重なり領域Ａｂ）を一時的に保持するための境界バッファ１１１、その境界バッファ１１１の内容と、次に取り込まれた部分画像の、先に取り込まれた部分画像との重なり領域（例えば、部分画像Ａに属する重なり領域Ａｂ）に対応する重なり領域（例えば、部分画像Ｂに属する重なり領域Ｂａ）の内容を比較して、画像の特徴部すなわち、同じ絵の部分を見つけて、それらの絵同士のずれを検出するための動きベクトル検出部１１２、その検出結果を利用してずれ量を算出するためのずれ量算出部１１３、その算出されたずれ量から、先に取り込まれた部分画像（例えば、部分画像Ａ）に合わせて、次に取り込まれた部分画像（例えば、部分画像Ｂ）の位置を補正し、重なり合う画像を正しく重ね合わせるための座標変換部１１０等により、互いに接合された画像データが出力部１１４から出力されるものである。尚、ここでいう座標変換とは、平行移動や、回転移動であり、対象としている画像同士の大きさが異なる場合には拡大縮小といった変換処理も含む。このようにして、ミラースキャンする毎に、順次重なり合う部分画像をつなぎ合わせていく。
【００１２】
ここで、取り込まれた重なり合う部分画像の相互の位置関係に、ずれが生じる要因としては、次のようなことが考えられる。
【００１３】
例えば、ミラースキャンにより、取り込まれた重なり合う部分画像は、互いに予め定められた所定の重なり部分、すなわち図２０に示すように１４０４画素×７２画素からなる重なり領域を持つように構成されていることは、既に説明した通りであるが、全反射ミラー１０１のスキャン量（所定の角度移動量）の誤差あるいは、ばらつきであるとか、部分画像を所定のタイミングで、順次取り込む間に、撮像対象（被写体）が変化したり、又、逆に、操作者による手ぶれ等の取り込み装置側の位置ずれ等である。
【００１４】
一方、レンズ部１０３には、上述した通り、絞りや、フォーカスレンズ等があり、これらを撮像の際に制御するために、イメージャーとしての第１ＣＣＤ１０５及び第２ＣＣＤ１０６の出力信号が、累積加算部１１５へ送られる。
【００１５】
累積加算部１１５にて、いわゆる累積加算処理が施されたデータは、ＣＰＵ１１６へ送られ、これらに基づくＣＰＵ１１６からの制御信号により、ＡＥ（自動露出合わせ）の駆動及びＡＦ（自動焦点合わせ）の駆動が行われる。
【００１６】
ここで、例えばＡＦにおける累積加算処理とは、イメージャーとしてのＣＣＤを構成する画素の集まりを、所定の領域に分割して、一つのエリアとし、その各エリア毎に、各画素により得られた画像データの高周波成分に着目して、それらの波形を累積加算することでコントラストデータ（累積加算されたデータが大きければ大きいほどコントラストがあるという判断がされる）を得ようとするものである。
【００１７】
このようにして、得られた各コントラストデータは、所定のメモリ（図示省略）に格納し、必要に応じてこのメモリから各々のコントラストデータを読み出して、そのデータに基づいてＡＦを制御するための制御信号をレンズ部１０３のフォーカスレンズの方に送るシステムになっている。
【００１８】
【発明が解決しようとする課題】
しかしながら、このような構成では、部分画像の重なり領域の中に、重ね合わせ接合に利用するための画像の特徴部が存在しない場合、接合すべき部分画像が相互にどれだけ位置ずれを生じているかがわからないという問題があり、これに対する対処方法がないといった課題があった。又、上記画像の特徴部の有無を判定するための基準もその手段も無かったために、存在するかしないかもわからない特徴部を長時間探し続けることにより、撮影時間が長くかかるといった欠点もあった。
【００１９】
本発明は、従来の画像取扱装置のこのような課題を考慮し、ＪＰＥＧ（Ｊｏｉｎｔｐｈｏｔｏｇｒａｐｈｙ ｅｘｐｅｒｔ ｇｒｏｕｐ）等に用いられるＤＣＴ（Ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｅｒ）等を利用する場合、特別な回路を追加することなく、部分画像の重なり領域の中に重ね合わせ接合に利用するための画像の特徴部が存在するか否かを判定でき、効率の良い画像合成処理が可能な画像取扱装置及び画像合成方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】
前述の課題を解決するため、本発明による画像取扱装置は、一の画像と、該一の画像と部分的に重複する領域を有する他の画像について、該重複する領域の特徴部で両者を位置合わせして貼り合わせ処理を行う画像合成機能を有する画像取扱装置において、前記一の画像側の前記重複する領域を表す画像信号及び／又は前記他の画像側の前記重複する領域を表す画像信号から各直交変換データを得るための直交変換手段と、前記得られた直交変換データに基づいて、コントラストデータを求めるコントラストデータ抽出部と、前記一の画像側の前記重複する領域及び／又は前記他の画像側の前記重複する領域に、前記一の画像と前記他の画像とを重ね合わせるために必要な特徴部が存在するか否かを、前記求められたコントラストデータを所定のコントラスト値と比較することにより判定するための判定手段と、前記判定手段による前記判定結果に基づき、前記貼り合せ処理を制御する画像合成制御手段とを備えたことを特徴とする。また、本発明による画像取扱装置は、前記画像合成制御手段が、前記判定手段により前記特徴部が存在すると判定された場合は、前記貼り合わせ処理を行い、前記特徴部が存在しないと判定された場合は、貼り合わせが不可能である旨の警告を行うことを特徴とする。さらに、本発明による画像取扱装置は、前記直交変換手段は、直交変換データとしてＤＣＴ係数を得るＤＣＴ処理部であり、前記コントラストデータ抽出部は、前記得られたＤＣＴ係数から必要な部分のみを累積加算する累積加算部をさらに備えたことを特徴とする。
本発明による画像取扱装置の画像合成方法は、一の画像と、該一の画像と部分的に重複する領域を有する他の画像について、該重複する領域の特徴部で両者を位置合わせして貼り合わせ処理を行う画像合成機能を有する画像取扱装置の画像合成方法において、前記一の画像の前記重複する領域を表す画像信号及び／又は前記他の画像の前記重複する領域を表す画像信号から各直交変換データを得るための直交変換ステップと、前記得られた直交変換データに基づいて、コントラストデータを求めるコントラストデータ抽出ステップと、前記一の画像側の前記重複する領域及び／又は前記他の画像側の前記重複する領域に、前記一の画像と前記他の画像とを重ね合わせるために必要な特徴部が存在するか否かを、前記求められたコントラストデータを所定のコントラスト値と比較することにより判定するための判定ステップと、
前記判定ステップによる前記判定結果に基づき、前記貼り合せ処理を制御する画像合成制御ステップとを備えたことを特徴とする。
また、本発明による画像取扱装置の画像合成方法は、前記画像合成制御ステップは、前記判定ステップにより前記特徴部が存在すると判定された場合は、前記貼り合わせ処理を行い、前記特徴部が存在しないと判定された場合は、貼り合わせが不可能である旨の警告を行うことを特徴とする。さらに、本発明による画像取扱装置の画像合成方法は、前記直交変換ステップは、直交変換データとしてＤＣＴ係数を得るＤＣＴ処理ステップであり、前記コントラストデータ抽出ステップは、前記得られたＤＣＴ係数から必要な部分のみを累積加算する累積加算ステップをさらに備えたことを特徴とする。
【００２１】
【作用】
本発明では、直交変換手段が、前記一の画像側の重複する領域を表す画像信号及び／又は前記他の画像の重複する領域を表す画像信号から各直交変換データを得、コントラストデータ抽出手段が、前記得られた直交変換データに基づいて、コントラストデータを求め、判定手段が、前記求められたコントラストデータを所定のコントラスト値と比較して、前記一の画像側の重複する領域及び／又は前記他の画像側の重複する領域に、前記一の画像と前記他の画像とを重ね合わせるために必要な特徴部が存在するか否かを判定し、画像合成制御手段が、前記判定手段により、前記特徴部が存在すると判定された場合は、前記貼り合わせ処理を行い、前記特徴部が存在しないと判定された場合は、貼り合わせが不可能である旨の警告を行う。
【００２２】
【実施例】
以下、本発明にかかる実施例について図面を参照しながら説明する。
【００２３】
図１は、本例の画像取扱装置にかかる一例としてのＯＡカメラの構成を示すためのブロック図、又図２は、本例の累積加算部１１５の構成等を示すためのブロック図であり、同図を用いて本例の構成を説明する。
【００２４】
尚、図１９と同じものには、同じ符号を付し、その説明を省略する。又、図１９の構成との主な相違点は、累積加算部１１５で得られたコントラストデータをＡＦの制御用として利用する従来の方法に加えて、接合すべき部分画像同士の重なり領域の中に特徴部が存在するか否かを判定し、その結果をＣＰＵ２の接合情報出力端子部１から出力できるようにしてある点である。
【００２５】
ここで、本発明の判定手段は、ＣＰＵ２に含まれ、本発明の予め定められた所定の特徴評価基準とは、上記コントラストデータに関して定められた基準であり、本発明の接合画像形成手段は、座標変換部１１０境界バッファ１１１、動きベルトル検出部１１２及びずれ量算出部１１３を含む。
【００２６】
又、図２において、バンドパスフィルター（ＢＰＦ）１１５ａは、入力された画像データから、所定の高周波成分だけを取り出すためのものであり、絶対値演算器１１５ｂは、入力信号のマイナス波形をプラス波形に変換して絶対値をとるための回路であり、累積演算器１１５ｃは、絶対値演算器１１５ｂで求めた各入力波形を、所定の累積加算エリア３１（図３（ａ）に示す、第１ＣＣＤ１０５と、第２ＣＣＤ１０６を各々、６４個のエリアに分割し、この分割された９４画素×７２画素の一つのエリアを、以下、累積加算エリア３１とよぶ）内で、算出するためのものであり、コントラストデータメモリ１１５ｄは、その累積加算されて得られたコントラストデータが一つのＣＣＤに対して６４個作成されるため、２個のＣＣＤとして、全部で１２８個のコントラストデータを格納するための記憶手段である。ここで、図３（ａ）は、部分画像の構成を説明するための説明図であり、同図（ｂ）は、累積加算エリアを説明するための説明図である。
【００２７】
以上のような構成において、主に図２を用いて、本例の動作を説明する。
【００２８】
同図において、入力画像データ２１は、ＢＰＦ１１５ａにおいて高周波成分波形２２のみが取り出され、これが絶対値演算器１１５ｂを通過することにより絶対値変換された波形２３となり、累積演算器１１５ｃを経て、絶対値変換された波形の斜線部分２４が、各々の累積加算エリア３１内で累積加算されて、一つの部分画像として全部で１２８個のコントラストデータがコントラストデータメモリ１１５ｄに格納される。
【００２９】
そして、ＣＰＵ２は、必要に応じてこのコントラストデータメモリ１１５ｄから各々のコントラストデータを読み出して、そのデータに基づいてＡＦを制御するための制御信号をＡＥ・ＡＦ駆動部１１７へ送り、レンズ部１０３のフォーカスレンズを制御する。
【００３０】
更に、ＣＰＵ２は、接合すべき部分画像同士の重なり領域の中に特徴部が存在するか否かを判定し、その結果を接合情報出力端子部１から出力する。
【００３１】
すなわち、ＣＰＵ２は、接合すべき部分画像として、例えば、部分画像Ａと部分画像Ｂの重なり領域における、部分画像Ａに属する重なり領域Ａｂ（図３（ｂ）に示す部分画像Ａの右端の１番から１６番の符号を付してある、１６個の累積加算エリアの部分に相当する）の１６個のコントラストデータに着目して、予め定められた所定の特徴評価基準としての所定のコントラスト値（閾値）と比較し、これら１６個の値が、上記所定のコントラスト値よりも全て小さい場合、重なり領域Ａｂには、コントラストがない、すなわち特徴部が存在しないと判定する。
【００３２】
このように、ＣＰＵ２は、例えば重なり領域Ａｂ（他の重なり領域であっても同様である）における、いずれの累積加算エリアにも、所定の閾値を越えるコントラストデータが存在しないために貼り合わせが不可能であると判断した場合に、接合情報出力端子部１からその旨の情報を出力する。
【００３３】
接合情報出力端子部１からの出力信号により、操作者に対して、貼り合わせが不可能である旨の情報がアラームとして出力される。又、接合情報出力端子部１からの出力信号は、本本例のＯＡカメラのシャッターが作動しないように自動的にガードするといったシャッター動作の制御信号としても使われる。ここで、アラームというのは、例えばファインダーの中にＬＥＤを発光させたり、注意を喚起するための音を出す等、様々な方法がある。
【００３４】
一方、例えば重なり領域Ａｂにおける累積加算エリアに、閾値を越えるコントラストデータが存在し、貼り合わせが可能であるとＣＰＵ２により判断された場合には、座標変換部１１０や、ずれ量算出部１１３等が図１９と同じ方法で、部分画像の貼り合わせ接合処理を行うものである。
【００３５】
このようにして、一の画像と他の画像との部分的に重複する領域の、前記一の画像側及び／又は前記他の画像側に、前記一の画像と前記他の画像とを重ね合わせるために必要な特徴部が存在するか否かを、予め定められた所定の特徴評価基準に基づいて判定するための判定手段と、前記判定手段による前記判定結果を利用して、前記一の画像と前記他の画像を重ね合わせて、貼り合わせ処理を行うための接合画像形成手段とを備えた画像取扱装置を実現することができる。
【００３６】
従って、本例によれば、部分画像の重なり領域の中に重ね合わせ接合に利用するための画像の特徴部が存在するか否かを判定できるという効果を奏するものである。
【００３７】
即ち、更に具体的に説明すれば、重なり領域において、特徴部が存在しない場合は、特別な回路等を追加することなく、その旨を判定して、貼り合わせが不可能であることを操作者に伝えるためのアラーム等の情報が出力される。
【００３８】
尚、上記判定手段は、上記本例ではＡＦの制御データとしてのコントラストデータに着目し、特別な専用回路を用いないで、従来の累積加算部１１５やＣＰＵ２を利用する、場合について説明したが、これに限らず上記判定用の専用の回路を構成して実現してもよいし、所定の特徴評価基準としては、コントラストデータに関するものに限らず実現してもよいし、要するに部分画像の重なり領域の中に貼り合わせ接合に利用するための画像の特徴部が存在するか否かを判定できさえすれば、実現回路の内容や、所定の特徴評価基準の内容は問わない。
【００３９】
又、上記本例では、特徴部の存在を判定する際に、重なり合う２つの部分画像の内の先に取り込まれた部分画像に属する重なり領域の中を対象にして行う場合について説明したが、これに限らず、例えば後に取り込まれた部分画像に属する重なり領域の中を対象にしてもよいし、その両方を対象にしてももちろんよい。
【００４０】
又、上記本例では、接合情報出力端子部１からの、貼り合わせが不可能である旨の情報の出力は、シャッターの動作をロックしたり、操作者に対して注意を喚起する趣旨でアラームを出す等のために用いられる場合について説明したが、これに限らず、接合情報出力端子部１からの出力の用いられ方については、その条件、場面あるいは、目的等を問わない。
【００４１】
又、本発明は、ハードウェア的に、各構成部を用いて実現してもよいし、これに限らず、ソフトウェア的に実現するようにしてもよい。
【００４２】
次に説明する内容は、上述したところのＯＡカメラを用いて、部分画像の貼り合わせ接合を行う際に、上記所定の閾値を越えるコントラストデータが存在しない場合、ＯＡカメラ側から撮像対象に対して、積極的にコントラストをつくってしまうという例に関するものである。
【００４３】
上記実施例では、重なり領域において、所定の閾値を越えるコントラストデータが存在しない場合には、貼り合わせができないため、自動的にＯＡカメラのシャッター動作をロックし、例えば操作者が誤って撮影することを未然に防止するというものである。従って、ずれた画像同士をずれたまま貼り合わせてしまうことを防止できるという大きな利点はあるが、ずれた画像同士を正しく貼り合わせることができないという意味においては、従来の場合と同じであった。
【００４４】
そこで、本例は、上述した点等を考慮し、部分画像の重なり領域の中に重ね合わせ接合に利用するための画像の特徴部が存在するか否かを判定することができ、更にその特徴部が存在しない場合であっても、部分画像同士の位置ずれを修正して正しく貼り合わせることができるという画像取扱装置を提供することを目的とする。
【００４５】
図４は、画像取扱装置にかかる一例としてのＯＡカメラの構成を示すためのブロック図であり、同図を用いて本例の構成を説明する。
【００４６】
尚、図１と同じものには、同じ符号を付し、その説明を省略する。又、図１９の構成との主な相違点は、ＣＰＵ２等により、重なり領域において、特徴部が存在しないと判定された場合でも、貼り合わせの接合処理が正しく行えるようにするために、撮像対象に対して、積極的に特徴部としてのコントラストを擬似的に作るという趣旨で、補助光用素子としてのＬＥＤ１１（マーカー投射手段の一部である）と、そのＬＥＤ１１の発光のタイミング等を制御するための補助光駆動部１２（マーカー投射手段の一部である）等を設けた点である。
【００４７】
ＬＥＤ１１は、イメージャーとしての第１ＣＣＤ１０５（又は、第２ＣＣＤ１０６）が識別可能な波長を有する光を投射するものである。又、ＬＥＤ１１は、撮像対象に対して、部分画像の重なり領域に対応する部分に、自身が投射する光が当たるように、ＯＡカメラの内部に設けられている。補助光駆動部１２は、ＣＰＵ２からの、上記重なり領域に特徴部が存在しない旨等の指示に基づき、補助光用素子としてのＬＥＤ１１の発光動作等を制御するものである。
【００４８】
以上のような構成において、図５、図６を用いて、本例の動作を説明する。
【００４９】
ここで、図５は、本例の動作を説明するためのタイムチャートである。
【００５０】
まず、ＯＡカメラの電源（ＯＡカメラの電源のＯＮ／ＯＦＦ状態を、図５において、ＰＯＷＥＲ信号５１にて示す）が入ると、撮影するしないにかかわらず、ミラースキャンが始まる。ここで、図５では、ミラースキャンの動作状況は、所定のタイミングで取り込まれる各部分画像（部分画像Ａ，Ｂ，Ｃ，Ｄ，・・・）との対応関係を示すためにＡ，Ｂ，Ｃ，Ｄと表示したミラースキャンタイムチャート５２に示すように、Ａ，Ｂ，Ｃ，Ｄ，Ａ，Ｂ，Ｃ，Ｄ，・・・という順番にスキャンを繰り返していく。尚、ミラースキャンタイムチャート５２において、Ａ〜Ｄの各アルファベット文字の間をつなぐ「ぼう線」は、全反射ミラー１０１が移動中であること、更に、各アルファベット文字を「四角」で囲んであるのは、例えばＡの部分では、部分画像Ａの領域の絵をイメージャー（第１ＣＣＤ１０５及び第２ＣＣＤ１０６）に映していることを表すものである。ミラースキャンタイムチャート５２におけるＡのタイミングでイメージャーに光が蓄積される。
【００５１】
これを順次繰り返し、ＡからＢへスキャンし、又、ＢからＣへスキャンして、全反射ミラー１０１が順次移動する毎に、所定の部分画像をイメージャーに映していくという順序になる。このようにミラースキャンをすることにより、ＣＣＤ（第１ＣＣＤ１０５及び第２ＣＣＤ１０６）の出力５３は、例えば部分画像Ａが露光されてからＡの出力が所定のタイミングだけ遅れて出力されるというように、部分画像の露光タイミングに対して所定のタイミングだけ遅れて出力されるが、Ａ，Ｂ，Ｃ，Ｄという順序は基本的には変わらない。
【００５２】
ここで、仮に、重ね合わせに必要な画像の特徴部としての、例えば所定の閾値を越えるコントラストデータは、部分画像の重なり領域の中に存在しないという判定がＣＰＵ２によって下された場合、接合情報出力端子部１（図４参照）からアラーム信号５４として、Ｈｉｇｈの信号が出力される。ここで、アラームというのは、例えばファインダーの中にＬＥＤを発光させたり、注意を喚起するための音を出す等、様々な方法がある。
【００５３】
このアラーム信号５４として、Ｈｉｇｈの信号が出力されて、必要に応じて何回か特徴部の探索が繰り返され、それでも見つからない場合は、特徴部すなわち、コントラストがないという判断がなされる。この場合に、レリーズボタンが押されると（図５において、レリーズ信号５５がＨｉｇｈレベルを示している場合に対応する）、この時点で貼り合わせ領域にコントラストが存在しないという判定がＣＰＵ２により出されているため、補助光としてのＬＥＤ１１を発光させて、擬似的なコントラストを作り出し、これを利用して部分画像の貼り合わせを行う。
【００５４】
ＬＥＤ１１を発光させるタイミングとしては、ミラースキャンタイムチャート５２で示すとおり、部分画像Ａが露光されているタイミング５１ａと、部分画像Ｂが露光されているタイミング５１ｂとでＬＥＤ１１を２回発光させる（ＬＥＤ１１を発光させるタイミングは、図５の補助光信号５６がＨｉｇｈレベルを示している場合に対応する）。
【００５５】
補助光（ＬＥＤ１１）を投射する場所は、部分画像相互の重なり領域でなければならないので、図６に示すように、例えば部分画像Ａに対してはその画像面の右端６１、部分画像Ｂに対してはその画像面の左端６２となる。
【００５６】
このようにして、部分画像のそれぞれの位置に補助光が映し出される。
【００５７】
本来、この部分画像相互の重なり領域は、貼り合わせるための特徴部が存在せず、コントラストがない「べたっとした画像」であったが、この補助光が映しだされたことによって、擬似的な特徴部が存在し、位置ずれを検出することが可能となり、位置ずれを生じることなく、部分画像を正しく貼り合わせることができる。 従って、例えば、操作時の手ぶれ等により、カメラがずれて、部分画像Ａと部分画像Ｂが、本来の位置から縦方向へＹだけずれて撮影された場合でも、この補助光の情報に基づいて貼り合わせれば正しく貼り合わせることができる。
【００５８】
このようにして、一の画像と他の画像との部分的に重複する領域の、前記一の画像側及び／又は前記他の画像側に、前記一の画像と前記他の画像とを重ね合わせるために必要な特徴部が存在するか否かを、予め定められた所定の特徴評価基準に基づいて判定するための判定手段と、前記重複する領域に対応する撮像対象に対して、前記重ね合わせに利用するマーカーを投射するためのマーカー投射手段と、前記判定手段による前記判定結果を利用して、前記一の画像と前記他の画像を重ね合わせて、貼り合わせ処理を行うための接合画像形成手段とを備えている画像取扱装置を実現することができる。
【００５９】
従って、本例によれば、部分画像の重なり領域の中に重ね合わせ接合に利用するための画像の特徴部が存在するか否かを判定することができ、更にその特徴部が存在しない場合であっても、部分画像同士の位置ずれを修正して正しく貼り合わせることができるというものである。
【００６０】
尚、本発明におけるマーカーは、上記実施例ではＬＥＤの光として、説明したが、これに限らず、要するにイメージャーが識別可能でさえあればどのようなものでもよい。
【００６１】
又、マーカーとして光を用いる場合、要するにイメージャーが識別可能でさえあれば、例えばどのような波長を有する光であってもよく、光の種類等は、問わない。
【００６２】
上記の例では、部分画像の重なり領域に特徴部が存在しない場合に、装置側から撮像対象に対して、ＬＥＤの光を投射させることにより、積極的にコントラストを作って、部分画像相互の位置ずれを検出し、ずれのない正しい貼り合わせの処理を行うことができるというものである。
【００６３】
しかしながら、このような構成では、撮像対象には本来存在しなかったところのコントラストが出力画像に出力されてしまう場合が考えられる。
【００６４】
そこで、貼り合わせの接合処理としては必要であるが、出力画像としては、不要なコントラスト、すなわち本来存在すべきでない邪魔な画像を出力画像に表れないようにすることを目的として、その邪魔な画像を事前に消去することができる例について、次に説明する。
【００６５】
部分画像の重なり領域が、特徴部の存在しない、すなわちコントラストのない領域として判定された場合、その領域は、おそらく変化の少ない「べったりとした画像」であろうとの判断に基づき、上記邪魔な画像の周辺の画像に置き換えて光っている部分を消去し、本来の画像に極めて近い画像に戻してから、それを出力するための補間部７１（図７参照）を設けるというものである。ここで、図７は、補間部７１の構成を示すためのブロック図であり、同図において、▲１▼を付した部分は、図４における出力部１１４の出力側としての▲１▼を付した部分に対応し、相互に回路的な接続状態にあることを示している。
【００６６】
又、他の例として、２値化された信号を扱うＯＡカメラの場合について、図８を用いて次に説明する。ここで、図８は、２値化部７５の構成を示すためのブロック図であり、同図において、▲１▼と▲３▼を付した部分は、図４における出力部１１４の出力側としての▲１▼と、接合情報出力端子部１の出力側としての▲３▼を付した部分に対応し、相互に回路的な接続状態にあることを示している。
【００６７】
この場合、出力信号が２値化されており、２値化されている出力画像信号にＬＥＤ１１の光が載ると、周囲が「黒」であるにもかかわらず、光の当たった部分だけが「白」になり、本来のものとは異なる画像になる。
【００６８】
この場合、上記の例でも説明したように、重なり領域にはコントラストがないわけであり、例えばその部分画像Ａの右端と、部分画像Ｂの左端の重なり領域だけは、強制的に「黒」にするという処理を行えば２値化の場合でも、上記の例と同様に対応できる。
【００６９】
ところで、以下に示す実施例では、部分画像を貼り合わせて接合処理された画像を高密度に記録するために、例えばＪＰＥＧのフォーマットに基づいて帯域圧縮を行って出力する装置に関して、部分画像の重なり領域に特徴部が存在しない場合でも、部分画像同士の位置ずれを修正して正しく貼り合わせることができるという画像取扱装置について、図面を参照しながら具体的に説明する。
【００７０】
図９は、請求項１記載の本発明にかかる画像取扱装置の一実施例としてのＯＡカメラ構成を示すためのブロック図であり、同図を用いて、本実施例の構成を説明する。尚、図４と同じものには、同じ符号を付し、その説明を省略する。又、図４で示す構成との主な相違点は、本実施例の場合、コントラストデータを得る際に、ＪＰＥＧのフォーマットに基づくＤＣＴ処理（ここで、ＤＣＴ処理とは、主に画像の並びを周波数の並びに変換する処理等をいう）を施し、画像データの帯域圧縮を行う過程において得られるＤＣＴ係数を利用する点である。
【００７１】
図９において、ＤＣＴ処理部８１（本発明の直交変換手段に対応）は、ブロック化された画像データに対してＤＣＴ処理を施すものであり、ジグザグスキャン部８２は、周波数領域での並びに変換されたものを、低周波数成分から高周波数成分の順にシリアルに並べ替えを行うものであり、累積加算部８３は、ジグザグスキャン後の信号の必要な部分のみを累積加算するもので、これにより、ＡＥ用のデータやＡＦ用のコントラストデータが得られる。又、ハフマン符号化部８４は、ジグザグスキャン後のデータを符号化するためのものである。
【００７２】
以上のような構成において、図１０を用いて、本実施例の動作を説明する。
【００７３】
まず、ＪＰＥＧのフォーマットに基づく、８画素×８画素の６４画素のブロック９１に対応するブロック化されたデータに対してＤＣＴ処理が施され、ブロック化されたデータに関して個々に付されている番号１から番号６４の順番で周波数別に分解される。ここで、図１０（ａ）は、ＪＰＥＧのフォーマットに基づく、８画素×８画素の６４画素のブロック９１を示す説明図であり、同図（ｂ）は、ブロック化されたデータに対するＤＣＴ処理を説明するための説明図である。
【００７４】
番号１で示したところのデータほど周波数が低く、番号の数字が大きくなるところのデータほど高い周波数成分を有している。これをジグザグスキャン部８２によりジグザグスキャンすると、番号１から番号６４のデータが順番にシリアルに並び替えがなされる（図１０（ｂ）参照）。ここで、番号１というのは、８×８画素のブロック９１の中のＤＣ成分であり、番号２、３・・・のように順に数が大きくなるに従い、周波数成分が高くなっていく。
【００７５】
従って、例えば、信号の低周波成分を利用するところのＡＥ制御を行うための必要なデータを得るためには、番号１から番号４までといった比較的低い周波数成分のみを用いて累積加算部８３にて累積加算することにより、ＡＥ制御用のデータが得られる。
【００７６】
一方、ＡＦ制御の場合には比較的大きなコントラストが必要となるので、比較的周波数の高い領域のみを用いて累積加算部８３にて累積加算し、ＡＦ制御用のデータが得られる。
【００７７】
このようにして、ジグザグスキャン部８２によるジグザグスキャンの結果、所定の制御に必要な部分だけが累積加算部８３にて累積加算され、その情報がＣＰＵ２に送られて、ＡＥやＡＦの駆動が行われる。
【００７８】
以上のことから明らかなように、ＣＰＵ２により、部分画像相互の重なり領域にコントラストが存在しないと判断された場合、アラーム情報を出力するとか、あるいは、更に撮像対象に向けて補助光を投射し、擬似的なコントラストを積極的に形成することにより、位置ずれのない正しい接合画像を作ることができる。
【００７９】
又、ＪＰＥＧ等に用いられるＤＣＴを利用しているシステムにおいて、特別な回路を追加しなくても、一の画像と他の画像とを重ね合わせるために必要な特徴部が存在するか否かを判定するために利用できる評価基準を簡単に得ることが出来る。従って、本実施例によれば、上記評価基準等が無かった従来の装置のように、特徴点を探す処理に時間がかかり撮影時間が長くなることもない。
【００８０】
又、以上のことから上記実施例によれば、例えば上記ＤＣＴ係数のような直交変換データに関して定められた基準に基づいて、部分画像の重なり領域の中に重ね合わせ接合に利用するための画像の特徴部が存在するか否かを判定することができ、更にその特徴部が存在しない場合であっても、部分画像同士の位置ずれを修正して正しく貼り合わせることができるというものである。
【００８１】
又、本発明は、カメラに限らず複写機、プリンタ、ファクシミリ、フィルムスキャナーなど他の画像取扱装置にも適用可能である。
【００８２】
尚、本実施例の直交変換データに関して定められたに基準として、上記実施例では、ＤＣＴ係数等、を用いる場合について説明したが、これに限らず、例えばＤＳＴ（Ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｅｒ）処理によるＤＳＴ係数やフーリエ変換係数等を用いて実現してももちろんよい。
【００８３】
ところで、前述のＯＡカメラ等では、部分画像同士の貼り合わせによる接合処理を行う場合、次のような処理が本出願人から提案されている。
【００８４】
このＯＡカメラの構成については、図２１に示すが、既に説明した図１９の内容と、２値化部１１９を除いてほぼ同じであるため、その説明を省略する。
【００８５】
すなわち、図１９との主な相違点は、図２１では、座標変換部１１０にて座標変換された画像データは、２値化部１１９にて、２値化され出力部１１４を経て出力されると共に、境界バッファ１１１に保持されて、その保持された２値化データに基づいて動きベクトルを検出する点である。
【００８６】
通常、部分画像同士の、重なり領域での相互の位置ずれ量をずれ量算出部１１３にて算出し、相互の画像を切り換える位置を一律に固定した所で行うことが考えられる。
【００８７】
例えば、図２３（ａ）に示すように、部分画像Ａの左端の所定の切り替え場所に、仮に、文字「１」がまたがってしまった際、部分画像Ａをその所定の切り替え場所から部分画像Ｂに切り換えると、文字「１」のまん中で相互の画像が接合されることになる。ここで図２３（ａ）は、部分画像Ａと部分画像Ｂとの貼り合わせの過程で、ずれが生じていない場合を説明する図である。図２３（ａ）は、部分画像Ａと部分画像Ｂとの貼り合わせの過程で、ずれが生じていない場合を説明する図であり、同図（ｂ）は、部分画像Ａと部分画像Ｂとの貼り合わせの過程で、ずれが生じている場合を説明する図である。
【００８８】
図２２（ａ）は、接合処理における出力状態の概要を説明するためのタイムチャートであり、同図（ｂ）は、画像の領域を示すための説明図である。以下同図（ａ）、（ｂ）を用いて、図２１のＯＡカメラでの処理動作等を説明する。
【００８９】
まず、撮像に際してミラースキャンが行われ、図２２（ｂ）に示すように部分画像Ａ，Ｂ，Ｃ，Ｄというようにスキャンされるので、各部分画像のデータは、図２２（ａ）の、▲１▼出力１４１に示すようにＡ，Ｂ，Ｃ，Ｄの順番に出力される。
【００９０】
このように出力される各部分画像に対して、相互の位置ずれを調整した後、接合に際して、部分画像を切り替える位置としては、所定の重なり領域内であればどこで切り替えを行っても基本的には接合ができる。
【００９１】
そこで、この例では、図２２（ｂ）に示すように、部分画像Ｂのスタート点、部分画像Ｃのスタート点、部分画像Ｄのスタート点を、部分画像の切り替え位置とすると、各部分画像の領域は、Ａｘ，Ｂｘ，Ｃｘ，Ｄとなる。従って、Ｘ出力１４２のタイムチャートとしては、▲１▼出力１４１から出力されたＡ，Ｂ，Ｃ，Ｄというデータに対して、Ａｘ，Ｂｘ，Ｃｘ，Ｄとなり、図２２（ｂ）に示すように完全に貼り合わせが行えて、全ての部分画像の接合が完了する。
【００９２】
しかしながら、このような構成では、部分画像の切り替える位置あるいはタイミングは、常に固定であるため、仮に、部分画像の切り替える位置に文字が存在して、位置ずれ補正が若干でもずれていた場合には、図２３（ｂ）に示すように、ずれた画像が出力されてしまうといった欠点があった。すなわち、動きベクトルを検出して、部分画像同士のずれ量を算出して、座標変換を行い、これによりずれた画像の位置を元に戻すという操作をする過程において何らかの貼り合わせ誤差が生じて、例えば１画素程度のずれが発生した場合等は上記のような問題は、避けられず、とりわけ画像が文字である場合には、顕著であった。
【００９３】
本例は、図２１の画像取扱装置のこのような課題を考慮し、部分画像同士を貼り合わせる場合、部分画像同士の重なり領域の中に存在する特徴部にずれを生じない画像取扱装置を提供することを目的とする。
【００９４】
図１１は、画像取扱装置にかかる一例としてのＯＡカメラの構成を示すためのブロック図、そして図１３は、後述する切り替え制御手段５の回路構成を示すための図であり、同図を用いて本例のＯＡカメラの構成を説明する。尚、既に説明した図４と同じものには、同じ符号を付して、その説明を省略する。又、図４に示す構成との主な相違点としては、図１１に示す構成では、部分画像の貼り合わせによる接合処理に際し、利用する部分画像の切り替えを重なり領域の中の特徴部の形態に基づいて、制御するために切り替え制御手段５を備えた点である。又、図１１に示す構成では、座標変換部１１０にて座標変換された画像データは、２値化部１１９にて、２値化され出力部１１４を経て出力されると共に、境界バッファ１１１に保持されて、その保持された２値化データに基づいて動きベクトルを検出するという点等も異なる。
【００９５】
図１３において、▲１▼と▲２▼を付した部分は、図１１における切り替え制御手段５への入力部としての▲１▼と▲２▼を付した部分に対応し、相互に回路的な接続状態にあることを示している。又、同図に関して、信号の切り替え用のＳＷ１２１は、▲１▼部分と▲２▼部分から入力されてくる信号、すなわち▲１▼データ１２５と、▲２▼データ１２６（図１５参照）を切り替えて出力するためのスイッチ手段であり、ＳＷ制御回路１２２は、ＡＮＤ回路１２３からの信号と、水平同期信号（ＨＳＹＮＣ）１２８（図１５参照）の入力信号により、ＳＷ１２１の接続状態を切り替え制御するためのものであり、ＳＷ制御信号１２９（図１５参照）を出力する。ＡＮＤ回路１２３は、自身の入力側が、常に同一のタイミングで部分画像の信号を切り替えようとして出力されるセレクト信号（ＳＥＬＥＣＴ）１２７（図１５参照）の出力側と、出力部１１４の出力側（▲１▼部分に対応）とに接続されるように構成されている。
【００９６】
以上のような構成において、主として図１２（ａ）、及び図１５等を用いて、本例の動作を説明する。尚、図１２（ａ）は、本例の接合処理における出力状態の概要を説明するためのタイムチャートであり、同図（ｂ）は、画像の領域を説明するための説明図である。又、同図（ａ）において、▲１▼出力１２５と、▲２▼出力１２６（境界バファ１１１内のデータの出力に対応）は、上記の▲１▼データ１２５と、▲２▼データ１２６（図１５参照）に対応しているので、同じ符号を付し、これらを用いて張り合わされた画像データをＹ出力１２４とする。ここで、図２２との主な相違点は、▲２▼出力１２６を活用する点等である。
【００９７】
まず、▲２▼出力１２６、すなわち境界バファ１１１内の出力は、例えば、部分画像Ａを１回ミラースキャンした時に、部分画像Ｂとの動きベクトルの検出を行うために、部分画像Ａの右端の画像情報としてのＡｒを、部分画像Ｂがスキャンされた時のために、２値化データとして境界バッファ１１１内に保存しておく必要がある。 次に、部分画像Ｂがスキャンされて出てきた時に、部分画像Ｂの左端と、境界バッファ１１１内に保存されている部分画像Ａの右端Ａｒとを各々利用して、相互の位置ずれや、動きベクトルを検出するように構成されているので、部分画像Ｂが出力部１１４から出力される時は、境界バッファ１１１の中にはＡｒが入っているため、図１２（ａ）の▲１▼出力１２５と、▲２▼出力１２６で示すように、部分画像Ｂが出力部１１４から出力されるタイミングで、境界バッファ１１１からはＡｒが出力される。
【００９８】
その後、順次、部分画像Ｃが出力されるタイミングで部分画像Ｂの右端Ｂｒが出力され、部分画像Ｄが出てくるタイミングでＣｒが出てくる。
【００９９】
ここで、重要な点は、出力部１１４と境界バファ１１１の出力をＳＷ１２１にて巧みに切り替えることにより、従来のような部分画像の貼り合わせに際して、接合部の画像がずれないように構成されている。
【０１００】
すなわち、図１２（ｂ）に示すように、要するに、部分画像Ａと部分画像Ｂとの重なり領域では、一律のタイミングで部分画像を切り替えるのではない、ということである。
【０１０１】
更に、そのタイミング等に関して、図１３、図１５、図１６を用いて説明する。ここで、図１５は、本例の接合処理における出力状態を説明するためのタイムチャートであり、図１３は、切り替え制御手段５の回路構成を説明するための説明図である。又、図１６は、部分画像Ａと部分画像Ｂの切り替えのタイミングを説明するための説明図である。
【０１０２】
図１５において、１回のミラースキャンで一つの部分画像の領域が取り込まれるが、例えば、部分画像Ｂの領域がスキャンされ、出力されているタイミングについて説明する。
【０１０３】
画像信号は水平方向にスキャンされて、例えば部分画像Ｂのデータが、水平同期信号（ＨＳＹＮＣ）１２８の立ち下がりタイミング１５４で示す時点で▲１▼データ１２５として出力される。ここで、▲１▼データ１２５の信号波形としては、文字の時にＨｉｇｈ、白地の時にＬｏｗを示すものとする。▲２▼データ１２６により示されるデータは、境界バファ１１１に保持されている部分画像Ａの境界のデータであり、部分的に▲１▼データ１２５の信号波形と同じになる。
【０１０４】
次に、図１６を用いて、セレクト信号１２７等の動作について、説明する。
【０１０５】
同図に示すように、部分画像１５１（図１２（ｂ）の部分画像Ａに対応）と部分画像１５２（図１２（ｂ）の部分画像Ｂに対応）が所定の領域で重なっている。 ここで、仮に水平同期信号（ＨＳＹＮＣ）１２８の立ち下がりタイミング１５４で示す時点で、部分画像１５１から部分画像１５２へ一律に切り替えたのでは、従来と同じになる。
【０１０６】
そこで、部分画像の重なり領域１５３の中であれば，部分画像１５１を出しても部分画像１５２を出しても基本的には変わらないことから、水平同期信号（ＨＳＹＮＣ）１２８の立ち下がりタイミング１５４を利用して、部分画像１５１の出力が終わる時点よりも充分早い時点で、セレクト信号（ＳＥＬＥＣＴ）１２７の立ち上がりタイミング１５５で示す時点にて、切り替えの信号を作るとすると、基本的には、正しい貼り合わせが行われる。
【０１０７】
しかし、水平同期信号（ＨＳＹＮＣ）１２８と同期するセレクト信号（ＳＥＬＥＣＴ）１２７のＬｏｗのパルス幅がこのセレクト信号を各Ｈに応じて時間的に固定しておくと、結果的には境界線が常に一定であり、それのみを切り替え信号をして利用するならば、上述した理由から、切り替えによる部分画像の接合部が直線的になるので、文字ずれや、段差が発生する可能性がある。
【０１０８】
本例は、これを回避するために、更に次のように制御する。再び、図１５に戻って説明する。
【０１０９】
水平同期信号（ＨＳＹＮＣ）１２８の最初の立ち上がりタイミングではセレクト信号（ＳＥＬＥＣＴ）１２７がＬｏｗからＨｉｇｈに切り替わって、部分画像Ａから部分画像Ｂに切り替えるタイミング１２９ａでは、▲１▼データ１２５は、Ｌｏｗすなわち、文字がない「白」の部分であるため、このタイミングでは無条件に切り替えても問題は発生し得ない。
【０１１０】
次の、セレクト信号（ＳＥＬＥＣＴ）１２７がＬｏｗからＨｉｇｈに切り替わるタイミング１２９ｂでは、▲１▼データ１２５は、Ｈｉｇｈすなわち、文字が存在することを示しており、このタイミングで切り替えてしまうと、上述のような要因で、場合によれば接合された画像にずれが発生する恐れを有している。
【０１１１】
そこで、▲１▼データ１２５が、ＨｉｇｈからＬｏｗになるまで、すなわちタイミング１２９ｃの時点まで切り替えるのを待ち、それから次の部分画像Ｂに切り替えようにするものである。
【０１１２】
以上述べた、部分画像の切り替えるタイミングの操作等に関して、図１３に示す切り替え制御手段５により実現することにより、ずれや段差が起こることはなくなる。尚、切り替え制御手段５の回路によれば、図１７に示すように、切り替え場所（図１７では、切り替え場所を破線２０１で示す。又、「１」の画像は全て部分画像Ａの画像データに基づいて再現される）というのは文字の右側を沿って変化することになる。ここで図１７は、図１３に示す構成の切り替え制御手段５の回路を用いた場合の、画像データの切り替え場所を示すための説明図である。
【０１１３】
上記の例では、「１」のような形状の単純なものの場合であったが、例えば「２」のような複雑な文字の場合には、上記のような方法では、うまく判定か出来ないことがあり、次にその対応例について説明する。
【０１１４】
すなわち、このような場合は、例えば、文字毎のいわゆるプロジェクション処理等を行う。ここで、プロジェクション処理とは、所定の文字に対して、Ｘ方向とＹ方向のそれぞれの投影を行い、その幅を検出する処理である。
【０１１５】
例えば、文字が「２」の場合、図１８に示すように、「２」に外接する矩形の領域（図１８では、この外接矩形領域２０２を一点鎖線で表す）が、認識されてデータとして得られる。このようにして得られた外接矩形データ２０３を、図１４に示すＡＮＤ回路１２３の入力データとして用い（外接矩形データ２０３があるときにはセレクト信号が切り替わらずに、待機させるというような構成にする）、それ以外は、上記の例で説明した図１３の構成と同じもので、同じ方法により処理することで、更に正確に画像のずれ防止を実現できるものである。ここで、図１４は、図１１における切り替え制御手段５の別の回路構成を説明するための説明図である。又、図１８は、図１４に示す構成の切り替え制御手段５の回路を用いた場合の、画像データの切り替え場所を示すための説明図である。
【０１１６】
すなわち、以上のような構成で、切り替えタイミングを決定することにより、図１８に示すように、必ず文字の外接矩形領域２０２に沿って切り替わるので、決して文字をまたぐことはなくなり、仮に位置ずれ検出の誤差が発生しても、そのことが文字等の画像の接合状態に影響をおよぼさないため、先に説明した図１３等による構成よりも、更に精度良く位置ずれの防止等ができる。
【０１１７】
このようにして、一の画像と、その一の画像と部分的に重複する他の画像について、前記一の画像と前記他の画像を重ね合わせて、貼り合わせ処理を行うための接合画像形成手段と、前記貼り合わせ処理された結果としての接合画像を形成する際に、前記重ね合わせる画像部分を前記一の画像を利用するか、又は前記他の画像を利用するかを、前記重複する領域の画像の形態に基づいて、切り替え制御を行うための切り替え制御手段とを備えている画像取扱装置を実現することができる。
【０１１８】
従って、本例によれば、部分画像同士を貼り合わせる場合、部分画像同士の重なり領域の中に存在する特徴部にずれを生じない画像取扱装置を提供することができる。
【０１１９】
尚、上記例では、出力データが２値データである場合について説明したが、これに限らず、多値データであってももちろんよく、同様の効果が得られる。
【０１２０】
又、本例は、ハードウェア的に、各構成部を用いて実現してもよいし、これに限らず、ソフトウェア的に実現するようにしてもよい。
【０１２１】
【発明の効果】
以上述べたところより明らかなように、本発明は、一の画像と、該一の画像と部分的に重複する領域を有する他の画像について、該重複する領域の特徴部で両者を位置合わせして貼り合わせ処理を行う場合に、特別な回路を追加することなく、各部分画像の重複する領域の中に貼り合わせ処理に利用するための画像の特徴部が存在するか否かを判定でき、前記特徴部が存在すると判定された場合はそのままずれのない貼り合せ処理が可能となり、特徴部が存在しないと判定された場合は警告することができるため、ずれた画像同士をずれたまま貼り合せてしまうことを防止できるという顕著な効果を有する。
【図面の簡単な説明】
【図１】本例の画像取扱装置にかかる一例としてのＯＡカメラの構成を示すためのブロック図
【図２】同実施例の累積加算部の構成等示すためのブロック図
【図３】図３（ａ）；同実施例の部分画像の構成を説明するための説明図
図３（ｂ）；同実施例の累積加算エリアを説明するための説明図
【図４】本例の画像取扱装置にかかる一例としてのＯＡカメラの構成を示すためのブロック図
【図５】本例の動作を説明するためのタイムチャート
【図６】図４において補助光を投射する場所を説明するための説明図
【図７】図４において補間部を追加した例の構成を示すためのブロック図
【図８】他の例の２値化部の構成を示すためのブロック図
【図９】本発明にかかる画像取扱装置の一実施例としてのＯＡカメラの構成を示すためのブロック図
【図１０】図１０（ａ）；ＪＰＥＧのフォーマットに基づく、８画素×８画素の６４画素のブロックを示す説明図
図１０（ｂ）；ブロック化されたデータに対するＤＣＴ処理を説明するための説明図
【図１１】本例の画像取扱装置にかかる一例としてのＯＡカメラの構成を示すためのブロック図
【図１２】図１２（ａ）；本例の接合処理における出力状態の概要を説明するためのタイムチャート
図１２（ｂ）；画像の領域を説明するための説明図
【図１３】図１１における切り替え制御手段の回路構成を説明するための説明図
【図１４】図１１における切り替え制御手段の別の回路構成を説明するための説明図
【図１５】図１１の構成による接合処理における出力状態を説明するためのタイムチャート
【図１６】図１１の構成による部分画像Ａと部分画像Ｂの切り替えのタイミングを説明するための説明図
【図１７】図１３に示す構成の切り替え制御手段の回路を用いた場合の、画像データの切り替え場所を示すための説明図
【図１８】図１４に示す構成の切り替え制御手段の回路を用いた場合の、画像データの切り替え場所を示すための説明図
【図１９】既提案によるＯＡカメラの構成を説明するためのブロック図
【図２０】図１９で示す従来例の各部分画像の重なり領域等を説明するための説明図
【図２１】既提案による他のＯＡカメラの構成を説明するためのブロック図
【図２２】図２２（ａ）；図２１で示す従来の他のＯＡカメラの接合処理における出力状態の概要を説明するためのタイムチャート
図２２（ｂ）；図２１で示す従来の他のＯＡカメラの接合処理における出力状態の概要を説明する際の画像の領域を示す図
【図２３】図２３（ａ）；図２１で示す従来の他のＯＡカメラにおける部分画像Ａと部分画像Ｂとの貼り合わせの過程で、ずれが生じていない場合を説明する図
図２３（ｂ）；図２１で示す従来の他のＯＡカメラにおける部分画像Ａと部分画像Ｂとの貼り合わせの過程で、ずれが生じている場合を説明する図
【符号の説明】
１ 接合情報出力端子部
２ ＣＰＵ（判定手段）
８１ ＤＣＴ処理部
１０１ 全反射ミラー
１０２ 入射光
１０２ａ 通過光
１０２ｂ 反射光
１０３ レンズ部
１０４ ハーフミラー
１０５ 第１ＣＣＤ
１０６ 第２ＣＣＤ
１１０ 座標変換部（接合画像形成手段）
２００ 撮像対象画像

Claims (6)

1. 一の画像と、該一の画像と部分的に重複する領域を有する他の画像について、該重複する領域の特徴部で両者を位置合わせして貼り合わせ処理を行う画像合成機能を有する画像取扱装置において、
   前記一の画像側の前記重複する領域を表す画像信号及び／又は前記他の画像側の前記重複する領域を表す画像信号から各直交変換データを得るための直交変換手段と、
   前記得られた直交変換データに基づいて、コントラストデータを求めるコントラストデータ抽出部と、
   前記一の画像側の前記重複する領域及び／又は前記他の画像側の前記重複する領域に、前記一の画像と前記他の画像とを重ね合わせるために必要な特徴部が存在するか否かを、前記求められたコントラストデータを所定のコントラスト値と比較することにより判定するための判定手段と、
   前記判定手段による前記判定結果に基づき、前記貼り合せ処理を制御する画像合成制御手段と、
   を備えたことを特徴とする画像取扱装置。
2. 前記画像合成制御手段は、前記判定手段により前記特徴部が存在すると判定された場合は、前記貼り合わせ処理を行い、前記特徴部が存在しないと判定された場合は、貼り合わせが不可能である旨の警告を行うことを特徴とする請求項１に記載の画像取扱装置。
3. 前記直交変換手段は、直交変換データとしてＤＣＴ係数を得るＤＣＴ処理部であり、
   前記コントラストデータ抽出部は、前記得られたＤＣＴ係数から必要な部分のみを累積加算する累積加算部をさらに備えたことを特徴とする請求項１または２に記載の画像取扱装置。
4. 一の画像と、該一の画像と部分的に重複する領域を有する他の画像について、該重複する領域の特徴部で両者を位置合わせして貼り合わせ処理を行う画像合成機能を有する画像取扱装置の画像合成方法において、
   前記一の画像の前記重複する領域を表す画像信号及び／又は前記他の画像の前記重複する領域を表す画像信号から各直交変換データを得るための直交変換ステップと、
   前記得られた直交変換データに基づいて、コントラストデータを求めるコントラストデータ抽出ステップと、
   前記一の画像側の前記重複する領域及び／又は前記他の画像側の前記重複する領域に、前記一の画像と前記他の画像とを重ね合わせるために必要な特徴部が存在するか否かを、前記求められたコントラストデータを所定のコントラスト値と比較することにより判定するための判定ステップと、
   前記判定ステップによる前記判定結果に基づき、前記貼り合せ処理を制御する画像合成制御ステップとを備えたことを特徴とする画像取扱装置の画像合成方法。
5. 前記画像合成制御ステップは、前記判定ステップにより前記特徴部が存在すると判定された場合は、前記貼り合わせ処理を行い、前記特徴部が存在しないと判定された場合は、貼り合わせが不可能である旨の警告を行うことを特徴とする請求項４に記載の画像取扱装置の画像合成方法。
6. 前記直交変換ステップは、直交変換データとしてＤＣＴ係数を得るＤＣＴ処理ステップであり、
   前記コントラストデータ抽出ステップは、前記得られたＤＣＴ係数から必要な部分のみを累積加算する累積加算ステップをさらに備えたことを特徴とする請求項４または５に記載の画像取扱装置の画像合成方法。

Images