JP7449019B1 - 撮像装置 - Google Patents

Abstract

【課題】撮像画像より動き物体を抽出する際には、撮像装置から出力される膨大な画像情報を処理する必要があり、システムが大型になり、消費電力が大きくなっていた。【解決手段】撮影時刻の異なる画素信号の差分信号を生成し、静止した被写体では、前記差分信号が生じないように調整し、差分信号を基に動き物体の輪郭端部を判定し、２値化されたマスキング信号を発生させ、現時点の撮影信号である画素信号出力と、マスキング信号とから論理積をとり、動きのある被写体の画像のみを、読み出しライン毎に出力する撮像装置を提供する。【選択図】 図１

Description

本発明は、動き情報の取得方法に関するもので、特に、動き物体の輪郭情報を基に、背景の静止画情報を消し去り、動き物体のみを取得し表示させることを特徴とする、撮像装置に関する。
ここで撮像装置は、固体撮像装置やそれを用いた撮像カメラのことを称する。

固体撮像装置や、それを用いた撮像カメラの様な撮像装置において、画像中の動き物体（以下動体と呼ぶ）の情報を表示するために、方向、速度を表示する動きベクトル表示手法がある。この動きベクトルの取得方法としては、従来技術としてブロックマッチング手法が知られている。

このブロックマッチング手法を応用し、対象物の動体の追跡を行うことを目的にした特許文献１や、動体の輪郭曲線上で特徴点を抽出し、抽出された特徴点を用いて動きベクトル推定を行う手法が特許文献２に示されている。

また特許文献３には撮影装置で撮影された１フレームの画像から所定の特徴を表する特徴点を抽出し、時間的に後のフレームの画像の前記特徴点の近傍領域より特徴点を抽出し、両者の特徴点より動きベクトルを少ない演算量で抽出する方法が示されている。

また固体撮像装置の撮像画面上で被写体の動きを検出する方法としては、前後のフレーム間の同一画素単位での信号出力を比較して動きを検出する方法が一般的であるが、特許文献４に示すように、隣接画素を一対の組として積分時間を変え、ゲインを調整して差分信号出力により動きを検出する方法がある。また特許文献５に示すように、感度の異なる隣接画素を一対の組として積分時間を変え、差分信号出力により動きを検出する方法もある。前者のフレーム間の比較を行う方式をフレーム間差分方式、後者の画素対の比較を行う方式を画素間差分方式とそれぞれ称する。

後者の特許文献５には、動き検出を判定する差分信号を直接出力し、動き物体（以下動体と称す）の輪郭情報のみ出力することで、画像より動体輪郭抽出する工程を省き、Human-Machine-Interfaceへの応用があることが示されている。この動体の輪郭情報でも、動きの変化に応じて光電変換した電荷量の違いが画素で生じ、その差分を画素位置に対応して輪郭情報として出力する。

特許文献６には動き検出の結果を基に、後段システムの電源のON/OFF制御をすることで、システムの消費電力を減らす概念や、固体撮像装置から出力される画像信号を制御し、情報量を減らす概念が示されている。特許文献２，３の動き検知の方法では、フレームメモリを使うことなく、画素差分で動き検知が可能なケースが示されている。

特許文献７には、動きベクトルの取得に関し、後段回路で画像情報を演算処理する負荷を大幅に軽減する方法が示されいる。手法としては、差分回路、微分回路、論理積、論理和を組み合わせ、固体撮像装置から得られる動体の輪郭情報を基に、動きベクトル情報を取得し出力する。

特許第３０３７３８３号 特許第３６７４０８４号 特許第６６２４８４１号 特許第３５２１１０９号 特許第５６４６４２１号 特許第５６０４７００号 特許第７０２５０７３号

特許文献１、特許文献２、特許文献３に示す従来の動きベクトル取得方法では、処理する画像情報量が大きいため、演算規模が大きくなり消費電力も増大していた。また特許文献５、６では動きの輪郭情報取得は簡便にできるものの、動きベクトルの取得手法、出力方法は示されていない。

特許文献７は、動きベクトルの取得に関し、後段回路で画像情報を演算処理する負荷を大幅に軽減しているが、動体を輪郭情報主体の動きベクトルで表示し、動体そのものの情報が欠落している。

本発明の目的は、背景の静止画情報を削除し、動体の画像情報のみの取得に関し、後段回路で画像情報を演算処理する負荷を大幅に軽減することである。手法としては、撮像装置から得られる動体の輪郭情報を基に、マスキング情報を取得し、動体情報を簡便な方法で取得し出力する。

上記課題を解決するため、固体撮像装置や撮像カメラから、動体の輪郭情報を取得し、背景の静止画の情報を削除して情報量を減らし、次にこの輪郭情報を基に動体の位置、動体の大きさから、動体のマスキング情報を取得し、マスキング情報と画像情報との論理積（以下ANDと称する）をライン毎に取ることで、画像情報から動体のみの情報を出力させた撮像装置を提供する。

このように本発明では、撮像画像の内、静止画像は扱わず、動体のみ扱う。更に動体の画像のみを表現し、背景の静止画を消すことで、情報量が大幅に低減する。これによりビジュアルに動き情報を把握しやすいという利点もある。

本提案の撮像装置（固体撮像装置、撮像カメラ）で、動体のみの画像情報しか出力されないので、情報量が大幅に削減され、通常のカメラ画像から出力される膨大な画像情報をリアルタイムで演算処理することなく、動体のみを出力する撮像装置（動体出力センサ、動体出力カメラ）を提供することができる。

本発明では、輪郭情報から、動体のマスキング情報を取得し、マスキング情報と画像情報とのANDをライン毎に取ることで、画像情報から動体のみの情報を出力する撮像装置を提供する。ここで言うマスキング情報とは、動体のみを抽出するためのマスキング波形の事で、論理積（ＡＮＤ）で動体を残すために、マスキング情報は２値化されており、マスキング波形は、情報動体のみの情報を出すタイミングでは１が、背景の静止画を出すタイミングでは０が、それぞれ対応した波形になる。
一般的に固体撮像装置としては、画素が２次元的に配置されたエリアセンサと、画素が１次元的に配置されたリニアセンサがあるが、ANDをライン毎に処理することにより、リニアセンサでもエリアセンサでも可能となる。また動体の輪郭情報を取得する方法として、メモリを使用する場合には、一般的にはリニアセンサとエリアセンサに対応し、それぞれラインメモリ、エリアメモリが使用される。エリアメモリよりもフレームメモリの名称の方が一般的なので、以降の説明ではフレームメモリと称する。またリニアセンサをラインセンサと呼称することもあるが、ここではリニアセンサと称する。
動体の輪郭情報を取得する方法としては、メモリを用いずに、露光時間の異なる画素対の画素差分で取得する方法もある。

本発明によれば、動き輪郭情報取得の過程で背景の静止画を削除し、演算する情報量を大幅削減する。更に輪郭情報から作成したマスキングパターンと元画像のANDを取り、動体のみを出力することで、撮像装置からの情報量を減らすことができる。さらに動体のみの抽出演算を走査線に沿ってライン毎に行い、ライン毎の画素出力と並行してリアルタイムで実施することで、演算負荷の大幅な削減を実現できる。

従来の撮像カメラでは後段処理回路で様々な加工を行うため、画像情報量は大きい。一方、本発明では動体のみの出力に限定して、情報量を絞っているので、演算負荷は軽くなり、撮像装置から出力される情報量を大幅に削減できる。

本発明の第１の実施形態の撮像装置として、撮像カメラを用いた構成を示すブロック図。 第１の実施形態-１としリニアセンサを用いた動き輪郭抽出部の概略構成を示すブロック図。 図２のリニアセンサカメラの各タイミングで捉えた、顧客の手の位置を示す図。 図３の各タイミングで、リニアセンサの画素信号出力と、顧客の手の再生画像を示す図。 図４の抜粋タイミングで、図２の画素信号出力とラインメモリを用いた差分の機構と、動き輪郭情報の説明図。 図４の各タイミングで、背景光のある、リニアセンサの実際の画素信号出力を示す図。 図６の抜粋タイミングで、図２の画素信号出力とラインメモリを用いた差分の機構と、動き輪郭情報の説明図。 図６の各タイミングで、図２の動き輪郭抽出部で取得した動き輪郭情報の説明図。 第１の実施形態-１のリニアセンサを用いたマスキング抽出部の概略構成を示すブロック図。 図７の抜粋タイミングで、図９のマスキング抽出部で取得したマスキング信号の説明図。 第１の実施形態-１のリニアセンサを用いたマスキング回路の概略構成を示すブロック図。 抜粋タイミングで、図１１のマスキング回路で取得したマスキング画素信号の説明図。 各タイミングで、図９のマスキング抽出部で取得したマスキング信号の説明図。 各タイミングで、図１１のマスキング回路で取得したマスキング画素信号の説明図。 各タイミングで、別の動き輪郭端部判定基準でのマスキング画素信号の説明図。 第１の実施形態-２としエリアセンサを用いた動き輪郭抽出部の概略構成を示すブロック図。 図１６のエリアセンサカメラの各走査線で捉えた、顧客の手の位置を示す図。 図１７のエリアセンサの走査線画素信号出力と、動体である顧客の手の画像を示す図。 エリアセンサの各走査線画素信号出力と、フレームメモリを用いた差分の機構と、動き輪郭情報の説明図。 各走査線での動き輪郭情報、マスキング信号、マスキング画素信号の説明図。 第１の実施形態-３とし、リニアセンサを用いた別の動き輪郭抽出方法のブロック図。 抜粋タイミングで、図２１を用いた動き輪郭情報、マスキング信号、マスキング画素信号の説明図。 各タイミングで、図２１を用いた動き輪郭情報、マスキング信号の説明図。 第１の実施形態-４とし、エリアセンサを用いた別の動き輪郭抽出方法のブロック図。 図２４のエリアセンサカメラの各走査線で捉えた、顧客の手の位置を示す図。 顧客の手（動体）が無い場合の、図２４のエリアセンサの走査線画素信号出力。 抜粋走査線で、図２４を用いた動き輪郭情報、マスキング信号、マスキング画素信号の説明図。 各走査線で、図２４を用いた動き輪郭情報、マスキング信号の説明図。 第１の実施形態-５とし、特殊なエリアセンサを用いた、別の動き輪郭抽出方法のブロック図。 図２９のエリアセンサの画素配置と、画素出力特性を説明する図。 図２９のエリアセンサの別の画素配置と、その画素出力特性を説明する図。 本発明の第２実施形態の撮像装置として、固体撮像装置を用いた構成を示すブロック図。 第２の実施形態-５とし、特殊なエリアセンサを用いた、固体撮像装置のブロック図。 図３３の特殊なエリアセンサを用いた、別の固体撮像装置のブロック図

本発明の実施形態としては、幾つかの選択ケースが可能である。その組み合わせのケースとしては、１）撮像装置としては撮像カメラ、もしくは固体撮像装置のケース。２）固体撮像装置としては、エリアセンサ、もしくはリニアセンサのケース。３）動体輪郭抽出の方法としては、メモリ（フレームメモリ or ラインメモリ）を用いて差分で行うケース、もしくは露光時間の異なる画素対の差分を用いて行うケース。がある。
本発明の実施形態に係る撮像装置は、それぞれのケースの組み合わせで構成されるので、代表的な組み合わせに絞り、図面を参照しながら説明し、他の組み合わせは言葉で補う。

以下の説明では動体情報のみ出力する撮像装置として、第１の実施形態では撮像カメラのケースを用いて、本発明の撮像装置を構成する各ブロックでの機能の説明を行う。
第２の実施形態の固体撮像装置のケースでは、これらのブロックが固体撮像装置上に搭載されたケースに相当するので、各ブロックの機能の説明は同じである。

＜第１の実施形態＞
図１では、本発明の撮像装置として第１の実施形態として撮像カメラ１を例にとり、本発明の撮像装置のブロックを示す。撮像カメラ１のブロック構成及び各ブロックの信号を以下に説明する。
レンズ２でカメラ筐体３の固体撮像装置４に、被写体像を結像する光学系を構成させる。固体撮像装置４から出力される画素信号出力５は、２つに分割され一方は動き輪郭抽出部６に、他方はマスキング回路１０へ入力される。動き輪郭抽出部６では、画素信号出力５より動き輪郭情報７を抽出する。抽出された動き輪郭情報７は、マスキング抽出部８に入力される。マスキング抽出部８では、動き輪郭情報７より、動体の最外周の個所に対応する動き輪郭端部判定を行い、動体としてのみ出力させるマスキング信号９を作成し出力する。マスキング信号９はマスキング回路１０に入力され、同じく入力された画素信号出力５と共に、マスキング回路でマスキング画素信号出力１１を作成し出力される。
このマスキング画素信号出力とは、動体の画像に対応した画素のみの出力であり、本発明の目的とする動体情報のみを出力する撮像装置になる。

通常、動体情報のみを出力する方法としては、固体撮像装置４としてエリアセンサを用い、フレームメモリに取り込んだ後に、フレーム単位で画像処理し、動体検知をして動きの領域を特定してから、動体情報のみを出力させていた。このため膨大な画像情報を、フレーム単位で処理するため演算システムが複雑になり、リアルタイム高速演算を行うため、消費電力が膨大となる欠点を有していた。
本発明の最大の特徴は、固体撮像装置４からの画素信号出力５を、読み出しライン毎に処理し、リアルタイムでマスキング画素信号出力１１を作成することにある。

マスキング回路１０には、マスキング信号９と画素信号出力５が入力され、マスキング画素信号出力１１が作成されるが、マスキング回路１０は後述するように、マスキング信号９と画素信号出力５のAND（論理積）を取得するAND回路であり、リアルタイムで動体の画像に対応した画素のみの出力であるマスキング画素信号出力１１が撮像カメラ１から出てくる。図１では、このリアルタイムを強調するため、固体撮像装置４から出力されマスキング回路１０に入力される画素信号出力５は太線にした。
図１で示した本発明の第１の実施形態の撮像カメラ１を構成する各ブロックに付き、以下に順次図面を用いて説明していく。

＜第１の実施形態-１＞
まず、図１の撮像カメラ１の動き輪郭抽出部６の構成を図２で説明する。レンズ２でカメラ筐体３の固体撮像装置４に、被写体像を結像する光学系を構成させる個所は図１と同じである。まず説明を簡単にするために、固体撮像装置４としてはリニアセンサ４’を用いて説明する。（これを第１の実施形態-１と称す）。このためレンズ２とカメラ筐体部３はリニアセンサカメラ１’と呼ぶ。図１では、レンズ２とカメラ筐体部３に動き輪郭抽出部６、マスキング抽出部８、マスキング回路１０を含めて撮像カメラ１としたが、レンズ２とカメラ筐体部３にリニアセンサ４’を入れたものを、ここでは便宜上、リニアセンサカメラ１’と称している。これは図１６のエリアセンサカメラ１”でも同様である。
リニアセンサ４’からの画素信号出力５は２分割され、一方はマスキング回路１０に入力され、他方は動き輪郭抽出部６に入力される。動き輪郭抽出部６では、画素信号出力５は更に２分割され、ラインメモリ１２へ取り込まれる。
ラインメモリ１２から出てくる画素信号出力５は１ライン前のライン出力であり、差分回路１３で現時点の画素信号出力５との差分が取られ、絶対値回路１４を経て動き輪郭情報７が得られる。１ラインに相当する時間は、リニアセンサ４’のサイクルタイムで、以降の図面ではΔｔと記す。即ち、差分回路１３では隣接ライン間の差分が取られる。ここでサイクルタイムとは、固体撮像装置４の全ての画素の読み出しに掛かる１周期の時間で、固体撮像装置４がリニアセンサ４’では、１ラインの読み出しに掛かる時間のことである。

画素信号出力５は、リニアセンサ４’の全ての画素を読み出し、前後に空送りのあるリニアセンサの１ラインに相当した信号出力のことを表現し、ライン毎の同期が取れている。以降の説明で出てくる画素差分とは、このライン間で同期をとった差分であり、静止した被写体の同じ位置を結像する、異なる露光タイミングの画素間の差分を意味する。
一般的に、リニアセンサ４’のサイクルタイムの中には、画素で光電変換を行う露光時間が含まれており、画素で光電変換を開始する時刻と、光電変換を終了する時刻との時間差が露光時間を決める。この光電変換を開始する時刻と、終了する時刻のセットを撮影時刻と呼ぶ。これは後述のエリアセンサでも同様である。

＜第１の実施形態-１での動体認識方法＞
絶対値回路１４から出力されたのを動き輪郭情報７と称する理由を説明する前に、リニアセンサカメラ１’を用いて、動体をどの様に認識するかの説明をする必要がある。
リニアセンサ４’を用いた動体認識の例として、商品陳列棚の前面部分をモニターするリニアセンサカメラ１’で、商品の出入りに伴う作業（ピックアップ、返却）を行う顧客の手の動きの認識を行うケースで説明する。

図３は、商品陳列棚１５に陳列されている商品を取ろうと、顧客の手１６が伸びて行く状態を、商品陳列棚１５の上縁部に設置されたリニアセンサカメラ１’でモニターするケースを示す。このリニアセンサカメラ１’に用いられる固体撮像装置４はリニアセンサ４’であり、商品陳列棚１５の前面部分を観察する。商品陳列棚１５の前面には、商品の出入りに伴う作業を行う顧客の手１６が示されている。リニアセンサ４’は画素が直線状に配置されているため、撮影できる範囲は、商品陳列棚１の前面の平面に限定される。図３の様に応用システムで説明する場合には、リニアセンサカメラ１’はリニアセンサ４’を用いた撮像カメラ１の意味で使っている。図１７のエリアセンサカメラ４”でも同様である。

この平面を、ｔ=Ｔ_０のタイミングでリニアセンサカメラ１’から延びる破線で示す。ｔ=Ｔ_０のタイミングでは顧客の手１６は、この平面には未だ到達していない。商品陳列棚１５の商品（図示せず）を取ろうと、顧客の手１６は近づいてくるが、ここでは説明の都度上、リニアセンサカメラ１’から延びる破線に、顧客の手１６のどの部位がクロスするか（リニアセンサカメラ１’で撮影できる部位）を、タイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４で示す。

図３では、顧客の手１６のどの部位をリニアセンサカメラ１’で撮影できるかを、タイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４で示した。それぞれのタイミングでのリニアセンサ４’からの画素出力信号５を図４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す。ここで画素信号出力５とは、リニアセンサ４’の画素列の出力であり、横軸は画素位置、縦軸は各画素位置での画素信号出力を示す。参考のために再生画像の個所に、顧客の手１６のどの部位に対応した画像であるかを示した。

リニアセンサ４’の特徴としては、動きが無いと背景の時間的に一定した出力になり、ここでは便宜上ゼロとした（図４（ａ）参照）。動きが有ると（ここでは顧客の手１６の動き）リニアセンサ４’の出力には変化が生じる。手の動きに対応し、ｔ=Ｔ_０のタイミングのリニアセンサカメラ４から延びる破線で示される平面で撮影を行い、この平面をよぎる顧客の手１６の部位に対応し、画素出力波形には変化が生じる。（図４（ｂ）、（ｃ）、（ｄ）、（ｅ）参照）。

リニアセンサ４’の画素信号出力を、時系列的に並べると顧客の手１６の再生画像が得られる。図４には、顧客の手１６の部位に対応した画素出力波形から得られた再生画像を示す。ここで顧客の手１６の動きの速度により、再生画像は伸び縮みするが、人の手の縦横比（長さと幅）はほぼ一定なので、再生画像の補正は容易に行える。また顧客の手１６が商品陳列棚１５の商品を掴んで出て来ても、即ち商品陳列棚１５から離れる方向に移動しても、再生画像は容易に得られる。
以上がリニアセンサカメラ１’を用いて、動体をどの様に認識するかの説明である。

＜第１の実施形態-１での動き輪郭抽出方法（背景光無しケース）＞
図２はリニアセンサカメラ１’の画素信号出力５を信号処理して、顧客の手１６に相当する箇所のみを抽出し、背景出力をゼロにする信号処理回路を示す。図２に示す信号処理回路は、被写体の像をレンズ２でカメラ筐体３内のリニアセンサ４’に結像し、得られた画素信号出力５をリニアセンサカメラ１’より出力する。出力された画素信号出力５より、動き輪郭抽出部６にて動き輪郭情報７を得る。

画素信号出力５は、ラインメモリ１２へ取り込まれる。ラインメモリ１２から出てくる画素信号出力５は１ライン前のライン出力であり、差分回路１３で現時点の画素信号出力５との差分が取られ、絶対値回路１４を経て動く輪郭情報７が得られる。１ラインに相当する時間は、リニアセンサ４’のサイクルタイム（１ライン読み出しに掛かる時間）Δｔである。即ち、差分回路１３では隣接ライン間の差分が取られる。

勿論、ラインメモリ１２が１ライン遅延に相当するラインメモリでなくても良く、２ライン相当の遅延を生じさせ、１ライン飛ばしの差分を取っても良い。このライン遅延量は顧客の手１６の出し入れの速度と、リニアセンサ４’のサイクルタイムの兼ね合いで決まる。システムの簡便さからラインメモリの遅延時間は通常サイクルタイムの整数倍にするのが一般的であるが、以降は１ラインの遅延（Δｔ）に相当する隣接ライン間の差分のケースで説明する。

尚、例えば２ラインの遅延（２Δｔ）に相当する１ライン飛ばしのライン間の差分のケースでは、図２のラインメモリ１２では、２ライン分の遅延を行うため、２ライン分の容量が必要になる。しかし、一般的にはラインメモリで２ライン分の遅延が必要になるケースでは、動体の速度も遅い（ここでは顧客の手１６の出入りがゆっくり）ので、画像をモニターするタイミングもゆっくりで良くなる。即ち、１ライン飛ばしの画像でも良くなり、１ライン飛ばしに対応するラインの画像信号出力５のデータを捨て去る機構（図示せず）を追加すれば、ラインメモリ１２は２ライン前の画素信号出力を記憶しておけばよく、１ライン分の容量で済む。これは、３ライン以上の遅延でも、また図１６のフレームメモリ２２でも、同様である。

図２に示すライン差分の手法に付き、各信号波形を基に図５を用いて説明する。顧客の手１６の位置のタイミングとしては、簡素化するため、まずは背景光が無いケースである、図４（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_３のケースで説明する。
まず図４（ａ）に示したｔ=Ｔ_０のタイミングでは、図５（ａ）に示した様に、リニアセンサカメラ１’の画素信号出力５の波形には顧客の手１６の出力が無い。その時にラインメモリ１２から出てくる、１ライン前（Ｔ_０-Δｔ）の画素信号出力の波形も、図５（ａ’）に示した様に顧客の手１６の出力が無い。差分回路１３で両者の差分を取ってもゼロで、絶対値回路１４を経ても動き輪郭情報７は、図５（ａ”）の様にゼロのままである。

次に図４（ｂ）に示したｔ=Ｔ_１のタイミングでは、図５（ｂ）に示した様に、画素信号出力５の波形には顧客の手１６の出力が現れる。その時にラインメモリ１２から出てくる、１ライン前（Ｔ_０-Δｔ）の画素信号出力の波形にも、図５（ｂ’）に示した様に顧客の手１６の出力が現れている。両者は顧客の手１６の差し込み位置により微妙に波形が異なり、一般的に手の出力の輪郭部分に差が現れる。このため差分回路１３で両者の差分を取ると、この輪郭部分に微分波形の様な出力が現れる。絶対値回路１４を経ると動き輪郭情報７は、図５（ｂ”）の様になる。これは画素信号出力５の微分波形の様な形状である。

ここで絶対値回路１４を経て出てきた、本来ならば画素差分絶対値と称する信号を、動き輪郭情報７と呼んでいる理由は、１ライン前の画素信号出力と、現時点の画素信号出力と同期して差分をとっている演算手法にある。即ち微分波形の様な形状になり、静止状態にある被写体は、同じ画素信号出力波形であるので、差分をとるとゼロになる。一方、動きが有る被写体は画素信号出力波形が異なるので、差分をとると信号が残る。この残った信号は動体の輪郭部（周辺部）の個所が多いので、動き輪郭情報７と称する。動体の中央部（例えば顧客の手１６の甲の部分）は移動しても、同じようなパターンの変化になり、差分をとっても信号が小さく、動体と判定し辛い。

同様なシーケンスで、顧客の手１６が図４（ｄ）のｔ=Ｔ_３のタイミングに来ると、図５（ｄ）に示した様に顧客の手１６全体の出力が現れてくる。その時にラインメモリ１２から出てくる、１ライン前（Ｔ_３-Δｔ）の波形も、図１５（ｄ’）に示した様に顧客の手１６全体の出力で、両者は微妙に異なっている。差分回路１３で両者の差分を取ると、この場合には輪郭部（周辺部）以外に、指の間の部分（指の輪郭部）も微妙に出現する。絶対値回路１４を経ると動き輪郭情報７は、図５（ｄ”）の様になる。

図５（ｄ”）に示す動き輪郭情報７は複雑な形状をしているが、これは動体が手であり、指の隙間がある複雑な動体であり、動き輪郭情報７も複雑となる。図４（ｂ）の指先や、図４（e）の手首となると、動き輪郭情報７も簡単になる。

＜第１の実施形態-１での動き輪郭抽出方法（背景光有りケース）＞
図４、５では簡素化するため背景光が無いケースで説明したが、実際には、室内の照明光で背景がゼロになることはなく、実際には、図６（ａ）の様なリニアセンサカメラ１’の背景光の画素信号出力の波形となる。但し背景は静止しており、顧客の手の動きを捉える短い期間では、一定パターンと考えられる。従って、図４（ａ）～（ｅ）に対応した各タイミングの実際のリニアセンサカメラ１’の画素出力信号としては、図６（ａ）～（ｅ）に示された出力波形の様になる。

ここで注意すべきは、顧客の手１６に相当した位置にある画素信号出力の大きさは、静止した背景の出力波形に重畳されるのではなく、顧客の手１６により手の位置にある背景の画素信号出力が遮られ、手に対応した背景の画素信号出力はゼロになり、顧客の手１６の部位に相当した画素信号出力が現れることである。この間の事情を、図６（ｂ）～（ｅ）では点線を使って表現している。

次に背景光の有るケースで、図５（ｂ）、（ｄ）に対応した、図６（ｂ）、（ｄ）に示すｔ=Ｔ_１、ｔ=Ｔ_３のタイミングを、図７を用いて説明する。
ｔ=Ｔ_１のタイミングでは、図７（ｂ）に示した様に、画素信号出力５の波形には顧客の手１６の出力が現れる。その時にラインメモリ１２から出てくる、１ライン前（Ｔ_１-Δｔ）の画素信号出力の波形にも、図７（ｂ’）に示した様に顧客の手１６の出力が現れ、両者は微妙に波形が異なる。このため差分回路１３で両者の差分を取ると、背景光の領域は同じなので消え、手の輪郭部分に微分波形の様な出力が現れ、絶対値回路１４を経ると画素差分絶対値に相当した動き輪郭情報７は、図７（ｂ”）の様になる。これは図５（ｂ”）に示す背景光が無い場合と類似している。

同様なシーケンスで、ｔ=Ｔ_３のタイミングでは、図７（ｄ）に示した様に手全体が現れて、ラインメモリ１２から出てくる、１ライン前（Ｔ_３-Δｔ）の波形も、図７（ｄ’）に示した様に手全体の出力で、両者は微妙に異なっている。差分回路１３で両者の差分を取ると、輪郭部分以外に、指の間の部分も微妙に出現し、画素差分絶対値に相当した動き輪郭情報７は、図７（ｄ”）の様になる。これも図５（ｄ”）の背景光が無い場合と類似している。

以上はタイミングｔ=Ｔ_１、ｔ=Ｔ_３に付いて説明したが、他のタイミングも含め、図２で示すタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４に対応した、図６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力５の波形に対し、動き輪郭情報７がどの様になるかを、図８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に並べて示した。

＜第１の実施形態-１でのマスキング抽出方法＞
図９では、本発明の第１の実施形態-１に係る撮像カメラ１のリニアセンサカメラ１’の出力から信号処理して、顧客の手１６に相当する箇所のみ抽出し、背景出力をゼロにする信号処理回路の内、動き輪郭情報７から、マスキング信号９を抽出するための、マスキング抽出部８の説明を行う。動き輪郭抽出部６では背景光が無い場合と有る場合で分けて説明したが、動き輪郭抽出部６からの動き輪郭情報７では、図５（ａ”）、（ｂ”）、（ｄ”）、図７（ａ”）、（ｂ”）、（ｄ”）で示す様に、どちらも同様な波形であるため、区別せずにマスキング抽出部８の説明を行う。

動き輪郭抽出部６において動き輪郭情報７は、顧客の手１６の動きの発生しているタイミングと、１ライン前のタイミングの差分を取ることで得られる。マスキング抽出部８では、この動き輪郭情報７を基に、顧客の手１６の動きの発生しているタイミング（動きの発生時期と、発生場所に相当した画素の出力タイミングの両方の意味が有る）と、動きに対応した画素出力タイミングを抽出するためのマスキング信号９を発生する。

次にマスキング抽出部８の構成を説明する。動き輪郭情報７からは、動き輪郭端部判定部１７にて、顧客の手１６の外側の輪郭部７’を抽出する。図７（ｄ”）で説明した様に、差分回路１３からは、手の輪郭部分以外に、指の間の部分も出現し、動き輪郭情報７は複雑な波形になる。
動き輪郭端部判定部１７では動き輪郭情報７の波形の経過を追いかけることで、顧客の手１６の外側の輪郭部を抽出することが出来る。

その方法を説明するが、前提としては、リニアセンサカメラ１’で見張る商品陳列棚１５の前面の平面に、顧客の手１６が侵入し抜き出るまでの間は、一連の動きとして捉えられることである。一般的に顧客の手１６は商品陳列棚１５の商品（図示せず）を掴むために、手を挿入し商品を掴んで抜き取るのを一連の動きとして行うため、この前提は成立する（陳列棚の商品を掴んだまま、陳列棚の中で止まることは無いし、手以外のもの（頭とか足とか）を挿入することは無いので）。

顧客の手１６の先端からリニアセンサカメラ１’に捉えられ、徐々に手の幅に拡大して行く。図４（ｃ）に示す様に途中指の間の部分も登場するが、手の幅の内側に留まっており、手の外側の輪郭を辿って行ける。図４（ｄ）に示す様に過渡的に親指と手の隙間が生じ、新たな動体と区別が出来ないが、図４（ｅ）に示す様に連結され一体物との認識が出来る。
顧客の手１６の大きさは、リニアセンサカメラ１’で観察している商品陳列棚１５の大きさと比べても小さいものなので、手の付近に生じた新たな動体（指先）は手に帰属するという判断基準を設ければ、手の一番外側の輪郭判定（動き輪郭端部判定）が容易になる。
この様に動き輪郭端部判定部１７にて得られた、顧客の手１６の外側輪郭に相当する、動き輪郭端部情報１８は、マスキング信号発生回路２０で閾値１９と比較され、２値化されてマスキング信号９が得られ、マスキング抽出部８より出力される。

図９に示すマスキング抽出部８での信号処理に付き、各信号波形を基に図１０を用い説明する。顧客の手１６の位置のタイミングとしては、図８（ｂ）、（ｄ）で示した、ｔ=Ｔ_１、ｔ=Ｔ_３のケースであり、動き輪郭情報７と対応する。ここでは背景光有りで動き輪郭情報７を作成したケースに付き説明する。

顧客の手１６がｔ=Ｔ_１のタイミングに来ると、図１０（ｂ）に示す動き輪郭情報７になる。この際の動き輪郭端部情報１８は図１０（ｂ’）の様になる。動き輪郭端部情報１８は一つの動体の輪郭の端部であり、２つで対になっており、対になった２つで一つの動体の領域が決まる。
動き輪郭端部情報１８はマスキング信号発生回路２０で閾値１９と比べられ、マスキング領域設定と２値化が行われる。このマスキング領域とは一つの動体の領域のことである。動き輪郭端部情報１８が閾値１９を超えてマスキングすべき領域と認識された場合には１、それ以外は０が割り振られ、２値化されたマスキング信号９が得られる。図１０（ｂ’）の動き輪郭端部情報１８を基に得られたマスキング信号９は図１０（ｂ”’）の様になる。

このマスキング信号９が１になっている期間は、顧客の手１６の動きの発生しているタイミングと、顧客の手１６の位置に対応する画素出力タイミングに相当し、画素信号出力５からマスキングすべき期間である。即ち、マスキング信号９が発生している（１になっている）タイミングの画素信号出力５は、顧客の手１６の動きのみを見ていることに相当する。

これと同様なシーケンスで、顧客の手１６がｔ=Ｔ_３のタイミングでは、図８（ｄ）と同じく、図１０（ｄ）の動き輪郭情報７になり、動き輪郭端部情報１８は、指の間の部分は端部ではないと判断されて削除され、図１０（ｄ’）の様になる。この際には親指とその他の指の隙間は指間とは未だ判断されず、親指は新規動体出現と判断されている。親指の付け根部分のタイミングで両者が同じ動体と判断される。図１０（ｄ’）の動き輪郭端部情報１８を基に得られたマスキング信号９は図１０（ｄ”’）の様になる。

ここで、指の間の隙間の判断は、顧客の手１６の先端の指先から決まる最初の端部情報を基に、この端部より指の太さに相当した近傍に発生した新たな動体は、他の指先と定義すると一つの手として認識される。これを更に拡大して、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設ければ、図１０（ｄ”’）で新規動体出現と判断された親指でも、新規動体出現とは判断されず、手の一番外側の輪郭判定が容易になる。これが段落番号５１で触れた判断基準である。

＜第１の実施形態-１でのマスキング方法＞
本発明の第１の実施形態-１に係る撮像カメラ１のリニアセンサカメラ１’の出力から信号処理して、顧客の手１６に相当する箇所のみ抽出し、背景出力をゼロにする信号処理回路の内、最後のマスキング信号９を用いて、画素信号出力５より、背景をゼロにし顧客の手１６に相当する箇所のみ出力するマスキング画素信号出力１１を得る方法に付いて、図１１でマスキング回路の説明を行う。背景光が無い場合と有る場合で、動き輪郭情報７はどちらも同じ波形であるため、区別せずに説明を行う。
２値化されたマスキング信号９が１になっている期間は、顧客の手１６の動きの発生しているタイミングと、顧客の手１６の位置に対応する画素出力タイミングに相当し、画素信号出力５からマスキングすべき期間である。

マスキング回路１０では、顧客の手１６の動きの発生しているタイミングと、それに対応した画素出力タイミングを抽出するためには、２値化されたマスキング信号９が１のタイミングのみで、リニアセンサカメラ１’からの画素信号出力５を出力させれば良い。マスキング信号が０のタイミングでは、画素信号出力５は出力させない。これを実現するマスキング回路１０は両者のANDを取れば良く。単純なAND回路で構成される。マスキング回路１０の入力は、マスキング抽出部８より出て来たマスキング信号９と、固体撮像装置４から出て来た画素信号出力５の２つであり、マスキング回路１０の出力はマスキング画素信号出力１１である。今回の例では、背景が消えて顧客の手１６に相当する箇所のみ出力する。

この際に動き輪郭抽出部６と、マスキング抽出部８との演算処理時間による遅延が生じ、顧客の手１６の動きのみを画素信号出力５から抽出するのに、不具合が生じる場合には、この演算処理時間に相当した時間だけ、画素信号出力５を遅延回路２１で遅延させ、同期（タイミング調整）を取ることにより、マスキング回路１０でマスキング画素信号出力１１を得れば良い。この遅延回路２１は、演算処理時間の遅延による不具合が生じないほど小さければ、挿入する必要は無い。

図１１に示すマスキング回路１０での信号処理に付き、各信号波形を基に図１２を用い説明する。顧客の手１６の位置のタイミングとしては、図８（ｂ）、（ｄ）で示した、ｔ=Ｔ_１、ｔ=Ｔ_３のケースであり、画素信号出力５と、マスキング信号９と対応する。ここでは背景光有りで動き輪郭情報７を作成したケースに付き説明する。
顧客の手１６がｔ=Ｔ_１のタイミングでの、画素信号出力５とマスキング信号９は、それぞれ図１２（ｂ）と図１２（ｂ”’）で示され、マスキング画素信号出力１１は図１２（ｂ””）に示される。即ち、マスキング信号９が発生している（１になっている）タイミングの画素信号出力５は、顧客の手１６の動きのみを見ていることに相当する。として図１２（ｂ””）に示されるマスキング画素信号出力１１は、図３（ｂ）に示した、背景が無い場合のｔ=Ｔ_１のタイミングでの顧客の手１６の信号である。

これと同様なシーケンスで、顧客の手１６が図４のｔ=Ｔ_３のタイミングでは図８（ｄ）と同じく、図１２（ｄ）の様な画素信号出力５になる。このタイミングｔ=Ｔ_３で、図１０（ｄ”’）と同じくマスキング信号は図１２（ｄ”’）に示され、マスキング画素出力１１としては図１２（ｄ””）に示され、図４（ｄ）に示した背景が無い場合のｔ=Ｔ_３のタイミングでの顧客の手１６の信号である。

以上はタイミングｔ=Ｔ_１、ｔ=Ｔ_３に付いて説明したが、他のタイミングも含め、図３で示すタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４に対応した、図６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力５の波形に対し、動き輪郭情報７がどの様になるかは、図８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを基に、動き輪郭端部情報１８とマスキング信号９がどの様になるかを、図１３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。

図３で示すタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４に対応した図６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力５の波形と、図１３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号９の波形を基に、マスキング回路１０で得られたマスキング画素信号出力１１は、それぞれのタイミングで図１４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図となる。左図には元の画素信号出力５の波形も入れた。
またタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４は、顧客の手１６の破線の部位に対応する。

段落番号５６の、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設けたケースに付いて図１５で説明する。図４で示すタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４に対応した、図６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力５の波形に対し、動き輪郭情報７がどの様になるかは、図８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示しているが、これを図１５（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左図に再度示す。動き輪郭情報７の波形より動き輪郭端部判定部１７で、新規判断基準にて端部と判断された動き輪郭端部情報１８の波形としては、各タイミングで図１５（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左側に示される動き輪郭情報の波形で幾つかある微分波形の内、両端にある微分波形である。

動き輪郭端部判定部１７で、新規判断基準にて得られた動き輪郭端部情報１８の波形に基づいて、マスキング抽出部８で、閾値１９を超えた時点から１と判断されるマスキング信号９としては、図１５（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の中央に示したマスキング信号波形である。マスキング信号波形は顧客の手１６の大きさに対応する。

図４で示すタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４に対応した図６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力５の波形と、図１５（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すマスキング信号９の波形を基に、マスキング回路１０で得られたマスキング画素信号出力１１は、それぞれのタイミングで図１５（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図となる。この波形と、図１４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図で示すマスキング画素信号出力１１の波形とを比較すると、タイミングｔ=Ｔ_３に対応する、図１５（ｄ）の右図と、図１４（ｄ）の右図に違いが生じている。即ち、新規判定基準で得られたマスキング信号９の波形では、指の間は顧客の手１６の一部として認識され、画像として採択されるためマスキング信号は１となる。このため、図１５（ｄ）のマスキング画素信号出力１１には、指の間の領域に背景画像が登場する。これが図１３（ｄ）の指の間もマスキング信号ゼロ、として得られた図１４（ｄ）に示したマスキング画素信号出力１１とは異なる。

＜第１の実施形態-２＞
次に、図１の撮像カメラ１の固体撮像装置４にエリアセンサ４”を用いたケースを説明する。（これを第１の実施形態-２と称す）。図１の動き輪郭抽出部６の構成を図１６に示す。レンズ２でカメラ筐体３の固体撮像装置４に、被写体像を結像する光学系を構成させる個所は図１と同じである。固体撮像装置４としてエリアセンサ４”を用いているので、レンズ２とカメラ筐体部３はエリアセンサカメラ１”と呼ぶ。
エリアセンサ４”からの画素信号出力５は２分割され、一方はマスキング回路10に入力されるが、他方は動き輪郭抽出部６に入力される。動き輪郭抽出部６では、画素信号出力５は更に２分割され、フレームメモリ２２へ取り込まれる。
フレームメモリ２２から出てくる画素信号出力５は、１フレーム前の走査線出力であり、差分回路１３で現時点フレームの該当する走査線出力に対応した画素信号出力５との差分が取られ、絶対値回路１４を経て動き輪郭情報７が得られる。１フレームに相当する時間は、エリアセンサ４”のサイクルタイムで、以降の図面ではΔTと記す。即ち、差分回路１３では隣接フレーム間の、被写体の同じ個所に相当する画素部の差分が取られる。ここでサイクルタイムとは、固体撮像装置４の全ての画素の読み出しに掛かる１周期の時間で、固体撮像装置４がエリアセンサ４”では、１フレームの読み出しに掛かる時間のことである。
ここで動き輪郭抽出部６は、図２で示す第１の実施形態-１のラインメモリ１２の代わりに、フレームメモリ２２が使われているが、どちらも構成要素は画像メモリで同じである。

理解を助けるために、エリアセンサ４”からの画素信号出力５を説明すると、エリアセンサ４”で２次元的に配列された画素で撮影された１枚の画像をフレームと呼ぶ。画素信号出力５は、エリアセンサ４”の全ての画素を読み出し、前後に空送りがある１フレームの信号出力で構成される。１フレームの画面構成は、TV画面の様に走査線と呼ばれる１ラインの信号を順次上から下に表示しエリア状の画面を構成する。この１フレームを表示する際に、フレーム間は同期が取れており、静止画面の場合には毎回、同じ位置に表示されるので、静止した状態で画面が表示される。
フレームメモリ２２から出てくる画素信号出力５は１フレーム前の走査線出力であり、現時点フレームの該当する走査線出力に対応した画素信号出力５と差分が取られることは、フレーム間の同期が取れているので、同じ走査線の位置に相当したラインの同じ画素位置（被写体の同じ位置）で１フレームの時間差での画素出力間の差分となる。
一般的に、エリアセンサ４”のサイクルタイムの中には、画素で光電変換を行う露光時間が含まれており、リニアセンサ４’と同様に、画素で光電変換を開始する時刻と、光電変換を終了する時刻との時間差が露光時間を決める。光電変換を開始する時刻と、終了する時刻のセットを撮影時刻と呼ぶ。
リニアセンサ４’のサイクルタイム（１ライン読み出しに掛かる時間）をΔｔ（ライン周期）と、エリアセンサ４”のサイクルタイム（１フレームの読み出しに掛かる時間）をΔＴ（フレーム周期）と表記する。

勿論、フレームメモリ２２に蓄積されている画像が、１フレーム周期遅延に相当するフレーム画像でなくても良く、２フレーム周期相当の遅延を生じさせ、１フレーム飛ばしの差分を取っても良い。システムの簡便さからフレームメモリ２２に蓄積されている画像の遅延時間は通常サイクルタイムの整数倍にするのが一般的であるが、以降は１フレームの遅延（ΔT）に相当する隣接フレーム間の差分のケースで説明する。
このフレーム遅延量は顧客の手１６の出し入れの速度と、エリアセンサ４”のサイクルタイムの兼ね合いで決まる。これは固体撮像装置４にリニアセンサ４’を用いた際のラインメモリ１２と事情は同じである。従って段落番号３６で述べた事情は、フレームメモリ２２でも同様である。

１つの走査線に着目すると、エリアセンサ４”からの画素信号出力５でも、リニアセンサ４’ からの画素信号出力５でも、比較している画素出力間の差分は、それぞれ時間変化が１フレーム間の差に相当するか、１ライン間（Δｔ）の差に相当するかの違いはあるものの、被写体の同じ場所での時間変化を見ていることに変わりはない。即ち、本発明の最大の特徴である、固体撮像装置４からの画素信号出力５を、読み出しライン毎に処理し、リアルタイムでマスキング画素信号出力１１を作成することはエリアセンサでもリニアセンサでも変わらない。

＜第１の実施形態-２での動体認識方法＞
エリアセンサ４”を用いて、動体をどの様に認識するかの説明を行う。エリアセンサ４”を用いた動体認識の例として、図３と同じく、商品陳列棚の前面部分をモニターするエリアセンサカメラ１”で、商品の出入りに伴う作業（ピックアップ、返却）を行う顧客の手の動きの認識を行うケースで説明する。

図１７は、商品陳列棚１５に陳列されている商品を取ろうと、顧客の手１６が伸びて行く状態を、商品陳列棚１５の上前部に設置されたエリアセンサカメラ１”でモニターするケースを示す。このエリアセンサカメラ１”に用いられる固体撮像装置４はエリアセンサ４”であり、商品陳列棚１５の前面部分を観察する。商品陳列棚１５の前面には、商品の出入りに伴う作業を行う顧客の手１６が示されている。エリアセンサ４”は画素がエリア状に配置されているため、撮影できる範囲は、商品陳列棚１の前面の顧客の手の全面を１フレームで撮影できる。従って図３ではｔ=Ｔ_０～Ｔ_４で示していたが、図１７ではエリアセンサ４”の走査線Ｓ_０～Ｓ_４上に対応し、各走査線上の画素信号出力は図１８（ａ）～（ｅ）のようになり（背景光を便宜上ゼロとした）、動体画像である顧客の手１６のどの部位に対応した走査線かを、図１８の右図の動体画像に示している。図１８（ａ）～（ｅ）の走査線画素信号出力波形の横軸は各走査線（Ｓ_０～Ｓ_４）上の画素位置に相当し、縦軸は各走査線上の画素信号出力に相当する。

エリアセンサ４”の特徴としては、動きが無いと背景画像の一定した出力になり、動きが有ると（ここでは顧客の手１６の動き）エリアセンサ４”の出力には変化が生じる。手の動きに対応し、走査線画素信号出力には変化が生じる。（図１８（ｂ）、（ｃ）、（ｄ）、（ｅ）参照）。この際に、図１６の動き輪郭抽出部６で得られる動き輪郭情報７について次に説明する。

＜第１の実施形態-２での動き輪郭抽出方法（背景光有りケース）＞
実際には、室内の照明光で背景がゼロになることはないので、背景光有りのケースで説明を行う。エリアセンサ４”の各走査線の画素信号出力を、図１９（ａ）～（ｅ）の左図に示す。背景画像は静止しており、顧客の手１６の動きを捉える短い期間では、各フレームで一定パターンと考えられる。図１６の動き輪郭抽出部６で得られる動き輪郭情報７は、図１９（ａ）～（ｅ）の左図に示すエリアセンサカメラ１”の各走査線の画素信号出力を、１フレーム前のものと差分回路１３で差分を取り、絶対値回路１４で絶対値を取るので図８（ａ）～（ｅ）と類似の波形となり、動き輪郭情報７としては、図１９（ａ）～（ｅ）の右図のような出力波形になる。どちらも微分波形となり、時間差がライン周期Δｔかフレーム周期（ΔＴ）の間の画素信号出力差である。図１９（ａ）～（ｅ）の右図に示した動き輪郭情報は、ここでは便宜上、図８（ａ）～（ｅ）の右図に示した第１の実施形態-１の動き輪郭情報と同じにした。

顧客の手１６に相当した位置にある画素信号出力の大きさが、背景の出力波形に重畳されるのではなく、顧客の手１６により手の位置にある背景の画素信号出力が遮られ、手に対応した背景の画素信号出力はゼロになり、顧客の手１６の部位に相当した画素信号出力が現れることはリニアセンサ４’の場合と同様である。この間の事情を、図１９（ｂ）～（ｅ）では同様に点線を使って表現している。

＜第１の実施形態-２でのマスキング抽出方法＞
エリアセンサカメラ１”の各走査線画素信号出力からの動き輪郭情報７は、リニアセンサカメラ１’の動き輪郭情報７と類似であるため、マスキング抽出部８は図９と同様である。動き輪郭情報７から、マスキング信号９を抽出するための、マスキング抽出部８の説明はリニアセンサカメラ１’のケースと同様である。

段落番号５６で、手の幅に相当した近傍に生じた新たな動体（指先）は、手に帰属するという判断基準を設けたケースに付いて図２０で説明する。図１９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左図に示す各走査線上の画素信号出力５の波形に対し、動き輪郭情報７がどの様になるかは、図１９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図に示しているが、これを図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左図に再度示す。動き輪郭情報７の波形より動き輪郭端部判定部１７で、新規判断基準にて端部と判断された動き輪郭端部情報１８の波形としては、各タイミングで図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左側に示される動き輪郭情報の波形で幾つかある微分波形の内、両端にある微分波形である。

動き輪郭端部判定部１７で、新規判断基準にて得られた動き輪郭端部情報１８の波形に基づいて、マスキング抽出部８で、閾値１９を超えた時点から１と判断されるマスキング信号９としては、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の中央に示したマスキング信号波形である。マスキング信号波形は顧客の手１６の大きさに対応する。

＜第１の実施形態-２でのマスキング方法＞
エリアセンサカメラ１”の出力から信号処理して、顧客の手１６に相当する箇所のみ抽出し、背景出力をゼロにする信号処理回路の内、最後のマスキング信号９を用いて、画素信号出力５より、背景をゼロにし顧客の手１６に相当する箇所のみ出力するマスキング画素信号出力１１を得る方法に付いては、図１１のマスキング回路１０がそのまま使える。背景光が有る場合で説明する。

図１７のエリアセンサカメラ１”のエリアセンサ４”の走査線Ｓ_０～Ｓ_４上に対応し、各走査線上の画素信号出力は図１９（ａ）～（ｅ）の左図（走査線画素信号出力）のようになる。図１９（ａ）～（ｅ）の走査線画素信号出力波形の横軸は各走査線（Ｓ_０～Ｓ_４）上の画素位置に相当し、縦軸は各走査線上の画素信号出力に相当する。これから図１６に示される動き輪郭抽出部６を経て動き輪郭情報７を抽出し、更にマスキング抽出部８で得られたマスキング信号９は、上述したように、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の中央に示されている。２値化されたマスキング信号９が１になっている期間は、顧客の手１６の動きの発生しているタイミングと、顧客の手１６の位置に対応する画素出力タイミングに相当し、画素信号出力５からマスキングすべき期間である。

マスキング回路１０では、顧客の手１６の動きの発生しているタイミングと、それに対応した画素出力タイミングを抽出するためには、２値化されたマスキング信号９が１のタイミングのみで、エリアセンサカメラ１”からの画素信号出力５を出力させ、マスキング信号が０のタイミングでは、画素信号出力５は出力させないAND回路を通せば良い。これを行ったマスキング回路１０の出力はマスキング画素信号出力１１であり、図２０（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図に示される。これはリニアセンサカメラ１’と同様で、背景が消えて顧客の手１６に相当する箇所のみ出力する。

＜第１の実施形態-３＞
図１の撮像カメラ１の動き輪郭抽出部６とマスキング抽出部８の別の構成を図２１で説明する。固体撮像装置４としてはリニアセンサ４’を用いた別の構成を第１の実施形態-３と称す。リニアセンサカメラ１’の構成は図２の第１の実施形態-１と同じで、リニアセンサ４’からの画素信号出力５は２分割され、一方はマスキング回路10に入力されるが、他方は動き輪郭抽出部６’に入力される。動き輪郭抽出部６’では、画素信号出力５は更に２分割され、スイッチ回路２３を経由してライン記憶部２４へ取り込まれる。ライン記憶部２４から出てくる画素信号出力５はライン記憶部２４に取り込まれたタイミングのライン出力（ライン記憶部出力と称す）であり、差分回路１３で現時点の画素信号出力５との差分が取られ、絶対値回路１４を経て動き輪郭情報７’が得られる。ライン記憶部２４はラインメモリ１２と同じく、１ラインの画素信号出力５を記憶するが、スイッチ回路２３を経由して取り込まれるため、スイッチがONするタイミングの１ラインの画素信号出力５を記憶する。ライン記憶部２４からは記憶した１ラインの画素信号出力５を繰り返し出力する所も、図２の第１の実施形態-１のラインメモリ１２と違う。

ここでライン記憶部２４の出力であるライン記憶部出力（画素信号出力５）とは、図６（ａ）のｔ=Ｔ_０のタイミングのリニアセンサカメラ４’の背景光の画素信号出力の波形である。スイッチ回路２３では、顧客の手１６の出力が出て来ない背景光の画素信号出力５を記憶する場合に、スイッチをＯＮにし、ライン記憶部２４に取り込み、顧客の手１６の出力がされている画素信号出力５は、スイッチをＯＦＦにし、ライン記憶部２４には取り込まない。この様にして差分回路１３で、背景光の除去が出来る。
動き輪郭抽出部６’はスイッチ回路２３が新規構成要素として追加されており、背景光のライン記憶部出力（画素信号出力５）をライン記憶部２４に記憶して、繰り返し使うので動き輪郭抽出部６’として区別した。差分回路１３では、比較するライン間の画素信号出力の大小関係で、正負の出力になる。このため差分回路１３の出力を絶対値回路１４に入れて動き輪郭情報７’を得る。また動き輪郭抽出部６’の出力も、動き輪郭情報７’として区別した。

動き輪郭抽出部６’で得られた、動き輪郭情報７’は、マスキング抽出部８’に入力される。マスキング抽出部８’では、動き輪郭情報７をマスキング信号発生回路２０で閾値１９と比較され、２値化されてマスキング信号９が得られる。マスキング抽出部８’では、図９のマスキング抽出部８にあった動き輪郭端部判定部１７と、動き輪郭端部情報１８はない。このためマスキング抽出部８’と記した。

マスキング信号発生回路２０の出力であるマスキング信号９は、顧客の手１６の動きの発生しているタイミングと、それに対応した画素出力タイミングを抽出するための信号であるが、更に、このマスキング信号９と、リニアセンサカメラ４’からの出力である画素信号出力５とから、マスキング回路１０にて、顧客の手１６の動きにのみに対応する、マスキング画素信号出力１１を得る。

この際に動き輪郭抽出部６’と、マスキング抽出部８’との演算処理時間により、顧客の手１６の動きのみを画素信号出力５から抽出するのに、不具合が生じる場合には、この演算時間に相当した時間だけ、画素信号出力５を図１１のマスキング回路１０に存在した遅延回路２１で遅延させ、マスキング回路１０でマスキング画素信号出力１１を得れば良い。
ここで言うマスキングとは、一般的に使われるデータを隠す意味ではなく、データ以外を隠し、データを強調し露出させる、という意味で本明細書では使っている。即ち、マスキング回路１０で、２値化のマスキング信号９が、１では画素信号出力５を出し、０では画素信号出力５を出さない。
この間の事情は、段落番号１６に記載した様に、マスキング回路１０で論理積（ＡＮＤ）を使うための意味合いもある。本願は無駄な背景を隠して余計なデータ処理を無くし、本質的なデータ（例えば顧客の手１６）を抽出し、信号処理の簡素化が目的である。

またスイッチ回路２３のスイッチの説明を追加すると、マスキング信号９が０の時には、顧客の手１６の動きが無く、背景光に対応するので、スイッチ回路はONとしてライン記憶させ、マスキング信号９が１の時には、顧客の手１６の動きが有り、取り込むべき顧客の手１６の動きに相当するので、スイッチ回路はOFFとしてライン記憶させない。背景光はめったに変わるものではないので、マスキング信号９を毎回使用して、スイッチ回路２３のON／OFF制御を行う必要は無く、定期的なサンプリングでスイッチ回路２３をONにして、動きが無い背景光の取り込みを行えば良い。

マスキング信号９は波形として、１ラインの中に１と０があり、マスキング回路１０で画素信号出力５から動体（顧客の手１６）を抽出している。しかし、スイッチ回路２３を制御するマスキング信号９が０や１と言うのは、１ラインのマスキング信号の中に、マスキング信号が常に０の場合には０と言い、マスキング信号が１になるタイミングが少しでも含まれる場合には１と言う。この操作を行うために、マスキング信号９からスイッチ回路２３の間には選択部２５がある。選択部２５には、上述した定期的なサンプリングを行うタイマーの様な機能も有し、変化の少ない背景光の定期的なライン記憶を行う。

図２１に示す動き輪郭抽出部６’、マスキング抽出部８’、マスキング回路１０の動作に付き、各信号波形を基に図２２を用いて説明する。顧客の手１６の位置のタイミングとしては、図６（ａ）、（ｂ）、（ｄ）で示した、ｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_３のケースである。
まず背景画像に相当するｔ=Ｔ_０のタイミングでは、図６（ａ）に示した様に、リニアセンサカメラ４’の背景光の画素信号出力５の波形と同じ波形が、顧客の手１６の出力が無く、スイッチ回路がＯＮになった状態で、ライン記憶部２４に事前に取り込まれている。このライン記憶部出力は、図２２（ｂ）、（ｄ）に示したｔ=Ｔ_０のタイミングの出力である。この波形はライン記憶部２４で記憶されているので、他のタイミングでも背景画像として出てくる。図２２（ｂ）、（ｄ）ではライン記憶部出力と表現している。

次に顧客の手１６が図３のｔ=Ｔ_１のタイミングに来ると、図６（ｂ）に示す波形になり、図２２（ｂ’）にその画素信号出力を示す。このタイミングｔ=Ｔ_１で、差分回路１３では、この画素信号出力と、ｔ=Ｔ_０のタイミングの図２２（ｂ）で示した背景画像に相当したライン記憶部出力との減算が行われ、絶対値回路１４を経ると、図２２（ｂ”）で示されるｔ=Ｔ_１のタイミングでの動き輪郭情報７’が得られる。これは動き情報そのものであるが、パターン端部が動き輪郭情報になるので、第１の実施形態-１との関連上、動き輪郭情報７’と称す。
ｔ=Ｔ_０以降、ｔ=Ｔ_１以前のタイミングで、顧客の手１６が認識されない場合は、画素信号出力は図２２（ｂ）と同じ波形で、差分回路１３及び絶対値回路１４を経た動き輪郭情報７’は、動体がないので輪郭もなく、ゼロのままである。

このタイミングｔ=Ｔ_１で、動き輪郭情報７’は、マスキング抽出部８’で、閾値１９と比べられ２値化が行われ、動き輪郭情報７’が閾値１９を超えた場合には１、超えない場合には０が割り振られ、マスキング信号９が得られる。図２２（ｂ”’）にｔ=Ｔ_１のタイミングでのマスキング信号９を示す。

このマスキング信号９が１になっている期間は、顧客の手１６の動きの発生しているタイミングと、顧客の手１６の位置に対応する画素出力タイミングに相当し、画素信号出力５からマスキングして出力すべき期間である。即ち、マスキング信号９が発生している（１になっている）タイミングの画素信号出力５は、顧客の手１６の動きのみを見ていることに相当し、マスキング画素信号出力１１として図２２（ｂ””）に示す。これは図４（ｂ）に示した、背景が無い場合のｔ=Ｔ_１のタイミングでの顧客の手１６の信号である。

これと同様なシーケンスで、顧客の手１６が図３のｔ=Ｔ_３のタイミングでは図６（ｄ）と同じく、図２２（ｄ’）の様な画素信号出力になる。このタイミングｔ=Ｔ_３で、差分回路１３では、この画素信号出力と、ｔ=Ｔ_０のタイミングの図２２（ｄ）の背景画像に相当したライン記憶部出力（図２２（ｂ）と同じ）との減算が行われ、絶対値回路２１を経ると、図２２（ｄ”）で示されるｔ=Ｔ_３のタイミングでの動き輪郭情報７’が得られる。同様にマスキング信号は図２２（ｄ”’）に示され、マスキング画素信号出力１１としては図１２（ｄ””）に示され、図４（ｄ）に示した、背景が無い場合のｔ=Ｔ_３のタイミングでの顧客の手１６の信号である。

以上はタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_３に付いて説明したが、他のタイミングも含め、図３で示すタイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４に対応した、図６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示す画素信号出力の波形に対し、動き輪郭情報７’とマスキング信号がどの様になるかを、図２３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左図、中央部、右図に示した。

図２３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図に示すマスキング信号９は、図１３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示したマスキング信号と同じであり、図２１のマスキング回路１０を経て得られるマスキング画素信号出力１１は、それぞれのタイミングで図１１のマスキング回路１０で得られたマスキング画素信号出力１１に相当する図１４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図と同じになる。これは図４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した背景光が無い場合の画素信号出力と同じになり、背景光が消去でき、動き物体である顧客の手１６のみの画像となる。図１４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左図には元の画素信号出力５の波形も入れた。タイミングｔ=Ｔ_０、ｔ=Ｔ_１、ｔ=Ｔ_２、ｔ=Ｔ_３、ｔ=Ｔ_４は、顧客の手１６の破線の部位に対応する。

＜第１の実施形態-４＞
図１の撮像カメラ１の動き輪郭抽出部６とマスキング抽出部８の別の構成を図２４で説明する。固体撮像装置４としてはエリアセンサ４”を用いた別の構成を第１の実施形態-４と称す。エリアセンサカメラ１”の構成は図１６の第１の実施形態-２と同じで、エリアセンサ４”からの画素信号出力５は２分割され、一方はマスキング回路10に入力されるが、他方は動き輪郭抽出部６’に入力される。動き輪郭抽出部６’では、画素信号出力５は更に２分割され、スイッチ回路２３’を経由してフレーム記憶部２６へ取り込まれる。フレーム記憶部２６から出てくる画素信号出力５はフレーム記憶部２６に取り込まれたタイミングのフレーム出力（フレーム記憶部出力と称す）であり、差分回路１３で現時点のフレーム出力である画素信号出力５との差分が取られ、絶対値回路１４を経て動き輪郭情報７’が得られる。フレーム記憶部２６はフレームメモリ２２と同じく、１フレームの画素信号出力５を記憶するが、スイッチ回路２３’を経由して取り込まれるため、スイッチがONするタイミングの１フレームの画素信号出力５を記憶する。フレーム記憶部２６からは記憶した１フレームの画素信号出力５を繰り返し出力する所も、図１６の第１の実施形態-２のフレームメモリ２２と違う。この事情は第１の実施形態-３と同じである。
動き輪郭抽出部６’はスイッチ回路２３’が新規構成要素として追加され、背景光のフレーム記憶部出力（画素信号出力５）をフレーム記憶部２６に記憶して、繰り返し使うので動き輪郭抽出部６’として区別した。また動き輪郭抽出部６’の出力も、動き輪郭情報７’として区別した。

ここでフレーム記憶部２６の出力であるフレーム記憶部出力（画素信号出力５）とは、図２５の顧客の手１６が無い状態（図２５では破線で示した）の背景光の静止画像である。図２５のエリアセンサカメラ１”の各走査線Ｓ_０～Ｓ_４でのエリアセンサ４”の背景光の走査線画素信号出力の波形を、図２６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した。
顧客の手１６が出現していない背景光の画素信号出力５を記憶する場合には、スイッチ回路２３’でスイッチをＯＮにし、図２６（ａ）～（ｅ）に示した背景光パターンをフレーム記憶部２６に取り込む。顧客の手１６が出現した場合には、スイッチ回路２３’のスイッチをＯＦＦにし、画素信号出力５は、フレーム記憶部２６には取り込まない。この様にして差分回路１３で、背景光の除去が出来る。
背景光のフレーム記憶部出力（画素信号出力５）はフレーム記憶部２６に記憶して、ライン記憶部２４と同様に繰り返し使う。差分回路１３では、比較するフレーム間の画素信号出力の大小関係で、正負の出力になる。このため差分回路１３の出力を絶対値回路１４に入れて動き輪郭情報７’を得る。図２１と同様に、図２４でも動き輪郭抽出部６’、動き輪郭情報７’として、第１の実施形態-２と区別した。

動き輪郭抽出部６’で得られた、動き輪郭情報７’は、マスキング抽出部８’に入力される。マスキング抽出部８’では、動き輪郭情報７’をマスキング信号発生回路２０で閾値１９と比較され、走査線毎に２値化されてマスキング信号９が得られる。マスキング抽出部８’では、図２１と同様に、動き輪郭端部判定部１７と、動き輪郭端部情報１８はない。

マスキング信号発生回路２０の出力であるマスキング信号９は、顧客の手１６のパターンに対応した画素信号出力５を出力するタイミングを抽出するための信号であるが、これを実現するために、このマスキング信号９と、エリアセンサカメラ４”からの出力である画素信号出力５とから、マスキング回路１０にて、背景を除去した、動き物体である顧客の手１６のみに対応する、マスキング画素信号出力１１を得る。

この際に動き輪郭抽出部６’と、マスキング抽出部８’との演算処理時間により、顧客の手１６の動きのみを画素信号出力５から抽出するのに、不具合が生じる場合には、この演算時間に相当した時間だけ、画素信号出力５を図１１のマスキング回路１０に存在した遅延回路２１（図示せず）で遅延させ、マスキング回路１０でマスキング画素信号出力１１を得れば良い。マスキング回路１０では、２値化のマスキング信号９が、１では画素信号出力５を出し、０では画素信号出力５を出さない。

またスイッチ回路２３のスイッチの説明を追加すると、走査線毎のマスキング信号９が全て０の時には、顧客の手１６の動きが無く、背景光に対応するので、スイッチ回路はONとしてフレーム記憶させ、１本でも走査線にマスキング信号９が１の個所が有る場合（即ち、顧客の手１６の動きが有る場合）には、静止した背景光でないので、スイッチ回路はOFFとしてフレーム記憶させない。背景光はめったに変わるものではないので、マスキング信号９を毎回使用して、スイッチ回路２３のON／OFF制御を行う必要は無く、定期的なサンプリングでスイッチ回路２３をONにして、動きが無い背景光の取り込みを行えば良いことは、図２１の第１の実施形態-３と同様である。

マスキング信号９は波形として、１フレームの中に１と０の領域が有り、マスキング回路１０で画素信号出力５から動体（顧客の手１６）を抽出している。しかし、スイッチ回路２３’を制御するマスキング信号９が０や１と言うのは、１フレームのマスキング信号の中に、マスキング信号が常に０の場合には０と言い、マスキング信号が１になるタイミングが少しでも含まれる場合には１と言う。この操作を行うために、マスキング信号９からスイッチ回路２３’の間には選択部２５’がある。選択部２５’には、上述した定期的なサンプリングを行うタイマーの様な機能も有し、変化の少ない背景光の定期的なフレーム記憶を行う。ライン記憶、フレーム記憶を区別するため、スイッチ回路２３’、選択部２５’と記した。

図２４に示す動き輪郭抽出部６’、マスキング抽出部８’、マスキング回路１０の動作に付き、例として、陳列棚１５に陳列されている商品を取ろうと、顧客の手１６が伸びて行く状態を、商品陳列棚１５の上前部に設置されたエリアセンサカメラ１”でモニターするケースで説明する。顧客の手１６が無い背景光のパターンとしては、エリアセンサ４”の各走査線の画素信号出力は図２６（ａ）～（ｅ）に示され、フレーム記憶部２６に記録されている。
一方、図１７の様に、商品陳列棚１５に陳列されている商品を取ろうと、顧客の手１６が伸びて行く状態では、エリアセンサ４”の走査線Ｓ_０～Ｓ_４上に対応し、各走査線上の画素信号出力は図１９（ａ）～（ｅ）の左図のようになる。図１８（ａ）～（ｅ）の走査線画素信号出力波形の横軸は各走査線（Ｓ_０～Ｓ_４）上の画素位置に相当し、縦軸は各走査線上の画素信号出力に相当する。

図２７は、エリアセンサ４”の走査線の内、走査線Ｓ_１、Ｓ_３を例に取り出し、フレーム記憶部出力（背景光）と、走査線画素信号出力、及び動き輪郭抽出部６’、マスキング抽出部８’、マスキング回路１０の出力にそれぞれ相当する、動き輪郭情報７’、マスキング信号９、マスキング画素信号出力１１のそれぞれの波形を説明するものである。図２７の左図は走査線Ｓ_１、右図は走査線Ｓ_３に対応する。
まず図２７（ｂ）、（ｂ’）、（ｂ”）、（ｂ”’）、（ｂ””）はそれぞれ、走査線Ｓ_１のフレーム記憶部出力（背景光）、走査線画素信号出力、動き輪郭情報７’、マスキング信号９、マスキング画素信号出力１１に相当し、図２７（ｄ）、（ｄ’）、（ｄ”）、（ｄ”’）、（ｄ””）はそれぞれ、走査線Ｓ_３のものに対応する。

図２７（ｂ）、（ｂ’）、（ｂ”）、（ｂ”’）、（ｂ””）で走査線Ｓ_１の波形を説明すると、図２７（ｂ）は、走査線Ｓ_１の位置に対応した顧客の手１６が無い背景光のフレーム記憶部出力の波形を示す。図２７（ｂ’）は走査線Ｓ_１の位置に対応した顧客の手１６がある走査線画素信号出力の波形を示す。図２４の動き輪郭抽出部６’の差分回路１３で両者の差分を取り、絶対値回路１４で絶対値を取ると、図２７（ｂ”）で示される動き輪郭情報７’が取得され、図２４のマスキング抽出部８’のマスキング信号発生回路２０で閾値１９と比較され、２値化されたマスキング信号９が図２７（ｂ”’）の様に取得される。これとエリアセンサ４”からの走査線Ｓ_１に対応する画素信号出力５とのANDがマスキング回路１０で取られると、走査線のＳ_１に対応したマスキング画素信号出力１１が取得され、図２７（ｂ””）に示される。
同様に走査線Ｓ_３についても、フレーム記憶部出力（背景光）、走査線画素信号出力、動き輪郭情報７’、マスキング信号９、マスキング画素信号出力１１が得られ、図２７（ｄ）、（ｄ’）、（ｄ”）、（ｄ”’）、（ｄ””）にそれぞれ示される。

図２７（ｂ””）、（ｄ””）に示されるマスキング画素信号出力１１は、図１８に示される背景光無しの走査線画素信号出力の内、走査線Ｓ_１、Ｓ_３に対応した図１８（ｂ）、（ｄ）と同じ波形になる。即ち、背景光の有る被写体でも動き物体が（ここでは顧客の手１６）があると、図２４の第１の実施形態-４に示す回路を通すと、走査線ごとに動体のみを抽出し、出力することができる。

以上は走査線Ｓ_１、Ｓ_３に付いて説明したが、図１７のエリアセンサカメラ１”のエリアセンサ４”の走査線Ｓ_０～Ｓ_４上に対応し、背景光が有る場合、各走査線上の画素信号出力は図１９（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左図（走査線画素信号出力）のようになるが、これを図２８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の左図で再度示す。これから図２４に示される動き輪郭抽出部６を経て抽出した動き輪郭情報７’は、図２８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の中央部に示され、更に図２４のマスキング抽出部８’を経て抽出したマスキング信号９は、図２８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図に示される。

このマスキング信号９は、第１の実施形態-３で得られたマスキング信号である図２３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）と同じであり、更に図１３（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示したマスキング信号と同じである。
即ち、図２４のマスキング回路１０を経て得られるマスキング画素信号出力１１は、それぞれのタイミングで図１１のマスキング回路１０で得られたマスキング画素信号出力１１に相当する図１４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の右図と同じになる。これは図４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）に示した背景光が無い場合の画素信号出力と同じになる。このタイミングはエリアセンサ４”では走査線Ｓ_０～Ｓ_４に対応し、図１８の背景光が無い走査線画素信号出力に相当する。

＜第１の実施形態-５＞
図１の撮像カメラ１の動き輪郭抽出部６とマスキング抽出部８の別の構成を図２９で説明する。固体撮像装置４として、後述する特殊な画素配列構造のエリアセンサ４”’を用いた、別の構成を第１の実施形態-５と称す。エリアセンサカメラ１”の構成は図１６の第１の実施形態-２と同じで、エリアセンサ４”’からの画素信号出力５は２分割され、一方はマスキング回路10に入力されるが、他方は動き輪郭抽出部６”に入力される。動き輪郭抽出部６”では、画素信号出力５は更に２分割され、ビットメモリ２７へ取り込まれる。ビットメモリ２７から出てくる画素信号出力５は１ビット前の画素信号出力５であり、差分回路１３で現時点の画素信号出力５との差分が取られる。これは隣接画素間の差分を取得することに相当する。更に差分した信号は、絶対値回路１４を経て動き輪郭情報７”が得られる。
動き輪郭抽出部６”はビットメモリ２７を使用するので、動き輪郭抽出部６”として区別した。また動き輪郭抽出部６”の出力も、動き輪郭情報７”として区別した。

図２９は画素微分を取得する方法として、ビットメモリ２７を使用するケースを示している。差分回路１３では現在の画素信号と、同色の隣接する画素信号との差分を取ることにより、同色の隣接画素間の差分演算を行い、画素微分を取ることができる。差分なので明暗により正負の値を取る（符号を有する）ので、絶対値回路１４を経て、絶対値情報にし、動き輪郭情報７”を取得する。

同色の隣接画素間の画素微分演算を行う方法としては、同一走査線上の左右方向に隣接する同色の画素間での差分で行う方法と、隣接する走査線を同時読み出しし、上下方向に隣接する同色の画素間での差分で行う方法がある。
前者の場合には、同一走査線上の同色画素間の差分を取るので、図２９に示したビットメモリ２７を使用するが、後者の場合には隣接する走査線が同時に出て来るのでビットメモリ２７は不要になる。
図２９に示す動き端部抽出部６”には、図１６の動き輪郭抽出部６にあったフレームメモリ２２は存在しない。従って動き輪郭情報７”はエリアセンサ４”’で撮像した最も新しい（フレームベースでなく）走査線ベースの画像情報に対しての出力である。

第１の実施形態-５として図２９で示した、フレームメモリを使用せずビットメモリ２７を用いて、動き輪郭を抽出方法に付き説明する。同色の隣接する画素信号との差分で動き輪郭情報を取得するためには、通常の画素構造では実現しない。従ってこのケースで使用されるエリアセンサ４”’の画素構造は特殊で、図３０、図３１に示すような露光時間の異なる２種類の画素２８から構成される。このため、図１６、図２４のエリアセンサ４”とは区別し、図２９ではエリアセンサ４”’と表記した。

図２９のエリアセンサ４”’の画素２８の構成を図３０（ａ）で、画素出力特性を図３０（ｂ）で示す。
図３０（ａ）に示されるエリアセンサ４”’の画素構成としては、露光時間が異なる２種類の画素２８に対応して、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬが横方向に隣接して配置されており、１走査線上で交互に出力される。両者の画素２８の画素出力特性としては図３０（ｂ）に示すように、時間の経過とともに画素出力が増える傾き（感度に相当する）が同じケースを示しており、露光時間に見合った画素出力が得られる。ＳＴＳとＳＴＬは同時のタイミングで読み出され、エリアセンサ４”’の画素信号出力５として出力される。図３０（ｂ）では短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの露光時間を、それぞれＴ_Ｓ、Ｔ_Ｌとした。（Ｔ_Ｌ＞Ｔ_Ｓ）

図２９の動き端部抽出部６”に入力した画素信号出力５の内、短時間露光画素ＳＴＳは、ビットメモリ２７に入り、走査線上の１画素に相当する時間だけ遅延して、差分回路１３に入力される。このタイミングは隣接した長時間露光画素ＳＴＬの差分回路１３への入力と同じであり、１走査線上の隣接した画素間の差分が取得できる。この際、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの画素出力は、図３０（ｂ）の様に露光時間の差だけ大きさが異なるので、出力が揃うようにゲイン調整を行う。具体的にはビットメモリ２７で走査線上の１画素に相当する時間（１ビット）だけ遅延する以外に、露光時間Ｔ_Ｓ、Ｔ_Ｌに比例した出力の違いを補正すべく、ＳＴＳの出力をＴ_Ｌ／Ｔ_Ｓ倍にする。このゲイン調整機能もビットメモリ２７に内蔵させる（図示していない）。このゲイン調整して差分を取ることにより、静止画では出力が揃い差分回路１３の出力がゼロになるのに対し、動きが有る被写体では、動体の端で出力が残り、絶対値回路１４を経ると、動き輪郭情報７”として出力が残る。

このように静止領域は同じ信号レベルの差分なのでゼロになり。動きがある場合で、動体の出力値に変化がある領域では、差分を取得した際にゼロとはならない。また、動体パターンの内部で明暗が均一である場合には、動体パターン内部は静止画と同様になりゼロとなり、動体の輪郭パターンが残る。このように動き輪郭情報７”は動体の輪郭情報を含んでいる。
段落番号２６で、「画素差分とは被写体の同じ位置を結像する、異なる露光タイミングの画素間の差分を意味する。」と定義している。このため、隣接した画素どうしの差分は、厳密には本願の画素間の差分とは異なるが、一般的に画素数は、リニアセンサでは数千、エリアセンサでは百万～千万画素が普通なので、隣接画素は被写体の同じ位置を撮影していると考えて良い。
また図３３の第２の実施形態-５の付加機能として出てくる、垂直、水平方向の同色画素の平均化し、隣接し合う短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの画素出力の差分を取ることで、静止物体の端部で生じるノイズの緩和が出来て、より精度の高い動き物体の輪郭抽出が出来る。この場合は更に、隣接画素は被写体の同じ位置（領域）を撮影していると考えて良くなる。

図３０（ａ）に示されるエリアセンサ４”’では、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬが横方向に隣接して配置されたケースであったが、上下方向に隣接している場合には、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの２ラインを、１本の走査線として同時に読み出す。この場合にはビットメモリ２７での１画素に相当する時間（１ビット）の遅延は不要で、露光時間Ｔ_Ｓ、Ｔ_Ｌに比例した出力の違いを補正すべく、ＳＴＳの出力のＴ_Ｌ／Ｔ_Ｓ倍のみで良い。差分回路１３には、ゲイン調整された短時間露光画素ＳＴＳと長時間露光画素ＳＴＬを入力し、差分を取る。

図２９のエリアセンサ４”’の画素２８の別の構成を図３１（ａ）で、画素出力特性を図３１（ｂ）で示す。図３１（ａ）に示されるエリアセンサ４”’の画素２８’，２８”の構成としては、短時間露光画素２８’（図中ＳＴＳと示す）と長時間露光画素２８”（図中STＬと示す）が配置されているが、両者の画素のサイズが異なり感度が異なる。短時間露光画素ＳＴＳの感度をＳＳとし、長時間露光画素ＳＴＬの感度をＳＬとすると、両者の感度比；ＳＳ／ＳＬを、両者の露光時間比；ＴＳ／ＴＬの逆数にしたケースでは、その画素出力特性は図３１（ｂ）に示すようになり、短時間露光画素ＳＴＳと長時間露光画素STＬの画素出力が揃う。

短時間露光画素ＳＴＳ、長時間露光画素ＳＴＬは、図３１（ａ）の画素配置で上下方向に隣接する。この２ラインを、１本の走査線として同時に読み出す。図３１（ｂ）に示した様に、露光時間Ｔ_Ｓ：Ｔ_Ｌに対応して、両者の感度比がＴ_Ｌ：Ｔ_Ｓとなっているので、短時間露光画素ＳＴＳと長時間露光画素STＬの画素出力が揃う。差分回路１３には、この揃った画素出力の短時間露光画素ＳＴＳと長時間露光画素ＳＴＬが入力され差分を取る。静止画では出力が揃い差分回路１３の出力がゼロになるのに対し、動きが有る被写体では、動体の端で出力が残り、絶対値回路１４を経ると、動き輪郭情報７”として出力が残る。

図３１（ｂ）に示す画素出力特性では、短時間露光画素ＳＴＳと長時間露光画素STＬの画素出力が揃っているので、ビットメモリ２７でのゲイン調整は不要になる。しかし感度比でＳＳ／ＳＬで決まる露光時間比（ＴＳ／ＴＬ）しか選択できないので、露光時間の自由度を増すために、ゲイン調整は有った方が良い。
このようにビットメモリ２７は、露光時間の異なる対となった隣接画素間で、静止画では出力が揃え、差分を取った際にゼロとなるように、必要ならビット遅延させたり、ゲイン調整したりする、機能を有した回路を総称した意味で使っている。

図３０に示す露光時間の異なる画素対で、ゲイン調整を行って出力を揃えたり、図３１に示す露光時間の異なる画素対で、露光時間に見合った画素感度に調整して出力を揃えたりして、動き輪郭情報７”が生じないようにすることで、背景の静止画を消滅することが出来る。

図２９の第１の実施形態-５ではエリアセンサ４”’を用い、図３０、図３１に示すようなエリアセンサの画素構造で説明したが、この画素構造はリニアセンサであっても成り立つ。
本発明の最大の特徴は、固体撮像装置４からの画素信号出力５を、読み出しライン毎に処理し、リアルタイムでマスキング画素信号出力１１を作成することにある。このため、エリアセンサでもリニアセンサでも変わらない。
上述した様に、第１の実施形態-１（リニアセンサ）、第１の実施形態-２（エリアセンサ）、第１の実施形態-３（リニアセンサ）、第１の実施形態-４（エリアセンサ）、第１の実施形態-５（エリアセンサ）でも最終マスキング画素信号出力１１は同じである。

＜第２の実施形態＞
以上は、撮像装置として撮像カメラ１で説明を行ってきたが、次に撮像装置の第２の実施形態とし、撮像装置として図３２に示す固体撮像装置４の説明を行う。図３２では、本発明の固体撮像装置４のブロック構成及び各ブロックの信号を説明する。

レンズ２で固体撮像装置４の画素部２８に被写体像を結像する。画素部から出力される画素信号出力５は、２つに分割され一方は動き輪郭抽出部６に、他方はマスキング回路１０へ入力される。動き輪郭抽出部６では、画素信号出力５より動き輪郭情報７を抽出する。抽出された動き輪郭情報７は、マスキング抽出部８に入力される。マスキング抽出部８では、動き輪郭情報７より、動体としてのみ出力させるマスキング信号９を作成し出力する。マスキング信号９はマスキング回路１０に入力され、同じく入力された画素信号出力５と共に、マスキング回路でマスキング画素信号出力１１を作成し出力される。このマスキング画素信号出力とは、動体の画像に対応した画素のみの出力であり、本発明の目的とする動体情報のみを出力する撮像装置になる。
画素信号出力５以降は、図１に示した第１の実施形態である撮像カメラ１のブロック構成と、信号と同じであり、ブロック構成が画素部のある固体撮像装置４上に（オンチップで）形成されている。

即ち、第１の実施形態-１（リニアセンサ）、第１の実施形態-２（エリアセンサ）、第１の実施形態-３（リニアセンサ）、第１の実施形態-４（エリアセンサ）、第１の実施形態-５（エリアセンサ）の画素信号出力５以降にある、図１に示した第１の実施形態である撮像カメラ１の回路ブロックを、固体撮像装置４上に形成したのが、第２の実施形態であり、それぞれ、第２の実施形態-１（リニアセンサ）、第２の実施形態-２（エリアセンサ）、第２の実施形態-３（リニアセンサ）、第２の実施形態-４（エリアセンサ）、第２の実施形態-５（エリアセンサ）となる。
その機能・動作は上述した通りであるが、ここでは画素構造が特殊な第２の実施形態-５（エリアセンサ）を例にとり、固体撮像装置４”’の回路構成を図３３で説明する。

＜第２の実施形態-５＞
図１の撮像カメラ１では図２９のエリアセンサ４”’から出力される画素信号出力５を、動き輪郭抽出部６”でゲイン調整機能を有するビットメモリ２７、差分回路１３、絶対値回路１４を経て、動き輪郭情報を７”を得ていた。エリアセンサ４”’の画素配置は、図３０（ａ）や図３１（ａ）に示される様に、幾つかの種類が有るので、図３３では分離回路２９とゲイン調整回路２９’を経て、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬから、差分回路１３で差分を取り、絶対値回路１４を経て、動き輪郭情報７”を取得する方式にする。処理方法は第１の実施形態-５と同じであり、ビットメモリ２７に分離回路２９とゲイン調整回路２９’の機能を包含していたので、同じ番号で表記した。図３３で、動き輪郭情報７”からマスキング抽出部８”、マスキング回路１０を経て、マスキング画素信号出力１１を取得する方法は図２９の第１の実施形態-５と同じである。マスキング回路１０はAND回路３０（今までは番号を付与していなかった）である。

図３３に示す固体撮像装置４”’の回路構成では、より具体的な回路ブロックが追加されている。
図３０（ａ）や図３１（ａ）に示される画素配列で、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬを用いた処理は、同色の隣接する画素信号との差分で行われていた。カラー画像を取得するためには、更にカラー処理部３１を経て、カラー映像情報３２を得る。画素部２８は図３０（ａ）や図３１（ａ）で示される露光時間の異なる２種類の画素から構成される。

図３３の固体撮像装置４”’の画素部２８につき説明すると、カラー撮像用として各画素にベイヤー配置の色フィルタが形成されている。これが図中では緑（Ｇｒ、Ｇb）、赤（Ｒ）、青（Ｂ）で示される。
タイミング発生回路３３で発生したマスタークロックを基に、画素での露光制御、垂直走査、水平走査を行う。露光制御方法としては、図３０、図３１で説明した長時間露光画素ＳＴＬと短時間露光画素ＳＴＳの、それぞれの露光時間ＴＬ、ＴＳを露光時間生成回路３４にて生成し、垂直走査回路３５を介して画素部２８を制御する。

垂直並列制御回路３６では、垂直方向に配置した画素駆動ラインを複数本同時にONにすることで、垂直に配置した同色の画素信号を垂直合成（平均化）することもできる。画素部２８の上部には、画素部２８から出力される複数の垂直信号線の画素信号を同時に読み出す回路は、水平方向の読出しを走査する水平走査回路３７、垂直信号線を受け水平方向で信号を合成する水平合成回路３８、で構成されている。水平合成回路３８で同色の画素信号を水平合成（平均化）することも出来る。この同色の画素合成は露光時間が同じ画素どうしで行い、静止物体の端部で生じるノイズの緩和が出来て、より精度の高い動き物体の輪郭抽出が出来る。

図３０、図３１で示したように、短時間露光画素ＳＴＳと長時間露光画素ＳＴＬは走査線毎に交互に繰り返しているが、同じ露光時間の同色の画素信号の合成化（平均化）は、複数走査線で行われるので、ほぼ同じ領域の長時間露光情報と短時間露光画素情報が取得できて、差分回路１３で差分して得られる動き輪郭情報７”は、ほぼ同じ領域での比較になり動き情報の精度が上がる利点がある。
これは画素単位で短時間露光画素ＳＴＳと長時間露光画素ＳＴＬの差分を取ると、静止物体の場合でも輪郭部では差分がゼロにならない不具合（エッジノイズ）が発生するが、平均化することにより輪郭部のエッジノイズが大幅に抑制でき利点を生じる。これが前述した、より精度の高い動き物体の輪郭抽出が出来る理由である。

同じ露光時間の同色の画素信号の合成化（平均化）は、垂直、水平方向の合成する画素数にも依存するが、情報量を大幅に減少できる、という利点も生じる。例えば、垂直、水平方向の１０画素ずつ平均化すると、情報量は２桁（１／１００）に削減できる。
従来の動き分析では固体撮像装置から出力される膨大な画像情報を、画素単位でリアルタイムに処理するには、後段処理回路に大きな画像処理負荷が必要となり、バッテリー駆動は困難であった。
本方式では、画素数見合いの情報量が大幅に減り（上記例では２桁）、さらに２値化した動き輪郭情報９を処理することで、画素単位の情報量も大幅に減る（例えば８ビット⇒１ビット）ことも大きな利点である。これは本発明の撮像装置の特徴である、動き物体のみを出力することと共に、情報量削減による負荷軽減に寄与する。

図３３の固体撮像装置４”’では、画素部２８の下部には、画素部２８から出力される複数の垂直信号線の画素信号が入力されたカラム型ノイズキャンセル回路（ＣＤＳ）３９、カラム型アナログデジタルコンバータ回路（ＡＤ変換）４０、ラインメモリ４１、水平画素走査回路４２が付加されている。ベイヤー配列（２×２画素）の複数ラインの画素（このためラインメモリ４１が必要になる）を基に、カラー処理をカラー処理部３１で行い、カラー映像情報３２を生成する。ラインメモリ４１は図２のラインメモリ１２と呼称が同じであるが、エリアセンサでカラー処理を行うためのラインメモリであり、呼称は同じだが番号を分けた。符号の説明ではラインメモリ（カラー処理用）と記した。

更には図３３の構成から、カラー処理に関連した部分を省略し、マスキング画素信号出力１１のみを出力させる機能でも良い。カラー処理に関連した部分を省略するという意味は、ＣＤＳ回路３９，ADC回路４０、ラインメモリ４１、水平画素走査回路４２、カラー処理部３１を省略することである。

図３３では垂直並列制御回路３６や水平合成回路３８を活用して、それぞれ、垂直に配置した同色の画素信号を垂直合成（平均化）したり、水平方向に同色の画素信号を水平合成（平均化）したりすることで、情報量を減らし、エッジノイズを減らして動きベクトル情報を取得する方法に付き説明した。この水平合成回路３８、水平走査回路３７は、通常の固体撮像装置のカラー処理に関連した部分に追加する形になる。本発明は通常のカラー処理の出力でも同様に適用でき、次の図３４で説明する。

図３４では水平走査回路３７、水平合成回路３８を省略している。カラー撮像用として各画素にベイヤー配置の色フィルタ（図中の緑（Ｇｒ、Ｇb）、赤（Ｒ）、青（Ｂ））が形成されているが、これらをカラー処理するためのラインメモリ４１からの出力から、動き輪郭抽出部６”にて、同色のSTSとＳＴＬから動き輪郭情報７”を抽出する。以降は図３３と同じである。

＜請求項と実施形態と対応する図面の関連性＞
請求項１‥本発明の第１と第２の実施形態で、それぞれ図１、図３２に対応する。
請求項２‥本発明の第１実施形態で、図２、３に対応する。
請求項３‥本発明の第１の実施形態-３、-４で、それぞれ図２１～２４、図２４～２８に対応する。
請求項４‥本発明の第１の実施形態-３、-４で、それぞれ図２１、図２４に対応する。
請求項５‥本発明の第１の実施形態-１、-２で、それぞれ図２～１５、図１６～２０に対応する。
請求項６‥本発明の第１の実施形態-５と、第２の実施形態-５で、それぞれ図２９～３１、図３３～３４に対応する。
請求項７‥本発明の第２の実施形態-５で、図３３に対応する。
請求項８‥本発明の第１の実施形態-１、-３で、それぞれ図２、図２１に対応する。図はないが、本発明の第２の実施形態-１、-３にも対応する。
請求項９‥本発明の第１の実施形態-２、-４で、それぞれ図１６、図２４に対応する。図はないが、本発明の第２の実施形態-２、-４にも対応する。
請求項１０‥本発明の第１の実施形態で、図１～３１に対応する。
請求項１１‥本発明の第２の実施形態で、図３２～３４に対応する。

１ 撮像カメラ
１’ リニアセンサカメラ
１” エリアセンサカメラ
２ レンズ
３ カメラ筐体
４ 固体撮像装置
４’ リニアセンサ
４”、４”’ エリアセンサ
５ 画素信号出力
６、６’、６” 動き輪郭抽出部
７、７’、７” 動き輪郭情報
８、８’、８” マスキング抽出部
９ マスキング信号
１０ マスキング回路
１１ マスキング画素信号出力
１２ ラインメモリ
１３ 差分回路
１４ 絶対値回路
１５ 商品陳列棚
１６ 顧客の手
１７、１７” 動き輪郭端部判定部
１８、１８” 動き輪郭端部情報
１９ 閾値
２０ マスキング信号発生回路
２１ 遅延回路
２２ フレームメモリ
２３、２３’ スイッチ回路
２４、２４’ ライン記憶部
２５、２５’ 選択部
２６ フレーム記憶部
２７ ビットメモリ
２８、２８’、２８” 画素
２９ 分離回路
２９’ ゲイン調整回路
３０ ＡＮＤ回路
３１ カラー処理部
３２、カラー映像情報
３３ タイミング発生回路
３４ 露光時間生成回路
３５ 垂直走査回路
３６ 垂直並列制御回路
３７ 水平走査回路
３８ 水平合成回路
３９ ＣＤＳ回路
４０ ADC回路
４１ ラインメモリ（カラー処理用）
４２ 水平画素走査回路

Claims (11)

1. 光学的結像手段で結像した被写体の光信号を電気信号に変換する光電変換素子単位である画素を複数有する画素部で撮影し、光電変換が開始する時刻と終了する時刻で定義される撮影時刻が異なる２つの撮影信号の、少なくとも一方が現時点の撮影信号である画素信号出力であり、かつ２つの撮影信号間の差分信号を、静止した被写体では同じ場所に対応した画素どうしの差分で生成する手段と、
   静止した被写体からの撮影信号からは、前記差分信号が生じないように、差分信号を構成する２つの撮影信号の画素信号出力を調整する手段と、
   差分信号の絶対値をとり、動きのある被写体の輪郭情報に関連した、動き輪郭情報を、読み出しライン毎に取得する手段と、
   前記動き輪郭情報から、閾値と比較されて得られ、かつ動きのある被写体の領域を１とし、それ以外の領域を０とした、２値化されたマスキング信号を、読み出しライン毎に得る手段と、
   前記２値化されたマスキング信号と、画素部からの現時点の撮影信号である画素信号出力とから論理積をとり、マスキング信号が１である個所の画素信号出力のみを、動きのある被写体の画像として、読み出しライン毎に出力する手段と、
   を有することを特徴とする撮像装置。
   
2. 前記画素部で撮影した撮像時刻が異なり、一方が現時点の撮影信号である、２つの撮影信号間の差分信号を生成する手段として、メモリを使用し、異なる撮影時刻の時間間隔としては、画素部の全ての画素の読み出しに掛かるサイクルタイムの整数倍として、画像差分を行うことで、実現したことを特徴とする請求項１に記載の撮像装置。
   
3. 前記画素部で撮影した撮像時刻が異なり、一方が現時点の撮影信号である、２つの撮影信号間の差分信号を生成する手段として、画素差分を行う撮影信号としては、動きが無い静止状態の撮影信号を繰り返し用いて、画像差分を行うことで、実現したことを特徴とする請求項1に記載の撮像装置。
   
4. メモリに取り込むべき、動きが無い静止状態の撮影信号の判定に、２値化されたマスキング信号を活用し、マスキング信号が全て０である撮影信号を、動きが無い静止状態の撮影信号と判定し、この撮影信号を、定期的にメモリに一時保存する、ことを特徴とする請求項３に記載の撮像装置。
   
5. 異なる撮影時刻の時間間隔としては、画素部の全ての画素の読み出しに掛かるサイクルタイムとして、画像差分を行い、動体の外側輪郭の情報に対応する動き輪郭端部情報を経て、閾値と比較して２値化されたマスキング信号を得る、ことを特徴とする請求項２に記載の撮像装置。
   
6. 前記画素部で撮影した撮像時刻の異なる２つの撮影信号間の差分信号を生成する手段として、
   画素部に配置された画素を少なくとも２分割し、露光時間の長さを異ならせて制御する露光時間制御手段と、
   静止した被写体の撮影信号からは、差分信号が生じないように調整した、前記露光時間の異なる前記撮影信号間の差分信号を生成する手段と、
   ２つの撮影信号の双方が、現時点の撮影信号である画素信号出力であり、かつ２つの撮影信号間の差分信号を、被写体の同じ場所に対応したと考えられる、隣接した画素どうしの差分で生成する手段と、
   で実現したことを特徴とする請求項１に記載の撮像装置。
   
7. 動きのある被写体の画像のみを出力する撮像装置において、前記画素部で撮影した撮影時刻の異なる２つの撮影信号間の差分信号を生成する手段として、同条件の複数の近接画素の撮影信号の平均化を行い、平均化した撮影信号間の差分信号を生成する手段である、ことを特徴とする請求項６に記載の撮像装置。
   
8. 前記画素部はリニア状に画素が配列されたリニアセンサであり、使用するメモリはラインメモリであり、サイクルタイムはライン周期である、ことを特徴とする請求項１に記載の撮像装置。
   
9. 前記画素部はエリア状に画素が配列されたエリアセンサであり、使用するメモリはフレームメモリであり、サイクルタイムはフレーム周期である、ことを特徴とする請求項１に記載の撮像装置。
   
10. 撮像装置は撮像カメラであることを特徴とする請求項１に記載の撮像装置。
    
11. 撮像装置は固体撮像装置であることを特徴とする請求項１に記載の撮像装置。