JP4362639B2 - 画像処理方法、画像処理システム、及び、撮像装置 - Google Patents
画像処理方法、画像処理システム、及び、撮像装置 Download PDFInfo
- Publication number
- JP4362639B2 JP4362639B2 JP2000191106A JP2000191106A JP4362639B2 JP 4362639 B2 JP4362639 B2 JP 4362639B2 JP 2000191106 A JP2000191106 A JP 2000191106A JP 2000191106 A JP2000191106 A JP 2000191106A JP 4362639 B2 JP4362639 B2 JP 4362639B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- subject
- unit
- lighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理システム、及び、撮像装置に関する。
【０００２】
【従来の技術】
近年、ＩＴ（Information Technology）技術の進歩に伴い、例えば、通信と画像処理とを融合した新しいサービスが提供されている。
図１０は、新しいサービスの一つとして実施されているインターネット・テレビ・サービスの概念図を示すものである。
このサービスでは、サービス会社１は、スタジオカメラ等で撮影した商品画像（オブジェクト）とその商品画像に対応する情報とをユーザ端末２に配信し、ユーザー端末２では、ユーザによるマウス等のポインティングデバイス３の操作選択により、選択された商品画像に対応する情報をサービス会社１に返信する。
その後、サービス会社１は、当該商品画像により特定される商品を販売する販売会社４に発注手続きを行い、販売会社４は、この手続きを受けて発注元のユーザ宛に商品を配送する。
【０００３】
ところで、このようなサービスに適用される画像処理、及び画像符号化技術は、次第にＭＰＥＧ−４やＭＰＥＧ−７の規格記述等に代表される、より高度なマルチメディア規格によるオブジェクトベース符号化処理、及び記述情報（作者はだれか、何についての情報かなど）の付加記述情報表示処理へとシフトしている。
【０００４】
このような画像処理技術の進歩に対し、従来より知られている特殊効果に適用される画像処理方法として、特定色の背景（ブルーバック）を必要とする「クロマキー分離法」等があるが、この方法では撮影後の画像合成処理（特定の被写体画像を背景から切り出す等）で、撮影画像に”抜くべき領域”を認識させるため、予め撮影時において、特殊な撮影空間を用意したり、被写体に対し特定色（黒）の衣服を着用させる等、特別な処理を施す必要がある。
【０００５】
【発明が解決しようとする課題】
したがって、画像処理を前提とした撮影を行う場合、事前に処理内容に沿った撮影環境や被写体に特殊な処理が必要であるために、民生機器への転用が難しく今後撮影機器の使い勝手や付加機能を考えてゆく上で大きな障害となっていた。
本発明はこのような問題に際し、上記画像処理を前提とした撮影に際し、処理対象となる部分画像の抽出を即時に、且つ簡単に行うことができ、また後段の画像処理でも、上記付加記述情報の取得等が簡単に行える技術を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、点灯制御された発光部を備えた被写体、又は、点灯制御された発光部による光が照射された範囲の被写体を含む画角を撮像部に連続的に撮像させ、この画角から前記被写体を抽出する抽出ステップと、この抽出ステップにて抽出された被写体の画像を符号化する符号化ステップと、前記抽出ステップにて連続的に撮像された被写体に含まれる前記点灯制御された光を通信媒体として受信することにより、前記発光部から送信された付加記述情報を、前記符号化ステップにて符号化された被写体の画像と対応付けて出力部に出力させる出力ステップとを含むことを特徴とする。
【０００７】
請求項２記載の発明は、点灯制御された光を発光する発光手段と、この発光手段を備える被写体、又は、この発光手段の光が照射された範囲の被写体を含む画角を連続的に撮像する撮像手段と、この撮像手段によって連続的に撮像されている画角から、前記被写体の画像を抽出する抽出手段と、この抽出手段によって抽出された被写体の画像を符号化する符号化手段と、前記撮像手段によって連続的に撮像された被写体の画像に含まれる前記点灯制御された光を通信媒体として受信することにより、前記発光手段から送信された付加記述情報を前記符号化手段によって符号化された被写体の画像と対応付けて出力する出力手段とを備えたことを特徴とする。
【０００９】
請求項３記載の発明は、上記請求項２に記載の発明において、前記点灯制御とは時分割で点灯タイミングを制御することであり、この点灯タイミングに同期するように、前記撮像手段における蓄光時間を制御する蓄光時間制御手段を更に備えたことを特徴とする。
【００１０】
請求項４記載の発明は、上記請求項２又は３に記載の発明において、前記光は収束された光ビームであるとともに、この光ビームの収束半径を調整する調整手段を更に備えたことを特徴とする。
【００１１】
請求項５記載の発明は、上記請求項２乃至４の何れかに記載の発明において、前記抽出手段によって抽出されている前記被写体の前記画角における位置を取得する位置取得手段を更に備え、前記出力手段は、前記発光手段から送信された付加記述情報として前記位置情報取得手段によって取得された位置情報を出力することを特徴とする。
【００１４】
請求項６記載の発明は、点灯制御された光を含む被写体、又は、この光が照射された範囲の被写体を含む画角を撮像部に連続的に撮像する撮像手段と、この撮像手段によって連続的に撮像されている画角から、前記光を含む被写体、又は、前記範囲の被写体を抽出する抽出手段と、この抽出手段によって抽出された被写体の画像を符号化する符号化手段と、前記撮像手段によって連続的に撮像された被写体の画像に含まれる前記点灯制御された光を通信媒体として受信することにより、送信された付加記述情報を前記符号化手段によって符号化された被写体の画像と対応付けて出力する出力手段とを備えたことを特徴とする。
【００１６】
請求項７記載の発明は、上記請求項６に記載の発明において、前記点灯制御とは時分割で点灯タイミングを制御することであり、この点灯タイミングに同期するように、前記撮像手段における蓄光時間を制御する蓄光時間制御手段を更に備えたことを特徴とする。
請求項８記載の発明は、上記請求項６又は７に記載の発明において、前記抽出手段によって抽出されている前記被写体の前記画角における位置を取得する位置取得手段を更に備え、前記出力手段は、前記付加記述情報として前記位置情報取得手段によって取得された位置情報を出力することを特徴とする。
【００１７】
【発明の実施形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
１．本実施の形態の概念
図１は、本実施形態の概念を例示したものである。同図において、撮影対象範囲１０には便宜的に示す４つの被写体１１〜１４が置かれており、この撮影対象範囲１０を臨むようにして、第１のカメラシステム１５、第２のカメラシステム１６および第３のカメラシステム１７が配置されている。
第１のカメラシステム１５は図面上方から下方に向かって撮影対象範囲１０を臨む画角を形成し、第２のカメラシステム１６は図面左下から右上に向かって撮影対象範囲１０を臨む画角を形成し、第３のカメラシステム１７は図面右下から左上に向かって撮影対象範囲１０を臨む画角を形成するように配置されている。
ここで、第１のカメラシステム１５は画角α１に収まる４つの被写体１１〜１４を撮影し、第２のカメラシステム１６は画角α２に収まる２つの被写体１１、１２を撮影し、そして、第３のカメラシステム１７は画角α３に収まる２つ被写体１２、１４を撮影する。
【００１８】
このような図１の撮影方法において、各カメラシステムが撮影したそれぞれ画像から部分画像として被写体画像をするパターンとして、以下の２つ考えられる。
＜第１のパターン＞
撮影範囲１０内に時系列的に点灯制御される赤外光を発射する発射手段を備える。そして、各カメラシステムは、当該被写体が発信する赤外光を検出してその座標を抽出する。
例えば、第１のカメラシステム１５の画角α１内に存在する被写体１２には、任意の位置に赤外光を発射する発射手段が設置されているものとする。
第１のカメラシステム１５は被写体１２を連続的に撮影することにより、この赤外光を検出し、その赤外光の位置座標を取得するとともに、その点灯制御された赤外光から、付加記述情報を生成する。
【００１９】
＜第２のパターン＞
各被写体１１〜１４は上記発射手段を備えない。その代わり、時系列的に点灯制御され、任意に且つ変更可能に被写体に赤外光を照射する発射手段が撮影対象範囲１０の外、若しくは各カメラシステムに設けられており、カメラシステムは赤外光が照射された被写体を抽出対象とすべき被写体として抽出する。
例えば、第２のカメラシステム１６の画角α２内に存在する被写体１１は、発射手段を備えない。その代わり、撮影対象範囲１０の外（少なくとも第２のカメラシステムの画角α２の範囲外）には被写体１１に赤外光を照射する発射手段が備えられ、この図では被写体１１を選択して赤外光を照射している。そして、第２のカメラシステム１６が画角α２の撮影範囲１０を連続的に撮影すると、照射により被写体１１から反射される赤外光（反射光）を連続的に受信して、撮影画像より被写体１１の画像を抽出する。
なお、一端矢印付破線１８ａ、１８ｂは上記第１のパターンにおける赤外光を表し、また、一端矢印付破線１９ａ、１９ｂは第２のパターンにおける赤外光を表している。
【００２０】
図２は、上述の第１のカメラシステム１５、第２のカメラシステム１６および第３のカメラシステム１７（以下、カメラシステム１５〜１７と称する）に共通する、赤外光が照射された被写体を抽出するためのブロック構成図である。
このブロック図において、撮像部２１は、例えば、ＣＣＤ（Charge Coupled Device ）型やＣＭＯＳ（Complementary Mental-Oxide Semiconductor）型のイメージセンサを備えて画角範囲内にある被写体１１〜１３を撮影し、信号化して処理装置２３に出力する。
付加記述情報指定部２４は、赤外光検出用イメージセンサ２４１を備え、上記＜第１のパターン＞にあっては、被写体１１〜１３自ら発射する赤外光を通信媒体とした付加記述発信情報を受信し、その受信座標を含めて付加記述情報取得部２５に出力し、受信した赤外光に基づく付加記述情報を取得する。また、上記＜第２のパターン＞にあっては、付加記述情報指定部２４は、撮影時において任意に選択されて赤外光が照射された被写体から反射された赤外光を抽出し、付加記述情報取得部２５に出力し、受信した赤外光に基づく付加記述情報を取得する。
なお、付加記述情報指定部２４と付加記述情報取得部２５とは同期して動作するようになっている。処理装置２３は、撮像部２１からの撮影画像に基づく信号と、付加記述情報取得部２５からの付加記述情報を構成する信号とを組み合わせ、「画像＋付加情報」の形に合成してストリームを生成し、例えば、伝送、蓄積、変換または表示のため後段の処理部に出力する。
【００２１】
ここで、複数のカメラシステムを用いる場合、赤外光による干渉を防止する工夫、すなわち、抽出対象とすべき被写体を効率良く弁別する工夫が必要になる。
図３は、抽出対象とする被写体を検出、弁別するための処理方法を説明するためのタイミングチャートである。この例では上記＜第１のパターン＞おける、赤外光の点灯制御に時分割点灯タイミングを適用している。図において、スロットＡ、Ｂ、及びＣはそれぞれ１／６０秒（便宜上フィールドと称する。）割り当てられており、スロットＡは第１のカメラシステム１５用に割り当てたもの、スロットＢは第２のカメラシステム１６用に割り当てたもの、スロットＣは第３のカメラシステム１７用に割り当てたものである。
【００２２】
各カメラシステム１５〜１７のシャッタータイミングと、赤外線を発射する発射手段（光源）は、予め同期が確立されており、第１のカメラシステム１５に設けられた赤外光検出用イメージセンサ２４１は、撮影画像のサンプリングに際し、蓄光時間（シャッター時間）がスロットＡの最初の１／１８０秒以上にはならないように設定されている（最大値１／１８０秒の範囲で取得データの輝度設定等が行われる）。
【００２３】
通常の撮影による画像データの取得は、通常の１フィールド内でのシャッタースピード制御が行われる。発射手段は、第１のカメラシステム１５を被抽出対象とする場合、この１フィールドの最初の０〜１／１８０秒間ごとに赤外光点灯すれば、第１のカメラシステム１５の付加情報取得部２５で第１のカメラシステム１５を被抽出対象とする赤外光の点灯のみを検出することができる。同様に、第２のカメラシステム１６は１フィールド内の２／１８０〜３／１８０秒間に点灯する赤外光のみを検出し、第３のカメラシステム１７は１フィールド内の３／１８０〜４／１８０秒間赤外光のみを検出するようにすれば、カメラシステム１５〜１７同士影響を受けないことになり、互いの干渉を防止できる。
【００２４】
なお、カメラシステム１５〜１７全てにおいて赤外光点灯を検出させる場合は、１フィールド間全てを点灯すればよい。もちろん、第１のカメラシステム１５と第３のカメラシステム１７との組み合わせ検出や、第２のカメラシステム１６と第３のカメラシステム１７との組み合わせも可能である。また、上記＜第１のパターン＞に適用した場合について詳述したが、上記＜第２のパターン＞のように、抽出対象となる被写体に対して赤外光を照射する場合でも、適用可能である。
【００２５】
２．応用例（基本的モデル）
図４は、上記概念に基づいた応用例であり、上記＜第１のパターン＞、＜第２のパターン＞を併用したモデルを例示したものである。
同図において、被写体群は、１人の人物３４、２つの静止物３５、３６、及び光ビーム発射手段３３とからなり、カメラシステム３０とカメラシステム３１はこれらの被写体群を囲うように配置されている。またカメラシステム３０、３１は制御手段３２に接続され制御信号３２１、３２２が入力される。
【００２６】
カメラシステム３０は、所定のタイムスロットにて時系列的に点灯する赤外光を人物３４の顔部分に向けてスポット照射する第１の照射手段３０１と、画角α５の範囲を撮影するカメラ３０２とが接続され、このうち第１の照射手段３０１点灯や照射位置・範囲は、制御手段３２から出力される制御信号３２１によって制御される。
カメラシステム３１は、第１の照射手段３０１とは異なる所定のタイムスロットにて時系列的に点灯する赤外光を静止物３６にスポット照射する第２の照射手段３１１と、画角α６の範囲を撮影するカメラ３１２とが接続され、このうち第２の照射手段３１１による赤外光の点灯や照射位置・範囲は、制御手段３２から出力される制御信号３２２によって制御される。
【００２７】
また、光ビーム発射手段３３は、赤外光を収束して生成した光ビームを発射する。そして、その点灯（点滅）タイミングは制御手段３２から出力される制御信号３２３によって制御されている。
【００２８】
カメラシステム３０は、撮影した画像３０４、３０５から人物３４の上半身部分（図５の符号３４ａ参照）を抽出してオブジェクト符号化処理を行う。カメラシステム３１は、撮影した画像３０４、３０５から静止物３６を抽出してオブジェクト符号化処理を行う。なお、カメラシステム３０、３１、及び光ビーム発射手段は制御部３２を仲介して互いにリンクしており、カメラシステム３０、３１は上記処理において、互いに影響を及ぼさないようになっている。
【００２９】
図５は、図４におけるカメラシステム３０で撮影された被写体群の画像の抽出概念図である。
画像３０４は上記赤外光検出用センサによるものであり、上記＜第２のパターン＞に相当する方法で撮影された人物３４の上半身部分の画像３４ａと、上記＜第１のパターン＞に相当する方法で撮影された光ビーム発射手段３３による光点の画像３３ａとが含まれている。画像３０５には撮像された各被写体の画像が含まれている。画像３０４に含まれる３３ａからは、上記図２において詳述した内容に基づいて座標情報（図５では便宜的に（Ｘ，Ｙ）＝（４５０，５００））が付加記述情報として生成され、３４ａについては３４ｂの画像の上半身部分（３４ａ）が付加記述情報を関連付けさせる領域として判別させるための情報が生成される。
【００３０】
そして、合成画像３０６と、付加記述情報３０７とから統合データストリーム３０８が生成される。
この処理は、カメラシステム３１でも同様に行われ、カメラシステム３１では、静止物３６の画像について抽出、座標情報の取得、そして統合ストリームが生成される。
【００３１】
図６（ａ）〜（ｄ）は、図４における、第１の照射手段３０１、第２の照射手段３０２、及び光ビーム発射手段３３の詳細な構造に関する幾つかの構成を例示するものである。
【００３２】
図６（ａ）は、光ビーム発射手段３３に関する具体例であり、赤外光を発光する光源を備える発光体３３ａ、発射角度の調整が可能な反射板３３ｂ、及び固定部材３３ｃを有している。
図６（ｂ）は、第１の照射手段３０１、第２の照射手段３０２、及び光ビーム発射手段３３のいずれかにおいて、発射する赤外光の収束半径の調整機構に係わるもので、光ビーム発射手段３３として使用する場合は、からの収束半径αｘを絞り込み、第１の照射手段３０１、及び、第２の照射手段３０２として使用する場合は、収束半径を拡大する。
図６（ｃ）は、制御部３３をカメラシステムの外部に備えないケースであり、第１の照射手段３０１、第２の照射手段３０２、及び光ビーム発射手段３３のいずれかにおいて、光源強度・光束制御部３３ｄ、発光体３３ａ、同期・タイミング制御部３３ｅおよびメカニカルな機構を備える照射対象選択部３３ｆとによって構成したものである。
図６（ｄ）は、第１の照射手段３０１において、人物３４の画像の抽出例を図示したものである。まず、人物３４に対し第１の照射手段３０１より赤外光３０３を照射する。円錐状に拡散する赤外光３０３が背景３７に対して距離、拡散角度、信号強度において一定の条件を満していれば、背景３７の反射光３７ａの反射強度に対して人物３４の反射光９５ａの反射強度が強くなるから、人物３４からの反射光９５ａの反射強度に対応するスレッシュを抽出に適用することにより、人物３４の照射部分（上半身部分）の画像３４ａだけを抽出することができる。
【００３３】
３．応用例（ＭＰＥＧ４エンコードシステム適用モデル）
図７は、上述の図２を更に具現化し、ＭＰＥＧ４エンコードシステムへの適用を考慮した場合のカメラシステムの構成例であり、撮影範囲にある背景７０は被写体７１〜７３よりも十分距離が離れた位置にあるものであり、７４は赤外光を発光する光源である。そして、本発明を具体的に説明する例として、撮影時に、この撮影範囲に有る被写体７１〜７３の形状画像の抽出と、光源７４の位置座標抽出をリアルタイムで行い、抽出された形状画像は各々をオブジェクトベース符号化処理し、一方、光源７４に対応する位置座標にはクリックイベント等のホットスポットデータを関連付ける処理を行うものとする。
【００３４】
この図において、カメラシステム４０は、赤外光を波長領域とした光４１を照射する照射部４２（入光手段）と、この照射部４２の各種動作を制御する照射制御部４３と、画角α７内に存在する被写体群７１〜７４及び背景７０とを撮影する第１の撮像部４４および第２の撮像部４５と、第１の撮像部４４の前面に設けられた赤外光透過フィルタ４６と、第２の撮像部４４で撮影され、赤外光透過フィルタ４６によって透過された光源７４の座標、及び、被写体７１〜７３からの反射赤外光領域を認識する領域・座標認識部４７（検出手段）と、第１の撮像部４５で撮影された画像を取り込んでディジタルの画像信号に変換する画像ディタイズ処理部４８と、上記領域・座標認識部４７の認識結果を記憶するメモリ部４９（抽出座標リストメモリ４９ａと抽出形状リストメモリ４９ｂを含む）と、後述する形状切り出し手段５０１（抽出手段）、ＭＰＥＧ４ビジュアル符号化手段５０２、ホットスポットデータ生成手段５０３、情報入力手段５０４、及びＭＰＥＧシステム符号化手段５０５とを備え、メモリ部４９に記憶された情報と画像ディジタイズ処理部４８からの信号とを組み合わせて「画像＋付加記述情報」形式のデータ（例えば、ＭＰＥＧデータストリームや画像効果映像等）を出力する処理装置５０と、領域・座標認識部４７の動作状態を管理したり、各回路部の動作設定等を行う検出状態モニター／検出設定変更部５１とを備える。
【００３５】
図８は、図７の構成における動作概念図である。
第１の撮像部４４により撮影された赤外光画像８０ａは、光源７４、被写体７１〜７３の二値画像７１ａ〜７４ａ（例えば、ハッチング部分は論理“１”、それ以外の部分は論理“０”）を含む画像（７０は、被写体７１〜７３に比べ十分遠い位置にあるため、赤外光照射による反射強度が弱く、無視される）、一方、第２の撮像部４５により撮像された赤外光画像８０ｂは、光源７４、被写体７１〜７３に対応する画像７１ｂ〜７４ｂを含む。第１の撮像部４４により撮像された赤外光画像８０ａに含まれる光源７４の二値画像７４ａの座標情報は、抽出座標リストメモリ４９ａに記憶され、また、赤外光画像８０ａに含まれる各被写体の二値画像７１ａ〜７３ａの形状は抽出形状リストメモリ４１ｂに記憶される。
【００３６】
一方、第２の撮像部４５により撮影された画像８０ｂは、ディジタイズ処理されて処理装置４２に送られる。処理装置５０内の形状抽出手段５０１は、ディジタイズ処理された画像８０ｂから、上記抽出形状リストメモリ４９ｂの記憶内容（二値画像７１ａ〜７３ａの形状）に基づいて８０２ｂ〜８０４ｂに図示されるように、各被写体画像７１ｂ〜７３ｂを画像８０ｂから抽出する。画像８０２ｂ〜８０４ｂには抽出された各被写体画像７１ｂ〜７３ｂが含まれ、各被写体画像７１ｂ〜７３ｂはオブジェクトベース符号化される。
【００３７】
一方、抽出座標リストメモリ４１ａの記憶内容（光源７４の座標情報）、及び、汎用的な情報入力デバイス（キーボード等）を含む情報入力手段５０４からの情報に基づいて、ホットスポットデータ生成手段５０３がこの光源７４に対応する座標情報に関連するホットスポットデータ（付加記述情報）を生成する。そして、ＭＰＥＧ４システム符号化手段５０５が、ホットスポットデータ生成手段５０３からの出力内容とＭＰＥＧ４ビジュアル符号化手段５０２からの出力内容とを合成してをＭＰＥＧ４のデータストリームを生成する。
【００３８】
図９は、上記図７において領域・座標認識部４７、メモリ４９、形状抽出手段５０１、ＭＰＥＧ４ビジュアル符号化手段５０２、及び、ＭＰＥＧ４システム符号化手段５０５において行われる一連の処理動作を示すフローチャートを示すものである。
まず、初期設定時に検出のためのタイムスロットを設定し（ステップＳ１０）、検出フィールドにおいて所定のスレッシュ値以上の領域について領域ラベリング処理を行う（ステップＳ１１）。次に、検出フィールドにおいて、未処理領域有り／無しを判定し（ステップＳ１２）、有りであれば、未処理領域における１つの領域データを取り出し（ステップＳ１３）、その領域データの面積が一定値以下であるか否かを判定する（ステップＳ１４）。そして、一定値以下であれば、抽出座標リストメモリ４９ａに座標情報を登録し、一定値以上、すなわち、ある程度の領域を検出したならば、抽出形状リストメモリ４９ｂの形状データリストにその領域の形状を登録するという動作を未処理領域がなくなるまで（ステップＳ１２の判定結果が“ＮＯ”になるまで）繰り返す。
【００３９】
一方、未処理領域がない場合（ステップＳ１２の判定結果が“ＮＯ”になった場合）は、まず、抽出形状リストメモリ４１ａに領域の形状がリスト化され、形状データリストとして登録されているか否かを判定する（ステップＳ１７）。そして、登録されていればそれを取り出し、形状データリストに基づいて、画像８０ｂから対応する被写体の画像領域を切り出してプレーン化する（ステップＳ１８）。
そして形状切り出し手段５０１は、この処理を形状データリストに登録された全ての情報について繰り返し、完了すると、ＭＰＥＧ４ビジュアル符号化手段５０２において切り出された画像のオブジェクトベース符号化処理を行い（ステップＳ１９）、ＭＰＥＧ４システム符号化手段５０５が、この処理結果と、抽出座標リストメモリ４９ａに登録された登録内容（光源７４の座標情報）と、それに対応して生成されたホットスポットデータとを用いてデータストリームを生成（ステップＳ２０）し、ステップＳ１１以降の処理を未処理領域が検出されなくなるまで繰り返し実行する。
なお、この場合において、形状抽出手段５０１、ＭＰＥＧ４ビジュアル符号化手段５０２、ホットスポット生成手段５０３、及び、ＭＰＥＧ４システム符号化手段５０５は、オブジェクト指向言語で記述されたアルゴリズムであることが望ましい。
切り出された画像の規格は、ＭＰＥＧ４の「ＭＰＥＧ４ビジュアル符号化」に準拠するものであり、シーン記述についても上記ＭＰＥＧ４のにおいて公然と知られた技術であるので詳細説明は省略する。
【００４０】
この場合、第１の撮像部４４による出力画像の精細度（赤外光画像８０ａの精細度）は必ずしも第２の撮像部４５による出力画像の精細度（画像８０ｂの精細度）と必ずしも同等である必要はなく、特に赤外光画像８０ａの精細度については後段の処理において要求される程度で十分である。
【００４１】
このような本実施の形態によれば、複数の被写体を含む画像撮影に際し、所定以上の領域を持つのであればをその赤外光画像の各被写体画像の形状情報を抽出形状リストメモリ４９ｂに登録すると共に、その抽出形状リストメモリ４９ｂに登録された内容に基づいて、対応する被写体画像を別個に抽出し、オブジェクトベース符号化することができる。
さらに、領域を持たない点光源の場合は、その画像の座標情報とホットスポットデータとを関連付けすることができる。したがって、合成してＭＰＥＧ４システム符号化する際には、当該ＭＰＥＧ４で規定される画像抽出を自動化することができ、ＭＰＥＧ４システムを応用した様々なマルチメディア情報、及び対応機器の使い勝手や利便性向上を図ることができる。
【００４２】
例えば、マルチメディア情報に応用すると、オブジェクトの座標クリック時のイベント動作（例えばヘルプ画面表示や、詳細情報画面へのリンク先指定等）を予め当該装置にプリセットしておくことにより、撮影しながら直ちにシーン記述データを生成することが可能になり、イベント動作を予め選択可能にしておけば、撮影動作中にイベント内容を時間帯に応じて変更させることもできる（例えばイベント動作がリンク先指定であって、撮影動作中のある時刻（ｔ０）からある時刻（ｔ１）まではリンク先は所定の説明画面、時刻（ｔ１）からある時刻（ｔ２）まではリンク先は他の説明画面等）。
また、対応機器に応用すると、インタラクティブな情報指定のためのシーン記述を行う機器（装置）にも転用することにより使い勝手が向上する。
【００４３】
４．その他の変形例
なお、本発明の実施形態は以上のものに限定されない。本発明の意図する範囲においては多種多様な形態に適用可能である。
例えば、図３では、フィールド内タイムスロットの３分割によって行う場合を例示したが、複数のフィールドを１単位としてこのフィールドブロックでサンプリングのおよび赤外光の点灯タイミングを同期させる、すなわち５フィールドを５つのタイムスロットとしてみなすことで、第１のカメラシステム１５はフィールド０、５、１０、・・・・のタイミングだけに着目して識別させることもできる。（スロットＡ、Ｂ、Ｃをそのままフィールド０、１、２とし、自フィールド時間の赤外光検出を前回検出結果に基づくものとすることによって実現することが可能）。
【００４４】
また、例えば図７において、通常撮影による画像信号の中に付加記述情報を重畳させ、赤外光感度の高い汎用の撮像デバイスを使用すれば撮像部を１つにすることも可能である。このようにすれば、回路の簡素化、生産コストの面で向上を図ることができる（つまり、本来赤外光は人間に知覚されにくいため、撮影画像に与える影響を最小限にすることができる）。
【００４５】
この場合の適用範囲としては、画像の精細度がそれほど要求されない、例えば、ＣＧ画像の重ね位置や形状指定などに用いて好適である。但し、本来の画像に与える影響をより少なくするためには、以下の工夫をすることが望ましい。
（イ）撮像部に赤外光感度カメラを使用する。
（ロ）赤外光点灯光源の点灯パターンに、例えばスペクトラム拡散符号方式のような、自然光による擾乱に対し比較的強い拡散符号系を用いる。
（ハ）赤外光領域抽出に上記赤外光光源の点灯パターンを利用した相関フィルタ処理を適用する。
【００４６】
また、データストリーム化する際には、ベースバンドデータ構成を採用し、データパケットの先頭に識別符号をのせて記述情報の詳細も伝送できるようにしてもよい。
このような本実施形態によれば、以下の効果を奏することができる。
（ａ）従来の画像処理に比べシステムへの負担を軽くでき、ハード面およびソフト面の改良が容易である。
（ｂ）異なるタイムスロットに属する照明が重ねて照射された場合でも、各カメラシステムの互いの干渉を防止することができ、複数のカメラシステムで共通の被写体を撮影することができる（特に図１〜図３）。
（ｃ）任意に赤外光照射によって抽出すべき被写体を選択・指定することができるので、被写体が移動体であっても、良好に追尾し切り出しができる（動き検出にともなう煩雑な操作を必要としない）（特に図６）。
（ｄ）照射光源の強度、拡散角度などを調整可能としたので、複雑な形状の被写体の切り出し処理を非常に簡便に行うことができる（特に図６、図７）。
【００４７】
【発明の効果】
本発明によれば、処理対象となる部分画像の抽出と、付加記述情報の受信とを、簡単に行うことができ、例えば、ＭＰＥＧ４応用システムに用いて好適な技術を提供できる。
【図面の簡単な説明】
【図１】本実施形態の概念図である。
【図２】カメラシステム１５〜１７のブロック構成図である。
【図３】抽出対象とする被写体を検出、弁別するための処理方法を説明するためのタイミングチャートである。
【図４】本発明の応用例（基本モデル）を示す図である。
【図５】図４における画像の抽出概念図である。
【図６】図４における第１の照射手段３０１、第２の照射手段３１１、光ビーム発射手段３３の詳細な構造に関する具体例を示す図である。
【図７】ＭＰＥＧ４エンコードシステムへの適用を考慮したカメラシステムの構成例である。
【図８】図７の構成における動作概念図である。
【図９】上記図７において領域・座標認識部４７、メモリ４９、形状抽出手段５０１、ＭＰＥＧ４ビジュアル符号化手段５０２、及び、ＭＰＥＧ４システム符号化手段５０５において行われる一連の処理動作を示すフローチャートである。
【図１０】インターネット・テレビ・サービスの概念図である。
【符号の説明】
１１〜１４、３３〜３６、７１〜７４ 被写体
１５〜１７、３０、３１、４０ カメラシステム（画像抽出システム、撮像装置）
２３、５０ 処理装置（画像抽出システム）
３３ 光ビーム発射手段（入光手段）
３４ｂ〜３６ｂ、７１ｂ〜７３ｂ 被写体画像
８０ｂ、撮影画像
５０１ 形状抽出手段
【発明の属する技術分野】
本発明は、画像処理方法、画像処理システム、及び、撮像装置に関する。
【０００２】
【従来の技術】
近年、ＩＴ（Information Technology）技術の進歩に伴い、例えば、通信と画像処理とを融合した新しいサービスが提供されている。
図１０は、新しいサービスの一つとして実施されているインターネット・テレビ・サービスの概念図を示すものである。
このサービスでは、サービス会社１は、スタジオカメラ等で撮影した商品画像（オブジェクト）とその商品画像に対応する情報とをユーザ端末２に配信し、ユーザー端末２では、ユーザによるマウス等のポインティングデバイス３の操作選択により、選択された商品画像に対応する情報をサービス会社１に返信する。
その後、サービス会社１は、当該商品画像により特定される商品を販売する販売会社４に発注手続きを行い、販売会社４は、この手続きを受けて発注元のユーザ宛に商品を配送する。
【０００３】
ところで、このようなサービスに適用される画像処理、及び画像符号化技術は、次第にＭＰＥＧ−４やＭＰＥＧ−７の規格記述等に代表される、より高度なマルチメディア規格によるオブジェクトベース符号化処理、及び記述情報（作者はだれか、何についての情報かなど）の付加記述情報表示処理へとシフトしている。
【０００４】
このような画像処理技術の進歩に対し、従来より知られている特殊効果に適用される画像処理方法として、特定色の背景（ブルーバック）を必要とする「クロマキー分離法」等があるが、この方法では撮影後の画像合成処理（特定の被写体画像を背景から切り出す等）で、撮影画像に”抜くべき領域”を認識させるため、予め撮影時において、特殊な撮影空間を用意したり、被写体に対し特定色（黒）の衣服を着用させる等、特別な処理を施す必要がある。
【０００５】
【発明が解決しようとする課題】
したがって、画像処理を前提とした撮影を行う場合、事前に処理内容に沿った撮影環境や被写体に特殊な処理が必要であるために、民生機器への転用が難しく今後撮影機器の使い勝手や付加機能を考えてゆく上で大きな障害となっていた。
本発明はこのような問題に際し、上記画像処理を前提とした撮影に際し、処理対象となる部分画像の抽出を即時に、且つ簡単に行うことができ、また後段の画像処理でも、上記付加記述情報の取得等が簡単に行える技術を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、点灯制御された発光部を備えた被写体、又は、点灯制御された発光部による光が照射された範囲の被写体を含む画角を撮像部に連続的に撮像させ、この画角から前記被写体を抽出する抽出ステップと、この抽出ステップにて抽出された被写体の画像を符号化する符号化ステップと、前記抽出ステップにて連続的に撮像された被写体に含まれる前記点灯制御された光を通信媒体として受信することにより、前記発光部から送信された付加記述情報を、前記符号化ステップにて符号化された被写体の画像と対応付けて出力部に出力させる出力ステップとを含むことを特徴とする。
【０００７】
請求項２記載の発明は、点灯制御された光を発光する発光手段と、この発光手段を備える被写体、又は、この発光手段の光が照射された範囲の被写体を含む画角を連続的に撮像する撮像手段と、この撮像手段によって連続的に撮像されている画角から、前記被写体の画像を抽出する抽出手段と、この抽出手段によって抽出された被写体の画像を符号化する符号化手段と、前記撮像手段によって連続的に撮像された被写体の画像に含まれる前記点灯制御された光を通信媒体として受信することにより、前記発光手段から送信された付加記述情報を前記符号化手段によって符号化された被写体の画像と対応付けて出力する出力手段とを備えたことを特徴とする。
【０００９】
請求項３記載の発明は、上記請求項２に記載の発明において、前記点灯制御とは時分割で点灯タイミングを制御することであり、この点灯タイミングに同期するように、前記撮像手段における蓄光時間を制御する蓄光時間制御手段を更に備えたことを特徴とする。
【００１０】
請求項４記載の発明は、上記請求項２又は３に記載の発明において、前記光は収束された光ビームであるとともに、この光ビームの収束半径を調整する調整手段を更に備えたことを特徴とする。
【００１１】
請求項５記載の発明は、上記請求項２乃至４の何れかに記載の発明において、前記抽出手段によって抽出されている前記被写体の前記画角における位置を取得する位置取得手段を更に備え、前記出力手段は、前記発光手段から送信された付加記述情報として前記位置情報取得手段によって取得された位置情報を出力することを特徴とする。
【００１４】
請求項６記載の発明は、点灯制御された光を含む被写体、又は、この光が照射された範囲の被写体を含む画角を撮像部に連続的に撮像する撮像手段と、この撮像手段によって連続的に撮像されている画角から、前記光を含む被写体、又は、前記範囲の被写体を抽出する抽出手段と、この抽出手段によって抽出された被写体の画像を符号化する符号化手段と、前記撮像手段によって連続的に撮像された被写体の画像に含まれる前記点灯制御された光を通信媒体として受信することにより、送信された付加記述情報を前記符号化手段によって符号化された被写体の画像と対応付けて出力する出力手段とを備えたことを特徴とする。
【００１６】
請求項７記載の発明は、上記請求項６に記載の発明において、前記点灯制御とは時分割で点灯タイミングを制御することであり、この点灯タイミングに同期するように、前記撮像手段における蓄光時間を制御する蓄光時間制御手段を更に備えたことを特徴とする。
請求項８記載の発明は、上記請求項６又は７に記載の発明において、前記抽出手段によって抽出されている前記被写体の前記画角における位置を取得する位置取得手段を更に備え、前記出力手段は、前記付加記述情報として前記位置情報取得手段によって取得された位置情報を出力することを特徴とする。
【００１７】
【発明の実施形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
１．本実施の形態の概念
図１は、本実施形態の概念を例示したものである。同図において、撮影対象範囲１０には便宜的に示す４つの被写体１１〜１４が置かれており、この撮影対象範囲１０を臨むようにして、第１のカメラシステム１５、第２のカメラシステム１６および第３のカメラシステム１７が配置されている。
第１のカメラシステム１５は図面上方から下方に向かって撮影対象範囲１０を臨む画角を形成し、第２のカメラシステム１６は図面左下から右上に向かって撮影対象範囲１０を臨む画角を形成し、第３のカメラシステム１７は図面右下から左上に向かって撮影対象範囲１０を臨む画角を形成するように配置されている。
ここで、第１のカメラシステム１５は画角α１に収まる４つの被写体１１〜１４を撮影し、第２のカメラシステム１６は画角α２に収まる２つの被写体１１、１２を撮影し、そして、第３のカメラシステム１７は画角α３に収まる２つ被写体１２、１４を撮影する。
【００１８】
このような図１の撮影方法において、各カメラシステムが撮影したそれぞれ画像から部分画像として被写体画像をするパターンとして、以下の２つ考えられる。
＜第１のパターン＞
撮影範囲１０内に時系列的に点灯制御される赤外光を発射する発射手段を備える。そして、各カメラシステムは、当該被写体が発信する赤外光を検出してその座標を抽出する。
例えば、第１のカメラシステム１５の画角α１内に存在する被写体１２には、任意の位置に赤外光を発射する発射手段が設置されているものとする。
第１のカメラシステム１５は被写体１２を連続的に撮影することにより、この赤外光を検出し、その赤外光の位置座標を取得するとともに、その点灯制御された赤外光から、付加記述情報を生成する。
【００１９】
＜第２のパターン＞
各被写体１１〜１４は上記発射手段を備えない。その代わり、時系列的に点灯制御され、任意に且つ変更可能に被写体に赤外光を照射する発射手段が撮影対象範囲１０の外、若しくは各カメラシステムに設けられており、カメラシステムは赤外光が照射された被写体を抽出対象とすべき被写体として抽出する。
例えば、第２のカメラシステム１６の画角α２内に存在する被写体１１は、発射手段を備えない。その代わり、撮影対象範囲１０の外（少なくとも第２のカメラシステムの画角α２の範囲外）には被写体１１に赤外光を照射する発射手段が備えられ、この図では被写体１１を選択して赤外光を照射している。そして、第２のカメラシステム１６が画角α２の撮影範囲１０を連続的に撮影すると、照射により被写体１１から反射される赤外光（反射光）を連続的に受信して、撮影画像より被写体１１の画像を抽出する。
なお、一端矢印付破線１８ａ、１８ｂは上記第１のパターンにおける赤外光を表し、また、一端矢印付破線１９ａ、１９ｂは第２のパターンにおける赤外光を表している。
【００２０】
図２は、上述の第１のカメラシステム１５、第２のカメラシステム１６および第３のカメラシステム１７（以下、カメラシステム１５〜１７と称する）に共通する、赤外光が照射された被写体を抽出するためのブロック構成図である。
このブロック図において、撮像部２１は、例えば、ＣＣＤ（Charge Coupled Device ）型やＣＭＯＳ（Complementary Mental-Oxide Semiconductor）型のイメージセンサを備えて画角範囲内にある被写体１１〜１３を撮影し、信号化して処理装置２３に出力する。
付加記述情報指定部２４は、赤外光検出用イメージセンサ２４１を備え、上記＜第１のパターン＞にあっては、被写体１１〜１３自ら発射する赤外光を通信媒体とした付加記述発信情報を受信し、その受信座標を含めて付加記述情報取得部２５に出力し、受信した赤外光に基づく付加記述情報を取得する。また、上記＜第２のパターン＞にあっては、付加記述情報指定部２４は、撮影時において任意に選択されて赤外光が照射された被写体から反射された赤外光を抽出し、付加記述情報取得部２５に出力し、受信した赤外光に基づく付加記述情報を取得する。
なお、付加記述情報指定部２４と付加記述情報取得部２５とは同期して動作するようになっている。処理装置２３は、撮像部２１からの撮影画像に基づく信号と、付加記述情報取得部２５からの付加記述情報を構成する信号とを組み合わせ、「画像＋付加情報」の形に合成してストリームを生成し、例えば、伝送、蓄積、変換または表示のため後段の処理部に出力する。
【００２１】
ここで、複数のカメラシステムを用いる場合、赤外光による干渉を防止する工夫、すなわち、抽出対象とすべき被写体を効率良く弁別する工夫が必要になる。
図３は、抽出対象とする被写体を検出、弁別するための処理方法を説明するためのタイミングチャートである。この例では上記＜第１のパターン＞おける、赤外光の点灯制御に時分割点灯タイミングを適用している。図において、スロットＡ、Ｂ、及びＣはそれぞれ１／６０秒（便宜上フィールドと称する。）割り当てられており、スロットＡは第１のカメラシステム１５用に割り当てたもの、スロットＢは第２のカメラシステム１６用に割り当てたもの、スロットＣは第３のカメラシステム１７用に割り当てたものである。
【００２２】
各カメラシステム１５〜１７のシャッタータイミングと、赤外線を発射する発射手段（光源）は、予め同期が確立されており、第１のカメラシステム１５に設けられた赤外光検出用イメージセンサ２４１は、撮影画像のサンプリングに際し、蓄光時間（シャッター時間）がスロットＡの最初の１／１８０秒以上にはならないように設定されている（最大値１／１８０秒の範囲で取得データの輝度設定等が行われる）。
【００２３】
通常の撮影による画像データの取得は、通常の１フィールド内でのシャッタースピード制御が行われる。発射手段は、第１のカメラシステム１５を被抽出対象とする場合、この１フィールドの最初の０〜１／１８０秒間ごとに赤外光点灯すれば、第１のカメラシステム１５の付加情報取得部２５で第１のカメラシステム１５を被抽出対象とする赤外光の点灯のみを検出することができる。同様に、第２のカメラシステム１６は１フィールド内の２／１８０〜３／１８０秒間に点灯する赤外光のみを検出し、第３のカメラシステム１７は１フィールド内の３／１８０〜４／１８０秒間赤外光のみを検出するようにすれば、カメラシステム１５〜１７同士影響を受けないことになり、互いの干渉を防止できる。
【００２４】
なお、カメラシステム１５〜１７全てにおいて赤外光点灯を検出させる場合は、１フィールド間全てを点灯すればよい。もちろん、第１のカメラシステム１５と第３のカメラシステム１７との組み合わせ検出や、第２のカメラシステム１６と第３のカメラシステム１７との組み合わせも可能である。また、上記＜第１のパターン＞に適用した場合について詳述したが、上記＜第２のパターン＞のように、抽出対象となる被写体に対して赤外光を照射する場合でも、適用可能である。
【００２５】
２．応用例（基本的モデル）
図４は、上記概念に基づいた応用例であり、上記＜第１のパターン＞、＜第２のパターン＞を併用したモデルを例示したものである。
同図において、被写体群は、１人の人物３４、２つの静止物３５、３６、及び光ビーム発射手段３３とからなり、カメラシステム３０とカメラシステム３１はこれらの被写体群を囲うように配置されている。またカメラシステム３０、３１は制御手段３２に接続され制御信号３２１、３２２が入力される。
【００２６】
カメラシステム３０は、所定のタイムスロットにて時系列的に点灯する赤外光を人物３４の顔部分に向けてスポット照射する第１の照射手段３０１と、画角α５の範囲を撮影するカメラ３０２とが接続され、このうち第１の照射手段３０１点灯や照射位置・範囲は、制御手段３２から出力される制御信号３２１によって制御される。
カメラシステム３１は、第１の照射手段３０１とは異なる所定のタイムスロットにて時系列的に点灯する赤外光を静止物３６にスポット照射する第２の照射手段３１１と、画角α６の範囲を撮影するカメラ３１２とが接続され、このうち第２の照射手段３１１による赤外光の点灯や照射位置・範囲は、制御手段３２から出力される制御信号３２２によって制御される。
【００２７】
また、光ビーム発射手段３３は、赤外光を収束して生成した光ビームを発射する。そして、その点灯（点滅）タイミングは制御手段３２から出力される制御信号３２３によって制御されている。
【００２８】
カメラシステム３０は、撮影した画像３０４、３０５から人物３４の上半身部分（図５の符号３４ａ参照）を抽出してオブジェクト符号化処理を行う。カメラシステム３１は、撮影した画像３０４、３０５から静止物３６を抽出してオブジェクト符号化処理を行う。なお、カメラシステム３０、３１、及び光ビーム発射手段は制御部３２を仲介して互いにリンクしており、カメラシステム３０、３１は上記処理において、互いに影響を及ぼさないようになっている。
【００２９】
図５は、図４におけるカメラシステム３０で撮影された被写体群の画像の抽出概念図である。
画像３０４は上記赤外光検出用センサによるものであり、上記＜第２のパターン＞に相当する方法で撮影された人物３４の上半身部分の画像３４ａと、上記＜第１のパターン＞に相当する方法で撮影された光ビーム発射手段３３による光点の画像３３ａとが含まれている。画像３０５には撮像された各被写体の画像が含まれている。画像３０４に含まれる３３ａからは、上記図２において詳述した内容に基づいて座標情報（図５では便宜的に（Ｘ，Ｙ）＝（４５０，５００））が付加記述情報として生成され、３４ａについては３４ｂの画像の上半身部分（３４ａ）が付加記述情報を関連付けさせる領域として判別させるための情報が生成される。
【００３０】
そして、合成画像３０６と、付加記述情報３０７とから統合データストリーム３０８が生成される。
この処理は、カメラシステム３１でも同様に行われ、カメラシステム３１では、静止物３６の画像について抽出、座標情報の取得、そして統合ストリームが生成される。
【００３１】
図６（ａ）〜（ｄ）は、図４における、第１の照射手段３０１、第２の照射手段３０２、及び光ビーム発射手段３３の詳細な構造に関する幾つかの構成を例示するものである。
【００３２】
図６（ａ）は、光ビーム発射手段３３に関する具体例であり、赤外光を発光する光源を備える発光体３３ａ、発射角度の調整が可能な反射板３３ｂ、及び固定部材３３ｃを有している。
図６（ｂ）は、第１の照射手段３０１、第２の照射手段３０２、及び光ビーム発射手段３３のいずれかにおいて、発射する赤外光の収束半径の調整機構に係わるもので、光ビーム発射手段３３として使用する場合は、からの収束半径αｘを絞り込み、第１の照射手段３０１、及び、第２の照射手段３０２として使用する場合は、収束半径を拡大する。
図６（ｃ）は、制御部３３をカメラシステムの外部に備えないケースであり、第１の照射手段３０１、第２の照射手段３０２、及び光ビーム発射手段３３のいずれかにおいて、光源強度・光束制御部３３ｄ、発光体３３ａ、同期・タイミング制御部３３ｅおよびメカニカルな機構を備える照射対象選択部３３ｆとによって構成したものである。
図６（ｄ）は、第１の照射手段３０１において、人物３４の画像の抽出例を図示したものである。まず、人物３４に対し第１の照射手段３０１より赤外光３０３を照射する。円錐状に拡散する赤外光３０３が背景３７に対して距離、拡散角度、信号強度において一定の条件を満していれば、背景３７の反射光３７ａの反射強度に対して人物３４の反射光９５ａの反射強度が強くなるから、人物３４からの反射光９５ａの反射強度に対応するスレッシュを抽出に適用することにより、人物３４の照射部分（上半身部分）の画像３４ａだけを抽出することができる。
【００３３】
３．応用例（ＭＰＥＧ４エンコードシステム適用モデル）
図７は、上述の図２を更に具現化し、ＭＰＥＧ４エンコードシステムへの適用を考慮した場合のカメラシステムの構成例であり、撮影範囲にある背景７０は被写体７１〜７３よりも十分距離が離れた位置にあるものであり、７４は赤外光を発光する光源である。そして、本発明を具体的に説明する例として、撮影時に、この撮影範囲に有る被写体７１〜７３の形状画像の抽出と、光源７４の位置座標抽出をリアルタイムで行い、抽出された形状画像は各々をオブジェクトベース符号化処理し、一方、光源７４に対応する位置座標にはクリックイベント等のホットスポットデータを関連付ける処理を行うものとする。
【００３４】
この図において、カメラシステム４０は、赤外光を波長領域とした光４１を照射する照射部４２（入光手段）と、この照射部４２の各種動作を制御する照射制御部４３と、画角α７内に存在する被写体群７１〜７４及び背景７０とを撮影する第１の撮像部４４および第２の撮像部４５と、第１の撮像部４４の前面に設けられた赤外光透過フィルタ４６と、第２の撮像部４４で撮影され、赤外光透過フィルタ４６によって透過された光源７４の座標、及び、被写体７１〜７３からの反射赤外光領域を認識する領域・座標認識部４７（検出手段）と、第１の撮像部４５で撮影された画像を取り込んでディジタルの画像信号に変換する画像ディタイズ処理部４８と、上記領域・座標認識部４７の認識結果を記憶するメモリ部４９（抽出座標リストメモリ４９ａと抽出形状リストメモリ４９ｂを含む）と、後述する形状切り出し手段５０１（抽出手段）、ＭＰＥＧ４ビジュアル符号化手段５０２、ホットスポットデータ生成手段５０３、情報入力手段５０４、及びＭＰＥＧシステム符号化手段５０５とを備え、メモリ部４９に記憶された情報と画像ディジタイズ処理部４８からの信号とを組み合わせて「画像＋付加記述情報」形式のデータ（例えば、ＭＰＥＧデータストリームや画像効果映像等）を出力する処理装置５０と、領域・座標認識部４７の動作状態を管理したり、各回路部の動作設定等を行う検出状態モニター／検出設定変更部５１とを備える。
【００３５】
図８は、図７の構成における動作概念図である。
第１の撮像部４４により撮影された赤外光画像８０ａは、光源７４、被写体７１〜７３の二値画像７１ａ〜７４ａ（例えば、ハッチング部分は論理“１”、それ以外の部分は論理“０”）を含む画像（７０は、被写体７１〜７３に比べ十分遠い位置にあるため、赤外光照射による反射強度が弱く、無視される）、一方、第２の撮像部４５により撮像された赤外光画像８０ｂは、光源７４、被写体７１〜７３に対応する画像７１ｂ〜７４ｂを含む。第１の撮像部４４により撮像された赤外光画像８０ａに含まれる光源７４の二値画像７４ａの座標情報は、抽出座標リストメモリ４９ａに記憶され、また、赤外光画像８０ａに含まれる各被写体の二値画像７１ａ〜７３ａの形状は抽出形状リストメモリ４１ｂに記憶される。
【００３６】
一方、第２の撮像部４５により撮影された画像８０ｂは、ディジタイズ処理されて処理装置４２に送られる。処理装置５０内の形状抽出手段５０１は、ディジタイズ処理された画像８０ｂから、上記抽出形状リストメモリ４９ｂの記憶内容（二値画像７１ａ〜７３ａの形状）に基づいて８０２ｂ〜８０４ｂに図示されるように、各被写体画像７１ｂ〜７３ｂを画像８０ｂから抽出する。画像８０２ｂ〜８０４ｂには抽出された各被写体画像７１ｂ〜７３ｂが含まれ、各被写体画像７１ｂ〜７３ｂはオブジェクトベース符号化される。
【００３７】
一方、抽出座標リストメモリ４１ａの記憶内容（光源７４の座標情報）、及び、汎用的な情報入力デバイス（キーボード等）を含む情報入力手段５０４からの情報に基づいて、ホットスポットデータ生成手段５０３がこの光源７４に対応する座標情報に関連するホットスポットデータ（付加記述情報）を生成する。そして、ＭＰＥＧ４システム符号化手段５０５が、ホットスポットデータ生成手段５０３からの出力内容とＭＰＥＧ４ビジュアル符号化手段５０２からの出力内容とを合成してをＭＰＥＧ４のデータストリームを生成する。
【００３８】
図９は、上記図７において領域・座標認識部４７、メモリ４９、形状抽出手段５０１、ＭＰＥＧ４ビジュアル符号化手段５０２、及び、ＭＰＥＧ４システム符号化手段５０５において行われる一連の処理動作を示すフローチャートを示すものである。
まず、初期設定時に検出のためのタイムスロットを設定し（ステップＳ１０）、検出フィールドにおいて所定のスレッシュ値以上の領域について領域ラベリング処理を行う（ステップＳ１１）。次に、検出フィールドにおいて、未処理領域有り／無しを判定し（ステップＳ１２）、有りであれば、未処理領域における１つの領域データを取り出し（ステップＳ１３）、その領域データの面積が一定値以下であるか否かを判定する（ステップＳ１４）。そして、一定値以下であれば、抽出座標リストメモリ４９ａに座標情報を登録し、一定値以上、すなわち、ある程度の領域を検出したならば、抽出形状リストメモリ４９ｂの形状データリストにその領域の形状を登録するという動作を未処理領域がなくなるまで（ステップＳ１２の判定結果が“ＮＯ”になるまで）繰り返す。
【００３９】
一方、未処理領域がない場合（ステップＳ１２の判定結果が“ＮＯ”になった場合）は、まず、抽出形状リストメモリ４１ａに領域の形状がリスト化され、形状データリストとして登録されているか否かを判定する（ステップＳ１７）。そして、登録されていればそれを取り出し、形状データリストに基づいて、画像８０ｂから対応する被写体の画像領域を切り出してプレーン化する（ステップＳ１８）。
そして形状切り出し手段５０１は、この処理を形状データリストに登録された全ての情報について繰り返し、完了すると、ＭＰＥＧ４ビジュアル符号化手段５０２において切り出された画像のオブジェクトベース符号化処理を行い（ステップＳ１９）、ＭＰＥＧ４システム符号化手段５０５が、この処理結果と、抽出座標リストメモリ４９ａに登録された登録内容（光源７４の座標情報）と、それに対応して生成されたホットスポットデータとを用いてデータストリームを生成（ステップＳ２０）し、ステップＳ１１以降の処理を未処理領域が検出されなくなるまで繰り返し実行する。
なお、この場合において、形状抽出手段５０１、ＭＰＥＧ４ビジュアル符号化手段５０２、ホットスポット生成手段５０３、及び、ＭＰＥＧ４システム符号化手段５０５は、オブジェクト指向言語で記述されたアルゴリズムであることが望ましい。
切り出された画像の規格は、ＭＰＥＧ４の「ＭＰＥＧ４ビジュアル符号化」に準拠するものであり、シーン記述についても上記ＭＰＥＧ４のにおいて公然と知られた技術であるので詳細説明は省略する。
【００４０】
この場合、第１の撮像部４４による出力画像の精細度（赤外光画像８０ａの精細度）は必ずしも第２の撮像部４５による出力画像の精細度（画像８０ｂの精細度）と必ずしも同等である必要はなく、特に赤外光画像８０ａの精細度については後段の処理において要求される程度で十分である。
【００４１】
このような本実施の形態によれば、複数の被写体を含む画像撮影に際し、所定以上の領域を持つのであればをその赤外光画像の各被写体画像の形状情報を抽出形状リストメモリ４９ｂに登録すると共に、その抽出形状リストメモリ４９ｂに登録された内容に基づいて、対応する被写体画像を別個に抽出し、オブジェクトベース符号化することができる。
さらに、領域を持たない点光源の場合は、その画像の座標情報とホットスポットデータとを関連付けすることができる。したがって、合成してＭＰＥＧ４システム符号化する際には、当該ＭＰＥＧ４で規定される画像抽出を自動化することができ、ＭＰＥＧ４システムを応用した様々なマルチメディア情報、及び対応機器の使い勝手や利便性向上を図ることができる。
【００４２】
例えば、マルチメディア情報に応用すると、オブジェクトの座標クリック時のイベント動作（例えばヘルプ画面表示や、詳細情報画面へのリンク先指定等）を予め当該装置にプリセットしておくことにより、撮影しながら直ちにシーン記述データを生成することが可能になり、イベント動作を予め選択可能にしておけば、撮影動作中にイベント内容を時間帯に応じて変更させることもできる（例えばイベント動作がリンク先指定であって、撮影動作中のある時刻（ｔ０）からある時刻（ｔ１）まではリンク先は所定の説明画面、時刻（ｔ１）からある時刻（ｔ２）まではリンク先は他の説明画面等）。
また、対応機器に応用すると、インタラクティブな情報指定のためのシーン記述を行う機器（装置）にも転用することにより使い勝手が向上する。
【００４３】
４．その他の変形例
なお、本発明の実施形態は以上のものに限定されない。本発明の意図する範囲においては多種多様な形態に適用可能である。
例えば、図３では、フィールド内タイムスロットの３分割によって行う場合を例示したが、複数のフィールドを１単位としてこのフィールドブロックでサンプリングのおよび赤外光の点灯タイミングを同期させる、すなわち５フィールドを５つのタイムスロットとしてみなすことで、第１のカメラシステム１５はフィールド０、５、１０、・・・・のタイミングだけに着目して識別させることもできる。（スロットＡ、Ｂ、Ｃをそのままフィールド０、１、２とし、自フィールド時間の赤外光検出を前回検出結果に基づくものとすることによって実現することが可能）。
【００４４】
また、例えば図７において、通常撮影による画像信号の中に付加記述情報を重畳させ、赤外光感度の高い汎用の撮像デバイスを使用すれば撮像部を１つにすることも可能である。このようにすれば、回路の簡素化、生産コストの面で向上を図ることができる（つまり、本来赤外光は人間に知覚されにくいため、撮影画像に与える影響を最小限にすることができる）。
【００４５】
この場合の適用範囲としては、画像の精細度がそれほど要求されない、例えば、ＣＧ画像の重ね位置や形状指定などに用いて好適である。但し、本来の画像に与える影響をより少なくするためには、以下の工夫をすることが望ましい。
（イ）撮像部に赤外光感度カメラを使用する。
（ロ）赤外光点灯光源の点灯パターンに、例えばスペクトラム拡散符号方式のような、自然光による擾乱に対し比較的強い拡散符号系を用いる。
（ハ）赤外光領域抽出に上記赤外光光源の点灯パターンを利用した相関フィルタ処理を適用する。
【００４６】
また、データストリーム化する際には、ベースバンドデータ構成を採用し、データパケットの先頭に識別符号をのせて記述情報の詳細も伝送できるようにしてもよい。
このような本実施形態によれば、以下の効果を奏することができる。
（ａ）従来の画像処理に比べシステムへの負担を軽くでき、ハード面およびソフト面の改良が容易である。
（ｂ）異なるタイムスロットに属する照明が重ねて照射された場合でも、各カメラシステムの互いの干渉を防止することができ、複数のカメラシステムで共通の被写体を撮影することができる（特に図１〜図３）。
（ｃ）任意に赤外光照射によって抽出すべき被写体を選択・指定することができるので、被写体が移動体であっても、良好に追尾し切り出しができる（動き検出にともなう煩雑な操作を必要としない）（特に図６）。
（ｄ）照射光源の強度、拡散角度などを調整可能としたので、複雑な形状の被写体の切り出し処理を非常に簡便に行うことができる（特に図６、図７）。
【００４７】
【発明の効果】
本発明によれば、処理対象となる部分画像の抽出と、付加記述情報の受信とを、簡単に行うことができ、例えば、ＭＰＥＧ４応用システムに用いて好適な技術を提供できる。
【図面の簡単な説明】
【図１】本実施形態の概念図である。
【図２】カメラシステム１５〜１７のブロック構成図である。
【図３】抽出対象とする被写体を検出、弁別するための処理方法を説明するためのタイミングチャートである。
【図４】本発明の応用例（基本モデル）を示す図である。
【図５】図４における画像の抽出概念図である。
【図６】図４における第１の照射手段３０１、第２の照射手段３１１、光ビーム発射手段３３の詳細な構造に関する具体例を示す図である。
【図７】ＭＰＥＧ４エンコードシステムへの適用を考慮したカメラシステムの構成例である。
【図８】図７の構成における動作概念図である。
【図９】上記図７において領域・座標認識部４７、メモリ４９、形状抽出手段５０１、ＭＰＥＧ４ビジュアル符号化手段５０２、及び、ＭＰＥＧ４システム符号化手段５０５において行われる一連の処理動作を示すフローチャートである。
【図１０】インターネット・テレビ・サービスの概念図である。
【符号の説明】
１１〜１４、３３〜３６、７１〜７４ 被写体
１５〜１７、３０、３１、４０ カメラシステム（画像抽出システム、撮像装置）
２３、５０ 処理装置（画像抽出システム）
３３ 光ビーム発射手段（入光手段）
３４ｂ〜３６ｂ、７１ｂ〜７３ｂ 被写体画像
８０ｂ、撮影画像
５０１ 形状抽出手段
Claims (8)
- 点灯制御された発光部を備えた被写体、又は、点灯制御された発光部による光が照射された範囲の被写体を含む画角を撮像部に連続的に撮像させ、この画角から前記被写体を抽出する抽出ステップと、
この抽出ステップにて抽出された被写体の画像を符号化する符号化ステップと、
前記抽出ステップにて連続的に撮像された被写体に含まれる前記点灯制御された光を通信媒体として受信することにより、前記発光部から送信された付加記述情報を、前記符号化ステップにて符号化された被写体の画像と対応付けて出力部に出力させる出力ステップと
を含むことを特徴とする画像処理方法。 - 点灯制御された光を発光する発光手段と、
この発光手段を備える被写体、又は、この発光手段の光が照射された範囲の被写体を含む画角を連続的に撮像する撮像手段と、
この撮像手段によって連続的に撮像されている画角から、前記被写体の画像を抽出する抽出手段と、
この抽出手段によって抽出された被写体の画像を符号化する符号化手段と、
前記撮像手段によって連続的に撮像された被写体の画像に含まれる前記点灯制御された光を通信媒体として受信することにより、前記発光手段から送信された付加記述情報を前記符号化手段によって符号化された被写体の画像と対応付けて出力する出力手段と
を備えたことを特徴とする画像処理システム。 - 前記点灯制御とは時分割で点灯タイミングを制御することであり、
この点灯タイミングに同期するように、前記撮像手段における蓄光時間を制御する蓄光時間制御手段を更に備えたことを特徴とする請求項２に記載の画像処理システム。 - 前記光は収束された光ビームであるとともに、この光ビームの収束半径を調整する調整手段を更に備えたことを特徴とする請求項２又は３に記載の画像処理システム。
- 前記抽出手段によって抽出されている前記被写体の前記画角における位置を取得する位置取得手段を更に備え、
前記出力手段は、前記発光手段から送信された付加記述情報として前記位置情報取得手段によって取得された位置情報を出力することを特徴とする請求項２乃至４の何れかに記載の画像処理システム。 - 点灯制御された光を含む被写体、又は、この光が照射された範囲の被写体を含む画角を撮像部に連続的に撮像する撮像手段と、
この撮像手段によって連続的に撮像されている画角から、前記光を含む被写体、又は、前記範囲の被写体を抽出する抽出手段と、
この抽出手段によって抽出された被写体の画像を符号化する符号化手段と、
前記撮像手段によって連続的に撮像された被写体の画像に含まれる前記点灯制御された光を通信媒体として受信することにより、送信された付加記述情報を前記符号化手段によって符号化された被写体の画像と対応付けて出力する出力手段と
を備えたことを特徴とする撮像装置。 - 前記点灯制御とは時分割で点灯タイミングを制御することであり、
この点灯タイミングに同期するように、前記撮像手段における蓄光時間を制御する蓄光時間制御手段を更に備えたことを特徴とする請求項６に記載の撮像装置。 - 前記抽出手段によって抽出されている前記被写体の前記画角における位置を取得する位置取得手段を更に備え、
前記出力手段は、前記付加記述情報として前記位置情報取得手段によって取得された位置情報を出力することを特徴とする請求項６又は７に記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000191106A JP4362639B2 (ja) | 2000-06-26 | 2000-06-26 | 画像処理方法、画像処理システム、及び、撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000191106A JP4362639B2 (ja) | 2000-06-26 | 2000-06-26 | 画像処理方法、画像処理システム、及び、撮像装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009149288A Division JP2009213178A (ja) | 2009-06-24 | 2009-06-24 | カメラシステム、及び、データストリーム生成方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002008015A JP2002008015A (ja) | 2002-01-11 |
| JP2002008015A5 JP2002008015A5 (ja) | 2009-01-08 |
| JP4362639B2 true JP4362639B2 (ja) | 2009-11-11 |
Family
ID=18690458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000191106A Expired - Lifetime JP4362639B2 (ja) | 2000-06-26 | 2000-06-26 | 画像処理方法、画像処理システム、及び、撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4362639B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3918813B2 (ja) | 2001-10-23 | 2007-05-23 | ソニー株式会社 | データ通信システム、データ送信装置、並びにデータ受信装置 |
| JP4600297B2 (ja) * | 2006-01-11 | 2010-12-15 | ソニー株式会社 | オブジェクトの関連情報の記録システム，オブジェクトの関連情報の記録方法，テレビジョン受像機及び表示制御方法 |
| WO2016114015A1 (ja) * | 2015-01-15 | 2016-07-21 | ソニー株式会社 | 撮像制御装置、撮像制御方法及びプログラム |
-
2000
- 2000-06-26 JP JP2000191106A patent/JP4362639B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002008015A (ja) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1086572C (zh) | 识别装置 | |
| US6819783B2 (en) | Obtaining person-specific images in a public venue | |
| US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
| US20050111705A1 (en) | Passive stereo sensing for 3D facial shape biometrics | |
| US20020149681A1 (en) | Automatic image capture | |
| CN110490041A (zh) | 人脸图像采集装置及方法 | |
| GB2375913A (en) | Bispectral camera with target-locating ability | |
| JP4012995B2 (ja) | 画像撮像装置および方法 | |
| JPH11203478A (ja) | アイリスデータ取得装置 | |
| JP2005062990A (ja) | 虹彩認証装置 | |
| US7158099B1 (en) | Systems and methods for forming a reduced-glare image | |
| JPH0628449A (ja) | 画像合成装置 | |
| JP4362639B2 (ja) | 画像処理方法、画像処理システム、及び、撮像装置 | |
| JP2011009805A (ja) | 光無線通信端末装置、光無線通信システム、光無線通信方法、およびプログラム | |
| US10748019B2 (en) | Image processing method and electronic apparatus for foreground image extraction | |
| KR100813936B1 (ko) | 동영상의 동적 피사체 추출 및 영상합성 서비스 방법 | |
| JP2011182026A (ja) | 画像処理装置、画像表示システム、画像抽出装置 | |
| JP2011009803A (ja) | 光無線通信装置、光無線通信携帯端末、送信装置、光無線通信方法、およびプログラム | |
| CN112926367A (zh) | 一种活体检测的设备及方法 | |
| JP2008021072A (ja) | 撮影システム、撮影装置およびそれを用いた照合装置ならびに撮影方法 | |
| JP2009213178A (ja) | カメラシステム、及び、データストリーム生成方法 | |
| Li et al. | A dual-modal face anti-spoofing method via light-weight networks | |
| JP2013074466A (ja) | 動画撮影システム、動画解析装置、動画解析方法およびコンピュータプログラム | |
| US20230290185A1 (en) | Anti-Spoofing System | |
| Singh et al. | FDSNet: Finger dorsal image spoof detection network using light field camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090312 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090612 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090717 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090730 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4362639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |