JP2007129573A - 撮像装置 - Google Patents

Abstract

【課題】ネットワーク上で様々な要求を行うユーザに対して、実時間性を守って複数のサービスを提供できるようにする。
【解決手段】撮像データを動画像データに現像する現像処理部２３０と、動画像データを画像処理する画像処理部１と、画像処理部１で処理した動画像データをネットワーク網４上に送出するネットワークインタフェース３２０と、動画像データを構成する１画面分の画像データの更新間隔である１映像期間内に、画像処理部１において複数の異なる画像処理を施した動画像データをネットワークインタフェース３２０に出力するように制御するネットワーク制御部３１０を具備するようにする。
【選択図】図１

Description

本発明は、動画像データをネットワーク上に送出する撮像装置に関するものである。

近年、インターネットが普及し、ＷＷＷ（World Wide Web）等による情報発信が一般的に行なわれるようになってきた。その様な中で、リアルタイムに映像を撮影し、その映像（動画像）をネットワーク上に発信する機能を有する撮像装置が出現している。キヤノン社製のネットワークカメラサーバＶＢ−Ｃ１０はその好例である。

一方、ネットワークを介してユーザにサービスを提供しようとすると、ユーザの要求は多岐にわたるため、ある時点で撮影された１つの入力画像に対して、複数の異なるパラメータで処理した符号化データを要求される場合がある。このような要求に対応しようとした画像処理装置の第１の例としては、符号化処理部を複数持つことにより、対応しようとするものが存在する（例えば、特許文献１参照）。

また、画像処理装置の第２の例としては、予めＲＯＭに格納している各種変換アルゴリズムを必要に応じて読み出し、ＤＳＰにそのアルゴリズムの処理を行わせることによってユーザの多様な要求に答えようとするものが存在する（例えば、特許文献２参照。）。

特開２００３−３０９８５３号公報（第１９頁、図１及び図６、第２０頁、図３） 特開平６−１２５４１１号公報（第８頁、図１、第１０頁、図４）

特許文献１に記載の技術のように、符号化処理部を複数持つことで複数の画像処理の要求に対応しようとする場合は、その処理ユニット数によってサービスできる内容の制限を受けることになる。処理ユニットの数を増やせば制限は緩くなるが、映像配信システムの撮影側機能をもつネットワークカメラサーバなどは一般に小型化を要求されるものである。そして、そこに実装できる処理ユニットの数は、基板／チップ面積や発熱量などによって制限を受けるので、実際には処理ユニットの数は限られたものになるという課題がある。

一方、リアルタイムに映像を撮影し、その映像を監視用途などに蓄積及び配信に利用する場合には、撮像装置から入ってくる映像を取りこぼすことは許されない。例えば、１秒間に３０フレームの映像を撮影するビデオカメラ入力から映像入力を得る場合、あるフレームに関する処理を行うことが許される時間は１枚のフレーム画像の入力に要する時間である原則１／３０秒である。この１枚のフレーム画像の入力に要する時間を「１映像期間」と呼ぶことにする。その中で先に述べた多種多様なユーザの要求に応えることがシステムに求められる。また、映像撮影部を遠隔から操作できることのできるネットワークカメラにおいては、リアルタイム性、及び低遅延であることが求められる。

特許文献２に記載の技術は、単純に複数の画像処理をアルゴリズムに従ってＤＳＰが時分割的に並行して実施するのみであり、１映像期間内に処理が完了する保証がないという課題がある。

即ち、動画像データをネットワーク上に送出する従来の撮像装置では、当該ネットワーク上で様々な要求を行うユーザに対して、実時間性を守って複数のサービスを提供することが困難であるという課題があった。

本発明は上述の問題点にかんがみてなされたものであり、ネットワーク上で様々な要求を行うユーザに対して、実時間性を守って複数のサービスを提供することを可能とする撮像装置を提供することを目的とする。

前記課題を解決するために本発明は、被写体を撮像して撮像データを得る撮像手段と、前記撮像手段で得られた撮像データを動画像データに現像する現像手段と、前記動画像データを画像処理する画像処理手段と、前記画像処理手段で処理した動画像データをネットワーク上に送出するネットワーク通信手段と、前記動画像データを構成する１画面分の画像データの更新間隔である１映像期間内に、前記画像処理手段において複数の異なる画像処理を施した動画像データを前記ネットワーク通信手段に出力するように制御する制御手段とを有することを特徴とする撮像装置等を提供する。

本発明によれば、複数の処理ユニットを並列に実装すること無しに１つのコーデックを用いて１映像期間内に複数回の画像処理を行うことができ、ネットワーク上で様々な要求を行うユーザに対して、実時間性を守って複数のサービスを提供することが可能となる。また、複数の処理ユニットを並列に実装すること無しにサービスを提供することが可能になるので、実時間性を失わない範囲で、サービスの内容（映像圧縮方式の種類・解像度・Ｑ値等）を予め処理ユニット数などで制限すること無しに提供をすることができる。

また、画像処理手段に、１映像期間内に複数回の処理パラメータの設定が可能な符号化処理部を具備するようにしたので、ユーザが求める様々な画像パラメータに応じた符号化処理を１映像期間内に１つの処理ユニットの上で実施することが可能となる。例えば、複数のユーザの表示端末上でコマ落ちさせることなく滑らかに異なる品質の動画像を表示させることが可能になる。また、複数の処理ユニットを並列に実装する必要がなくなることから、基板もしくはチップ面積を小さくし、消費電力等も削減できるので、結果として小型の撮像装置を提供することができる。

また、ネットワーク上の利用者からの要求に基づいて１映像期間内に処理可能な処理内容を判別し、画像処理手段に対して少なくとも画像処理の順序又は画像処理の内容を指示する処理性能判断部を更に有するようにしたので、画像圧縮処理などのユニット性能をその性能の極限まで無駄なく利用することが可能になり、１つのコーデックを用いて１映像期間内に、より多くのユーザに実時間性を守って複数のサービスを提供することが可能になる。更に、前記処理性能判断部をネットワーク通信手段に具備するようにしたので、より内部のデータ通信を減らしながら、上記機能を実現することができるようになり、全体としての処理性能の向上や消費電力の削減などを実現することが可能となる。

また、前記画像処理手段に、符号化処理部に加えて更に、１映像期間内に複数回の処理パラメータの設定が可能な画像切出し処理部を具備するようにしたので、符号化処理部を設けた効果に加えて、様々なユーザの要求に応じて１つの高解像度の画像データから任意の位置と任意のサイズを指定して複数の部分領域画像を作成し、１映像期間内におけるそれら複数の部分領域画像データを用いた画像処理を１つの処理ユニットの上で実施することが可能となる。

また、前記画像処理手段に、符号化処理部に加えて更に、１映像期間内に複数回の処理パラメータの設定が可能な解像度変換部を具備するようにしたので、符号化処理部を設けた効果に加えて、１つのコーデックを用いて１映像期間内に複数の領域の画像処理、及び、複数の解像度を持つ画像の画像処理を行うことができる。特に、高解像度の撮影画像の任意領域を切出して解像度変換することによって得られる画像、及び部分的に切出して解像度変換はしない画像など、高解像度の映像からユーザの要求に基づく任意の画角と解像度にした画像を１つのコーデックを用いて１映像期間内に複数のユーザに対して処理することが可能になる。また、複数の映像期間を利用した高解像度データの処理を行うことが可能である。特に、ＵＸＧＡサイズのＪＰＥＧ圧縮を連続する２映像期間に割り当て、かつその処理が時間的に連続するように処理順序を制御してサービスを提供することによって、複数の映像期間に跨って高解像度データを保持するためのフレームバッファをその処理専用に設ける必要がなくなり、メモリサイズを節約できるなどの効果を奏する。

また、前記画像処理手段に、前記解像度変換処理後の画像データを一時蓄え、１映像期間内の後続の処理を行うことを可能とするフレームバッファを含むようにしたので、同一画角の画像の解像度変換処理を複数の表示側端末から要求されるような場合に、同じ解像度変換を繰り返したりすることや、必要以上に詳細なデータを元に圧縮することをせずにすむようになるなど、後続の解像度変換処理にかかる時間を短縮することができる。これにより、１映像期間内に１つの処理ユニットの上で実施することができる処理の内容をより充実させることが可能となる。

また、前記画像処理手段に、１つの画像データを符号化処理部と解像度変換部とに時間的に並行して供給するための画像データのＤＭＡ機構を有するようにしたので、同一の画角で、異なる解像度の画像を同一映像期間内に処理することを複数の表示側端末から要求される場合に、解像度変換前の元データの読出し回数及び時間を削減することができ、その分のメモリやバスの帯域性能を有効利用できるようになる。特に、高解像度の画像データを利用した画像処理に関係する部分での処理時間を短縮する効果を期待することができ、１映像期間内に１つの処理ユニットの上で実施することができる処理の内容をより充実させることが可能となる。その結果、より多くのユーザからの異なる要求に対応した処理を行うことが可能になる。

また、１つの画像データのうちの前記部分データを除いた残りの部分データを解像度変換部に別途供給し、分割して実施した解像度変換処理の結果得られたデータを１つの画像データとして符号化処理部で処理するようにしたので、画像データのフレームバッファからの読出しにかかる回数及び時間を削減することが可能になる。特に、部分データにおいても並行利用が可能になることにより、高解像度の画像データを利用した画像処理に関係する部分での処理時間を短縮する効果を期待することができ、１映像期間内に１つの処理ユニットの上で実施することができる処理の内容をより充実させることが可能となる。また、部分画像の処理を複数の映像期間で連続的に行う場合に、複数の映像期間にまたがった処理を実施する機能を付け加えることにより、更に処理能力を向上させることが可能になり、複数の映像期間における実行並列度の差による処理能力のばらつきを小さくすることが可能になる。

また、画像データの符号化処理が複数の形式の符号化処理に対応させることにより、更に、１つのコーデックを用いて１映像期間内に複数の符号化方式によるの画像圧縮処理を効率よく実施することが可能になる。特に、複数の形式の符号化処理に対応して、ラスタ／ブロック変換部のデータパスを動的に変更するようにすることにより、複数のラスタ／ブロック変換部を設けることなく複数の形式の符号化処理に対応することが可能となる。これにより、システム全体としてのメモリ利用効率が向上し、チップの小型化が実現し、撮像装置の小型化に繋がる効果が期待される。

以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置示すブロック図である。
図１において撮像装置５には画像処理部１、撮像部２、及び通信部３の大きく分けて３つの構成要素が存在する。撮像部２は、映像が入射されるレンズ２１０、レンズで集められた光を電気信号に変換するセンサー２２０、センサー２２０から得られる信号を現像する現像処理部２３０からなる。

現像された信号は画像データとして画像処理部１に与えられ、そこで符号化などの処理を経た後、通信部３に符号化データとして与えられる。通信部３では、ネットワーク制御部３１０が入力された符号化データを送出するネットワークの形態に応じてパケット化するなどの処理を行い、ネットワークインタフェース３２０に対して送信用データとして受け渡す。ネットワークインタフェース３２０はネットワーク網４に対してそのネットワークの形態に応じた形でデータを送出する。ネットワーク網４はEthernet（登録商標）等の有線ＬＡＮ、ＩＥＥＥ８０２．１１ｂ等に代表される形式の無線ＬＡＮ、もしくはＩＳＤＮ等の公衆回線網などを代表的なものとして想定することができる。

なお、本実施形態では図１において画像処理部１、撮像部２、通信部３はそれぞれ別のブロックとして記述しているが、本実施形態を実ハードウェアで構成する際には、これらのブロックをそれぞれ別のＩＣとして実現する、もしくは各部のいくつかの部分（例えば現像処理部２３０と画像処理部１とネットワーク制御部３１０）をまとめて１チップ上に実現するなどの様々な実現形態が可能であり、その形態は本実施形態において制限されるものではない。

図２は、画像処理部１の詳細な構成を示すブロック図である。
図２において、画像処理部１にはフレームバッファ１０、画像データＤＭＡＣ（ダイレクトメモリアクセス・コントローラ）２０、ラスタ／ブロック変換用メモリ４０、コーデック処理部５０、符号化データＤＭＡＣ６０、制御用シーケンサ７０、画像処理用メモリ１１、データバッファ１２がそれぞれ示されている。制御用シーケンサ７０は、この画像処理部１の中の画像データＤＭＡＣ２０、ラスタ／ブロック変換用メモリ４０、コーデック処理部５０、符号化データＤＭＡＣ６０とそれぞれ制御用信号線で接続されており、これらの各ユニットの制御を実施する。更に、現像処理部２３０とは、フレームデータ転送完了割込み信号線、通信部３とは画像−通信部間制御信号７１で接続され、相互に信号をやり取りして動きを制御する。また、コーデック処理部５０は、画像処理用メモリ１１と接続され、このメモリを利用して各種画像処理を実施する。更に、コーデック処理部５０は内部にパラメータレジスタ５１を持っており、このパラメータレジスタに対して制御用シーケンサ７０が書き込んだ値に従って、各種画像処理を実施するものとする。

なお、フレームバッファ１０、画像処理用メモリ１１、データバッファ１２のそれぞれは画像処理部のそれ以外の構成要素が１つのＩＣの中で実現される場合に、それらと同一のＩＣ上のオンチップメモリとして構成することや、ＩＣの外部でそのＩＣと接続されるメモリデバイス（例えばＳＤＲ（Single Data Rate）又はＤＤＲ（Double Data Rate）のＳＤＲＡＭ（シンクロナスＤＲＡＭ）など）として実現することが可能である。また、そのメモリもそれぞれを別のメモリデバイス上に配することや１つの同じメモリデバイス上に配置するなど、様々な構成をとることが可能である。

以下、撮像装置５の基本動作等について図１、２を用いて詳細に説明する。
図１において、まず、撮影部２のレンズ２１０によって集められた光の画像情報がセンサー２２０によって電気信号として取り込まれる。このセンサー２２０はＣＣＤイメージセンサー、又はＣＭＯＳイメージセンサーなどを利用することが可能である。本実施形態においては、正方画素のプログレッシブ形式のＣＣＤであるとする。また、その有効画素数は６４０×４８０のいわゆるＶＧＡサイズであり、１／３０秒毎に１フレームのＶＧＡ画像を出力することができるものとする。即ち、本実施形態での１映像期間は１／３０秒（およそ３３.３ｍｓ）であるとする。センサー２２０で光電変換されて電気信号として取り込まれた画像データは、順次読み出され現像処理部２３０に渡される。現像処理部２３０では、センサー２２０から得られた画像データを信号処理して、輝度信号と色差信号を作り出し、後段で処理しやすい形式にして出力する。仮にここでは、ＹＵＶ４２２形式で出力されるものとする。

撮像部２の現像処理部２３０でＹＵＶ４２２形式にされた画像データは画像処理部１のフレームバッファ１０にフレーム単位で格納される。その後の動作を図２及び図３のタイミングチャートを用いて説明する。

現像処理部２３０から出力されたデータはフレームバッファ１０にフレーム単位で格納される。フレームバッファ１０は図３に示すように内部はダブルバッファ形式になっており、第ｎ番目のフレームと第ｎ＋１番目のフレームの画像データがそれぞれ別の領域（バッファＡ及びＢ）に格納されるようになっている。そのため、第ｎフレームの画像データがある映像期間に例えばバッファＡに蓄えられた場合、それを読み出して次の映像期間で利用している間に、第ｎ＋１フレームの画像データをバッファＢに蓄えていくことが可能になる。

今、第ｎフレームのフレームバッファ１０のバッファＡへの蓄積が完了したとする。すると、現像処理部２３０から制御用シーケンサ７０に対してフレームデータの転送完了割込みが発生する（図３矢印１）。

転送完了割込みを受けて、制御用シーケンサ７０は、まずコーデック処理部５１のパラメータレジスタ５１に対してどのような処理をコーデック処理部でおこなうかを指示するためのパラメータをセットする（図３矢印２ａ）。本実施形態では、このコーデック処理部はＪＰＥＧの圧縮処理をおこなうものとする。その場合、例えば映像の圧縮の度合いを示すＱ値などがその圧縮のパラメータの代表的な例となる。

パラメータレジスタ５１へのパラメータのセットが終了すると、次いで制御用シーケンサ７０は画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出して、コーデック処理部５０に対してデータを供給するための転送を開始するように指示をする（図３矢印３ａ）。

指示を受けた画像データＤＭＡＣ２０はフレームバッファ１０のバッファＡから第ｎフレームの画像データを順に読み出して、ラスタ／ブロック変換用メモリ４０に供給する。コーデック処理部５０でＪＰＥＧの処理をおこなうためには、８×８の画素のブロック単位でデータを供給する必要があるので、このラスタ／ブロック変換用メモリ４０でそのようにデータを変換してコーデック処理部５０に供給する（図３矢印４ａ）。

コーデック処理部５０はラスタ／ブロック変換用メモリ４０から与えられた画像データをパラメータレジスタ５１に設定されたパラメータの値に従ってＪＰＥＧ圧縮し、符号化データＪＰＥＧａとする。なお、本実施形態のこの最初の圧縮ではＱ値＝Ｑａとして圧縮しているとする。コーデック処理部５０によって圧縮された符号化データは順次符号化データＤＭＡＣ６０に受け渡され、符号化データＤＭＡＣ６０はデータバッファ１２に対して一定の単位で符号化データを転送する。そして第ｎフレームの画像データより作成された全ての符号化データの転送を完了した時点で、制御用シーケンサ７０は通信部３に対して符号化データの転送完了割込みを送出する（図３矢印５ａ）。この割り込み通知は画像−通信部間制御信号７１を介して伝達される。

通信部３では符号化データの転送完了割込みを受けて、ネットワーク制御部３１０がデータバッファ１２から符号化データを読み出し、その符号化データを送出するネットワークの形態に応じてパケット化するなどの処理を行い、ネットワークインタフェース３２０に対して受け渡す。ネットワークインタフェース３２０はネットワーク網４に対してそのネットワークの形態に応じた形でデータを送出する。

図４は、本実施形態に係る撮像装置５を用いたシステムの構成例を示した図である。
ネットワーク網４には表示端末４００が接続され、端末上のビューワ４０１を利用してユーザは撮像装置５が撮影した画像を表示する。図４では４００ａから４００ｈまで合計８つの表示端末が存在し（うち５つは図示せず）、それぞれの表示端末上でビューワ４０１ａから４０１ｈが動作し、各ユーザがそれを利用しているものとする。

図４に示すようなシステムにおいて、ユーザが接続されるネットワーク環境及びユーザが必要とする画像品質等は様々である。もし、ユーザの求める画像品質がコーデック処理部５０のパラメータレジスタ５１に対して与えるパラメータの観点から見て同一のパラメータで実現できるようであれば、撮像装置５の通信部３のネットワーク制御部３１０が個々のユーザの端末に向けてデータを送出するようにする際に、同一の符号化データをコピーしてネットワークインタフェース３２０に受け渡すことによって複数のユーザに映像データをサービスすることが可能である。

しかし、各ユーザが異なる画像品質のパラメータを要求するような場合においては、そのようにコピーするだけでは実現できない。また、ユーザの表示端末４００上でコマ落ちさせることなく滑らかに動画像を表示させるようにするためには、１映像期間内（本実施形態では１／３０秒（約３３.３ｍｓ））の中で各ユーザが求める画像処理をそれぞれ行う必要がある。以下、そのような場合の撮像装置５の動作について図１〜４を用いながら説明する。先に図２、３を用いてその動作の基本は説明しているので、複数ユーザからの要求に答えるための動作と、それを受けての一連の動作の流れを説明する。

いま、図４において表示端末４００ａから４００ｈを利用している各ユーザが、それぞれ、Ｑ＝Ｑａ〜Ｑｈで表されるＱ値を持つＪＰＥＧ画像を欲しているものとする。通信部３のネットワーク制御部３１０の中にある処理性能判断部３１１は、各端末から要求の出ている処理の内容を、１映像期間内に全て画像処理部で処理させることが可能であるかどうかの判断を行う。本実施形態では、予め処理内容（処理の種類、扱うデータ量、圧縮度など）から画像処理部の処理性能を評価するテーブルを引き、その結果Ｑ＝Ｑａ〜Ｑｈで表されるそれぞれのＱ値を持つＪＰＥＧ画像の処理を行うことが問題ないと判断し、画像処理部に対して処理の指示を出す。この指示は、図２の画像−通信部間制御信号７１を利用して画像処理部１の制御用シーケンサ７０に対して伝達される。

なお、本実施形態において処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるとしたが、例えば、画像処理部１の中に配することや、画像処理部１の制御用シーケンサ７０に組み込まれた機能の一部として実装することも可能であり、その機能実現のためには、その位置は基本的には本実施形態において制限されるものではない。

仮に、処理性能判断部３１１が制御用シーケンサ７０に組み込まれていた場合には、各端末から要求の出ている処理内容がネットワーク制御部３１０を経由して、画像−通信部間制御信号７１を介して制御用シーケンサ７０内の処理性能判断部３１１に伝達され、その情報を用いて上記判断を実施することになる。但し、この場合は、既に処理性能判断部３１１が圧縮処理等の画像処理をこれ以上受け入れられないと判断している場合であっても、その判断部は制御用シーケンサ７０内部にあるため、新規のユーザ要求が画像−通信部間制御信号７１を介して制御用シーケンサ７０内の処理性能判断部３１１にまで伝達され、そのユーザ要求への拒否回答が同じ経路を帰っていくことになる。また、ネットワーク上のユーザからの要求は映像期間とは同期せずに不定期に送付されてくるため、制御用シーケンサ７０にもデータが不定期に送信されることになり、制御用シーケンサが予期せぬタイミングの要求に対応しなくてはならなくなるなど、結果として画像処理部１の制御に悪影響を及ぼす可能性がある。

一方、処理性能判断部３１１がネットワーク制御部３１０の中にある場合はユーザ要求に対しての処理は基本的にネットワーク制御部３１０の中で判断され、必要のある場合のみ画像−通信部間制御信号７１を介して制御用シーケンサ７０に対して要求が伝達される。また、そのデータの伝達タイミングも映像期間と同期した一定のタイミングで与えることが可能である。このように必要なデータ伝送のみを実施してなるべく全体の処理負荷を減らすという観点から考えると、本実施形態のように処理性能判断部３１１は通信部３のネットワーク制御部３１０の中にあるほうが好ましい。

図３において、Ｑ＝Ｑａの圧縮パラメータを用いた画像圧縮処理が終了し、ＪＰＥＧａの符号化データの転送完了割込みを送出した（図３矢印５ａ）ことを制御用シーケンサ７０が認識すると、制御用シーケンサ７０は次に求められている画像処理のパラメータを調べる。そして、図３のように次に求められている圧縮に利用すべきパラメータＱ＝Ｑｂをコーデック処理部５０のパラメータレジスタ５１に対して設定する（図３矢印２ｂ）。

それ以降の動作はＱ＝Ｑａの時と同様であり、パラメータレジスタ５１へのパラメータのセットが終了すると、次いで制御用シーケンサ７０は画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出して、コーデック処理部５０に対してデータを供給するための転送を開始するように指示をする（図３矢印３ｂ）。次いで指示を受けた画像データＤＭＡＣ２０はフレームバッファ１０のバッファＡから第ｎフレームの画像データを順に読み出して、ラスタ／ブロック変換用メモリ４０に供給し、８×８の画素のブロック単位に変換されて画像データはコーデック処理部５０に供給される（図３矢印４ｂ）。

コーデック処理部５０は、ラスタ／ブロック変換用メモリ４０から与えられた画像データをパラメータレジスタ５１に設定されたパラメータの値（この時点ではＱ＝Ｑｂ）に従ってＪＰＥＧ圧縮し、符号化データＪＰＥＧｂとする。コーデック処理部５０によって圧縮された符号化データは順次符号化データＤＭＡＣ６０に受け渡され、符号化データＤＭＡＣ６０はデータバッファ１２に対して一定の単位で符号化データを転送する。そして第ｎフレームの画像データより作成されたＱ＝Ｑｂ時のすべての符号化データ転送を完了した時点で、制御用シーケンサ７０は通信部３に対してＱ＝Ｑｂ時のＪＰＥＧｂの符号化データ転送完了割込みを送出する（図３矢印５ｂ）。

通信部３ではＱ＝Ｑｂ時で処理を行った符号化データの転送完了割込みを受けて、ネットワーク制御部３１０がデータバッファ１２から符号化データを読み出し、Ｑ＝Ｑｂでの処理要求を出していた表示端末４００ｂに対して符号化データを送出するようにアドレス処理等を実施する。ネットワークインタフェース３２０はネットワーク網４を介して表示端末４００ｂに対してデータを送出する。

この一連の動作が個々のユーザが要求する異なるＱ値に応じて複数回１映像期間内に繰り返される。本実施形態では、処理性能判断部３１１が１映像期間内に実現可能であると判断したＱａからＱｈに対応する合計８回のパラメータ設定とそれに伴う画像圧縮処理が１映像期間内に実施されている。このようにすることによって、複数の処理ユニットを並列に実装すること無しに１つのコーデックを用いて１映像期間内に複数回の画像圧縮処理が可能になり、ネットワークの先の様々な要求を持つユーザに対して実時間性を守って複数のサービスを提供することが可能になる。

例えば、複数のユーザの表示端末上でコマ落ちさせることなく滑らかに異なる品質の動画像を表示させることが可能になる。また、複数の処理ユニットを並列に実装する必要がなくなることから、基板もしくはチップ面積を小さくし、消費電力等も削減できるので、結果として小型のネットワークカメラを提供できるようになる。

また、特に処理性能判断部３１１が的確に判断することによって、画像圧縮処理などのユニット性能をその性能の極限まで無駄なく利用することが可能になり、１つのコーデックを用いて１映像期間内により多くのユーザに実時間性を守って複数のサービスを提供することが可能になる。更に、処理性能判断部３１１をネットワーク制御部３１０の中に配することによって、より内部のデータ通信を減らしながら、上記機能を実現することができるようになり、全体としての処理性能の向上や消費電力の削減などの効果がある。

（第２の実施形態）
第１の実施形態においては、ユーザの要求する画像処理の相違はＱ値であるとした。しかし、別の局面ではユーザの要求する画像処理はＱ値だけにとどまらない場合がある。そのような場合について図１、図４、及び図５から図７を用いて説明する。図１、図４は図としての構成要素は同一であるので第１の実施形態のものを流用する。

図１において、本実施形態では、撮像部２のセンサー２２０は、全画素読出し方式のＣＭＯＳセンサーであり、その有効画素数は１６００×１２００のいわゆるＵＸＧＡサイズであるとする。そして、その画素形態は正方画素であり１／３０秒毎に１フレーム分のＵＸＧＡ画像を出力することができるものとする。即ち、本実施形態での１映像期間は１／３０秒（およそ３３.３ｍｓ）であるとする。

このような条件下で、図４における各ユーザは、ＵＸＧＡの画像の内部で任意のＶＧＡサイズ以下の画像領域を設定し、その部分画像を切出して利用しているものとする。ＵＸＧＡの画像サイズの中でどの部分の画像を切出して利用しているかの例を図５に示す。

図５では、図４の表示端末４００ａのビューワ４０１ａに表示される画像領域をａ、表示端末４００ｂのビューワ４０１ｂに表示される画像領域をｂというようにして表示端末４００ｈに対応する画像領域ｈまでが示されている。ここでは、表示端末４００ａから４００fまでのユーザがＶＧＡサイズ（６４０×４８０）、表示端末４００g及び４００ｈのユーザがＱＶＧＡサイズ（３２０x２４０）の画像サイズの映像データを利用している。

また、通信部３のネットワーク制御部３１０の中にある処理性能判断部３１１は、各端末から要求の出ている処理の内容を、１映像期間内に全て画像処理部で処理させることが可能であるかどうかの判断を行う。本実施形態では、図５で示されている画像領域の全ての切出し処理、及びその映像を利用した画像処理部におけるＪＰＥＧ画像の処理を行うことが問題ないと判断し、画像処理部に対して処理の指示を出すものとする。

なお、本実施形態において処理性能判断部３１１は通信部３のネットワーク制御部３１０の中にあるとしたが、第１の実施形態と同様に例えば、画像処理部１の中に配することや、画像処理部１の制御用シーケンサ７０に組み込まれた機能の一部として実装することも可能であり、その位置は本実施形態において制限されるものではない。但し、第１の実施形態と同様に必要なデータ伝送のみを実施してなるべく全体の処理負荷を減らすという観点から考えると、本実施形態のように処理性能判断部３１１は通信部３のネットワーク制御部３１０の中にあるほうが好ましい。

このような前提の下で、本実施形態における画像処理部１の動作を図１及び図４、５を参照しながら図６及び図７を用いて説明する。

図６において、現像処理部２３０から出力されたＵＸＧＡサイズの画像データは、フレームバッファ１０にフレーム単位で格納される。フレームバッファ１０は、図７に示すように内部はダブルバッファ形式になっており、第ｎ番目のフレームと第ｎ＋１番目のフレームの画像データがそれぞれ別の領域（バッファＡ及びＢ）に格納されるようになっている。

今、第ｎフレームのフレームバッファ１０のバッファＡへの蓄積が完了したとする。すると、現像処理部２３０から制御用シーケンサ７０に対してフレームデータの転送完了割込みが発生する（図７矢印１）。

転送完了割込みを受けて、制御用シーケンサ７０は、まず第１の実施形態と同様にコーデック処理部５１のパラメータレジスタ５１に対してどのような処理をコーデック処理部でおこなうかを指示するためのパラメータをセットする（図７矢印２ａ）。本実施形態では、このコーデック処理部はＪＰＥＧの圧縮処理をおこなうものとする。その場合、例えば映像の圧縮の度合いを示すＱ値などがその圧縮のパラメータの代表的な例であり、この時点では表示端末４００ａが要求しているＱ＝Ｑａが設定されたとする。

次いで制御用シーケンサ７０は画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出して、コーデック処理部５０に対してデータを供給するための転送を開始するように指示をする（図７矢印３ａ）。その際、制御用シーケンサ７０は画像データＤＭＡＣ２０の転送領域設定レジスタ２１に対してフレームバッファ１０に蓄えられたＵＸＧＡの画像データからどの領域を読み出してコーデック処理部５０に与えるかを指示するための領域パラメータをセットする。

この領域パラメータは、図６の画像−通信部間制御信号７１を利用して予め画像処理部１の制御用シーケンサ７０に対してネットワーク上の各表示端末４００ａ〜ｈより要求がなされているものとする。この時点では、表示端末４００ａが要求しているＶＧＡサイズの画像（図５の領域ａ）を示すように、コーデック処理部５０に与えるデータの開始位置を示す座標データと、画像サイズ（ＶＧＡ）を示すデータが制御用シーケンサ７０に対して与えられ、制御用シーケンサ７０はそれらのデータから求めた転送領域情報を領域パラメータとして転送領域設定レジスタ２１に設定する。

領域及びサイズの指示を受けた画像データＤＭＡＣ２０は、フレームバッファ１０のバッファＡから第ｎフレームの指定領域の画像データを順に読み出して、ラスタ／ブロック変換用メモリ４０に供給する。ラスタ／ブロック変換用メモリ部では８×８のブロック単位にデータを変換してコーデック処理部５０に供給する（図７矢印４ａ）。

コーデック処理部５０は、ラスタ／ブロック変換用メモリ４０から与えられた画像データをパラメータレジスタ５１に設定されたパラメータの値（Ｑ＝Ｑａ）に従ってＪＰＥＧ圧縮し、符号化データＪＰＥＧａとする。コーデック処理部５０によって圧縮された符号化データは順次符号化データＤＭＡＣ６０に受け渡され、符号化データＤＭＡＣ６０はデータバッファ１２に対して一定の単位で符号化データを転送する。そして第ｎフレームにおいて表示端末４００ａが指定した領域を構成する画像データより作成されるすべての符号化データの転送を完了した時点で、制御用シーケンサ７０は通信部３に対して符号化データの転送完了割込みを送出する（図７矢印５ａ）。この割り込み通知は画像−通信部間制御信号７１を介して伝達される。

通信部３では、符号化データの転送完了割込みを受けて、ネットワーク制御部３１０がデータバッファ１２から符号化データを読み出し、その符号化データを送出するネットワークの形態に応じてパケット化するなどの処理を行い、ネットワークインタフェース３２０に対して受け渡す。ネットワークインタフェース３２０はネットワーク網４に対してそのネットワークの形態に応じた形でデータを表示端末４００ａに向けて送出する。表示端末４００ａでは受信したデータを展開し、ＶＧＡサイズのデータとしてビューワ４０１ａに表示する。

一方、図７において、表示端末４００ａ向けの領域パラメータとＱ＝Ｑａの圧縮パラメータを用いた画像圧縮処理が終了し、ＪＰＥＧａの符号化データの転送完了割込みを送出した（図７矢印５ａ）ことを制御用シーケンサ７０が認識すると、制御用シーケンサ７０は次に求められている画像処理のパラメータを調べる。そして、図７のように次に求められている圧縮に利用すべきパラメータＱ＝Ｑｂをコーデック処理部５０のパラメータレジスタ５１に対して設定する（図７矢印２ｂ）。

次いで、画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出す際に、どの部分のデータをどのようなサイズで読み出すかを表示端末４００ｂからの指示に基づき画像データＤＭＡＣ２０の転送領域レジスタ２１に対して設定し、コーデック処理部５０に対してデータを供給するための転送を開始するように指示をする（図７矢印３ｂ）。それ以降の動作は表示端末４００ａに対して行った処理と同様である。

この一連の動作が個々のユーザが要求する異なるパラメータ（画像領域及びＱ値等）に応じて複数回１映像期間内に繰り返される。本実施形態では、図５に示したように異なる切出し位置とサイズ及び圧縮パラメータの指定に基づき、合計８回のパラメータ設定とそれに伴う画像圧縮処理が１映像期間内に実施されている。このようにすることによって、１つのコーデックを用いて１映像期間内に複数の領域の画像圧縮処理が可能になり、ネットワークの先の様々な要求を持つユーザに対して実時間性を守って複数のサービスを提供することが可能になる。また、１つの高解像度の画像から任意の位置と任意のサイズを指定して複数の部分領域画像を作成し、１映像期間内におけるそれら複数の部分領域画像を用いた画像処理が可能となる。

（第３の実施形態）
第１及び第２の実施形態では撮影した元の画像と同じ解像度の画像を扱っている場合を例としたが、撮影した画像と同じ画角の映像を、解像度を落とすことにより小さな画面表示で利用したいという場合も考えられる。

そのような場合について図１、図４、及び図８から図１１を用いて説明する。図１、図４は図としての構成要素は同一であるので第１の実施形態のものを流用する。なお、本実施形態では第２の実施形態と同様、図１における撮像部２のセンサー２２０は、全画素読出し方式のＣＭＯＳセンサーであり、その有効画素数は１６００×１２００のいわゆるＵＸＧＡサイズであるとする。そして、その画素形態は正方画素であり１／３０秒毎に１フレーム分のＵＸＧＡ画像を出力することができるものとする。即ち、本実施形態での１映像期間は１／３０秒（およそ３３.３ｍｓ）であるとする。

図８は、画像処理部１の中に解像度変換部３０が存在する場合の構成を示した図である。第２の実施形態の図６と比較すると画像データＤＭＡＣ２０とラスタ／ブロック変換用メモリ４０との間のデータパスが２つに分かれ、その片方に解像度変換部が入っている。制御用シーケンサ７０は必要に応じてデータパスを切り替え、解像度変換部３０を通してデータを供給する。

図９は、本実施形態における画像処理部の動作を示した図であり、図１０は、本実施形態における要求されている画角と解像度を示した図である。
図１０からわかるように、本実施形態ではＵＸＧＡサイズのデータから同じ画角でＶＧＡサイズに変換した画像を圧縮したもの（データａ）、ＵＸＧＡサイズの元データからＶＧＡサイズで切出した画像を圧縮したもの（データｂ及びｃ）、そしてＵＸＧＡサイズの画像をそのまま圧縮したもの（データｄ）が要求されているとする。ここでデータａからｄは図４における端末４００ａから４００ｄの要求に対応している。

図８において、現像処理部２３０から出力されたＵＸＧＡサイズの画像データは、フレームバッファ１０にフレーム単位で格納される。フレームバッファ１０は、図９に示すように内部はダブルバッファ形式になっており、第ｎ番目のフレームと第ｎ＋１番目のフレームの画像データがそれぞれ別の領域（バッファＡ及びＢ）に格納されるようになっている。

今、第ｎフレームのフレームバッファ１０のバッファＡへの蓄積が完了したとする。すると、現像処理部２３０から制御用シーケンサ７０に対してフレームデータの転送完了割込みが発生する（図９矢印１）。

転送完了割込みを受けて、制御用シーケンサ７０は、まず第２の実施形態と同様にコーデック処理部５１のパラメータレジスタ５１に対してどのような処理をコーデック処理部でおこなうかを指示するためのパラメータをセットする（図９矢印２ａ）。本実施形態では、このコーデック処理部はＪＰＥＧの圧縮処理をおこなうものとする。その場合、例えば映像の圧縮の度合いを示すＱ値などがその圧縮のパラメータの代表的な例であり、この時点では表示端末４００ａが要求しているＱ＝Ｑａが設定されたとする。

次いで、制御用シーケンサ７０は解像度変換部３０に対して、画像データＤＭＡＣ２０から入力されるＵＸＧＡサイズの画像データをＶＧＡサイズに解像度変換するように指示をする（タイミング図示せず）。どのようなサイズに解像度変換するかについては図８の画像−通信部間制御信号７１を利用して予め画像処理部１の制御用シーケンサ７０に対してネットワーク上の表示端末４００ａより要求がなされているものとする。

次いで、制御用シーケンサ７０は、画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出して、解像度変換部３０を経由してコーデック処理部５０に対してデータを供給するための転送を開始するように指示をする（図９矢印３ａ）。本実施形態のこの時点においては、ＵＸＧＡの全データを読み出して解像度変換部３０に入力する必要があるので、そのように領域パラメータを転送領域設定レジスタ２１に設定する。本実施形態では特に説明しないが、もし、ここでＵＸＧＡの領域のうち部分的に領域を指定して転送領域設定レジスタ２１に設定した場合には、その領域のデータを読み出して解像度変換部３０に与えることによって、任意の領域の画像を解像度変換できるようにすることが可能である。

そのようにしてデータの転送が画像データＤＭＡＣ２０によりフレームバッファ１０から解像度変換部３０に対して開始されると、解像度変換部３０は、ＵＸＧＡからＶＧＡへの解像度変換作業を開始する（図９矢印４）。そして、解像度変換を終了した画像データから順に、ラスタ／ブロック変換用メモリ４０に供給する。ラスタ／ブロック変換用メモリ部では８×８のブロック単位にデータを変換してコーデック処理部５０に供給する（図９矢印５）。

コーデック処理部５０は、ラスタ／ブロック変換用メモリ４０から与えられた画像データをパラメータレジスタ５１に設定されたパラメータの値（Ｑ＝Ｑａ）に従ってＪＰＥＧ圧縮し、符号化データとする。このデータａの符号化に要する時間が他のＶＧＡの符号化処理に比べて多く要しているのは、本実施形態においては、ＶＧＡの元データとなるべきＵＸＧＡのデータをフレームバッファ１０から読み出してＶＧＡに解像度変換する部分が全体の処理速度を決める要因となっているからである。

コーデック処理部５０によって圧縮された符号化データは、順次符号化データＤＭＡＣ６０に受け渡され、符号化データＤＭＡＣ６０はデータバッファ１２に対して一定の単位で符号化データを転送する。そしてＶＧＡを構成する全ての符号化データの転送を完了した時点で、制御用シーケンサ７０は通信部３に対して符号化データの転送完了割込みを送出する（図９矢印６ａ）。この割り込み通知は画像−通信部間制御信号７１を介して伝達される。

通信部３では、符号化データの転送完了割込みを受けて、ネットワーク制御部３１０がデータバッファ１２から符号化データを読み出し、その符号化データを送出するネットワークの形態に応じてパケット化するなどの処理を行い、ネットワークインタフェース３２０に対して受け渡す。ネットワークインタフェース３２０はネットワーク網４に対してそのネットワークの形態に応じた形でデータを表示端末４００ａに向けて送出する。表示端末４００ａでは受信したデータを展開し、ＶＧＡサイズのデータとしてビューワ４０１ａに表示する。

一方、図９において、表示端末４００ａ向けの解像度変換とＱ＝Ｑａの圧縮パラメータを用いた画像圧縮処理が終了し、ＪＰＥＧ：ＶＧＡ−ａの符号化データの転送完了割込みを送出した（図９矢印６ａ）ことを制御用シーケンサ７０が認識すると、制御用シーケンサ７０は次に求められている画像処理のパラメータを調べる。そして、ここではＱ＝Ｑｂをコーデック処理部５０のパラメータレジスタ５１に対して設定する（図９矢印２ｂ）。

次いで、画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出す際に、図１０のｂで示されるＶＧＡデータの開始座標とサイズ（ＶＧＡ）から求められる転送領域情報を、表示端末４００ｂからの指示に基づき画像データＤＭＡＣ２０の転送領域レジスタ２１に対して設定する。その上でコーデック処理部５０に対して、データを供給するための転送を開始するように指示をする（図９矢印３ｂ）。それ以降の動作は第２の実施形態の表示端末４００ａに対して行った処理と同様であり、それが端末４００ｃに対する切出しＶＧＡ画像データｃの圧縮に関しても同様に実施される。

図９において、表示端末４００ｃ向けの画像圧縮処理が終了し、ＪＰＥＧｃの符号化データの転送完了割込みを送出した（図９矢印６ｃ）ことを制御用シーケンサ７０が認識すると、制御用シーケンサ７０は、次に求められている画像処理のパラメータを調べる。ここでは、次に要求されている動作は、ＵＸＧＡサイズの画像データｄをその解像度のままＪＰＥＧ圧縮して端末４００ｄに対して送ることである。

しかし、ＵＸＧＡの画像データをそのまま圧縮して送ることは全体のシステム、特にコーデック処理等に非常に負荷をかけるので、本実施形態では、ＵＸＧＡ画像の１／２だけをこの１映像期間内に処理して、残りの１／２に関しては次の映像期間に実施することにしている。この判断は、予め通信部３のネットワーク制御部３１０の中にある処理性能判断部３１１によって判断され、その条件でよければサービスを開始することを表示端末４００ｄのユーザに通知し、また、この映像を要求している端末４００ｄのユーザもその条件を了解しているものとする。

その処理の手順は、他の画像の処理と同様に、圧縮に利用すべきパラメータＱ＝Ｑｄのコーデック処理部５０のパラメータレジスタ５１に対する設定（図９矢印２ｄ）、画像データＤＭＡＣ２０に対する転送領域レジスタ２１の設定及び画像データの転送開始指示（図９矢印３ｄ）となる。そして、画像データの転送が開始されると（図９矢印８）、コーデック処理部５０は、指示されたパラメータを用いてＪＰＥＧ圧縮を開始する。そしてＵＸＧＡの１／２のデータを圧縮してデータバッファ１２に転送し終えた時点において、制御用シーケンサ７０はデータバッファ通信部３に対してＪＰＥＧｄの符号化データの転送完了割込みを送出する（図９矢印６ｄ）。

このように１枚分のデータが完成する前に一旦処理を中断してその処理を通信部３に渡すことによって、データ通信における負荷の平準化などを通信部３側で考慮して配送することが可能になる。

図１１は、ＵＸＧＡサイズの画像をＪＰＥＧ圧縮する際に、連続する２つの映像期間を利用して実施する場合の動作を示した図である。
映像期間［１］は、図９の内容と同一である。映像期間［１］の後半でＵＸＧＡサイズデータのＪＰＥＧ圧縮のうち１／２を行った場合、続く映像期間［２］でＵＸＧＡサイズデータのＪＰＥＧ圧縮の残りを実施する必要がある。この場合、圧縮に利用する画像データは第ｎフレームのものであるが、その第ｎフレームの画像データはフレームバッファ１０を構成するダブルバッファのうちバッファＡに保存されているものである。

映像期間［２］においてバッファＡは、基本的には第ｎ＋２フレームのデータが入力されてくる領域であるので、第ｎ＋２フレームのデータによって第ｎフレームのデータが書き潰されないうちにＵＸＧＡサイズデータのＪＰＥＧ圧縮の残り１／２を実施しなければならない。そのため、この圧縮の処理は映像期間［１］と違って映像期間［２］の先頭に位置するようにしている。また、このような順序で処理することによって、通信部３へのデータの受け渡しも連続したものとなり、その扱いがより簡単化される。

なお、本実施形態において処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるとしたが、第１の実施形態と同様に例えば、画像処理部１の中に配することや、画像処理部１の制御用シーケンサ７０に組み込まれた機能の一部として実装することも可能であり、その位置は本実施形態において制限されるものではない。もし、処理性能判断部３１１が制御用シーケンサ７０に組み込まれていた場合には、各端末から要求の出ている処理内容がネットワーク制御部３１０を経由して、画像−通信部間制御信号７１を介して制御用シーケンサ７０に伝達され、その情報を用いて上記判断を実施することになる。そして、判断結果のサービス提供の可否は画像−通信部間制御信号７１を介してネットワーク制御部３１０に伝達され、ネットワーク制御部３１０が各端末にその情報を送信することになる。

但し、第１の実施形態と同様に必要なデータ伝送のみを実施してなるべく全体の処理負荷を減らすという観点から考えると、本実施形態のように処理性能判断部３１１は通信部３のネットワーク制御部３１０の中にあるほうが好ましい。

このようにすることによって、１つのコーデックを用いて１映像期間内に複数の領域の画像圧縮処理、及び、複数の解像度を持つ画像の画像圧縮処理を行うことができる。特に、高解像度の撮影画像の任意領域を切出して解像度変換することによって得られる画像、及び部分的に切出して解像度変換はしない画像など、高解像度の映像からユーザの希望に基づく任意の画角と解像度にした画像を１つのコーデックを用いて１映像期間内に複数ユーザに対して処理することが可能になる。

また、本実施形態では、複数の映像期間を利用した高解像度データの処理を可能にしている。特に、本実施形態ではＵＸＧＡサイズのＪＰＥＧ圧縮を連続する２映像期間に割り当て、かつその処理が時間的に連続するように処理順序を制御してサービスをしている。このようにすることによって、複数の映像期間に跨って高解像度データを保持するためのフレームバッファをその処理専用に持たなくてもすむようになり、メモリサイズを節約できるなどの効果がある。

但し、この処理順序の割り当て方法等は固定的なものではなく、他の処理に先んじて１映像区間の先頭で処理するなどユーザへのサービスポリシなどに応じて変更され得るものである。

また、２以上の期間に跨って処理が必要になる場合は、複数映像期間に跨ってフレームデータが保持できるように、フレームバッファを構成することも可能であり、その持ち方はこの実施形態により制限されるものではない。

（第４の実施形態）
第３の実施形態では、解像度変換を行った画像をそのまま順次圧縮処理していたため、解像度変換後の画像は１回しか利用できなかったが、場合によっては元画像に同じ解像度変換を行った画像に対して、異なる圧縮のパラメータで圧縮したいという要求がくることも考えられる。その場合、同じ解像度変換を２回実施することも一手法であるが、特に元データの画像解像度が高い場合には、その元画像のフレームバッファからの読出し及び解像度変換に時間を要することになり、１映像期間内に処理できる性能を下げることになる。

それを避けるために、後続の処理で同一の解像度変換処理を必要とする場合、もしくは一旦解像度変換した画像を利用して更なる解像度変換処理を実施することが有効である場合には、解像度変換した後の画像をコーデック処理部への処理に向けると同時に、一旦フレームバッファに貯めて後の処理で利用することが考えられる。そのような場合に関して図１、図４、及び図１２から図１４を用いて説明する。

図１、図４は図としての構成要素は同一であるので第１の実施形態のものを流用する。なお、本実施形態では第２の実施形態と同様、図１における撮像部２のセンサー２２０は、全画素読出し方式のＣＭＯＳセンサーであり、その有効画素数は１６００×１２００のいわゆるＵＸＧＡサイズであるとする。そして、その画素形態は正方画素であり１／３０秒毎に１フレーム分のＵＸＧＡ画像を出力することができるものとする。即ち、本実施形態での１映像期間は１／３０秒（およそ３３.３ｍｓ）であるとする。

図１２は、画像処理部１の中に解像度変換部３０の処理後のデータを一旦蓄積するためのフレームバッファ（２）１３が存在する場合の構成を示した図である。第３の実施形態の図８と比較すると、フレームバッファ（２）１３が機能ブロックとして追加され、解像度変換部３０からのデータパスと画像データＤＭＡＣ２０へのデータパスが追加されている。

なお、このフレームバッファ（２）１３は、フレームバッファ１０、画像処理用メモリ１１、データバッファ１２と同様に、画像処理部のそれ以外の構成要素が１つのＩＣの中で実現される場合に、それらと同一のＩＣ上のオンチップメモリとして構成することや、ＩＣの外部でそのＩＣと接続されるメモリデバイス（例えばＳＤＲ又はＤＤＲのＳＤＲＡＭなど）として実現することが可能である。また、そのメモリもそれぞれを別のメモリデバイス上に配することや１つの同じメモリデバイス上に配置するなど、様々な構成をとることが可能である。

図１３は、本実施形態における画像処理部の動作を示す図であり、図１４は、本実施形態における要求されている画角と解像度を示す図である。図１４からわかるように、本実施形態では、ＵＸＧＡサイズのデータから同じ画角でＶＧＡサイズに変換した画像を異なる２種の圧縮パラメータで圧縮するもの（データａ、ｂ）、更に、それと同じ画角でＱＶＧＡサイズの画像（データｄ）、ＵＸＧＡサイズの元データからＶＧＡサイズで切出した画像を圧縮したもの（データｃ）、そしてＵＸＧＡサイズの画像をそのまま圧縮したもの（データｅ）が要求されているとする。ここでデータａからｅは図４における端末４００ａから４００ｅの要求に対応している。

図１３において、画像の処理の流れは途中までは第３の実施形態の図９と同じである。異なるのは、解像度変換部３０がＵＸＧＡからＶＧＡへの解像度変換作業を開始すると（図１３矢印４ａ）、解像度変換を終了した画像データから順に、ラスタ／ブロック変換用メモリ４０に供給すると同時に、フレームバッファ（２）１３に転送してＶＧＡ画像の蓄積を開始することである。図１３矢印９）。解像度変換した画像をフレームバッファ（２）１３に蓄積するかどうかの判断に関しては、ネットワーク上の各表示端末からの要求に基づいて、ネットワーク制御部３１０から画像−通信部間制御信号７１を利用して予め画像処理部１の制御用シーケンサ７０に対して設定がなされているものとする。

コーデック処理部５０は、ラスタ／ブロック変換用メモリ４０から与えられた画像データ（図１３矢印５ａ）をパラメータレジスタ５１に設定されたパラメータの値（Ｑ＝Ｑａ）に従ってＪＰＥＧ圧縮して符号化データＪＰＥＧ：ＶＧＡ−ａとし、それを符号化データＤＭＡＣ６０が順次データバッファ１２に転送する。そして、すべての符号化データの転送を完了した時点で、制御用シーケンサ７０は、データバッファ通信部３に対して符号化データの転送完了割込みを送出する。（図１２矢印６ａ）この割り込み通知は画像−通信部間制御信号７１を介して伝達される。この画像は、通信部３が端末４００ａに対して送信する。

次いで、制御用シーケンサ７０は、次に求められている画像処理のパラメータ及び画角、解像度を調べる。そして、次に求められている圧縮に利用すべきパラメータＱ＝Ｑｂをコーデック処理部５０のパラメータレジスタ５１に対して設定する（図１２矢印２ｂ）。

次いで、画像データＤＭＡＣ２０に対して、先にＶＧＡに解像度変換したデータを利用して画像の圧縮処理をするべく、転送領域レジスタ２１に対してデータの転送元をフレームバッファ（２）１３に設定し、コーデック処理部５０に対してデータを供給するための転送を開始するように指示をする（図１２矢印３ｂ）。画像データＤＭＡＣ２０は、フレームバッファ（２）１３よりＶＧＡデータを読出し、それをラスタ／ブロック変換用メモリ４０を経由してブロック化したのち、コーデック処理部５０に供給する。コーデック処理部５０は設定されているパラメータＱｂを利用して圧縮処理を実施していく。

その後、一旦ＶＧＡサイズの切出し画像の圧縮を行った後、次に元のＵＸＧＡ画像と同じ画角でＱＶＧＡサイズの画像データ（データｄ）の処理を要求されている。既に同じ画角のＶＧＡ画像がフレームバッファ（２）１３に蓄えられており、要求されているＱＶＧＡ画像は蓄えられているＶＧＡ画像を利用して解像度変換することで容易に作成することができる。

そこで、制御用シーケンサ７０は、まず、解像度変換部３０に対してＶＧＡ⇒ＱＶＧＡ変換をし実施するように指示をする（タイミング図示せず）。次いで、画像データＤＭＡＣ２０に対して、既にＶＧＡに解像度変換したデータを利用して画像の解像度変換をするように、転送領域レジスタ２１に対してデータの転送元をフレームバッファ（２）１３に設定し、解像度変換部３０に対してデータを供給するための転送を開始するように指示をする（図１２矢印３ｄ）。

画像データＤＭＡＣ２０は、フレームバッファ（２）１３よりＶＧＡデータを読出し、それを解像度変換部３０に供給する。解像度変換部３０でＶＧＡからＱＶＧＡに変換された画像データは、ラスタ／ブロック変換用メモリ４０を経由してブロック化されたのち、コーデック処理部５０に供給される（図１２矢印５ｄ）。コーデック処理部５０は設定されているパラメータＱｄを利用して圧縮処理を実施していく。以降は、第３の実施形態と同様であるので、説明を省略する。

なお、本実施形態においても処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるとしたが、第１の実施形態と同様に、例えば、画像処理部１の中に配することや、画像処理部１の制御用シーケンサ７０に組み込まれた機能の一部として実装することも可能であり、その位置は本実施形態において制限されるものではない。但し、第１の実施形態と同様に、必要なデータ伝送のみを実施してなるべく全体の処理負荷を減らすという観点から考えると、本実施形態のように処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるほうが好ましい。

このようにすることによって、第３の実施形態での効果に加えて、１つのコーデックを用いて１映像期間内に複数の領域の画像圧縮処理を効率よく実施することが可能になる。特に、解像度変換した画像をコーデック処理部で利用するのと並行してフレームバッファに蓄積することができるようにすることで、同一画角の画像の解像度変換処理を複数の表示側端末から要求されるような場合に、同じ解像度変換を繰り返したりすることや、必要以上に詳細なデータを元に圧縮することをせずにすむようになり、１映像期間内における処理性能を向上させ、より多くのユーザからの異なる要求に対応した処理を行うことが可能になる。

（第５の実施形態）
第４の実施形態では、ＵＸＧＡ画像からＶＧＡ画像を作り、その作ったＶＧＡの画像をコーデック処理用にラスタ／ブロック変換用メモリ４０に渡すと同時に、別途フレームバッファ（２）に蓄積をしていた。この場合、処理の流れとしては、解像度変換とブロック化及びコーデック処理とは時間的に直列に処理されている。一方、ＵＸＧＡの画像と、それと同じ画角でＶＧＡサイズに解像度変換をした２つの画像のデータ処理が同じ映像期間内に求められるような場合では、ＵＸＧＡの画像圧縮を行った後で、解像度変換のために再度ＵＸＧＡのデータをフレームバッファから読み出していたのでは、フレームバッファからＵＸＧＡ画像データの読出しを繰り返すことになり、非常に効率が悪いものとなる。

そこで、ある画角の映像のコーデック処理が求められ、同じ画角の映像を解像度変換して得られる画像のコーデック処理をそれと同じ映像期間内に実施することを必要とする場合に、解像度処理とコーデック処理とを時間的に並列に処理することで、フレームバッファからのデータの読出しを１回に押さえながらコーデック処理と解像度処理を行えるようにすることが考えられる。本実施形態では、そのような場合に関して図１、図４、図１２、及び図１５から図２０を用いて説明する。

図１、図４は図としての構成要素は同一であるので第１の実施形態のものを流用する。また、図１２は第４の実施形態のものを流用する。なお、本実施形態では第２の実施形態と同様、図１における撮像部２のセンサー２２０は、全画素読出し方式のＣＭＯＳセンサーであり、その有効画素数は１６００×１２００のいわゆるＵＸＧＡサイズであるとする。そして、その画素形態は正方画素であり１／３０秒毎に１フレーム分のＵＸＧＡ画像を出力することができるものとする。即ち、本実施形態での１映像期間は１／３０秒（およそ３３.３ｍｓ）であるとする。また、図１２に関する説明は構成ブロック的には、第４の実施形態と同一であるでその詳細は省略する。

図１５は、本実施形態における画像処理部の動作を示す図であり、図１６に本実施形態における要求されている画角と解像度を示す図である。
図１６からわかるように、本実施形態では、ＵＸＧＡサイズの画像データを圧縮したもの（データａ）、ＵＸＧＡサイズの画像と同じ画角でＶＧＡサイズに変換した画像を圧縮するもの（データｂ）、更にそれと同じ画角でＱＶＧＡサイズの画像（データｃ）、ＵＸＧＡサイズの元データからＶＧＡサイズで切出した画像を圧縮したもの（データｄ）が要求されている。ここでデータａからｄは、図４における端末４００ａから４００ｄの要求に対応している。

処理性能判断部３１１は、重複している画角や並列化動作させることができる部分がどこにあるかを判断して、画像処理部１の能力を最大限発揮できるような形で画像処理部１の動作シーケンスを決定し、画像−通信部間制御信号７１を利用して制御用セシーケンサ７０に対して動作の指示をする。以下、その画像制御部１の動作について説明する。

図１２において、現像処理部２３０から出力されたＵＸＧＡサイズの画像データは、フレームバッファ１０にフレーム単位で格納される。フレームバッファ１０は、図１５に示すように内部はダブルバッファ形式になっており、第ｎ番目のフレームと第ｎ＋１番目のフレームの画像データがそれぞれ別の領域（バッファＡ及びＢ）に格納されるようになっている。

今、第ｎフレームのフレームバッファ１０のバッファＡへの蓄積が完了したとする。すると、現像処理部２３０から制御用シーケンサ７０に対してフレームデータの転送完了割込みが発生する（図１５矢印１）。

転送完了割込みを受けて、制御用シーケンサ７０は、まずコーデック処理部５１のパラメータレジスタ５１に対してどのような処理をコーデック処理部でおこなうかを指示するためのパラメータをセットする（図１５矢印２ａ）。本実施形態では、このコーデック処理部はＪＰＥＧの圧縮処理を行うものとする。その場合、例えば映像の圧縮の度合いを示すＱ値などがその圧縮のパラメータの代表的な例であり、この時点では表示端末４００ａが要求しているＱ＝Ｑａが設定されたとする。

次いで、制御用シーケンサ７０は、解像度変換部３０に対して、画像データＤＭＡＣ２０から入力されるＵＸＧＡサイズの画像データをＶＧＡサイズに解像度変換するように指示をする。これはデータａの圧縮用に読み出されたＵＸＧＡのデータを利用してデータｂの解像度変換も同時に行うためのものである（タイミング図示せず）。本実施形態では、画像圧縮処理と解像度変換処理とを並列的に行う必要があるが、その動作の並列処理の必要性などに関しては、ネットワーク上の各表示端末からの要求に基づいて、ネットワーク制御部３１０から画像−通信部間制御信号７１を利用して予め画像処理部１の制御用シーケンサ７０に対して設定がなされているものとする。

次いで、制御用シーケンサ７０は、画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出して、データを供給するための転送を開始するように指示をする（図１５矢印３ａ）。本実施形態では、フレームバッファ１０から読み出したデータを解像度変換部３０とラスタ／ブロック変換用メモリ４０に並列に供給する必要があるので、そのようにパラメータを転送領域設定レジスタ２１に設定する。

ここでの画像データＤＭＡＣ２０の動作の詳細を図１７、１８を用いて説明する。
ここで、画像データはＹＵＶ４２２形式で入力されているものとし、Ｕ₀Ｙ₀Ｖ₀Ｙ₁Ｕ₁Ｙ₂Ｖ₁Ｙ₃…のような順序でフレームバッファ１０上に格納されているとする。Ｙ、Ｕ、Ｖのそれぞれのデータは各８ビットである。図１７において画像データＤＭＡＣはそのデータを６４ビット単位でフレームバッファ１０から読出し、６４ｂｉｔＦＩＦＯレジスタ２２に格納する。

６４ｂｉｔＦＩＦＯレジスタ２２には、データが８Ｂｙｔｅ単位で格納される。６４ｂｉｔＦＩＦＯレジスタ２２の読出し側は、その出力先が２系統に分かれている。１つはラスタ／ブロック変換用メモリ４０であり、こちらは１クロックで８Ｂｙｔｅ幅のデータを読み込むことができる。２つ目は解像度変換部３０であり、こちらはＹ、Ｕ、Ｖの各sample単位（８ビット）でデータを受信していく。

図１８は、６４ｂｉｔＦＩＦＯレジスタ２２とそのデータの出力先であるラスタ／ブロック変換用メモリ４０及び解像度変換部３０とのデータのやり取りを示した図である。
６４ｂｉｔＦＩＦＯレジスタ２２は、基本的にはrclk１の立ち上がりエッジで新しいデータがそのＦＩＦＯの読出しポート２４に６４ｂｉｔ幅単位で読み出されるようになっている。例えば、図１８の［１］及び［４］のタイミングでＦＩＦＯ読出しポート２４に新しい値が更新されている。

ラスタ／ブロック変換用メモリ４０は、ＦＩＦＯの読出しポートの値が更新されると、wclk１の立ち上がりエッジでその内部にデータを取り込む。ここでは、図１８の［２］及び［５］のタイミングでデータが読み込まれている。

一方、解像度変換部３０は、データを各sample単位（Ｙ、Ｕ、Ｖのいずれかを構成する８ｂｉｔ深さのデータ）単位で受信する必要がある。ここでは、図１７及び１８中のＦＩＦＯの読出しポート２４の中に斜線で示した部分が解像度変換部３０への出力ポートであるとする。解像度変換部３０は、srclkの立ち上がりエッジごとに８ｂｉｔ単位でこのポートから画像データを読み込んでいく。

例えば、［２］の立ち上がりエッジではＵ₀を、［３］ではＹ₀を読み込んでいる。同時にＦＩＦＯの読出しポートでは、srclk毎にデータが図の下方向に８ｂｉｔ単位でシフトされ、次の読出しに備えてデータが更新される。srclk、rclk１、wclk１それぞれのタイミングの関係は、図１８に示したとおりである。このようにすることによって、一度のフレームバッファからの読出しでラスタ／ブロック変換処理及びコーデック処理と解像度処理を行えるようにすることができる。

なお、これらのsrclk、rclk１、wclk１は、それぞれ図１７に示すように画像データＤＭＡＣ２０の中のクロック制御部２３によって制御される信号である。クロック制御部は、制御用シーケンサ７０によって、どのようなクロックタイミングで各クロックを動かすのが一番効率的かの指示を受け、本実施形態においては、図１８に示したような位相関係を持って６４ｂｉｔＦＩＦＯレジスタ２２とそのデータの出力先であるラスタ／ブロック変換用メモリ４０及び解像度変換部３０とのデータのやり取りを制御している。

以上のようにして、データの転送が画像データＤＭＡＣ２０によりフレームバッファ１０からラスタ／ブロック変換用メモリ４０に供給されると、ラスタ／ブロック変換用メモリ部では８×８のブロック単位にデータを変換してコーデック処理部５０に供給し、コーデック処理部は圧縮処理を開始する（図１５矢印４ａ）。

図１９は、ラスタ／ブロック変換用メモリ４０の構成を示した図である。
まず、画像データＤＭＡＣ２０の６４ｂｉｔＦＩＦＯレジスタ２２の読出しポート２４から、wclk１信号に同期してラスタ形式の画像データがデータ受信部４１に格納される。データ受信部でＹ、Ｕ、Ｖの各信号に分離されたデータは、それぞれの信号用のセレクタ４２、４３、４４へ送られる。

各信号用のセレクタ内部では、分離されたデータを、ブロックの横方向単位（８sample）になるようにそれぞれ結合し、８sample分のデータがたまるとそれぞれのラスタ／ブロック変換用ラインメモリに送付する。それぞれ、Ｙ０ラスタ／ブロック変換用ラインメモリ４５−１及びＹ１ラスタ／ブロック変換用ラインメモリ４５−２、Ｕ０ラスタ／ブロック変換用ラインメモリ４６−１及びＵ１ラスタ／ブロック変換用ラインメモリ４６−２、Ｖ０ラスタ／ブロック変換用ラインメモリ４７−１及びＶ１ラスタ／ブロック変換用ラインメモリ４７−２のダブルバッファ構成になっており、それぞれのラインメモリは、６４ｂｉｔ幅のメモリが８ライン分束になった形で構成されている。

コーデック処理部５０にデータを転送する際は、Ｙ、Ｕ、Ｖ各ラインメモリのうちのそれぞれ片方が８ライン分全て充填された段階で、右端から順に読み出していく。その際はまずマクロブロック転送用バッファ４８に各ラインから右端に来ているデータを一列分読み出す。この段階で１つのブロックを構成する横方向８sample、縦方向８ライン分の合計６４sample分のデータが準備できることになる。そしてＹ信号のブロック２ブロック、Ｕ信号のブロック１ブロック、Ｖ信号のブロック１ブロックの順で繰り返し読み出してコーデック処理部５０にデータを転送する。このコーデック処理部５０への読出しの最中においても、ダブルバッファ構成をとっているため、読み出していない各ラインメモリへのデータ充填が可能となっている。コーデック処理部は、圧縮処理を開始すると同時に、解像度変換部も解像度変換処理を開始する（図１５矢印５ａ）。

図２０は、解像度変換部３０の構成を示した図である。
解像度変換部３０には、srclkに従って、８ｂｉｔ幅のＹ、Ｕ、Ｖの各信号がＵ₀Ｙ₀Ｖ₀Ｙ₁Ｕ₁Ｙ₂Ｖ₁Ｙ₃…のような順番で入力される。その信号を受けて、まずセレクタ３４が信号をＹ信号とＵ／Ｖ信号の２つに振り分ける。そして、Ｙ信号はＹ信号用ラインバッファ３６に、Ｕ／Ｖ信号はＵ／Ｖ信号用ラインバッファ３１にそれぞれ入力される。各ラインバッファは１クロックごとにデータが８ｂｉｔ（１sample分）だけシフトしていく。

そして、Ｕ／Ｖ信号に関しては、横方向変換部への入力位置にあるレジスタ位置までシフトしてきたあるタイミングで、Ｕ₀Ｕ₁Ｕ₂…（利用するsample数は必要となる解像度変換によって変わる。以下同様）のデータをＵ／Ｖ用横方向変換部３２にかけて、その演算結果をＵ信号用バッファ３３−１に格納する。その次のタイミングでは、レジスタが１つシフトするのでＶ₀Ｖ₁Ｖ₂…のデータをＵ／Ｖ用横方向変換部３２にかけて、その演算結果をＶ信号用バッファ３３−２に格納する。そしてその次は、Ｕ₁Ｕ₂ Ｕ₃…というようにＵとＶのデータを交互に処理していく。

一方、Ｙ信号に関しては、あるタイミングでＹ₀ Ｙ₁ Ｙ₂ Ｙ₃…のデータをＹ用横方向変換部３７にかけて、その演算結果をＹ信号用バッファ３８に格納する。その次のタイミングではＹ₁ Ｙ₂ Ｙ₃ Ｙ₄…のデータを処理するというように、Ｕ／Ｖのデータをそれぞれ１画素分処理していく間に、Ｙのデータは２画素分の処理を実行していく。このようにしてＵ／ＶとＹの信号を並列処理していくことによって、ＹＵＶ４２２の形式のデータを信号間のタイミングを合わせながら解像度変換をしていくことが可能になる。

その後、縦方向のＵ信号用バッファ３３−１、Ｖ信号用バッファ３３−２、及びＹ信号用バッファ３８に横方向解像度変換処理を済ませた各データが溜まってくると、今度はそれを縦方向の解像度変換器にかけて縦方向の解像度変換を行う。Ｕ／Ｖ用縦方向変換部３５は、Ｕ及びＶのデータを交互に処理していく。横方向と同様に、Ｙ用縦方向変換部３９は、Ｕ／Ｖ用縦方向変換部３５がＵ／Ｖのデータを各１画素分処理していく間に、Ｙのデータ２画素分の処理を実行する。

このようにして解像度変換された画像データは、本実施形態においては、フレームバッファ（２）１３に送られて、次の圧縮処理を待つことになる。第４の実施形態で示したように、もし解像度変換を行ったデータを蓄積すると同時に、圧縮処理にも利用するのであれば、処理をしたデータはラスタ／ブロック変換用メモリ４０に向けても出力することになる。

再び図１５において、上記のようにしてラスタ／ブロック変換及びコーデック処理と解像度変換処理が並行して実施される。作成されたＶＧＡのデータは、フレームバッファ（２）１３に蓄積され、次のＶＧＡデータを利用した処理の開始を待つ。一方、コーデック処理部５０はラスタ／ブロック変換用メモリ４０から与えられた画像データをパラメータレジスタ５１に設定されたパラメータの値（Ｑ＝Ｑａ）に従ってＪＰＥＧ圧縮し、圧縮された符号化データＪＰＥＧａは順次符号化データＤＭＡＣ６０に受け渡され、符号化データＤＭＡＣ６０はデータバッファ１２に対して一定の単位で符号化データを転送する。

そしてすべての符号化データの転送を完了した時点で、制御用シーケンサ７０は、通信部３に対して符号化データの転送完了割込みを送出する。（図１５矢印６ａ）この割り込み通知は画像−通信部間制御信号７１を介して伝達される。通信部３はこの割り込みを受けてＪＰＥＧａのデータを端末４００ａに向けて送信する。

ＵＸＧＡの画像圧縮が終了すると、今度は先に解像度変換してフレームバッファ（２）１３に蓄積されたＶＧＡサイズの画像データを用いた処理が開始される。画像データＤＭＡＣ２０は、ＶＧＡサイズの画像データをフレームバッファ（２）１３から読み出して処理を開始する（図１５矢印３ｂ）。今度も、このＶＧＡデータを利用してコーデック処理部５０での処理と、解像度変換部３０によるＶＧＡ⇒ＱＶＧＡデータの解像度変換処理が並行して実施される（図１５矢印４ｂ、５ｂ）。解像度変換部３０で作成されたＱＶＧＡデータはフレームバッファ（２）１３に蓄積され、その次の圧縮処理に利用される。これ以降の処理に関しては、先に説明した部分と同じ動作であるので説明を省略する。

なお、本実施形態において処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるとしたが、第１の実施形態と同様に例えば、画像処理部１の中に配することや、画像処理部１の制御用シーケンサ７０に組み込まれた機能の一部として実装することも可能であり、その位置は本実施形態において制限されるものではない。但し、第１の実施形態と同様に必要なデータ伝送のみを実施してなるべく全体の処理負荷を減らすという観点から考えると、本実施形態のように処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるほうが好ましい。

このようにすることによって、第４の実施形態での効果に加えて、１つのコーデックを用いて１映像期間内に複数の領域の画像圧縮処理を効率よく実施することが可能になる。特に、フレームバッファから読み出した映像をコーデック処理部と解像度変換部とで並列して利用することで、同一の画角で、異なる解像度の画像を同一映像期間内に処理することを複数の表示側端末から要求される場合に、解像度変換前の元データの読出し回数を削減することが出来、その分のメモリやバスの帯域性能を有効利用できるようになり、１映像期間内における複数画像を処理する場合に、その処理性能をより向上させることが可能になる。その結果、より多くのユーザからの異なる要求に対応した処理を行うことが可能になる。

（第６の実施形態）
第３の実施形態においては、１映像期間内においてＵＸＧＡサイズの１／２及びＵＸＧＡ画像と同一の画角でＶＧＡの解像度に解像度変換した画像、ＵＸＧＡサイズの画像からＶＧＡサイズで切出した画像２種の処理を実施するものであった。第３の実施形態においては解像度変換部とコーデック処理部が並列に動くことは想定していなかったが、第５の実施形態に示したように解像度変換部とコーデック処理部が並列に動くことが可能な場合には、更に解像度変換を複数回に分離して実施する機能、及び部分画像の処理を連続的に行う場合に、複数の映像期間にまたがった処理を実施する機能を付け加えることにより、更に処理能力を向上させることが可能になる。

そのような場合に関して図１、図４、図１２及び図２１から図２３（ａ）及び（ｂ）を用いて説明する。
図１、図４は、図としての構成要素は同一であるので第１の実施形態のものを流用する。また、図１２は図としての構成要素は同一であるので第４の実施形態のものを流用する。なお、本実施形態では第２の実施形態と同様、図１における撮像部２のセンサー２２０は、全画素読出し方式のＣＭＯＳセンサーであり、その有効画素数は１６００×１２００のいわゆるＵＸＧＡサイズであるとする。そして、その画素形態は正方画素であり１／３０秒毎に１フレーム分のＵＸＧＡ画像を出力することができるものとする。即ち、本実施形態での１映像期間は１／３０秒（およそ３３.３ｍｓ）であるとする。

図２１は、本実施形態における要求されている画角と解像度を示した図である。
基本的に要求されている画像は第３の実施形態（図１０）と同じであるが、本実施形態では処理性能が向上するので、処理性能判断部３１１は新たにＵＸＧＡサイズの元データからＶＧＡサイズで切出した画像データｅを処理対象として加わえている。また、ＵＸＧＡサイズの画像をそのまま圧縮したもの（データｄ）は他の画像に比べて１／２のフレームレートでの処理が要求されているとする。ここでデータａからｅは図４における端末４００ａから４００ｅの要求に対応している。

図２２にその処理の流れを示す。本実施形態においては、処理性能判断部３１１は、同一の画角の画像で解像度が異なる画像の処理を要求された場合、１回のフレームバッファからの読出しを利用してコーデック処理と解像度変換処理が並列にできる部分がないかを調べる。そして、並列にできる部分があった場合には、その並列化して実施できる部分が部分画像であるかどうかを調べる。

例えば、本実施形態のように、第１の映像期間中に１／２ＵＸＧＡサイズの画像データ（データｄ）の圧縮と、ＵＸＧＡサイズの元データの画像からＶＧＡサイズの画像に解像度変換した画像（データａ）の圧縮を要求されている場合、１／２ＵＸＧＡサイズの画像データの圧縮を行う際にフレームバッファから読み出す画像データを用いて、並列にＵＸＧＡ⇒ＶＧＡの解像度変換のうち前半半分を実施することが可能である。そのような場合、処理性能判断部３１１は制御用シーケンサ７０に対して、並列にできる部分を並列に実行し、その結果を受けて、残りの処理を補完させるように指示をする。

以下、その指示内容に従って制御用シーケンサ７０が画像処理部１の各構成要素を制御して処理を実行する様子について説明する。
基本的な処理の流れは第５の実施形態とほぼ同じであるが、今回は最初に圧縮される画像がＵＸＧＡサイズの１／２の画像であり、その処理と並行して後続の処理で必要となるＵＸＧＡ⇒ＶＧＡ画像の解像度変換のうち、圧縮用に読み出される１／２ＵＸＧＡ画像のデータを処理して作ることのできる１／２ＶＧＡサイズに対応する処理が実施されている（図２２矢印５ｄ）。作成された１／２ＶＧＡ画像はフレームバッファ（２）１３へ保存される。

そして、ＵＸＧＡ１／２分の処理が終わると、（図２２矢印６ｄ）制御用シーケンサ７０は次いでＵＸＧＡサイズの画像ｄと同じ画角をもつＶＧＡサイズ画像ａの処理を開始する。まず、制御用シーケンサ７０はフレームバッファ（２）１３から画像を読み出して、既に解像度変換が終了した１／２ＶＧＡの部分に関してコーデック処理を行うようにするために、画像データＤＭＡＣ２０に対して転送の指示を出す（図２２矢印３ａ）。その転送を受けてコーデック処理部５０圧縮処理を開始する（図２２矢印４ａ）。

フレームバッファ（２）１３に蓄えられていた１／２ＶＧＡの部分を利用した処理が終了すると、次いで制御用シーケンサ７０は、後半１／２分のＶＧＡ画像を作って圧縮処理を行うため、画像データＤＭＡＣ２０に対して解像度変換の元データとなるべき後半の１／２ＵＸＧＡのデータを解像度変換部３０に対して転送するように指示を出す（図２２矢印７ａ）。そして後半１／２ＵＸＧＡのデータを受けて、解像度変換部３０は残りのＵＸＧＡ⇒ＶＧＡ変換を開始する（図２２矢印８ａ）。

解像度変換された画像データは、ラスタブロック変換を経てコーデック処理部５０に送られ、コーデック処理部はＶＧＡデータの後半部の圧縮処理を実施する。その後の処理は今までの実施形態における説明と重複するのでここでは省略する。

次に、連続した２映像区間に渡ってこの処理を行う場合の図を図２３に示す。ここではＵＸＧＡの画像を１／２ずつ２つの連続する映像区間で処理することが要求されているのでそのように処理をしている。図２３（ａ）では、この処理をそれぞれ１映像期間の区切りの範囲内で実施するようにスケジュールした場合を示している。

図２３（ａ）の［１］の映像期間は図２２と同一の内容を示している。この場合、［２］の映像期間では、［１］の映像期間で行った第ｎフレームのＵＸＧＡ画像の後半１／２の圧縮処理を行うことになるが、この画像は［２］の映像期間で要求されている第ｎ＋１フレームのＶＧＡ画像とは異なるものであるので、解像度変換処理とコーデック処理とを並列に実行することができない。そのため、［２］の映像期間では別途０の状態からＶＧＡ画像用の解像度変換処理を実施することが必要になるので、その分余計に処理時間がかかり、［２］の映像期間内ではＶＧＡ切出し画像処理（データｅに対応）が［１］の映像期間に比べて少なくしか出来ない事態になっている。

しかし、実際には［２］の映像期間内で行っているＵＸＧＡ画像の後半１／２の処理は、［２］の時間内に限って処理する必要はないものである。既にデータはフレームバッファ１０のバッファＡ内にあるのであるから、［１］の映像期間内に処理能力に余裕があるようであれば、連続する２つの映像期間を１つのものとして考えて、［１］と［２］の映像期間にまたがって処理しても問題はない。そのような場合を図２３（ｂ）に示す。

ここでは、［１］の映像期間の処理の余裕時間を用いてＵＸＧＡ画像の後半１／２の処理を先行して実施している。そのことにより、［２］の映像期間においても処理時間に余裕ができ、図２３（ａ）に比べてＶＧＡ切出し画像処理を１つ多く実行することができるようになり、［１］の映像期間との間での画像処理能力の差を無くすことに成功している。

なお、本実施形態において処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるとしたが、第１の実施形態と同様に例えば、画像処理部１の中に配することや、画像処理部１の制御用シーケンサ７０に組み込まれた機能の一部として実装することも可能であり、その位置は本実施形態において制限されるものではない。もし、処理性能判断部３１１が制御用シーケンサ７０に組み込まれていた場合には、各端末から要求の出ている処理内容がネットワーク制御部３１０を経由して、画像−通信部間制御信号７１を介して制御用シーケンサ７０に伝達され、その情報を用いて上記判断を実施することになる。

そして、判断結果のサービス提供の可否は画像−通信部間制御信号７１を介してネットワーク制御部３１０に伝達され、ネットワーク制御部３１０が各端末にその情報を送信することになる。但し、第１の実施形態と同様に必要なデータ伝送のみを実施してなるべく全体の処理負荷を減らすという観点から考えると、本実施形態のように処理性能判断部３１１は通信部３のネットワーク制御部３１０の中にあるほうが好ましい。

このようにして、第５の実施形態での効果に加えて、部分的であっても処理の並列化できる部分を並列化すること、及び並列化を実施する上で本来必要となる処理が部分的に処理された場合には、その処理を補完することができるような仕組みを持つことによって、１映像期間内に１つの処理装置によって処理することのできる処理能力を高めることが可能になる。本実施形態では、第３の実施形態に比べてＶＧＡ画像の処理を更に１画像分多く処理することが可能になっている。その結果、１映像期間内に１つの処理装置によってより多くのユーザからの異なる要求に対応した処理を行うことが可能になる。

また、部分画像の処理を複数の映像期間で連続的に行う場合に、複数の映像期間にまたがった処理を実施する機能を付け加えることにより、更に処理能力を向上させることが可能になり、複数の映像期間における実行並列度の差による処理能力のばらつきを小さくすることが可能になる。

（第７の実施形態）
第１から第６までの実施形態では、コーデックの処理は、基本的にＪＰＥＧ圧縮の処理を例にしていた。しかし、コーデックの処理はＪＰＥＧの圧縮処理だけに限らない。そのように複数の方式での圧縮処理を１つの映像区間内に複数回実施する場合の例を図１、図１２、図１９、及び図２４、図２５を用いて説明する。

図１は図としての構成要素は同一であるので第１の実施形態のものを流用する。また、図１２は図としての構成要素は同一であるので第４の実施形態のものを流用する。更に図１９は図としての構成要素は同一であるので第５の実施形態のものを流用する。なお、本実施形態では、第１の実施形態と同様、図１における撮像部２のセンサー２２０は、正方画素のプログレッシブ形式のＣＣＤであるとする。また、その有効画素数は６４０×４８０のいわゆるＶＧＡサイズであり、１／３０秒毎に１フレームのＶＧＡ画像を出力することができるものとする。即ち、本実施形態での１映像期間は１／３０秒（およそ３３.３ms）であるとする。

図２４は、コーデックにおける圧縮処理にＪＰＥＧとＭＰＥＧ４の２通りの処理が入る場合の処理の流れを示した図である。また、図２５は、ＭＰＥＧ４圧縮を実施する際に必要になるＹＵＶ４２２からＹＵＶ４２０への変換機能を備えたラスタブロック変換用ラインメモリ４０を示した図である。図２５は、構成要素的には第５の実施形態に示した図１９と似ているが、図１９に比べて各ラスタ／ブロック変換用ラインメモリのライン長が半分になり、その代わりライン数が２倍になるように組替えられている。これは、本実施形態におけるコーデック処理部５０がＭＰＥＧ４を扱う場合に、扱うデータの単位がＹ信号に関して１６×１６sampleのものであるため、そのデータが供給しやすいように各ラスタ／ブロック変換用ラインメモリを構成するメモリモジュールの利用法を図１９の場合から変更したものである。

また、Ｕ／Ｖそれぞれのラスタブロック変換用ラインメモリ４６−１〜４及び４７−１〜４の出口にはＹＵＶ４２２のデータからＹＵＶ４２０のデータに変換するためのデータ変換部４９が追加されている。このデータ変換部も図１９の場合からメモリモジュールの利用法を変更したことに付随して追加接続された機能ブロックであり、この処理を必要としない場合にはスルーする機能をもつものである。

図２５内部の動作は、基本的には図１９の動作と同じである。異なるのはデータの転送単位は１６ラインを基本に考えるので、Ｙ信号のラスタブロック変換用ラインメモリは４５−１と４５−２の組を１つの１６ラインのバッファ、４５−３と４５−４の組をもう１つの１６ラインのバッファと考えるダブルバッファ構成とみなす点である。

Ｕ／Ｖ信号用のラスタ／ブロック変換用ラインメモリ４６−１〜４及び４７−１〜４に関しても同様に４６−１、２と４６−３、４、４７−１、２と４７−３、４のダブルバッファとみなす。更にＹＵＶ４２２からＹＵＶ４２０への信号の変換動作が必要になる場合には、ラインメモリの出口にあるデータ変換部４９で元の画像上で上下に隣接する２ラインのデータから新しいデータが作成される。

ラスタ／ブロック変換用メモリ４０は、図１９に示した構成から図２５のような構成にデータパスを切り替えることによって組みなおすことが可能である。本実施形態においては、圧縮するデータの特性に応じてデータパスの設定を変更することによってこれらを切り替えている。

以上説明したようなラスタ／ブロック変換用メモリ４０を含む画像処理部１の動作の流れについて、図１２を参照しながら図２４を用いて説明する。

図１２において、現像処理部２３０から出力されたＶＧＡサイズの画像データはフレームバッファ１０にフレーム単位で格納される。フレームバッファ１０は、図２４に示すように内部はダブルバッファ形式になっており、第ｎ番目のフレームと第ｎ＋１番目のフレームの画像データがそれぞれ別の領域（バッファＡ及びＢ）に格納されるようになっている。

今、第ｎフレームのフレームバッファ１０のバッファＡへの蓄積が完了したとする。すると、現像処理部２３０から制御用シーケンサ７０に対してフレームデータの転送完了割込みが発生する（図２４矢印１）。

転送完了割込みを受けて、制御用シーケンサ７０は、まずコーデック処理部５０のパラメータレジスタ５１に対してどのような処理をコーデック処理部でおこなうかを指示するためのパラメータをセットする（図２４矢印２ａ）。本実施形態では、最初の圧縮処理としてＭＰＥＧ４を用いた圧縮が要求されているとする。ここでは、制御用シーケンサ７０はＭＰＥＧ４処理をコーデック処理部５０に実施させるための複数のパラメータをパラメータレジスタ５１に設定し、コーデック処理部５０の処理モードをＭＰＥＧ４処理モードに設定する。

次いで、制御用シーケンサ７０は、ラスタ／ブロック変換用メモリ４０に対して、画像データＤＭＡＣ２０から入力されるＹＵＶ４２２形式のＶＧＡサイズの画像データをＹＵＶ４２０形式に変換し、ＭＰＥＧ４モードでコーデック処理部５０にデータを提供するように指示をする（図２４矢印４ａ）。指示を受けたラスタ／ブロック変換用メモリ４０は、先に図２５で示したようにデータパスの構成を組替え、ＭＰＥＧ４モードで動作できるようにした後、データの転送が開始されるのを待つ。

次いで、制御用シーケンサ７０は、画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出して、ラスタ／ブロック変換用メモリ４０に対してデータを供給するための転送を開始するように指示をする（図２４矢印３ａ）。指示を受けて画像データＤＭＡＣ２０は、画像データをフレームバッファ１０から読み出して、ラスタ／ブロック変換用メモリ４０に供給する。

画像データの供給を受けたラスタ／ブロック変換用メモリ４０は、ＹＵＶ４２２⇒ ＹＵＶ４２０の変換を開始し（図２４矢印７ａ）、ブロック化したデータを所定の順序でコーデック処理部５０に提供する。ブロック化された画像データの提供を受けたコーデック処理部５０はＭＰＥＧ４形式での画像圧縮を実施し、順次符号化データを符号化データＤＭＡＣ６０に受け渡す。符号化データＤＭＡＣ６０は、データバッファ１２に対して一定の単位で符号化データを転送する。そして第ｎフレームにおいて画像を構成するすべての符号化データの転送を完了した時点で、制御用シーケンサ７０はデータバッファ通信部３に対して符号化データの転送完了割込みを送出する（図２４矢印６ａ）。この割り込み通知は画像−通信部間制御信号７１を介して伝達される。

図２４において、ＭＰＥＧ４の符号化データの転送完了割込みを送出した（図２４矢印６ａ）ことを制御用シーケンサ７０が認識すると、制御用シーケンサ７０は次に求められている画像処理のパラメータを調べる。ここでは、次に要求されている動作はＶＧＡサイズの画像データをその解像度のままＪＰＥＧ圧縮することが求められているとする。また、同じ画角のデータをＱＶＧＡに解像度変換したデータを用いたＪＰＥＧ処理がその後続にあることもわかっているので、画像圧縮処理と解像度変換処理とを並列的に行うことも設定が必要になる。

そこで制御用シーケンサ７０は、まず、ＪＰＥＧ処理をコーデック処理部５０に実施させるための複数のパラメータをパラメータレジスタ５１に設定し、コーデック処理部５０の処理モードをＪＰＥＧ処理モードに設定する（図２４矢印２ｂ）。

次いで、制御用シーケンサ７０は、ラスタ／ブロック変換用メモリ４０に対して、ブロック化の処理モードをＪＰＥＧ用に変更するように指示をする（図２４矢印４ｂ）。指示を受けたラスタ／ブロック変換用メモリ４０は図２５に示したような構成から図１９で示したようにデータパスの構成を組替え、ＪＰＥＧモードで動作できるようにした後、データの転送が開始されるのを待つ。

次いで、制御用シーケンサ７０は、解像度変換部３０に対して、画像データＤＭＡＣ２０から入力されるＶＧＡサイズの画像データをＱＶＧＡサイズに解像度変換するように指示をする（タイミング図示せず）。

次いで、制御用シーケンサ７０は、画像データＤＭＡＣ２０に対して、第ｎフレームの画像データをフレームバッファ１０のバッファＡから読み出して、コーデック処理部５０に対してデータを供給するための転送を開始するように指示をする（図２４矢印３ｂ）。

本実施形態では、フレームバッファ１０から読み出したデータを解像度変換部３０とラスタ／ブロック変換用メモリ４０に並列的に供給する必要があるので、そのようにパラメータを転送領域設定レジスタ２１に設定する。

画像データＤＭＡＣ２０がデータの転送を開始すると、解像度変換部３０は、ＶＧＡ⇒ＱＶＧＡの画像変換を開始し（図２４矢印８ｂ）、そのデータをフレームバッファ（２）１３に蓄積する。一方、コーデック処理部は、ラスタ／ブロック変換用メモリ４０によってブロック化された画像データを受けてＪＰＥＧ方式での圧縮を開始し（図２４矢印５ｂ）、順次ＪＰＥＧ方式で圧縮された符号化データＪＰＥＧｂを符号化データＤＭＡＣ６０に受け渡す。

符号化データＤＭＡＣ６０は、データバッファ１２に対して一定の単位で符号化データを転送する。そして第ｎフレームにおいて符号化データＪＰＥＧｂの転送を完了した時点で、制御用シーケンサ７０はデータバッファ通信部３に対して符号化データの転送完了割込みを送出する（図２４矢印６ｂ）。この割り込み通知は画像−通信部間制御信号７１を介して伝達される。そして、その次は、フレームバッファ（２）に蓄積されたＱＶＧＡに解像度変換された画像データを利用して、ＪＰＥＧの圧縮処理が開始されることになる。これ以降の処理に関してはこれまでの実施形態と同一であるので説明の詳細は省略する。

なお、本実施形態においても処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるとしたが、第１の実施形態と同様に例えば、画像処理部１の中に配することや、画像処理部１の制御用シーケンサ７０に組み込まれた機能の一部として実装することも可能であり、その位置は本実施形態において制限されるものではない。但し、第１の実施形態と同様に必要なデータ伝送のみを実施してなるべく全体の処理負荷を減らすという観点から考えると、本実施形態のように処理性能判断部３１１は、通信部３のネットワーク制御部３１０の中にあるほうが好ましい。

このようにすることによって、これまでに説明した第１から第６の実施形態までの効果に加えて、１つのコーデックを用いて１映像期間内に複数の符号化方式によるの画像圧縮処理を効率よく実施することが可能になる。特に、圧縮方式に応じてデータパスを動的に切り替えるような機構をもつことによって、内部のメモリを無駄なく利用することが可能になり、ＩＣ内部の資源の有効活用を図りながら、処理性能の向上を図ることが可能になる。

本発明の第１の実施形態に係る撮像装置の構成を示す図である。 本発明の第１の実施形態における画像処理部の詳細を示す図である。 本発明の第１の実施形態における画像処理部の動作の流れを示す図である。 本発明の第１の実施形態に係る撮像装置を用いたシステムの構成例を示す図である。 本発明の第２の実施形態におけるビューワ側で要求する画像の画角と解像度を示す図である。 本発明の第２の実施形態における画像処理部の詳細を示す図である。 本発明の第２の実施形態における画像処理部の動作の流れを示す図である。 本発明の第３の実施形態における画像処理部の詳細を示す図である。 本発明の第３の実施形態における画像処理部の動作の流れを示す図である。 本発明の第３の実施形態におけるビューワ側で要求する画像の画角と解像度を示す図である。 本発明の第３の実施形態における連続する２映像期間での画像処理部の動作の流れを示す図である。 本発明の第４の実施形態における画像処理部の詳細を示す図である。 本発明の第４の実施形態における画像処理部の動作の流れを示す図である。 本発明の第４の実施形態におけるビューワ側で要求する画像の画角と解像度を示す図である。 本発明の第５の実施形態における画像処理部の詳細を示す図である。 本発明の第５の実施形態におけるビューワ側で要求する画像の画角と解像度を示す図である。 本発明の第５の実施形態における画像データＤＭＡＣの詳細を示す図である。 本発明の第５の実施形態における画像データＤＭＡＣと解像度変換部及びラスタ／ブロック変換用メモリとの間のデータの受け渡しタイミングを示す図である。 本発明の第５の実施形態におけるラスタ／ブロック変換用メモリの詳細を示す図である。 本発明の第５の実施形態における解像度変換部の詳細を示す図である。 本発明の第６の実施形態におけるビューワ側で要求する画像の画角と解像度を示す図である。 本発明の第６の実施形態における画像処理部の動作の流れを示す図である。 本発明の第６の実施形態における連続する２映像期間での画像処理部の動作の流れを示す図である。 本発明の第７の実施形態における画像処理部の動作の流れを示す図である。 本発明の第７の実施形態におけるラスタ／ブロック変換用メモリの詳細を示す図である。

符号の説明

１：画像処理部
２：撮像部
３：通信部
４：ネットワーク網
５：撮像装置
１０：フレームバッファ
１１：画像処理用メモリ
１２：データバッファ
１３：フレームバッファ(２)
２０：画像データＤＭＡＣ（ダイレクトメモリアクセス・コントローラ）
２１：転送領域設定レジスタ
２２：６４ｂｉｔＦＩＦＯレジスタ
２３：クロック制御部
２４：ＦＩＦＯ読出しポート
３０：解像度変換部
４０：ラスタ／ブロック変換用メモリ
５０：コーデック処理部
５１：パラメータレジスタ
６０：符号化データＤＭＡＣ
７０：制御用シーケンサ
７１：画像−通信武官制御信号
２１０：レンズ
２２０：センサー
２３０：現像処理部
３１０：ネットワーク制御部
３１１：処理性能判断部
３２０：ネットワークインタフェース
４００：表示端末
４０１：ビューワ

Claims (10)

1. 被写体を撮像して撮像データを得る撮像手段と、
   前記撮像手段で得られた撮像データを動画像データに現像する現像手段と、
   前記動画像データを画像処理する画像処理手段と、
   前記画像処理手段で処理した動画像データをネットワーク上に送出するネットワーク通信手段と、
   前記動画像データを構成する１画面分の画像データの更新間隔である１映像期間内に、前記画像処理手段において複数の異なる画像処理を施した動画像データを前記ネットワーク通信手段に出力するように制御する制御手段と
   を有することを特徴とする撮像装置。
2. 前記画像処理手段には、前記画像データの符号化処理を行う符号化処理部が具備されており、
   前記符号化処理部は、前記１映像期間内に複数回の処理パラメータの設定が可能に構成されていることを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段には、高解像度の前記画像データから画像の切出し処理を行う画像切出し処理部が更に具備されており、
   前記画像切出し処理部は、前記１映像期間内に複数回の処理パラメータの設定が可能に構成されていることを特徴とする請求項２に記載の撮像装置。
4. 前記画像処理手段には、前記画像データの解像度変換処理を行う解像度変換部が更に具備されており、
   前記解像度変換部は、前記１映像期間内に複数回の処理パラメータの設定が可能に構成されていることを特徴とする請求項２又は３に記載の撮像装置。
5. 前記画像処理手段には、前記解像度変換処理後の画像データを一時蓄え、前記１映像期間内の後続の処理を行うことを可能とするフレームバッファを含むことを特徴とする請求項４に記載の撮像装置。
6. 前記画像処理手段は、１つの画像データを前記符号化処理部と前記解像度変換部とに時間的に並行して供給するための画像データのＤＭＡ機構を有していることを特徴とする請求項４又は５に記載の撮像装置。
7. 前記ＤＭＡ機構は、前記１つの画像データの部分データを、前記符号化処理部と前記解像度変換部とに時間的に並行して供給するものであり、
   前記画像処理手段は、前記１つの画像データのうちの前記部分データを除いた残りの部分データを前記解像度変換部に別途供給し、分割して実施した前記解像度変換処理の結果得られたデータを前記１つの画像データとして前記符号化処理部で処理すること特徴とする請求項６に記載の撮像装置。
8. 前記画像処理手段には、前記画像データのラスタ／ブロック変換処理を行うラスタ／ブロック変換部が更に具備されており、
   前記符号化処理部による前記画像データの符号化処理は、複数の形式の符号化処理に対応するものであり、
   前記画像処理手段は、前記複数の形式の符号化処理に対応して、前記ラスタ／ブロック変換部のデータパスを動的に変更することを特徴とする請求項２〜７のいずれか１項に記載の撮像装置。
9. 前記ネットワーク上の利用者からの要求に基づいて前記１映像期間内に処理可能な処理内容を判別し、前記画像処理手段に対して少なくとも画像処理の順序又は画像処理の内容を指示する処理性能判断部を更に有することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記処理性能判断部は、前記ネットワーク通信手段に具備されていることを特徴とする請求項９に記載の撮像装置。

Images