JP2006033810A - Multi-sensor panoramic network camera - Google Patents

Multi-sensor panoramic network camera Download PDF

Info

Publication number
JP2006033810A
JP2006033810A JP2005169533A JP2005169533A JP2006033810A JP 2006033810 A JP2006033810 A JP 2006033810A JP 2005169533 A JP2005169533 A JP 2005169533A JP 2005169533 A JP2005169533 A JP 2005169533A JP 2006033810 A JP2006033810 A JP 2006033810A
Authority
JP
Japan
Prior art keywords
image
sensor
data stream
sensor network
network camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005169533A
Other languages
Japanese (ja)
Other versions
JP4763351B2 (en
JP2006033810A5 (en
Inventor
Michael Kaplinsky
カプリンスキー マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arecont Vision LLC
Original Assignee
Arecont Vision LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/890,912 external-priority patent/US7680192B2/en
Application filed by Arecont Vision LLC filed Critical Arecont Vision LLC
Publication of JP2006033810A publication Critical patent/JP2006033810A/en
Publication of JP2006033810A5 publication Critical patent/JP2006033810A5/ja
Application granted granted Critical
Publication of JP4763351B2 publication Critical patent/JP4763351B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To realize a multi-sensor network camera providing a wide angle of a field of view. <P>SOLUTION: This camera comprises multi-image sensors 101 each having an individual optical system, one or more image processors 102, a compression unit 103, and a network interface 104 which are all mounted on a single housing. The image sensors are disposed on non-parallel planes, and cumulatively provide panoramic field of view. Image streams from all the sensors share the same image compression and network hardware. In the preferred embodiment, the images from all the sensors are simultaneously transmitted over the network via packet interleaving (interleave) with reduction in appropriate bandwidth to be realized by image decimation. The decimated images from all the sensors are simultaneously transmitted, full resolution window and entire image of one or more sensors are also transmitted, and the selection of contents is performed on the basis of either motion detection or user setting. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明の主題は、３６０度までの視野角を提供する多重センサネットワークカメラである。本発明で開示されたカメラは、単一の筐体に取り付けられた、個別の光学系を有する多重イメージセンサと、１個以上の画像プロセッサと、圧縮ユニットと、ネットワークインターフェースとを備える。好適な実施例では、イメージセンサが非平行な面に配置され、累積してパノラマ的な視野を提供する。好適な実施例では、すべてのセンサから発生されたイメージストリームは同一の画像圧縮及びネットワークハードウエアを共有し、低コストの構成を提供する。好適な実施例では、すべてのセンサからの画像は、画像間引きにより実現される適当な帯域低減を伴って、パケット挟み込み（インターリーブ）を介して同時にネットワーク上に送信される。本発明の実施例の１つでは、すべてのセンサからの間引かれた画像の同時送信、全解像度ウインドウ又は１個以上のセンサの全画像も送信され、内容の選択は動きの検出又はユーザ設定のいずれかに基づいて行われる。   The subject of the present invention is a multi-sensor network camera providing a viewing angle of up to 360 degrees. The camera disclosed in the present invention includes a multiple image sensor having individual optical systems, one or more image processors, a compression unit, and a network interface, which are attached to a single housing. In the preferred embodiment, the image sensors are placed on non-parallel surfaces and accumulate to provide a panoramic field of view. In the preferred embodiment, the image streams generated from all sensors share the same image compression and network hardware, providing a low cost configuration. In the preferred embodiment, images from all sensors are sent simultaneously over the network via packet interleaving (interleaving) with appropriate bandwidth reduction achieved by image decimation. In one embodiment of the present invention, simultaneous transmission of decimated images from all sensors, full resolution window or all images of one or more sensors are also transmitted, content selection can be motion detection or user settings Based on one of the following.

本発明の好適な実施例は、ネットワークインターフェースの受信側に、コンピュータモニタに接続されたコンピュータを有する。このコンピュータは、画像の綴じ(stitching)を実行することにより複合パノラマ画像を生成するように構成された画像処理及び捕捉(acquisition)ソフトウエアを動作させる。この綴じは、パノラマカメラの異なるセンサにより撮影された画像から重なる画像を除去し及び複合パノラマ画像を合成するように構成されている。   The preferred embodiment of the present invention has a computer connected to a computer monitor on the receiving side of the network interface. The computer operates image processing and acquisition software configured to generate composite panoramic images by performing image stitching. This binding is configured to remove overlapping images from images taken by different sensors of the panoramic camera and synthesize a composite panoramic image.

図１は、多重センサパノラマネットワークカメラの主要素を示すブロック図である。本発明の主題は、個別の光学系を有する２個以上のイメージセンサ（１０１）と、１個以上の画像プロセッサと、画像をカメラ外に送信するネットワークインターフェース（１０４）とを備える多重センサネットワークカメラであり、そして多重センサネットワークカメラは、一時的画像記憶のための１つ以上のメモリを備えてもよい。イメージセンサは、カメラの累積視野を増加させるように非平行な面に配置される。画像プロセッサは、イメージセンサの制御、カラー処理及び画像圧縮を提供し、すべてのイメージセンサに共通の少なくとも１つの画像処理モジュール（１０３）を含む。このすべてのイメージセンサに共通の画像処理モジュールは、カメラから出力されるデータストリームの選択／多重化(multiplexing)を提供し、画像圧縮エンジンも備える。   FIG. 1 is a block diagram showing the main elements of a multi-sensor panoramic network camera. The subject of the present invention is a multi-sensor network camera comprising two or more image sensors (101) having separate optical systems, one or more image processors, and a network interface (104) for transmitting images out of the camera. And the multi-sensor network camera may comprise one or more memories for temporary image storage. The image sensor is placed on a non-parallel surface to increase the cumulative field of view of the camera. The image processor provides image sensor control, color processing and image compression and includes at least one image processing module (103) common to all image sensors. The image processing module common to all the image sensors provides selection / multiplexing of the data stream output from the camera and also includes an image compression engine.

図２及び図３は、多重センサパノラマネットワークカメラ内のイメージセンサの配置の例を示す。本発明の好適な実施例では、３個以上のイメージセンサ（２０５）が、カメラ位置を中心とする少なくとも１つの円周に沿って、累積して３６０度の視野を提供するように配置されている（２０１及び２０２）。本発明の他の実施例では、２個以上のイメージセンサ（２０４）が、カメラ位置を中心とする少なくとも円周に沿って、累積して１８０度の視野を提供するように配置されている（２０３）。本発明の更に他の実施例では、カメラを中心とする少なくとも１８０度の半円を完全にカバーする視野を累積して提供するように、センサはカメラの内側に取り付けられている（３０１から３０４）。図示の各場合においては、イメージセンサはそれぞれ横に隣接しており、異なる角度において所望の視野を合わせてカバーする。   2 and 3 show examples of arrangement of image sensors in a multi-sensor panoramic network camera. In a preferred embodiment of the present invention, three or more image sensors (205) are arranged to provide a cumulative 360 degree field of view along at least one circumference centered on the camera position. (201 and 202). In another embodiment of the invention, two or more image sensors (204) are arranged to provide a cumulative 180 degree field of view along at least the circumference centered at the camera position ( 203). In yet another embodiment of the invention, the sensor is mounted inside the camera (301-304) to provide a cumulative field of view that completely covers at least a 180 degree semicircle centered on the camera. ). In each case shown, the image sensors are laterally adjacent and cover the desired field of view at different angles.

本発明の好適な実施例では、カメラは１つの画像処理／多重化モジュールを含み、このモジュールは、多重センサからの画像を時間挟み込み（インターリーブ）で間引き又は圧縮して、ネットワークインターフェース又はボード上の画像メモリバッファ内のバッファに画像を提供する。本発明の好適な実施例では、カメラはいくつかのセンサからの間引いた画像と他のセンサからの全解像度画像の画像をネットワークインターフェースに送信し、画像処理モジュールは、圧縮する前に１個以上のイメージセンサからの画像を間引き、他の１個以上のイメージセンサからの全解像度の画像又は画像の部分／ウインドウを圧縮する。   In a preferred embodiment of the present invention, the camera includes a single image processing / multiplexing module that decimates or compresses images from multiple sensors in a time-interleaved manner on a network interface or board. Provides an image to a buffer in the image memory buffer. In a preferred embodiment of the present invention, the camera sends a thinned image from several sensors and a full resolution image from the other sensor to the network interface, and the image processing module has one or more before compression. The image from one of the image sensors is decimated and the full resolution image or image portion / window from one or more other image sensors is compressed.

本発明の好適な実施例では、イメージセンサは高解像度のＣＭＯＳイメージセンサである。本発明の他の例では、多重画像処理ユニットが画像圧縮を実行し、各画像圧縮ユニットはカメラにおいて１個のイメージセンサからの画像を圧縮するように構成される。後者の例では、すべてのイメージセンサに共通の画像プロセッサが、圧縮された画像ストリームのカメラのネットワークインターフェースへの選択／多重化の機能を実行するように設けられる。   In the preferred embodiment of the present invention, the image sensor is a high resolution CMOS image sensor. In another example of the invention, multiple image processing units perform image compression, and each image compression unit is configured to compress images from one image sensor at the camera. In the latter example, an image processor common to all image sensors is provided to perform the function of selecting / multiplexing the compressed image stream to the camera network interface.

本発明の１つの実施例では、画像処理ユニットは動き検出と追跡(tracking)機能を備えており、画像処理ユニットは１個のイメージセンサの視野内に存在し、他のイメージセンサの視野内に入る移動目標を特定できる。この実施例では、カメラは、間引いていない選択された移動目標を中心とする画像ウインドウをネットワークインターフェースに送信し、カメラ内のいくつかの又はすべてのセンサからの間引かれた又は間引かれていない画像を時間挟み込みの方法で送信する。時間挟み込みは、フレームごと又はパケットごとに行われる。本発明の更に別の実施例では、ネットワークインターフェースを介してカメラ外に送信される画像ストリームの選択は、ユーザにより実行され、この選択はネットワークインターフェースを介してカメラに通信される。   In one embodiment of the invention, the image processing unit has motion detection and tracking functions, and the image processing unit is in the field of view of one image sensor and in the field of view of another image sensor. The moving target to enter can be specified. In this example, the camera sends an image window centered on a selected moving target that has not been thinned to the network interface, and is thinned or thinned from some or all sensors in the camera. Send no images in a time sandwiched manner. Time insertion is performed for each frame or each packet. In yet another embodiment of the present invention, the selection of an image stream that is transmitted out of the camera via the network interface is performed by the user and the selection is communicated to the camera via the network interface.

本発明の好適な実施例のブロック図が図４に示される。本発明の好適な実施例では、多重センサパノラマネットワークカメラは、多重イメージセンサ（４０３）、画像バッファメモリ（４２０及び４２１）、ネットワークインターフェース（４２２及び４０７）及び低コストのマイクロプロセッサの制御の下で動作するＡＳＩＣ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）（４０４）とを備える。ＡＳＩＣ又はＦＰＧＡｓは、まとまって並列である画像処理パイプラインの形で、画像プリプロセッサ（４０１）及びポストプロセッサ（４０２）を実現する。パイプラインは、画像の画素における時間律速動作を実行する。画像の画素の流れはパイプラインのステージの順番に動作され、各パイプラインステージは、他のパイプラインステージのすべて又は大部分と並列に動作する。マイクロプロセッサは、画像処理パイプラインの動作を制御し、ネットワーク初期化動作を実行し、自動露光、ホワイトバランス、画像ストリーム多重化及びプロトコルレベルのネットワークインターフェース演算に関係する（フレームごとに１回実行される）相対的に遅い動作を制御すると共にカメラに対するユーザインターフェースを構成するレジスタ空間を維持する。   A block diagram of the preferred embodiment of the present invention is shown in FIG. In a preferred embodiment of the present invention, the multi-sensor panoramic network camera is under the control of a multi-image sensor (403), image buffer memory (420 and 421), network interface (422 and 407) and a low cost microprocessor. ASICs or field programmable gate arrays (FPGAs) (404) that operate. ASICs or FPGAs implement the image pre-processor (401) and post-processor (402) in the form of a parallel image processing pipeline. The pipeline performs a time rate limiting operation on the pixels of the image. The pixel flow of the image is operated in the order of the pipeline stages, with each pipeline stage operating in parallel with all or most of the other pipeline stages. The microprocessor controls the operation of the image processing pipeline, performs network initialization operations, and is involved in automatic exposure, white balance, image stream multiplexing and protocol level network interface operations (executed once per frame). A) Controlling a relatively slow operation and maintaining a register space constituting a user interface for the camera.

本発明の好適な実施例では、各イメージセンサの出力は、イメージセンサに関係する画像プリプロセッサで処理される。本発明の好適な実施例では、画像プリプロセッサは、二次元処理のための多重ラインメモリバッファ（４０８）と、画素あたり１色のBayer（バイエル）画素アレイを画素あたり３色のストリームにする画像補間ブロック（４０９）と、ハイパスフィルタ及びローパスフィルタを画像に適用することにより画像鮮鋭化及び低照明の信号対雑音（Ｓ／Ｎ）比の改善を行うブロック（４１０）と、３×３のカラー補正マトリクスによりＲＧＢ画素成分の乗算を行うカラー補正ブロック（４１１）と、ＲＧＢからＹＵＶへの変換ブロック（４１２及び４１４）と、ルックアップテーブルとして実現されるガンマ補正ブロック（４１６）と、自動露光（ＡＥ）及び自動ホワイトバランス（ＡＷＢ）アルゴリズムに必要な画像の明るさ統計及びカラー統計を収集する自動露光（ＡＥ）測定エンジン（４１８）及び自動ホワイトバランス（ＡＷＢ）測定エンジン（４１９）と、少なくとも２個のフレームバッファ（４２０及び４２１）と、処理済み及び到来するフレームのピンポンバッファリングの組み立てのための関係するメモリアクセスコントローラ（４１７）とを備える画像処理パイプラインとして実現される。   In the preferred embodiment of the present invention, the output of each image sensor is processed by an image preprocessor associated with the image sensor. In a preferred embodiment of the present invention, the image preprocessor includes a multi-line memory buffer (408) for two-dimensional processing and an image interpolation that converts a one-pixel Bayer pixel array into a three-color stream per pixel. A block (409), a block (410) for applying a high-pass filter and a low-pass filter to the image to improve image sharpening and low signal-to-noise (S / N) ratio, and 3 × 3 color correction Color correction block (411) for multiplying RGB pixel components by a matrix, RGB to YUV conversion blocks (412 and 414), a gamma correction block (416) realized as a look-up table, and automatic exposure (AE) ) And automatic white balance (AWB) algorithm required image brightness and color statistics Automatic exposure (AE) measurement engine (418) and automatic white balance (AWB) measurement engine (419) to collect, at least two frame buffers (420 and 421), and ping-pong buffering of processed and incoming frames Realized as an image processing pipeline with an associated memory access controller (417) for assembly.

本発明の好適な実施例では、画像プリプロセッサの出力を記憶する画像バッファは、単一の画像多重化器（マルチプレクサ:multiplexer)及び間引きブロック（４２９）に接続される。このブロックは交互に画像ポストプロセッサ（４０２）に接続される。   In the preferred embodiment of the present invention, the image buffer storing the output of the image preprocessor is connected to a single image multiplexer and decimation block (429). This block is alternately connected to the image post processor (402).

本発明の他の例では、すべてのイメージセンサは、単一の画像プリプロセッサに交互に接続される単一の画像ストリームマルチプレクサ及び間引き器に接続され、そして画像プリプロセッサは単一のポストプロセッサに接続される。この実施例は、資源の共有により、本発明を低コストで構成するのを可能にするが、一般的に前述の好適な実施例より全体の画像処理及び送信帯域を低下させる。   In another example of the invention, all image sensors are connected to a single image stream multiplexer and decimation device that are alternately connected to a single image preprocessor, and the image preprocessor is connected to a single post processor. The This embodiment allows the present invention to be configured at low cost by sharing resources, but generally lowers overall image processing and transmission bandwidth than the preferred embodiment described above.

本発明の好適な実施例では、ポストプロセッサ（４０２）は、パイプライン化されたＪＰＥＧ画像圧縮及びネットワークパケット発生モジュールを備える。   In the preferred embodiment of the present invention, the post processor (402) comprises a pipelined JPEG image compression and network packet generation module.

本発明の好適な実施例では、パイプライン化されたＪＰＥＧ画像圧縮及びネットワークパケット発生モジュールを備える。   The preferred embodiment of the present invention comprises a pipelined JPEG image compression and network packet generation module.

本発明の好適な実施例では、ＪＰＥＧ圧縮のパイプライン化した構成は、ＭＣＵフォーメーション及びバッファリングを実行するブロック（４２８）と、ファワードディスクリート余弦（コサイン）変換(Forward Discrete Cosine Transform :FDCT)（４２７）と、ジグザグ走査及び量子化（４２６）と、エントロピィコード化（４２５）とを実行するブロックを含む。本発明の好適な実施例では、二次元ＦＤＣＴは、ＦＤＣＴは分離した変換が可能であるということを利用して、一次元のＦＤＣＴ変換を通過する２つの経路として実現される。   In the preferred embodiment of the present invention, a pipelined configuration of JPEG compression includes a block (428) that performs MCU formation and buffering, and a Forward Discrete Cosine Transform (FDCT) ( 427), zigzag scanning and quantization (426) and entropy coding (425). In the preferred embodiment of the present invention, the two-dimensional FDCT is implemented as two paths through the one-dimensional FDCT transform, taking advantage of the fact that the FDCT can be transformed separately.

本発明の更に別の例では、ＪＰＥＧ２０００又はＭＰＥＧのようなより効果的な画像圧縮で、基本となるＪＰＥＧ構成を置き換えることができる。   In yet another example of the present invention, a more effective image compression such as JPEG2000 or MPEG can replace the basic JPEG configuration.

本発明の好適な実施例では、（ＲＦＣ７８３に記載されているTrivial File Transfer Protocol）ＴＦＴＰの変形バージョンが画像送信の主モードとして構成されており、ＴＦＴＰプロトコルヘッダは、マイクロプロセッサ（４０５）により送信パケットバッファ（４２２）に形成及び記録され、ＴＦＴＰのデータフィールド、すなわち画像データは対応するチェックサムと一緒に画像処理パイプライン（４２３）の出力ステージにより形成される。   In a preferred embodiment of the present invention, a modified version of TFTP (trivial file transfer protocol described in RFC 783) is configured as the main mode of image transmission, and the TFTP protocol header is transmitted by the microprocessor (405). Formed and recorded in the buffer (422), the data field of the TFTP, ie the image data, is formed by the output stage of the image processing pipeline (423) together with the corresponding checksum.

本発明の好適な実施例では、画像圧縮に引き続いて、画像ストリームが３つのネットワークパケットバッファの１つに記憶される。これらのバッファは、１つのバッファがＭＡＣ(Media Access Control)イーサネット（登録商標）インターフェース（４０７）に現在送られているパケットを含み、１つのバッファは次に送られるパッケトを含み、１つのバッファは画像圧縮モジュールからの圧縮されたデータの記憶ができる。この三重にバッファされた配置は、送信可能なパッケトが常時存在することを保証し、これにより利用可能なネットワークの帯域幅を最大限に利用することを可能にし、ネットワークエラーの発生における再送信を容易にする。   In the preferred embodiment of the present invention, following image compression, the image stream is stored in one of three network packet buffers. These buffers contain packets that are currently being sent to the MAC (Media Access Control) Ethernet interface (407), one buffer contains the next packet to be sent, and one buffer is Compressed data from the image compression module can be stored. This triple buffered arrangement ensures that there is always a packet that can be transmitted, thereby allowing the maximum use of available network bandwidth, and retransmission in the event of network errors. make it easier.

本発明の好適な実施例では、画像処理パイプライン及びイーサネット（登録商標）ＭＡＣ及びＰＨＹハードウエアとインターフェースされたマイクロプロセッサは、所定数のネットワークプロトコルをサポートするのにも使用される。好適な実施例では、構成の全体的な複雑さを低減するため、ＵＤＰ、ＴＦＴＰ、ＡＲＰ、ＩＰ、及びＩＣＭＰプロトコルを構成する最小のプロトコルの組がサポートされている。   In the preferred embodiment of the present invention, the microprocessor interfaced with the image processing pipeline and Ethernet MAC and PHY hardware is also used to support a predetermined number of network protocols. In the preferred embodiment, the minimum set of protocols that make up the UDP, TFTP, ARP, IP, and ICMP protocols are supported to reduce the overall complexity of the configuration.

本発明の他の実施例では、ＴＣＰ／ＩＰ及びＤＨＣＰプロトコルもサポートされている。   In other embodiments of the invention, TCP / IP and DHCP protocols are also supported.

好適な実施例では、本発明は、ネットワークインターフェースの受信側に、コンピュータモニタに接続されたコンピュータ（１０６）を有する。このコンピュータは、画像の綴じ(stitching)を実行することにより複合パノラマ画像を生成するように構成された画像処理及び捕捉(acquisition)ソフトウエアを動作させる。この綴じは、パノラマカメラの異なるセンサにより撮影された画像から重なる画像を除去し及び複合パノラマ画像を合成するように構成されている。本発明の好適な実施例では、パノラマカメラの個別のセンサからの画像は、間引き（解像度低下）モードで、ネットワーク上に送信される。多重センサパノラマカメラから得られた多重画像のコンピュータ又は他のモニター上に表示される単一の複合画像としての可視化は図５に示される。   In a preferred embodiment, the present invention has a computer (106) connected to a computer monitor on the receiving side of the network interface. The computer operates image processing and acquisition software configured to generate composite panoramic images by performing image stitching. This binding is configured to remove overlapping images from images taken by different sensors of the panoramic camera and synthesize a composite panoramic image. In the preferred embodiment of the present invention, images from individual sensors of the panoramic camera are transmitted over the network in a thinning (decreasing resolution) mode. The visualization of multiple images obtained from a multi-sensor panoramic camera as a single composite image displayed on a computer or other monitor is shown in FIG.

本発明の好適な実施例では、パノラマネットワークカメラは、間引き画像及び全解像度画像の両方及び画像の一部（ウインドウ）を出力するように構成されている。好適な実施例では、コンピュータソフトウエアは、全解像度画像又は部分画像をモニタに表示するようにも構成され、これによりパノラマ画像の瞬時の電子的なズーム及び検査が可能になる。   In a preferred embodiment of the present invention, the panoramic network camera is configured to output both a thinned image and a full resolution image and a portion (window) of the image. In a preferred embodiment, the computer software is also configured to display a full resolution image or a partial image on a monitor, which allows for instant electronic zooming and inspection of panoramic images.

図６は、完全に領域をカバーする多重カメラ監視システムにおけるパノラマカメラの可能な取り付け配置を示す。この実施例では、カメラに取り付けられるすべてのイメージセンサは、高解像度のＣＭＯＳイメージセンサである。   FIG. 6 shows a possible mounting arrangement of the panoramic camera in a multi-camera surveillance system that completely covers the area. In this embodiment, all image sensors attached to the camera are high resolution CMOS image sensors.

図１は、パノラマネットワークカメラシステムのブロック図を示す。FIG. 1 shows a block diagram of a panoramic network camera system. 図２は、多重センサパノラマネットワークカメラシステムのヘッド設計を示す。FIG. 2 shows the head design of a multi-sensor panoramic network camera system. 図３は、パノラマネットワークカメラの断面を示す。FIG. 3 shows a cross section of a panoramic network camera. 図４は、多重センサパノラマネットワークカメラのブロック図を示す。FIG. 4 shows a block diagram of a multi-sensor panoramic network camera. 図５は、多重センサパノラマネットワークカメラからの画像の送信及び可視化を示す。FIG. 5 shows the transmission and visualization of images from a multi-sensor panoramic network camera. 図６は、監視下の領域を完全にカバーする多重センサカメラ監視システムにおけるパノラマカメラの取り付け配置を示す。FIG. 6 shows a panoramic camera mounting arrangement in a multi-sensor camera monitoring system that completely covers the monitored area.

Claims (29)

焦点面が互いにある角度で配置された２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段とを備える多重センサネットワークカメラ。   Two or more image sensors having focal planes arranged at an angle to each other; a network interface for transmitting an image data stream generated by the image sensor out of a camera; and to the network interface of the image data stream And a multi-sensor network camera. 前記イメージセンサのそれぞれは、個別の光学系又はレンズを有する請求項１に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 1, wherein each of the image sensors has a separate optical system or lens. 前記イメージセンサは、前記カメラの位置を中心とした少なくとも１つの円周に沿って累積して３６０度の視野を提供するように非平行に配置されている請求項１に記載の多重センサネットワークカメラ。   The multi-sensor network camera of claim 1, wherein the image sensors are arranged non-parallel to provide a 360 degree field of view cumulatively along at least one circumference centered on the camera position. . 前記イメージセンサは、前記カメラの位置を中心とした少なくとも１８０度の半円を完全にカバーするように、累積した視野を提供するように配置されている請求項１に記載の多重センサネットワークカメラ。   The multi-sensor network camera of claim 1, wherein the image sensor is arranged to provide a cumulative field of view so as to completely cover a semicircle of at least 180 degrees centered on the camera position. 前記ネットワークインターフェースは、イーサネット（登録商標）ネットワークインターフェース(Ethernet（登録商標） network interface)である請求項１に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 1, wherein the network interface is an Ethernet (registered trademark) network interface. 前記ネットワークインターフェースは、ＴＣＰ、ＵＤＰ、ＴＦＴＰ、ＩＰの標準ネットワークプロトコルの１つ以上をサポートしている請求項１に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 1, wherein the network interface supports one or more of standard network protocols of TCP, UDP, TFTP, and IP. 前記画像データストリームの多重化は、時間挟み込みにより実行され、前記イメージセンサの１つからのデータストリームのある部分の送信は、他のイメージセンサからのデータストリームのある部分の送信に続いて行われる請求項１に記載の多重センサネットワークカメラ。   The multiplexing of the image data stream is performed by time squeezing and transmission of a part of the data stream from one of the image sensors is performed following transmission of a part of the data stream from the other image sensor. The multi-sensor network camera according to claim 1. 前記画像データストリームの多重化手段は、カメラ外に送信される画像データストリームの選択が外部入力から制御可能であるように構成されている請求項１に記載の多重センサネットワークカメラ。   2. The multi-sensor network camera according to claim 1, wherein the image data stream multiplexing means is configured so that selection of an image data stream transmitted outside the camera can be controlled from an external input. 3. 前記イメージセンサは、１００万画素を超える解像度のＣＭＯＳイメージセンサである請求項１に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 1, wherein the image sensor is a CMOS image sensor having a resolution exceeding 1 million pixels. 焦点面が互いにある角度で配置された２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段と、前記イメージセンサからの画像を間引き及び圧縮するように設けられた１つ以上の画像プロセッサとを備える多重センサネットワークカメラ。   Two or more image sensors having focal planes arranged at an angle to each other; a network interface for transmitting an image data stream generated by the image sensor out of a camera; and to the network interface of the image data stream A multi-sensor network camera comprising: a plurality of multiplexing means; and one or more image processors provided to decimate and compress images from the image sensor. 前記イメージセンサからの前記イメージデータストリームは、最終的に画像圧縮を実行するように設けられた単一画像プロセッサに多重化される請求項１０に記載の多重センサネットワークカメラ。   11. A multi-sensor network camera according to claim 10, wherein the image data stream from the image sensor is multiplexed into a single image processor arranged to finally perform image compression. 前記画像プロセッサは、画像プリプロセッサを更に備え、前記画像プリプロセッサは、前記イメージセンサの制御及びカラー処理を実行する請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 10, wherein the image processor further includes an image preprocessor, and the image preprocessor executes control of the image sensor and color processing. 前記イメージセンサのそれぞれからの前記イメージデータストリームは、最初に個別の画像プリプロセッサにより処理され、次にすべての前記イメージセンサに共通な画像ポストプロセッサに多重化される請求項１０に記載の多重センサネットワークカメラ。   11. The multi-sensor network of claim 10, wherein the image data stream from each of the image sensors is first processed by a separate image preprocessor and then multiplexed to an image postprocessor common to all the image sensors. camera. 前記イメージセンサは、画像処理パイプラインを構成する論理回路を備え、前記画像処理パイプラインは、画像の異なる部分に対する処理を並列に実行して、ある画像処理動作から次の動作へ画像情報を受け渡す請求項１０に記載の多重センサネットワークカメラ。   The image sensor includes a logic circuit that forms an image processing pipeline, and the image processing pipeline performs processing on different portions of the image in parallel, and receives image information from one image processing operation to the next. The multi-sensor network camera according to claim 10, which is handed over. 前記データストリーム及び前記画像プロセッサの多重化手段は、いくつかの前記イメージセンサからの画像及びいくつかの残りのイメージセンサからの画像の全解像度の画像又は部分画像を前記ネットワークインターフェース上に送信するように構成されている請求項１０に記載の多重センサネットワークカメラ。   Multiplexing means of the data stream and the image processor are adapted to send a full resolution image or a partial image of several images from the image sensor and several remaining image sensors on the network interface. The multi-sensor network camera according to claim 10, which is configured as follows. 前記画像圧縮は、個別の余弦（コサイン）変換に基づくアルゴリズムを使用する請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera of claim 10, wherein the image compression uses an algorithm based on individual cosine transform. 前記画像圧縮は、ウェーブレット変換に基づくアルゴリズムを使用する請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 10, wherein the image compression uses an algorithm based on a wavelet transform. 前記画像圧縮はＭＰＥＧである請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 10, wherein the image compression is MPEG. 前記イメージプロセッサは、前記イメージセンサの視野内の物体の動きを検出する請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 10, wherein the image processor detects a motion of an object in a field of view of the image sensor. 前記イメージプロセッサ及び前記イメージセンサからのデータストリームを多重化する手段は、もし前記イメージセンサの視野内に移動物体が検出されるならば全解像度の画像を、もし前記イメージセンサの視野内に移動物体が検出されないならば間引いた画像を、前記ネットワークインターフェースに供給する請求項１０に記載の多重センサネットワークカメラ。   The means for multiplexing the data stream from the image processor and the image sensor is to provide a full resolution image if a moving object is detected in the field of view of the image sensor, and a moving object in the field of view of the image sensor. The multi-sensor network camera according to claim 10, wherein a thinned image is supplied to the network interface if no image is detected. 前記イメージセンサのそれぞれは、前に位置する個別の光学系又はレンズを有する請求項１０に記載の多重センサネットワークカメラ。   11. The multi-sensor network camera of claim 10, wherein each of the image sensors has a separate optical system or lens located in front. 前記イメージセンサは、前記カメラの位置を中心とした少なくとも１つの円周に沿って累積して３６０度の視野を提供するように非平行に配置されている請求項１０に記載の多重センサネットワークカメラ。   11. The multi-sensor network camera of claim 10, wherein the image sensors are arranged non-parallel to provide a 360 degree field of view cumulatively along at least one circumference centered on the camera position. . 前記イメージセンサは、前記カメラの位置を中心とした少なくとも１８０度の半円を完全にカバーするように、累積した視野を提供するように配置されている請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera of claim 10, wherein the image sensor is arranged to provide a cumulative field of view so as to completely cover a semicircle of at least 180 degrees centered on the camera position. 前記ネットワークインターフェースは、イーサネット（登録商標）ネットワークインターフェース(Ethernet（登録商標） network interface)である請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 10, wherein the network interface is an Ethernet (registered trademark) network interface. 前記ネットワークインターフェースは、ＴＣＰ、ＵＤＰ、ＴＦＴＰ、ＩＰの標準ネットワークプロトコルの１つ以上をサポートしている請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 10, wherein the network interface supports one or more of standard network protocols of TCP, UDP, TFTP, and IP. 前記画像データストリームの多重化は、時間挟み込みにより実行され、前記イメージセンサの１つからのデータストリームのある部分の送信は、他のイメージセンサからのデータストリームのある部分の送信に続いて行われる請求項１０に記載の多重センサネットワークカメラ。   The multiplexing of the image data stream is performed by time squeezing and transmission of a part of the data stream from one of the image sensors is performed following transmission of a part of the data stream from the other image sensor. The multi-sensor network camera according to claim 10. 前記画像データストリームの多重化手段は、カメラ外に送信される画像データストリームの選択が外部入力から制御可能であるように構成されている請求項１０に記載の多重センサネットワークカメラ。   The multi-sensor network camera according to claim 10, wherein the image data stream multiplexing means is configured so that selection of an image data stream transmitted outside the camera can be controlled from an external input. 焦点面が互いにある角度で配置された２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段とを備える多重センサネットワークカメラと、
前記画像を受け、ソフトウエアが動作するコンピュータシステムとを備え、
前記ソフトウエアは、前記カメラの前記イメージセンサから受け取った画像を１つの複合画像に結び付けるように構成されているカメラシステム。 Two or more image sensors having focal planes arranged at an angle to each other, a network interface for transmitting an image data stream generated by the image sensor to the outside of the camera, and the network interface of the image data stream A multi-sensor network camera comprising:
A computer system for receiving the image and operating software;
The software system, wherein the software is configured to combine images received from the image sensor of the camera into one composite image. 前記画像の結び付けは、異なる画像に共通な重なりを除去し、前記多重センサネットワークカメラから受け取った多重画像から複合パノラマ画像を組み立てる請求項２８に記載のカメラシステム。   29. The camera system of claim 28, wherein the image linking removes common overlap between different images and assembles a composite panoramic image from multiple images received from the multi-sensor network camera.
JP2005169533A 2004-07-14 2005-06-09 Multi-sensor panoramic network camera Expired - Fee Related JP4763351B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/890912 2004-07-14
US10/890,912 US7680192B2 (en) 2003-07-14 2004-07-14 Multi-sensor panoramic network camera

Publications (3)

Publication Number Publication Date
JP2006033810A true JP2006033810A (en) 2006-02-02
JP2006033810A5 JP2006033810A5 (en) 2008-07-24
JP4763351B2 JP4763351B2 (en) 2011-08-31

Family

ID=35899540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005169533A Expired - Fee Related JP4763351B2 (en) 2004-07-14 2005-06-09 Multi-sensor panoramic network camera

Country Status (1)

Country Link
JP (1) JP4763351B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056437A1 (en) 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
US9307144B2 (en) 2012-08-01 2016-04-05 Ricoh Company, Limited Image capturing apparatus
JP2019033474A (en) * 2017-06-20 2019-02-28 アクシス アーベー Multi-sensor video camera, and method and processing pipeline for the same

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288802A (en) * 1994-04-18 1995-10-31 Nippon Telegr & Teleph Corp <Ntt> Intruded object supervisory equipment
JP2001094968A (en) * 1999-09-21 2001-04-06 Toshiba Corp Video processor
JP2001169271A (en) * 1999-12-09 2001-06-22 Tokinoko:Kk Image information provision system using 360-degree digital camera
JP2001204006A (en) * 2000-01-20 2001-07-27 Fujitsu General Ltd Camera monitor system
JP2001325695A (en) * 2000-05-17 2001-11-22 Mitsubishi Electric Corp Traffic flow monitoring device
JP2002032571A (en) * 2000-07-13 2002-01-31 Fujitsu Systems Construction Ltd Device for monitoring store and atm of financial institution
JP2003259342A (en) * 2002-03-01 2003-09-12 Sony Corp Remote monitor apparatus and remote monitoring system
JP2004096258A (en) * 2002-08-29 2004-03-25 Omron Corp Apparatus and system for image pickup
JP2004104314A (en) * 2002-09-06 2004-04-02 Hitachi Kokusai Electric Inc Network supervisory system
WO2004042667A2 (en) * 2002-11-07 2004-05-21 Wqs Ltd. Surveillance device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288802A (en) * 1994-04-18 1995-10-31 Nippon Telegr & Teleph Corp <Ntt> Intruded object supervisory equipment
JP2001094968A (en) * 1999-09-21 2001-04-06 Toshiba Corp Video processor
JP2001169271A (en) * 1999-12-09 2001-06-22 Tokinoko:Kk Image information provision system using 360-degree digital camera
JP2001204006A (en) * 2000-01-20 2001-07-27 Fujitsu General Ltd Camera monitor system
JP2001325695A (en) * 2000-05-17 2001-11-22 Mitsubishi Electric Corp Traffic flow monitoring device
JP2002032571A (en) * 2000-07-13 2002-01-31 Fujitsu Systems Construction Ltd Device for monitoring store and atm of financial institution
JP2003259342A (en) * 2002-03-01 2003-09-12 Sony Corp Remote monitor apparatus and remote monitoring system
JP2004096258A (en) * 2002-08-29 2004-03-25 Omron Corp Apparatus and system for image pickup
JP2004104314A (en) * 2002-09-06 2004-04-02 Hitachi Kokusai Electric Inc Network supervisory system
WO2004042667A2 (en) * 2002-11-07 2004-05-21 Wqs Ltd. Surveillance device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012056437A1 (en) 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
US10362225B2 (en) 2010-10-29 2019-07-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
US9307144B2 (en) 2012-08-01 2016-04-05 Ricoh Company, Limited Image capturing apparatus
US9596408B2 (en) 2012-08-01 2017-03-14 Ricoh Company, Limited Image capturing apparatus
JP2019033474A (en) * 2017-06-20 2019-02-28 アクシス アーベー Multi-sensor video camera, and method and processing pipeline for the same

Also Published As

Publication number Publication date
JP4763351B2 (en) 2011-08-31

Similar Documents

Publication Publication Date Title
US7680192B2 (en) Multi-sensor panoramic network camera
US7903871B2 (en) System and method for image processing of multi-sensor network cameras
US7623152B1 (en) High resolution network camera with automatic bandwidth control
US7548258B2 (en) High resolution network video camera with massively parallel implementation of image processing, compression and network server
US7492390B2 (en) Dual spectral band network camera
US7450165B2 (en) Multiple-view processing in wide-angle video camera
CN113508575B (en) Method and system for high dynamic range processing based on angular rate measurements
CN107249096B (en) Panoramic camera and shooting method thereof
US7492391B1 (en) Wide dynamic range network camera
JP4689440B2 (en) Imaging apparatus and processing method
JP4424088B2 (en) Imaging device
WO2004086747A2 (en) Systems and methods for multi-stream image processing
US7595805B2 (en) Techniques to facilitate use of small line buffers for processing of small or large images
US11908111B2 (en) Image processing including noise reduction
WO2019164767A1 (en) Multiple tone control
JP2006033808A (en) Dual spectral band network camera
JP4763351B2 (en) Multi-sensor panoramic network camera
JP4694913B2 (en) High resolution network camera with large parallel execution of image processing, compression and network server
KR100827680B1 (en) Method and device for transmitting thumbnail data
JP2006033810A5 (en)
EP2495972A1 (en) Monitoring device and method for monitoring a location
JPH07131721A (en) Digital still camera
JP4861929B2 (en) Camera, camera system, and image processing circuit
JP3650075B2 (en) Display device and network system
JP2004165876A (en) Image processing apparatus, digital camera, and compound eye system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110609

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4763351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees