JP2014230239A - Image processing system, imaging apparatus and program - Google Patents
Image processing system, imaging apparatus and program Download PDFInfo
- Publication number
- JP2014230239A JP2014230239A JP2013110828A JP2013110828A JP2014230239A JP 2014230239 A JP2014230239 A JP 2014230239A JP 2013110828 A JP2013110828 A JP 2013110828A JP 2013110828 A JP2013110828 A JP 2013110828A JP 2014230239 A JP2014230239 A JP 2014230239A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- image processing
- primary image
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理システム、撮像装置およびプログラムに関する。本発明は、より詳細には、光波面変調素子を含む光学系を通して撮像し、撮像された画像を復元する画像処理システム、該画像処理システムを構成する撮像装置、該画像処理システムを構成する画像処理装置を実現するためのプログラムに関する。 The present invention relates to an image processing system, an imaging apparatus, and a program. More specifically, the present invention captures an image through an optical system including a light wavefront modulation element, restores the captured image, an image processing apparatus constituting the image processing system, and an image constituting the image processing system. The present invention relates to a program for realizing a processing device.
近年、光学系の光路中に特殊な位相板を挿入することにより、空間分解能や透過光量を犠牲にせずに被写界深度を拡大する、被写界深度拡張（ＥＤＯＦ：Extension of Depth Of Field）技術に対する注目が高まっている。この被写界深度拡張技術は、位相板の挿入に基づき焦点深度を拡大すると共に、これに伴って劣化した画像に対し、復元フィルタ処理を行うことにより、高解像度な画像を復元するというものである。 In recent years, the insertion of a special phase plate into the optical path of an optical system extends the depth of field without sacrificing spatial resolution or the amount of transmitted light (EDOF: Extension of Depth Of Field). There is increasing attention to technology. This depth-of-field extension technology expands the depth of focus based on the insertion of a phase plate, and restores a high-resolution image by performing restoration filter processing on the image that has deteriorated along with this. is there.
例えば、特開２００９−８９０３５号公報（特許文献１）は、変調面が光軸に対して回転対称な形状であり、かつ位相形状が中心部から周辺部にかけて少なくとも１つの変曲点を持つように形成された光波面変調素子を備えた撮像装置を開示する。特許文献１の撮像装置では、撮像素子は、レンズおよび光波面変調素子を含む光学系を通過した被写体像を撮像し、画像処理部は、撮像素子からの被写体分散画像信号より分散のない画像信号を生成する。これにより、高精細な最終画像が得られる。 For example, in Japanese Patent Application Laid-Open No. 2009-89035 (Patent Document 1), the modulation surface has a rotationally symmetric shape with respect to the optical axis, and the phase shape has at least one inflection point from the center to the periphery. The imaging device provided with the light wavefront modulation element formed in 1 is disclosed. In the imaging apparatus of Patent Document 1, the imaging element captures a subject image that has passed through an optical system including a lens and a light wavefront modulation element, and the image processing unit has an image signal that is less dispersed than the subject dispersion image signal from the imaging element. Is generated. Thereby, a high-definition final image is obtained.
また、特開２００９−８９０８２号公報（特許文献２）は、画素単位で配置された光学的カラーフィルタの色およびまたは並びの種類別に画像復元フィルタリングを行う技術を開示する。特許文献２では、復元フィルタは、光学系の点像分布関数（ＰＳＦ）に応じた画像復元フィルタに画素単位で配置された光学的カラーフィルタの配列に応じた変換用フィルタを掛け合わせて形成される。 Japanese Patent Laying-Open No. 2009-89082 (Patent Document 2) discloses a technique for performing image restoration filtering for each color and / or arrangement type of an optical color filter arranged in units of pixels. In Patent Document 2, the restoration filter is formed by multiplying an image restoration filter according to the point spread function (PSF) of the optical system by a conversion filter according to the arrangement of optical color filters arranged in units of pixels. The
しかしながら、上述した従来技術では、復元フィルタ処理は、リアルタイムで行われることを前提としており、依然として、回路規模が大きなハードウェアを要するものであった。その結果として、消費電力の増大、発熱量の増大、装置サイズが大型化してしまうという点で、充分なものではなかった。特許文献２の従来技術は、処理量の削減を目的としたものであるが、ベイヤー画像で復元フィルタ処理を行う技術であり、リアルタイムの処理を要し、依然として回路規模が大きくなる点で、充分なものではなかった。 However, in the above-described conventional technology, it is assumed that the restoration filter processing is performed in real time, and still requires hardware having a large circuit scale. As a result, it has not been sufficient in terms of increased power consumption, increased heat generation, and increased device size. The conventional technique of Patent Document 2 is intended to reduce the processing amount, but is a technique for performing restoration filter processing with a Bayer image, requires real-time processing, and is sufficient in that the circuit scale still increases. It was not something.
一方、撮像システムの用途によっては、必ずしも、リアルタイムで高精細な画像に復元することを要さない場合もある。また、復元フィルタ処理が施された高精細な最終画像として画像データが転送ないし保存されると、圧縮率を高めることが難しく、通信トラフィックや必要な記憶容量が増大してしまうことになる。 On the other hand, depending on the use of the imaging system, it may not always be necessary to restore a high-definition image in real time. Further, when image data is transferred or stored as a high-definition final image that has been subjected to restoration filter processing, it is difficult to increase the compression rate, and communication traffic and necessary storage capacity increase.
本発明は、上記従来技術の不充分な点に鑑みてなされたものであり、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷を撮像手段側から軽減することができる、画像処理システム、撮像装置およびプログラムを提供することを目的とする。 The present invention has been made in view of the insufficiency of the above-described prior art, and can reduce the calculation load for restoring an image captured through an optical system including a light wavefront modulation element from the imaging means side. An object is to provide an image processing system, an imaging apparatus, and a program.
本発明によれば、下記特徴を有する画像処理システムが提供される。本画像処理システムは、光波面変調素子を含む光学系を通して撮像し、１次画像を出力する撮像手段と、上記１次画像と、上記光波面変調素子により与えられる点像分布関数に基づく１次画像に応じた補正データとを関連付けて記憶する記憶手段とを含む。本画像処理システムは、さらに、上記撮像手段から分離された画像処理手段であって、上記記憶手段の所定の１次画像に対し、所定の１次画像に関連付けられる上記記憶手段の補正データに基づき、画像を復元する補正処理を施す画像処理手段をさらに含む。本画像処理システムは、さらに、上記画像処理手段により所定の１次画像から復元された２次画像に基づき、画像出力する画像出力手段を含む。 According to the present invention, an image processing system having the following features is provided. The image processing system picks up an image through an optical system including a light wavefront modulation element, outputs a primary image, the primary image, and a primary image based on a point spread function given by the light wavefront modulation element. Storage means for storing the correction data corresponding to the image in association with each other. The image processing system is further an image processing unit separated from the imaging unit, and is based on correction data of the storage unit associated with the predetermined primary image with respect to the predetermined primary image of the storage unit. The image processing device further includes image processing means for performing correction processing for restoring the image. The image processing system further includes image output means for outputting an image based on the secondary image restored from the predetermined primary image by the image processing means.
上記構成により、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷を撮像手段側から軽減することができる。 With the above configuration, it is possible to reduce the calculation load for restoring an image captured through the optical system including the light wavefront modulation element from the imaging unit side.
以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下、画像処理システムとして、被写界深度拡張光学系を有する監視カメラと、この監視カメラにより記録された画像に対し、画像表示のため画像復元処理を施す画像復元機能を備えた監視者端末とを含む、監視システムを一例として説明する。 Hereinafter, although this embodiment is described, this embodiment is not limited to the embodiment described below. In the following, as an image processing system, a surveillance camera having a depth-of-field expansion optical system and a supervisor having an image restoration function for performing image restoration processing for image display on an image recorded by the surveillance camera A monitoring system including a terminal will be described as an example.
図１は、本実施形態による監視システム１００の概略的な構成を示す図である。図１に示す監視システム１００は、監視カメラ１１０と、記録された画像を保管する画像保管サーバ１３０と、監視者が使用する監視者端末１４０とを含み構成される。監視システム１００を構成する各要素は、３つの拠点１０４，１０６，１０８に設置されている。 FIG. 1 is a diagram illustrating a schematic configuration of a monitoring system 100 according to the present embodiment. A monitoring system 100 shown in FIG. 1 includes a monitoring camera 110, an image storage server 130 for storing recorded images, and a monitor terminal 140 used by the monitor. Each element constituting the monitoring system 100 is installed at three bases 104, 106, and 108.
監視カメラ１１０は、カメラ設置ルーム１０４に設置され、カメラ設置ルーム１０４内に存在する被監視対象である被写体１２６の状態を撮影している。画像保管サーバ１３０は、サーバ・ルーム１０６に設置され、監視カメラ１１０が撮影した保管対象となるすべての画像データを、少なくとも所定期間保管する。 The monitoring camera 110 is installed in the camera installation room 104 and photographs the state of the subject 126 that is the monitoring target existing in the camera installation room 104. The image storage server 130 is installed in the server room 106 and stores all image data to be stored, which is captured by the monitoring camera 110, for at least a predetermined period.
監視者端末１４０は、監視員や警備員などの監視者が常駐する監視ルーム１０８に設置されている。監視者端末１４０には、監視カメラ１１０で撮像している画像、画像保管サーバ１３０に保管された画像を取得し、画像をディスプレイに映し出すための監視アプリケーションがインストールされている。監視者は、この監視者端末１４０の監視アプリケーション画面上で、カメラ設置ルーム１０４の状態のリアルタイムな様子または過去の様子を確認することができる。 The monitor terminal 140 is installed in the monitor room 108 in which a monitor such as a monitor or a guard is resident. The monitoring terminal 140 is installed with a monitoring application for acquiring an image captured by the monitoring camera 110 and an image stored in the image storage server 130 and displaying the image on a display. The monitor can check the state of the camera installation room 104 in real time or the past on the monitor application screen of the monitor terminal 140.
監視カメラ１１０と、画像保管サーバ１３０と、監視者端末１４０とは、ハブ、スイッチなどを介してネットワーク１０２で相互に接続されており、これら３つの装置間で自由なデータアクセスが可能とされている。ネットワーク１０２は、特に限定されるものではないが、イーサネット（登録商標）などのＬＡＮ（Local Area Network）、イントラネット、あるいは、ＶＰＮ（Virtual Private Network）などを介したＷＡＮ（Wide Area Network）などとして構成される。 The surveillance camera 110, the image storage server 130, and the supervisor terminal 140 are connected to each other via the network 102 via a hub, a switch, etc., and free data access is possible between these three devices. Yes. The network 102 is not particularly limited, but is configured as a LAN (Local Area Network) such as Ethernet (registered trademark), an intranet, or a WAN (Wide Area Network) via a VPN (Virtual Private Network). Is done.
以下、図２〜図５を参照しながら、監視システム１００を構成する各要素１１０，１３０，１４０の機能について説明する。図２は、本実施形態による、被写界深度拡張光学系を有した監視カメラ１１０の構成を示すブロック図である。図２に示す監視カメラ１１０は、被監視対象である被写体１２６を撮影するものである。なお、説明する実施形態では、一例として、監視カメラ１１０は、無人状態にあるオフィス内を監視するものとして説明するが、特に限定されるものではなく、被写体としては、人物、他の被監視物が含まれてもよく、さらに、バーコードや２次元コードの図柄、文字列などが含まれてもよい。 Hereinafter, the functions of the elements 110, 130, and 140 constituting the monitoring system 100 will be described with reference to FIGS. FIG. 2 is a block diagram showing the configuration of the surveillance camera 110 having the depth of field extension optical system according to the present embodiment. A surveillance camera 110 shown in FIG. 2 captures a subject 126 that is a subject to be monitored. In the embodiment to be described, as an example, the monitoring camera 110 is described as monitoring an office in an unattended state, but is not particularly limited, and the subject may be a person or other monitored object. May be included, and further, a barcode, a two-dimensional code pattern, a character string, or the like may be included.
図２に示す監視カメラ１１０は、レンズユニット１１２と、固体撮像素子１１８と、データ圧縮部１２０と、フィルタ係数決定部１２２と、イーサネット（登録商標）ポート１２４とを含む。レンズユニット１１２は、１枚以上のレンズを含み構成される光学系である。 The surveillance camera 110 shown in FIG. 2 includes a lens unit 112, a solid-state imaging device 118, a data compression unit 120, a filter coefficient determination unit 122, and an Ethernet (registered trademark) port 124. The lens unit 112 is an optical system including one or more lenses.
本実施形態による監視カメラ１１０では、レンズユニット１１２において、絞り１１４の近傍に、位相板１１６が挿入されている。上記位相板１１６は、被写界深度を拡大させるために収差を発生させる光波面変調素子である。光波面変調素子は、固体撮像素子１１８の像面における点像分布関数（Point Spread Function：ＰＳＦ）が２画素以上にまたがるように拡散させる。通常、光学系は、充分に収差が補正されるように設計されているので、光波面変調素子を含むレンズユニット１１２は、被写体１２６の像を収差が乗った状態で固体撮像素子１１８の像面上に結像させる。したがって、光波面変調素子は、光学系の結像性能を劣化させ、ぼけた画像を与える。このとき、劣化の仕方が所定の焦点はずれ量の範囲内で変化しないような光波面変調素子を選ぶことによって、後段の画像復元処理により、ぼけた画像から被写界深度が拡張された、ＭＴＦ（Modulation Transfer Function）の高い画像を好適に復元することができるようになる。 In the surveillance camera 110 according to the present embodiment, a phase plate 116 is inserted in the vicinity of the diaphragm 114 in the lens unit 112. The phase plate 116 is an optical wavefront modulation element that generates aberration in order to increase the depth of field. The light wavefront modulation element diffuses so that a point spread function (PSF) on the image plane of the solid-state imaging element 118 extends over two pixels or more. In general, the optical system is designed so that aberrations are sufficiently corrected. Therefore, the lens unit 112 including the light wavefront modulation element has the image surface of the solid-state image sensor 118 with the aberration 126 on the image of the subject 126. Image on top. Therefore, the light wavefront modulation element deteriorates the imaging performance of the optical system and gives a blurred image. At this time, an MTF whose depth of field is expanded from a blurred image by selecting an optical wavefront modulation element whose deterioration method does not change within a predetermined defocus amount range is obtained by subsequent image restoration processing. An image having a high (Modulation Transfer Function) can be preferably restored.
なお、本実施形態においては、位相板１１６を用いた場合について説明するが、他の実施形態による光波面変調素子としては、光の波面を変形させるものであればどのようなものでもよい。例えば、厚みが変化する光学素子、屈折率が変化する光学素子、厚みおよび屈折率が変化する光学素子、光の位相分布を変調可能な液晶素子など、種々の光波面変調素子であってよい。また、説明する実施形態では、被写界深度拡張光学系として、収差が充分に補正された光学系に光波面変調素子である位相板１１６を挿入したものを一例として説明する。しかしながら、光学系のレンズ等で光波面変調素子と同様に規則的に分散した画像を形成できるものを選択し、別個に光波面変調素子を用いずに光学系のみで実現してもよい。その場合は、光学系のレンズ自体が、光波面変調素子を構成しているといえる。 In the present embodiment, the case where the phase plate 116 is used will be described. However, as the light wavefront modulation element according to another embodiment, any element may be used as long as it can deform the wavefront of light. For example, various optical wavefront modulation elements such as an optical element whose thickness changes, an optical element whose refractive index changes, an optical element whose thickness and refractive index change, and a liquid crystal element capable of modulating the phase distribution of light may be used. In the embodiment to be described, an example in which the phase plate 116 that is a light wavefront modulation element is inserted into an optical system in which aberration is sufficiently corrected is described as an example of the depth-of-field extending optical system. However, an optical lens or the like that can form a regularly dispersed image similarly to the light wavefront modulation element may be selected, and may be realized only by the optical system without using the light wavefront modulation element separately. In that case, it can be said that the lens of the optical system itself constitutes an optical wavefront modulation element.
なお、説明する実施形態では、位相板１１６は、着脱可能に構成されている。位相板１１６が挿入されていない場合は、レンズユニット１１２は、通常の光学系として使用可能となる。 In the embodiment to be described, the phase plate 116 is configured to be detachable. When the phase plate 116 is not inserted, the lens unit 112 can be used as a normal optical system.
固体撮像素子１１８としては、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、受光素子が二次元状に配置された典型的な固体撮像素子を使用することができる。固体撮像素子１１８は、光波面変調素子を含むレンズユニット１１２を通して、その像面上に結像された被写体１２６の像を撮像し、補間演算、色空間変換処理などの種々の画像信号処理を施し、画像データを出力する。説明する実施形態においては、動画が撮影され、画像データは、複数の画像フレームを含み構成される。以下、固体撮像素子１１８から出力され、未だ復元処理が施されていない画像フレーム各々を１次画像と参照する。 As the solid-state image sensor 118, a typical solid-state image sensor in which light receiving elements are two-dimensionally arranged, such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor, can be used. The solid-state imaging device 118 captures an image of the subject 126 formed on the image plane through the lens unit 112 including the light wavefront modulation device, and performs various image signal processing such as interpolation calculation and color space conversion processing. , Output image data. In the embodiment to be described, a moving image is shot, and the image data includes a plurality of image frames. Hereinafter, each image frame output from the solid-state image sensor 118 and not yet restored is referred to as a primary image.
データ圧縮部１２０は、固体撮像素子１１８から入力される１以上の画像フレームを、１次画像のまま、圧縮する圧縮処理を行う。圧縮方式としては、特に限定されるものではないが、ＭＰＥＧ（Moving Picture Experts Group）−１，ＭＰＥＧ−２、ＭＰＥＧ−４や、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic Picture Experts Group）など、不可逆圧縮方式または可逆圧縮方式の種々の動画（連続静止画を含む）圧縮形式とすることができる。本実施形態によるデータ圧縮部１２０は、さらに、画像フレームと、該画像フレームに対する復元処理を行うためのフィルタ係数とを関連付けて保存ないし出力を行う。 The data compression unit 120 performs a compression process of compressing one or more image frames input from the solid-state image sensor 118 as a primary image. The compression method is not particularly limited, but is irreversible compression method or lossless compression such as MPEG (Moving Picture Experts Group) -1, MPEG-2, MPEG-4, Motion JPEG (Joint Photographic Picture Experts Group). Various moving image (including continuous still images) compression formats can be used. The data compression unit 120 according to the present embodiment further stores or outputs an image frame in association with a filter coefficient for performing restoration processing on the image frame.
上述した光波面変調素子による分散は、光学系におけるレンズのフォーカス位置などの撮像条件に基づいて変化する可能性がある。フィルタ係数決定部１２２は、レンズのフォーカス位置などの撮像条件に対応付けて、そのような撮像条件の下で撮影された１次画像から復元するためのフィルタ係数を複数保持する。フィルタ係数決定部１２２は、撮影時に与えられた撮像条件に基づいて、対応するフィルタ係数を決定し、データ圧縮部１２０に出力する。 The dispersion caused by the light wavefront modulation element described above may change based on imaging conditions such as a lens focus position in the optical system. The filter coefficient determination unit 122 holds a plurality of filter coefficients for restoring from a primary image captured under such imaging conditions in association with imaging conditions such as the lens focus position. The filter coefficient determination unit 122 determines the corresponding filter coefficient based on the imaging condition given at the time of shooting, and outputs it to the data compression unit 120.
図３は、本実施形態によるフィルタ係数決定部１２２が保持するフィルタ係数決定テーブルのデータ構造を例示する図である。図３に示すテーブルでは、フォーカス位置を撮像条件として、各フォーカス位置１，２，・・・，Ｎ毎にフィルタ係数が対応付けられている。図３に示す例示では、注目点を含めて５×５の合計２５点を用いてデコンボリューション処理するためのフィルタ係数が準備されている。フィルタ係数は、所定の撮像条件の下、上述した光波面変調素子により与えられる、点被写体が少なくとも２つの画素にまたがって拡散されるような点像分布関数に基づくものであり、監視者端末１４０での画像フレームの復元処理に使用される。 FIG. 3 is a diagram illustrating a data structure of a filter coefficient determination table held by the filter coefficient determination unit 122 according to the present embodiment. In the table shown in FIG. 3, a filter coefficient is associated with each focus position 1, 2,. In the example shown in FIG. 3, filter coefficients for deconvolution processing using a total of 25 points of 5 × 5 including the attention point are prepared. The filter coefficient is based on a point spread function which is given by the above-described light wavefront modulation element under a predetermined imaging condition so that a point subject is spread over at least two pixels. Used for image frame restoration processing.
上述した画像データおよびフィルタ係数の関連付けた保存は、例えば、通常の動画フォーマットにおいて、各フレームに適用するフィルタ係数をメタデータとして保存ないし出力することによって行うことができる。一方で、フィルタ係数は、上述したようにフォーカス位置などの撮像条件に依存するものの、撮像条件が変化しない限り変化はなく、特定の用途では、頻繁に変更されるものではない場合もある。そこで、好適な実施形態では、各フレームに関連付けて、前のフレームと同一か否かを表す情報を付して、変更があった場合にのみ、次フレーム以降に適用するフィルタ係数を付すようにしてもよい。 The above-described storage in which the image data and the filter coefficient are associated with each other can be performed, for example, by storing or outputting the filter coefficient applied to each frame as metadata in a normal moving image format. On the other hand, although the filter coefficient depends on the imaging conditions such as the focus position as described above, it does not change unless the imaging conditions change, and may not be changed frequently in a specific application. Therefore, in a preferred embodiment, information indicating whether or not the same as the previous frame is attached in association with each frame, and only when there is a change, a filter coefficient to be applied after the next frame is attached. May be.
図４は、本実施形態によるデータ圧縮部１２０が生成する圧縮データのデータ構造を例示する図である。図４（Ａ）に示す圧縮データ３００は、複数のフレーム３１２−１〜３１２−ｔを時系列に従って保持する画像部３１０と、各フレームに対応するフィルタ係数を時系列に従って保持するフィルタ係数部３２０とを含み構成されている。 FIG. 4 is a diagram illustrating a data structure of compressed data generated by the data compression unit 120 according to the present embodiment. 4A includes an image unit 310 that holds a plurality of frames 312-1 to 312-t in time series, and a filter coefficient unit 320 that holds filter coefficients corresponding to each frame in time series. And is configured.
図４（Ａ）に示す圧縮データ３００のフィルタ係数部３２０には、フレームの前後で適用するフィルタ係数が異なるか否かを示す変更タグが含まれる。変更タグが変更を示す場合（変更タグ＝１）は、その変更タグにフィルタ係数が後続する。一方、変更タグが変更されないことを示す場合（変更タグ＝０）は、次のフレームに対する変更フラグが後続する。このようなデータ構造により、フレーム毎にフィルタ係数セットを保持させる場合に比較して、冗長なデータ伝送およびデータ保存を避けることが可能となる。また、フレーム毎にフィルタ係数を変更可能に構成することにより、フォーカス位置が経時的に変化する用途などに好適に用いることができる。 The filter coefficient unit 320 of the compressed data 300 shown in FIG. 4A includes a change tag that indicates whether or not the filter coefficient applied before and after the frame is different. When the change tag indicates a change (change tag = 1), the filter coefficient follows the change tag. On the other hand, if the change tag indicates that it is not changed (change tag = 0), the change flag for the next frame follows. With such a data structure, it is possible to avoid redundant data transmission and data storage as compared with a case where a filter coefficient set is held for each frame. Further, by configuring the filter coefficient to be changeable for each frame, it can be suitably used for applications in which the focus position changes with time.
図４（Ｂ）に示す圧縮データ３５０は、複数のフレーム３５２−１〜ｔが、対応するフィルタ係数セットを与える情報と共に、時系列に従って保持される形式を採用する。図４（Ｂ）に示す圧縮データ３５０では、複数のフレーム３５２−１〜３５２−ｔが時系列に沿って並べられているが、前フレームから適用するフィルタ係数が変更されるフレーム３５２−１，３５２−４に対しては、さらに、フィルタ係数３５４−１，３５４−４が付されている。図４（Ｂ）に示すようなデータ構造によっても、フレーム毎にフィルタ係数セットを保持させる場合に比較して、冗長なデータ伝送およびデータ保存を避けることが可能となる。 The compressed data 350 shown in FIG. 4B employs a format in which a plurality of frames 352-1 to 35-t are held according to a time series together with information giving a corresponding filter coefficient set. In the compressed data 350 shown in FIG. 4B, a plurality of frames 352-1 to 352-t are arranged in time series, but the frame 352-1, in which the filter coefficient applied from the previous frame is changed. Further, filter coefficients 354-1 and 354-4 are attached to 352-4. Even with the data structure as shown in FIG. 4B, redundant data transmission and data storage can be avoided as compared with the case where the filter coefficient set is held for each frame.
また、図４に示す圧縮データ３００、３５０は、補正データとしてフィルタ係数自体を含んでいる。しかしながら、特に限定されるものではなく、他の実施形態では、監視カメラ１１０および監視者端末１４０の両者間において同一のフィルタ係数を特定することができるような事前合意があれば、フィルタ係数を識別する識別子など、フィルタ係数を与える情報を補正データとして圧縮データに含めるようにしてもよい。この場合、データ量やトラフィックの観点から有利である。 Also, the compressed data 300 and 350 shown in FIG. 4 include the filter coefficient itself as correction data. However, the present invention is not particularly limited, and in other embodiments, the filter coefficient is identified if there is a prior agreement that allows the same filter coefficient to be specified between the monitoring camera 110 and the supervisor terminal 140. Information that provides a filter coefficient such as an identifier to be used may be included in the compressed data as correction data. This is advantageous from the viewpoint of data volume and traffic.
さらに、画像フレームと補正データとの関連付けは、図４に示すように、画像フレームの本体データとメタデータというように一体のデータとして提供することは必ずしも要さない。他の実施形態では、画像フレームとそれに対する適切なフィルタ係数とが関連付けられる限り、複数の画像フレームを保持する画像データと、複数の画像フレームに対するフィルタ係数を与える補正データとは、分離して提供されてもよい。 Further, as shown in FIG. 4, it is not always necessary to provide the association between the image frame and the correction data as integral data such as the main data and metadata of the image frame. In another embodiment, as long as an image frame and an appropriate filter coefficient for the image frame are associated with each other, the image data that holds the plurality of image frames and the correction data that provides the filter coefficient for the plurality of image frames are provided separately. May be.
さらに、焦点深度を拡大するカメラの用途としては、フィルタ係数が固定で利用する場合も多い。フィルタ係数が固定の場合には、監視カメラ１１０および監視者端末１４０間で、カメラの位相板１１６に応じて用いるべきフィルタ係数セットの合意を取っておけばよい。すなわち、本実施形態において、画像フレームと、補正データとを関連付けるとは、画像フレームに対して適用すべきフィルタ係数を特定できる形で、画像フレームと、適用すべきフィルタ係数を与える補正データとを提供することをいう。 Furthermore, as a camera application for expanding the depth of focus, a filter coefficient is often used in a fixed manner. When the filter coefficient is fixed, the surveillance camera 110 and the supervisor terminal 140 may agree on a filter coefficient set to be used according to the phase plate 116 of the camera. That is, in the present embodiment, associating the image frame with the correction data means that the image frame and the correction data that gives the filter coefficient to be applied are specified in such a manner that the filter coefficient to be applied to the image frame can be specified. To provide.
なお、以下では、複数フレーム３１２の画像部３１０と、対応するフィルタ係数部３２０とが結合ざれた、図４（Ａ）に示す形式の圧縮データ３００を一例として用いながら説明を行う。したがって、説明する実施形態において、データ圧縮部１２０は、固体撮像素子１１８の後段側に設けられる、１次画像を圧縮する圧縮手段、および出力された１次画像と補正データとを結合する結合手段として機能する。 In the following description, the compressed data 300 in the format shown in FIG. 4A, in which the image units 310 of the plurality of frames 312 and the corresponding filter coefficient units 320 are combined, will be described as an example. Therefore, in the embodiment to be described, the data compression unit 120 includes a compression unit that compresses the primary image provided on the rear stage side of the solid-state imaging device 118, and a coupling unit that combines the output primary image and the correction data. Function as.
イーサネット（登録商標）ポート１２４は、データ圧縮部１２０で画像データおよびフィルタ係数データが圧縮されて生成された圧縮データを、パケットにして、ネットワーク１０２を介して、画像保管サーバ１３０または監視者端末１４０に出力する。説明する実施形態において、イーサネット（登録商標）ポート１２４は、１次画像と補正データとを関連付けて出力する出力手段を構成する。 The Ethernet (registered trademark) port 124 converts the compressed data generated by compressing the image data and the filter coefficient data by the data compression unit 120 into packets, and the image storage server 130 or the supervisor terminal 140 via the network 102. Output to. In the embodiment to be described, the Ethernet (registered trademark) port 124 constitutes output means for outputting the primary image and the correction data in association with each other.
図５は、本実施形態による、監視カメラ１１０と通信する画像保管サーバ１３０および監視者端末１４０の構成を示すブロック図である。図５に示す画像保管サーバ１３０は、通信部１３２と、制御部１３４と、画像格納部１３６とを含み構成される。 FIG. 5 is a block diagram illustrating the configuration of the image storage server 130 and the supervisor terminal 140 that communicate with the surveillance camera 110 according to the present embodiment. The image storage server 130 shown in FIG. 5 includes a communication unit 132, a control unit 134, and an image storage unit 136.
通信部１３２は、監視カメラ１１０や監視者端末とのネットワーク１０２を介した通信を行うためのネットワーク・アダプタ、プロトコル・スタックなどを含む。制御部１３４は、ＣＰＵ（Central Processing Unit）などのプロセッサを含み構成され、画像保管サーバ１３０の全体制御を行う。 The communication unit 132 includes a network adapter, a protocol stack, and the like for performing communication with the monitoring camera 110 and the monitor terminal via the network 102. The control unit 134 includes a processor such as a CPU (Central Processing Unit), and performs overall control of the image storage server 130.
画像格納部１３６は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などのストレージ・デバイスを含み構成される。画像格納部１３６は、ネットワーク１０２を介して監視カメラ１１０から受信した圧縮データを、ストレージ・デバイスに保存する。圧縮データ３００は、上述したように、画像フレームの画像部３１０と、画像フレームに応じたフィルタ係数データのフィルタ係数部３２０とが結合されたデータ構造を有している。説明する実施形態において、画像格納部１３６は、１次画像と、該１次画像に応じた補正データとを関連付けて記憶する記憶手段を構成する。 The image storage unit 136 includes a storage device such as a hard disk drive (HDD) or a solid state drive (SSD). The image storage unit 136 stores the compressed data received from the monitoring camera 110 via the network 102 in a storage device. As described above, the compressed data 300 has a data structure in which the image portion 310 of the image frame and the filter coefficient portion 320 of the filter coefficient data corresponding to the image frame are combined. In the embodiment to be described, the image storage unit 136 constitutes a storage unit that stores a primary image and correction data corresponding to the primary image in association with each other.
制御部１３４は、通信部１３２が監視カメラ１１０から受信した圧縮データを画像格納部１３６に格納させる制御を行う。制御部１３４は、さらに、通信部１３２が監視者端末１４０から受信した画像取得要求に応答して、要求された圧縮データを画像格納部１３６から読み出し、要求元の監視者端末に対し、通信部１３２により送信する制御を行う。 The control unit 134 controls the compressed data received by the communication unit 132 from the monitoring camera 110 to be stored in the image storage unit 136. The control unit 134 further reads out the requested compressed data from the image storage unit 136 in response to the image acquisition request received by the communication unit 132 from the supervisor terminal 140, and transmits the requested compressed data to the request source supervisor terminal. Control to transmit by 132 is performed.
図５には、さらに、監視カメラ１１０により記録された画像に対し、画像表示のため画像復元処理を施す監視者端末１４０が示されている。図５に示す監視者端末１４０は、制御部１４４と、通信部１４２と、データ分離部１４６と、画像解凍部１４８と、復元フィルタ処理部１５０と、画像表示部１５２と、操作部１５４とを含み構成される。本実施形態において、監視者端末１４０上では、ＲＯＭやＨＤＤからオペレーティング・システムやその上で動作する監視アプリケーションのプログラムが読み出され、メモリ上に展開され、これによりこれらの機能部１４２〜１５４が実現される。 FIG. 5 further shows a supervisor terminal 140 that performs an image restoration process for displaying an image on an image recorded by the surveillance camera 110. The monitor terminal 140 shown in FIG. 5 includes a control unit 144, a communication unit 142, a data separation unit 146, an image decompression unit 148, a restoration filter processing unit 150, an image display unit 152, and an operation unit 154. Consists of. In the present embodiment, on the supervisor terminal 140, the operating system and the program of the monitoring application that operates on the ROM or HDD are read out and expanded on the memory, whereby these function units 142 to 154 are installed. Realized.
監視者端末１４０の制御部１４４は、ＣＰＵなどのプロセッサを含み構成され、監視者端末１４０の全体制御を行う。制御部１４４は、操作部１５４を介して行われた監視アプリケーションの画面に対するユーザ操作を獲得し、ユーザ操作に基づいて、各処理部および監視カメラ１１０、画像保管サーバ１３０に対し指令を行う。通信部１４２は、監視カメラ１１０や画像保管サーバ１３０とのネットワーク１０２を介した通信を行うためのネットワーク・アダプタ、プロトコル・スタックなどを含む。通信部１４２は、制御部１４４の制御の下、監視カメラ１１０または画像保管サーバ１３０から圧縮データを受信するものであり、画像データとフィルタ係数データとを関連付けて取得する取得手段を構成する。 The control unit 144 of the monitor terminal 140 includes a processor such as a CPU, and performs overall control of the monitor terminal 140. The control unit 144 obtains a user operation on the screen of the monitoring application performed via the operation unit 154, and instructs each processing unit, the monitoring camera 110, and the image storage server 130 based on the user operation. The communication unit 142 includes a network adapter, a protocol stack, and the like for performing communication with the monitoring camera 110 and the image storage server 130 via the network 102. The communication unit 142 receives compressed data from the monitoring camera 110 or the image storage server 130 under the control of the control unit 144, and constitutes an acquisition unit that acquires image data and filter coefficient data in association with each other.
データ分離部１４６は、監視カメラ１１０または画像保管サーバ１３０から受信した圧縮データから、まず画像データとフィルタ係数データとに分離する。画像データとフィルタ係数データとの分離は、上述したデータ圧縮部１２０で行われた処理の逆手順で行うことができる。例えば、画像データを読み取り、そのメタデータからフィルタ係数領域を抽出することにより、フィルタ係数データを得ることができる。そして分離したデータのうち、圧縮データ３００の画像部３１０のデータを画像解凍部１４８へ、フィルタ係数部３２０のフィルタ係数を復元フィルタ処理部１５０へ出力する。本実施形態において、データ分離部１４６は、復元フィルタ処理部１５０の前段側に設けられ、結合された１次画像と補正データとを分離する分離手段として機能する。 The data separation unit 146 first separates the compressed data received from the monitoring camera 110 or the image storage server 130 into image data and filter coefficient data. Separation of the image data and the filter coefficient data can be performed by a reverse procedure of the process performed by the data compression unit 120 described above. For example, filter coefficient data can be obtained by reading image data and extracting a filter coefficient region from the metadata. Of the separated data, the data of the image unit 310 of the compressed data 300 is output to the image decompression unit 148, and the filter coefficient of the filter coefficient unit 320 is output to the decompression filter processing unit 150. In the present embodiment, the data separation unit 146 is provided on the upstream side of the restoration filter processing unit 150 and functions as a separation unit that separates the combined primary image and correction data.
画像解凍部１４８は、画像部３１０のデータを解凍して、フレーム毎の１次画像を抽出し、画像フレーム各々を復元フィルタ処理部１５０に出力する。本実施形態において、画像解凍部１４８は、復元フィルタ処理部１５０の前段側に設けられ、１次画像を解凍する解凍手段として機能する。 The image decompression unit 148 decompresses the data of the image unit 310, extracts a primary image for each frame, and outputs each image frame to the restoration filter processing unit 150. In the present embodiment, the image decompression unit 148 is provided on the upstream side of the restoration filter processing unit 150 and functions as a decompression unit that decompresses the primary image.
復元フィルタ処理部１５０は、画像解凍部１４８から入力される画像フレームをカウントしながら、処理対象の画像フレームに対応するフィルタ係数を用いて復元フィルタ処理を施す。１次画像から復元された２次画像の画像フレームは、画像表示部１５２に出力される。本実施形態において、復元フィルタ処理部１５０は、監視カメラ１１０から分離され、監視カメラ１１０と非同期で動作する、画像を復元する補正処理を施す画像処理手段として機能する。 The restoration filter processing unit 150 performs restoration filter processing using the filter coefficient corresponding to the image frame to be processed while counting the image frames input from the image decompression unit 148. The image frame of the secondary image restored from the primary image is output to the image display unit 152. In the present embodiment, the restoration filter processing unit 150 functions as an image processing unit that performs a correction process for restoring an image that is separated from the monitoring camera 110 and operates asynchronously with the monitoring camera 110.
以下、被写界深度拡張光学系に基づく復元フィルタ処理について説明する。カメラで撮影された画像ｇ（ｘ，ｙ）は、下記式（１）に示すように、被写体の原画像ｆ（ｘ，ｙ）と、劣化関数ｈ（ｘ，ｙ）とのコンボリューションによって表される。つまり、カメラで撮影された画像ｇ（ｘ，ｙ）は、被写体の原画像ｆ（ｘ，ｙ）が、所定の劣化関数ｈ（ｘ，ｙ）により劣化した劣化画像といえる。そして、復元フィルタ処理は、劣化画像ｇ（ｘ，ｙ）から原画像ｆ（ｘ，ｙ）を推定する逆問題といえる。下記式（１）をフーリエ変換し、整理すると、下記式（２）が得られる。 Hereinafter, restoration filter processing based on the depth-of-field extended optical system will be described. The image g (x, y) photographed by the camera is represented by a convolution of the original image f (x, y) of the subject and the degradation function h (x, y) as shown in the following formula (1). Is done. That is, the image g (x, y) photographed by the camera can be said to be a deteriorated image in which the original image f (x, y) of the subject is deteriorated by the predetermined deterioration function h (x, y). The restoration filter processing is an inverse problem for estimating the original image f (x, y) from the deteriorated image g (x, y). When the following formula (1) is Fourier transformed and arranged, the following formula (2) is obtained.
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ） …（１）
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）・Ｈ−１（ｕ，ｖ） …（２）
g (x, y) = f (x, y) * h (x, y) (1)
F (u, v) = G (u, v) · H −1 (u, v) (2)
上記式（１）における「＊」は、コンボリューション演算を表し、上記式（２）における「・」は、積を表す。また、上記式（２）中、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）およびＨ（ｕ，ｖ）は、それぞれ、ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｈ（ｘ，ｙ）のフーリエ変換であり、ｕおよびｖは、画像座標系におけるｘ方向およびｙ方向の空間周波数を表す。上記式（２）において、Ｈ−１（ｕ，ｖ）は、劣化関数のフーリエ変換の逆数であり、周波数領域における逆フィルタと呼ばれる。 In the above formula (1), “*” represents a convolution operation, and “·” in the above formula (2) represents a product. In the above formula (2), F (u, v), G (u, v) and H (u, v) are respectively f (x, y), g (x, y) and h (x , Y), and u and v represent spatial frequencies in the x and y directions in the image coordinate system. In the above equation (2), H −1 (u, v) is the reciprocal of the Fourier transform of the degradation function, and is called an inverse filter in the frequency domain.
上記式（２）によれば、原画像ｆ（ｘ，ｙ）は、劣化画像のフーリ変換Ｇ（ｕ，ｖ）と、逆フィルタＨ−１との積を逆フーリエ変換することで復元することができる。あるいは、逆フィルタＨ−１をフーリエ逆変換して、劣化画像ｇ（ｘ，ｙ）に重畳積分することによっても復元することができる。 According to the above equation (2), the original image f (x, y) is restored by performing an inverse Fourier transform on the product of the Fourier transform G (u, v) of the degraded image and the inverse filter H- 1. Can do. Alternatively, it can also be restored by performing inverse Fourier transform on the inverse filter H −1 and superimposing and integrating on the degraded image g (x, y).
上記劣化関数ｈ（ｘ，ｙ）は、点光源の場合の劣化画像（インパルス応答）として観測され、点像分布関数または点広がり関数と呼ばれる。点像分布関数ｈ（ｘ，ｙ）が既知であれば、そのフーリエ変換の逆数を取ることにより、逆フィルタＨ−１（ｕ，ｖ）を計算することができる。 The degradation function h (x, y) is observed as a degradation image (impulse response) in the case of a point light source, and is called a point spread function or a point spread function. If the point spread function h (x, y) is known, the inverse filter H −1 (u, v) can be calculated by taking the inverse of the Fourier transform.
被写界深度拡張光学系では、所定の焦点ずらし量の範囲において、劣化の仕方が一定となるような、つまり略一定の点像分布関数を与えるような光波面変調素子が選ばれる。このため、１種のデコンボリューション・フィルタを用意すれば、焦点はずれ量によらず、好適に鮮明な画像を復元することができる。 In the depth-of-field-expanding optical system, an optical wavefront modulation element is selected so that the deterioration method is constant, that is, a substantially constant point spread function is provided within a predetermined defocus amount range. For this reason, if one type of deconvolution filter is prepared, a clear image can be restored appropriately regardless of the amount of defocus.
上述したように、光波面変調素子による分散は、光学系におけるレンズのフォーカス位置などの撮像条件に基づいて変化する。このため、特定の光学系において、種々の撮像条件ｉに対応して点像分布関数ｈｉ（ｘ，ｙ）を観測し、各フィルタ係数を、撮像条件に応じて決定するためにフィルタ係数決定部１２２に保持させる。そして、復元フィルタ処理部１５０は、画像フレームに対応付けられたフィルタ係数を用いて、デコンボリューション・フィルタ処理を行う。なお、復元フィルタ処理は、上記式（１）および（２）による逆フィルタとして説明した。しかしながら、特にこれに限定されるものではなく、ノイズの影響を考慮した画像劣化モデルに基づき、原画像と復元画像との誤差を最小化するようなウィーナフィルタ（Weiner Filter）など他のフィルタを適用してもよい。 As described above, the dispersion by the light wavefront modulation element changes based on imaging conditions such as the focus position of the lens in the optical system. For this reason, in a specific optical system, the point spread function h i (x, y) is observed corresponding to various imaging conditions i, and filter coefficients are determined in order to determine each filter coefficient according to the imaging conditions. Held in the portion 122. Then, the restoration filter processing unit 150 performs deconvolution filter processing using the filter coefficient associated with the image frame. The restoration filter processing has been described as an inverse filter according to the above formulas (1) and (2). However, it is not particularly limited to this, and other filters such as a Weiner filter that minimizes the error between the original image and the restored image are applied based on an image degradation model that takes into account the effects of noise. May be.
画像表示部１５２は、復元フィルタ処理部１５０により１次画像から復元された２次画像の画像フレームに基づき画像表示する。説明する実施形態において、画像表示部１５２は、画像出力する画像出力手段を構成する。なお、画像出力としては、ディスプレイに対する画像表示の他、プロジェクタでの投影表示、動画像の画像フレーム、または静止画像の印刷出力、ファクシミリ送信などを挙げることができる。 The image display unit 152 displays an image based on the image frame of the secondary image restored from the primary image by the restoration filter processing unit 150. In the embodiment to be described, the image display unit 152 constitutes an image output unit that outputs an image. The image output includes image display on a display, projection display on a projector, moving image frame or still image print output, facsimile transmission, and the like.
操作部１５４は、監視者端末１４０を操作する監視者からの監視アプリケーション画面を介した各種指示を受け付ける入力デバイスを含む。操作部１５４が受け付ける指示としては、監視カメラ１１０からのリアルタイム画像表示指示、画像保管サーバ１３０からの保管された録画像表示指示、対象とする画像フレーム群（例えば時間で指定される。）の選択などを挙げることができる。説明する実施形態において、操作部１５４は、例えば開始時間を指定して、復元させる対象となる画像フレーム群の選択を受け付ける選択受付手段を構成する。 The operation unit 154 includes an input device that receives various instructions via a monitoring application screen from a monitor who operates the monitor terminal 140. As an instruction received by the operation unit 154, a real-time image display instruction from the monitoring camera 110, a stored image display instruction stored from the image storage server 130, and a target image frame group (for example, designated by time) are selected. And so on. In the embodiment to be described, the operation unit 154 constitutes a selection reception unit that receives a selection of an image frame group to be restored by specifying a start time, for example.
なお、復元フィルタ処理部１５０は、すべての画像フレームに対し、復元フィルタ処理を施すことを要さない。制御部１４４は、操作部１５４への指示に基づいて、復元させる対象として選択された画像フレーム群に対する復元フィルタ処理を有効化する信号を復元フィルタ処理部１５０に対し出力する。復元フィルタ処理部１５０は、制御部１４４から復元フィルタ処理の有効化または無効の切り替え通知を受信し、有効化された期間中は、画像解凍部１４８から送信される画像フレームに対し復元フィルタ処理を施す。一方、無効化の通知を受信し、無効化された期間中は、復元をせずそのまま、画像表示部１５２に出力する。画像表示部１５２は、復元フィルタ処理部１５０による復元フィルタ処理が無効化されている場合は、復元がなされていない１次画像の画像フレームを画像出力することになる。 The restoration filter processing unit 150 does not need to perform restoration filter processing on all image frames. Based on the instruction to the operation unit 154, the control unit 144 outputs a signal for enabling the restoration filter processing for the image frame group selected as the restoration target to the restoration filter processing unit 150. The restoration filter processing unit 150 receives a notification of whether the restoration filter process is enabled or disabled from the control unit 144, and performs restoration filter processing on the image frame transmitted from the image decompression unit 148 during the period of validation. Apply. On the other hand, the notification of invalidation is received, and during the invalidated period, it is output to the image display unit 152 without being restored. When the restoration filter processing by the restoration filter processing unit 150 is invalidated, the image display unit 152 outputs an image frame of a primary image that has not been restored.
なお、説明する実施形態では、リアルタイム画像表示の指示が行われた場合は、復元フィルタ処理が無効化され、ぼけた画像のまま画像表示される。一方、録画像表示の指示が行われた場合は、復元フィルタ処理が有効化され、１次画像から復元された２次画像の画像フレームが画像表示される。しかしながら、他の実施形態では、録画像表示の指示が行われた場合でも、通常は、復元フィルタ処理を無効化したまま、ぼけた画像のまま画像表示を行うように構成してもよい。そして、明示的な復元フィルタ処理の有効化の指示を受けた場合にだけ、復元された２次画像の画像フレームを画像表示してもよい。 In the embodiment to be described, when a real-time image display instruction is given, the restoration filter processing is invalidated and the image is displayed as a blurred image. On the other hand, when a recorded image display instruction is issued, the restoration filter processing is validated, and the image frame of the secondary image restored from the primary image is displayed. However, in another embodiment, even when a recorded image display instruction is given, the image may be displayed as a blurred image with the restoration filter processing disabled. Then, the image frame of the restored secondary image may be displayed only when an instruction to enable explicit restoration filter processing is received.
図６は、本実施形態において、監視者端末１４０で監視アプリケーションが起動されたときにディスプレイに表示されるアプリケーション画面を例示する。図６に示すアプリケーション画面２００は、画像が表示される画像表示領域２０２と、画像表示領域２０２に映し出す画像を指定するためのＧＵＩ（Graphical User Interface）部品２０４〜２０８を含む。ＧＵＩ部品としては、リアルタイム画像表示を指示するリアルタイム表示ボタン２０４と、画像保管サーバ１３０に保管された録画像表示を指示する録画表示ボタン２０６と、録画像表示における再生開始時間を指定するための再生開始時間設定ボックス２０８とが示されている。 FIG. 6 illustrates an application screen displayed on the display when a monitoring application is activated on the supervisor terminal 140 in the present embodiment. The application screen 200 shown in FIG. 6 includes an image display area 202 where an image is displayed, and GUI (Graphical User Interface) parts 204 to 208 for designating an image to be displayed in the image display area 202. As GUI parts, a real-time display button 204 for instructing real-time image display, a recording display button 206 for instructing display of recorded images stored in the image storage server 130, and playback for designating a playback start time in recorded image display A start time setting box 208 is shown.
監視者は、カメラ設置ルーム１０４の様子を見たいときには、リアルタイム表示ボタン２０４を押下すればよい。また、画像保管サーバ１３０が保管する録画像を見たいときには、監視者は、再生開始時間設定ボックス２０８に所望の再生開始時刻を設定し、録画表示ボタン２０６を押下すればよい。 The supervisor may press the real-time display button 204 when he wants to see the camera installation room 104. Further, when viewing the recorded images stored in the image storage server 130, the supervisor may set a desired playback start time in the playback start time setting box 208 and press the recording display button 206.
以下、図７および図８を参照しながら、リアルタイム画像表示および録画像表示の場合の監視アプリケーションが実行する処理について説明する。図７は、本実施形態による監視者端末１４０が実行する、リアルタイム画像表示処理を示すフローチャートである。図８は、本実施形態による監視者端末１４０が実行する、録画像表示処理を示すフローチャートである。 Hereinafter, the processing executed by the monitoring application in the case of real-time image display and recorded image display will be described with reference to FIGS. 7 and 8. FIG. 7 is a flowchart showing real-time image display processing executed by the supervisor terminal 140 according to the present embodiment. FIG. 8 is a flowchart showing recorded image display processing executed by the supervisor terminal 140 according to the present embodiment.
まず、リアルタイム画像表示処理について説明する。図７に示すリアルタイム画像表示処理は、例えば、監視者が監視アプリケーション画面上のリアルタイム表示ボタン２０４を押下したことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、制御部１４４は、通信部１４２により、監視カメラ１１０へ画像取得要求を送信させる。ステップＳ１０２では、制御部１４４は、復元フィルタ処理部１５０に出力するフィルタ処理の要否を示す信号を切り替えて復元フィルタ処理を無効化する。ステップＳ１０３では、制御部１４４は、監視カメラ１１０からの画像受信が開始されるまでの間（ＮＯの間）待ち受ける。監視カメラ１１０は、画像取得要求に応答して、監視者端末１４０への圧縮データの送信をまもなく開始させる。ステップＳ１０３で、監視カメラ１１０からの画像受信が開始された場合（ＹＥＳ）は、ステップＳ１０４へ処理が進められる。 First, real-time image display processing will be described. The real-time image display process shown in FIG. 7 is started from step S100 in response to, for example, the monitor pressing the real-time display button 204 on the monitoring application screen. In step S101, the control unit 144 causes the communication unit 142 to transmit an image acquisition request to the monitoring camera 110. In step S102, the control unit 144 invalidates the restoration filter process by switching a signal indicating whether the filtering process is output to the restoration filter processing unit 150. In step S103, the control unit 144 waits until image reception from the monitoring camera 110 is started (during NO). In response to the image acquisition request, the monitoring camera 110 starts transmission of compressed data to the supervisor terminal 140 soon. If image reception from the monitoring camera 110 is started in step S103 (YES), the process proceeds to step S104.
ステップＳ１０４では、制御部１４４は、通信部１４２により、画像データを受信させて、ステップＳ１０５では、データ分離部１４６により、圧縮データから画像部を分離させる。ステップＳ１０６では、制御部１４４は、画像解凍部１４８により、画像フレームの解凍処理を行わせる。ステップＳ１０７では、制御部１４４は、画像表示部１５２により、アプリケーション画面２００の画像表示領域２０２に、その解凍されたままの１次画像のフレームの画像表示を行わせる。なお圧縮データには、画像フレームにフィルタ係数部が関連づけられているが、復元フィルタ処理部１５０には復元フィルタ処理の無効信号が入力されているので、復元フィルタ処理は実行されない。したがって、画像表示領域２０２に表示される画像フレームは、フィルタ処理が行われていないため、ぼけた画像となっている。これは、復元フィルタ処理をソフトウェア上で実行すると演算時間がかかるため、不必要なリアルタイムの復元フィルタ処理を避けるためである。また、監視する視野に人物が入った場合における各個人のプライバシー保護を兼ねている。 In step S104, the control unit 144 causes the communication unit 142 to receive image data. In step S105, the data separation unit 146 separates the image portion from the compressed data. In step S <b> 106, the control unit 144 causes the image decompression unit 148 to perform image frame decompression processing. In step S107, the control unit 144 causes the image display unit 152 to cause the image display area 202 of the application screen 200 to display an image of the uncompressed primary image frame. In the compressed data, the filter coefficient part is associated with the image frame. However, since the restoration filter processing unit 150 receives an invalid signal of the restoration filter process, the restoration filter process is not executed. Therefore, the image frame displayed in the image display area 202 is a blurred image because no filter processing is performed. This is to avoid unnecessary real-time restoration filter processing because the computation time is required when the restoration filter processing is executed on software. It also serves to protect each individual's privacy when a person enters the field of view to be monitored.
ステップＳ１０８では、監視者からのアプリケーションに対するリアルタイム表示の終了指示を受け付けたか否かを判定する。ステップＳ１０８で、リアルタイム表示の終了指示を未だ受け付けていないと判定された場合（ＮＯ）は、ステップＳ１０４へループさせて、次のフレームに対する処理を進める。一方、ステップＳ１０８で、リアルタイム表示の終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１０９へ処理が進められる。ステップＳ１０９では、制御部１４４は、監視カメラ１１０に対し画像取得の終了を通知し、ステップＳ１１０で本処理を終了させる。 In step S108, it is determined whether a real-time display end instruction for the application from the supervisor has been received. If it is determined in step S108 that a real-time display end instruction has not yet been received (NO), the process loops to step S104 and the process for the next frame proceeds. On the other hand, if it is determined in step S108 that a real-time display end instruction has been received (YES), the process proceeds to step S109. In step S109, the control unit 144 notifies the monitoring camera 110 of the end of image acquisition, and ends this processing in step S110.
引き続き、録画像表示処理について説明する。図８に示す録画像表示処理は、例えば、監視者が監視アプリケーション画面上の録画表示ボタン２０６を押下したことに応答して、ステップＳ２００から開始される。ステップＳ２０１では、制御部１４４は、通信部１４２により、画像保管サーバ１３０へ画像取得要求を送信させる。画像取得要求には、再生開始時間設定ボックス２０８に入力された再生開始時間が指定される。ステップＳ２０２では、制御部１４４は、復元フィルタ処理部１５０に出力するフィルタ処理の要否を示す信号を切り替えて復元フィルタ処理を有効化する。ステップＳ２０３では、制御部１４４は、画像保管サーバ１３０からの画像受信が開始されるまでの間（ＮＯの間）待ち受ける。画像保管サーバ１３０は、画像取得要求に応答して、監視者端末１４０への指定の圧縮データの送信をまもなく開始させる。ステップＳ２０３で、画像保管サーバ１３０からの画像受信が開始された場合（ＹＥＳ）は、ステップＳ２０４へ処理が進められる。 Next, the recorded image display process will be described. The recorded image display processing shown in FIG. 8 is started from step S200 in response to, for example, the monitoring person pressing the recording display button 206 on the monitoring application screen. In step S <b> 201, the control unit 144 causes the communication unit 142 to transmit an image acquisition request to the image storage server 130. In the image acquisition request, the reproduction start time input in the reproduction start time setting box 208 is specified. In step S <b> 202, the control unit 144 switches the signal indicating the necessity of the filter process output to the restoration filter processing unit 150 and validates the restoration filter process. In step S203, the control unit 144 waits until image reception from the image storage server 130 is started (during NO). In response to the image acquisition request, the image storage server 130 starts transmission of the specified compressed data to the supervisor terminal 140 soon. If image reception from the image storage server 130 is started in step S203 (YES), the process proceeds to step S204.
ステップＳ２０４では、制御部１４４は、通信部１４２により、画像データを受信させて、ステップＳ２０５では、データ分離部１４６により、圧縮データから画像部とフィルタ係数部とを分離させる。ステップＳ２０６では、制御部１４４は、画像解凍部１４８により、画像部とフィルタ係数部とをそれぞれ分離された形で解凍させる。ステップＳ２０７では、制御部１４４は、復元フィルタ処理部１５０により、１次画像の画像フレームに対して復元フィルタ処理を施させる。ステップＳ２０８では、通信部１４２により、画像表示部１５２により、アプリケーション画面２００の画像表示領域２０２に、復元された２次画像のフレームの画像表示を行わせる。 In step S204, the control unit 144 causes the communication unit 142 to receive the image data. In step S205, the data separation unit 146 separates the image portion and the filter coefficient portion from the compressed data. In step S206, the control unit 144 causes the image decompression unit 148 to decompress the image unit and the filter coefficient unit in a separated form. In step S207, the control unit 144 causes the restoration filter processing unit 150 to perform restoration filter processing on the image frame of the primary image. In step S208, the communication unit 142 causes the image display unit 152 to display an image of the restored secondary image frame in the image display area 202 of the application screen 200.
録画像表示では、ステップＳ２０２で復元フィルタ処理部１５０には復元フィルタ処理の有効の信号が入力されているので、画像表示領域２０２に表示される画像フレームは、被写界深度が拡張された鮮明な画像となる。これは、特に監視カメラなど分野への撮像装置の応用において、録画像の確認を要するような場合は、被写界の隅々までピントが合ってほしいという要望があり、係る要望に応えるためである。 In the recorded image display, since the restoration filter processing valid signal is input to the restoration filter processing unit 150 in step S202, the image frame displayed in the image display area 202 has a clear depth of field. It becomes a correct image. This is because there is a demand for focusing on every corner of the object scene, especially when it is necessary to check the recorded image in the application of an imaging device to a field such as a surveillance camera. is there.
ステップＳ２０９では、監視者からのアプリケーションに対する録画像表示の終了指示を受け付けたか否かを判定する。ステップＳ２０９で、録画像表示の終了指示を未だ受け付けていないと判定された場合（ＮＯ）は、ステップＳ２０４へループさせて、次のフレームに対する処理を進める。一方、ステップＳ２０９で、終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ２１０へ処理が進められる。ステップＳ２１０では、制御部１４４は、画像保管サーバ１３０に対し画像取得の終了を通知し、ステップＳ２１１で本処理を終了させる。 In step S209, it is determined whether an instruction to end recording image display for the application from the supervisor has been received. If it is determined in step S209 that a recorded image display end instruction has not yet been received (NO), the process loops to step S204 to proceed with the process for the next frame. On the other hand, if it is determined in step S209 that an end instruction has been received (YES), the process proceeds to step S210. In step S210, the control unit 144 notifies the image storage server 130 of the end of image acquisition, and ends the process in step S211.
なお、上述した説明では、画像部とフィルタ係数部とが分離しやすい形で保存されていることを前提として、データ分離部１４６、画像解凍部１４８および復元フィルタ処理部１５０を、３つの処理部で分離して実装する構成とした。しかしながら、他の実施形態では、圧縮データ３００においてフィルタ係数と画像フレームとが強固に関連付けられている場合など、データ分離部１４６、画像解凍部１４８および復元フィルタ処理部１５０が実行する処理を同じ処理手段で行ってもよい。これにより、処理速度の向上が図られる。 In the above description, the data separation unit 146, the image decompression unit 148, and the restoration filter processing unit 150 are divided into three processing units on the assumption that the image unit and the filter coefficient unit are stored in a form that can be easily separated. The configuration is to be separated and mounted. However, in other embodiments, the processing performed by the data separation unit 146, the image decompression unit 148, and the decompression filter processing unit 150, such as when the filter coefficient and the image frame are firmly associated with each other in the compressed data 300, is the same process. It may be performed by means. Thereby, the processing speed is improved.
以下、図９を参照しながら、本実施形態による画像保管サーバ１３０および監視者端末１４０のハードウェア構成について説明する。なお、図９は、本実施形態による監視者端末１４０のハードウェア構成を示す図であるが、画像保管サーバ１３０についても同様のハードウェア構成とすることができる。 Hereinafter, the hardware configuration of the image storage server 130 and the supervisor terminal 140 according to the present embodiment will be described with reference to FIG. FIG. 9 is a diagram illustrating a hardware configuration of the supervisor terminal 140 according to the present embodiment, but the image storage server 130 may have a similar hardware configuration.
本実施形態による監視者端末１４０は、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどの汎用コンピュータなどとして構成されている。図９に示す監視者端末１４０は、シングルコアまたはマルチコアのＣＰＵ（Central Processing Unit）１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、該ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担うサウスブリッジ１６とを含む。 The supervisor terminal 140 according to the present embodiment is configured as a general-purpose computer such as a desktop personal computer or a workstation. 9 includes a single-core or multi-core CPU (Central Processing Unit) 12, a north bridge 14 that connects the CPU 12 and the memory, and the north bridge 14 via a dedicated bus or a PCI bus. And a south bridge 16 connected to a PCI bus or an I / O such as a USB.
ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ（Random Access Memory）１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、アナログＲＧＢ、ＨＤＭＩ（High-Definition Multimedia Interface；登録商標）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ５０に接続される。 Connected to the north bridge 14 are a RAM (Random Access Memory) 18 that provides a work area for the CPU 12 and a graphic board 20 that outputs a video signal. The graphic board 20 is connected to the display 50 via a video output interface such as analog RGB, HDMI (High-Definition Multimedia Interface; registered trademark), DVI (Digital Visual Interface), DisplayPort (registered trademark), or the like.
サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）１３９４、ＵＳＢ（Universal Serial Bus）ポート２８、ＨＤＤやＳＳＤなどの補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、コンピュータ装置を制御するためのＯＳ、上述した機能部を実現するための制御プログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、監視者端末１４０をネットワーク１０２に接続させるインタフェース機器である。 The south bridge 16 includes a peripheral component interconnect (PCI) 22, a LAN port 24, an IEEE (The Institute of Electrical and Electronics Engineers, Inc.) 1394, a USB (Universal Serial Bus) port 28, and an auxiliary storage device such as an HDD or an SSD. 30, an audio input / output 32, and a serial port 34 are connected. The auxiliary storage device 30 stores an OS for controlling the computer device, a control program for realizing the above-described functional units, various system information, and various setting information. The LAN port 24 is an interface device that connects the supervisor terminal 140 to the network 102.
ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力デバイスが接続されてもよく、当該監視者端末１４０の操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による監視者端末１４０は、補助記憶装置３０から制御プログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。 Input devices such as a keyboard 52 and a mouse 54 may be connected to the USB port 28, and a user interface for accepting input of various instructions from the operator of the supervisor terminal 140 can be provided. The supervisor terminal 140 according to the present embodiment reads the control program from the auxiliary storage device 30 and develops it in the work space provided by the RAM 18 to realize the above-described functional units and processes under the control of the CPU 12.
なお、上述した実施形態では、各機能部を汎用コンピュータ上で実行される監視アプリケーションのコンポーネントとして説明したが、これに限定されず、監視者端末１４０を専用端末などとして構成してもよい。また、画像保管サーバ１３０は、復元フィルタ処理を実行する監視者端末とは異なる装置として説明した。しかしながら、他の実施形態では、監視者端末１４０に画像保管サーバ機能が実装されていてもよい。さらに、リアルタイムで画像を表示するときは復元フィルタ処理を無効とし、オフラインで表示するときはフィルタ処理を有効とする旨説明したが、特にこれに限定されるものではない。 In the above-described embodiment, each functional unit has been described as a component of a monitoring application executed on a general-purpose computer. However, the present invention is not limited to this, and the monitor terminal 140 may be configured as a dedicated terminal. Further, the image storage server 130 has been described as an apparatus different from the supervisor terminal that executes the restoration filter process. However, in other embodiments, the image storage server function may be implemented in the supervisor terminal 140. Furthermore, although it has been described that the restoration filter processing is disabled when displaying an image in real time and the filtering processing is enabled when displaying an image offline, the present invention is not particularly limited thereto.
以上説明した実施形態によれば、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷が、監視カメラ１１０側から分離された監視者端末１４０にオフロードされる。 According to the embodiment described above, the calculation load for restoring the image captured through the optical system including the light wavefront modulation element is offloaded to the supervisor terminal 140 separated from the monitoring camera 110 side.
被写界深度拡張光学系によるぼけた画像は、低周波数成分に偏りが生じるので、ＪＰＥＧなどの離散コサイン変換に基づく圧縮方式で圧縮した場合、その画像から復元された鮮明な画像を圧縮する場合と比較して、圧縮率が高くなる。そのため、復元後に監視カメラ１１０から送信する場合に比較して、監視カメラ１１０側から画像保管サーバ１３０や監視者端末１４０へのデータ伝送量を削減することができ、ネットワーク・トラフィックを軽減することができる。また、防犯カメラなどの用途では、限られたストレージ容量の中で長期間の保存が求められるが、データサイズの削減は、このような用途に有利である。 The blurred image produced by the depth-of-field-expanding optical system is biased in the low-frequency component. Therefore, when compressing with a compression method based on discrete cosine transform such as JPEG, a clear image restored from the image is compressed. Compared with, the compression rate becomes high. Therefore, as compared with the case of transmission from the monitoring camera 110 after restoration, the amount of data transmission from the monitoring camera 110 to the image storage server 130 or the supervisor terminal 140 can be reduced, and network traffic can be reduced. it can. Further, in applications such as security cameras, long-term storage is required within a limited storage capacity, but the reduction in data size is advantageous for such applications.
さらに、上述した監視システム１００では、全フレームに対して復元フィルタ処理を行うのではなく、鮮明な画像を要するシーンのみに復元フィルタ処理を行うことができる。例えば、防犯カメラなどの用途では、通常の場合は閲覧せずに保存し、必要な画像のみ閲覧するということが一般的である。これはリアルタイム処理が必ずしも要さないことを意味する。リアルタイム処理が必要でなければ、従来リアルタイム性を維持するためにハードウェア・ロジックで行なっていた画像復元処理を、ソフトウェアにより実施することができる。その結果、監視カメラ側の回路規模を削減し、ひいては、コストの削減、消費電力の低減、発熱量の低減、装置サイズの小型化に資する。本実施形態による画像処理システムは、上述したようなリアルタイムの閲覧を必ずしも要さない用途に有用である。 Furthermore, in the monitoring system 100 described above, the restoration filter processing can be performed only on a scene that requires a clear image, instead of performing the restoration filter processing on all frames. For example, in an application such as a security camera, it is common to save without browsing in a normal case and browse only necessary images. This means that real-time processing is not necessarily required. If real-time processing is not necessary, image restoration processing that has been performed by hardware logic in order to maintain real-time performance can be implemented by software. As a result, the circuit scale on the surveillance camera side is reduced, which in turn contributes to cost reduction, power consumption reduction, heat generation reduction, and device size reduction. The image processing system according to the present embodiment is useful for applications that do not necessarily require real-time browsing as described above.
また、従来全フレームに対して行なっていた復元補正処理を、必要な一部のフレームに対してのみ行うことになるので、システム全体としての処理量が削減され、省電力も図られる。さらに、画像圧縮の際にフィルタ係数を合わせて保存することによって、監視者端末１４０側の監視者は、必要なフィルタ係数を把握していなくても、正規の画像を入手することができるようになる。 In addition, since the restoration correction processing that has been conventionally performed for all frames is performed only for some necessary frames, the processing amount of the entire system is reduced, and power saving is also achieved. Further, by storing the filter coefficients together at the time of image compression, the monitor on the monitor terminal 140 side can obtain a regular image without knowing the necessary filter coefficients. Become.
以上説明したように、上述した実施形態によれば、光波面変調素子を含む光学系を通して撮像された画像を復元するための演算負荷を撮像手段側から軽減することができる、画像処理システム、撮像装置およびプログラムを提供することができる。 As described above, according to the above-described embodiment, the image processing system and the imaging that can reduce the calculation load for restoring the image captured through the optical system including the light wavefront modulation element from the imaging unit side. Devices and programs can be provided.
なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。 The functional unit can be realized by a computer-executable program written in a legacy programming language such as assembler, C, C ++, C #, Java (registered trademark), an object-oriented programming language, or the like. ROM, EEPROM, EPROM , Stored in a device-readable recording medium such as a flash memory, a flexible disk, a CD-ROM, a CD-RW, a DVD-ROM, a DVD-RAM, a DVD-RW, a Blu-ray disc, an SD card, an MO, or through an electric communication line Can be distributed.
これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the embodiments of the present invention have been described so far, the embodiments of the present invention are not limited to the above-described embodiments, and those skilled in the art may conceive other embodiments, additions, modifications, deletions, and the like. It can be changed within the range that can be done, and any embodiment is included in the scope of the present invention as long as the effects of the present invention are exhibited.
１００…監視システム、１０２…ネットワーク、１０４…カメラ設置ルーム、１０６…サーバ・ルーム、１０８…監視ルーム、１１０…監視カメラ、１１２…レンズユニット、１１４…絞り、１１６…位相板、１１８…固体撮像素子、１２０…データ圧縮部、１２２…フィルタ係数決定部、１２４…イーサネット（登録商標）ポート、１２６…被写体、１３０…画像保管サーバ、１３２…通信部、１３４…制御部、１３６…画像格納部、１４０…監視者端末、１４２…通信部、１４４…制御部、１４６…データ分離部、１４８…画像解凍部、１５０…復元フィルタ処理部、１５２…画像表示部、１５４…操作部、２００…アプリケーション画面、２０２…画像表示領域、２０４…リアルタイム表示ボタン、２０６…録画表示ボタン、２０８…再生開始時間設定ボックス、３００…圧縮データ、３１０…画像部、３１２…フレーム、３２０…フィルタ係数部、３５０…圧縮データ、３５２…フレーム、３５４…フィルタ係数、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス DESCRIPTION OF SYMBOLS 100 ... Monitoring system, 102 ... Network, 104 ... Camera installation room, 106 ... Server room, 108 ... Monitoring room, 110 ... Monitoring camera, 112 ... Lens unit, 114 ... Aperture, 116 ... Phase plate, 118 ... Solid-state image sensor 120 ... Data compression unit 122 ... Filter coefficient determination unit 124 ... Ethernet (registered trademark) port 126 ... Subject, 130 ... Image storage server 132 ... Communication unit 134 ... Control unit 136 ... Image storage unit 140 ... monitor terminal, 142 ... communication unit, 144 ... control unit, 146 ... data separation unit, 148 ... image decompression unit, 150 ... restoration filter processing unit, 152 ... image display unit, 154 ... operation unit, 200 ... application screen, 202 ... Image display area, 204 ... Real time display button, 206 ... Recording display button, 208 ... Raw start time setting box, 300 ... compressed data, 310 ... image part, 312 ... frame, 320 ... filter coefficient part, 350 ... compressed data, 352 ... frame, 354 ... filter coefficient, 12 ... CPU, 14 ... North bridge, 16 ... South Bridge, 18 ... RAM, 20 ... Graphic Board, 22 ... PCI, 24 ... LAN Port, 26 ... IEEE 1394 Port, 28 ... USB Port, 30 ... Auxiliary Storage Device, 32 ... Audio Input / Output, 34 ... Serial Port, 52 ... keyboard, 54 ... mouse
Claims (9)
前記１次画像と、前記光波面変調素子により与えられる点像分布関数に基づく前記１次画像に応じた補正データとを関連付けて記憶する記憶手段と、
前記撮像手段から分離され、前記記憶手段の所定の１次画像に対し、前記所定の１次画像に関連付けられる前記記憶手段の補正データに基づき、画像を復元する補正処理を施す画像処理手段と、
前記画像処理手段により前記所定の１次画像から復元された２次画像に基づき、画像出力する画像出力手段と
を含む、画像処理システム。 Imaging means for imaging through an optical system including a light wavefront modulation element and outputting a primary image;
Storage means for storing the primary image in association with correction data corresponding to the primary image based on a point spread function given by the light wavefront modulation element;
An image processing unit that performs a correction process for restoring an image based on correction data of the storage unit that is separated from the imaging unit and is associated with the predetermined primary image with respect to the predetermined primary image of the storage unit;
And an image output means for outputting an image based on the secondary image restored from the predetermined primary image by the image processing means.
前記選択受付手段により復元させる対象として選択された前記１次画像群の各画像に対する前記画像処理手段による補正処理を有効化する制御手段と
をさらに含む、請求項１〜３のいずれか１項に記載の画像処理システム。 Selection accepting means for accepting selection of a primary image group to be restored;
The control means which validates the correction process by the said image processing means with respect to each image of the said primary image group selected as the object made to restore | restore by the said selection reception means. The image processing system described.
前記画像処理手段の前段側に設けられ、圧縮された１次画像を解凍する解凍手段と
をさらに含む、請求項１〜５のいずれか１項に記載の画像処理システム。 A compression unit provided on the rear side of the imaging unit and compressing a primary image output from the imaging unit;
The image processing system according to claim 1, further comprising: a decompression unit that is provided on a front side of the image processing unit and decompresses the compressed primary image.
前記画像処理手段の前段側に設けられ、結合された１次画像と補正データとを分離する分離手段と
をさらに含む、請求項１〜６のいずれか１項に記載の画像処理システム。 A coupling unit that is provided on the rear side of the imaging unit and combines the primary image output from the imaging unit and the correction data;
The image processing system according to claim 1, further comprising: a separating unit that is provided on a front side of the image processing unit and separates the combined primary image and the correction data.
前記光学系を通して像面上に結像された像を撮像する撮像素子と、
前記撮像素子が撮像した１次画像と、前記１次画像に応じた補正データとを関連付けて出力する出力手段と
を含み、前記補正データは、前記光波面変調素子により与えられる点像分布関数に基づくものであり、かつ、前記撮像素子から分離された画像処理装置で、関連付けられる１次画像に対し補正処理を施すことによって、画像出力用の２次画像に復元するための補正データであることを特徴とする、撮像装置。 An optical system including an optical wavefront modulation element;
An image sensor that captures an image formed on the image plane through the optical system;
Output means for associating and outputting a primary image captured by the imaging device and correction data corresponding to the primary image, and the correction data is a point spread function provided by the light wavefront modulation device. Correction data for restoring to a secondary image for image output by performing correction processing on the associated primary image by an image processing apparatus separated from the image sensor. An imaging apparatus characterized by the above.
光波面変調素子を含む光学系を通して撮像された所定の１次画像と、前記光波面変調素子により与えられる点像分布関数に基づく前記所定の１次画像に応じた補正データとを関連付けて取得する取得手段、
前記所定の１次画像に対し、前記所定の１次画像に関連付けて取得された補正データに基づき、画像を復元する補正処理を施す画像処理手段、および
前記画像処理手段により前記所定の１次画像から復元された２次画像に基づき画像出力する画像出力手段
として機能させるためのプログラム。 Computer
A predetermined primary image captured through an optical system including an optical wavefront modulation element is acquired in association with correction data corresponding to the predetermined primary image based on a point spread function provided by the optical wavefront modulation element. Acquisition means,
Image processing means for performing a correction process for restoring an image based on correction data acquired in association with the predetermined primary image for the predetermined primary image, and the predetermined primary image by the image processing means A program for functioning as image output means for outputting an image based on the secondary image restored from the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013110828A JP6115316B2 (en) | 2013-05-27 | 2013-05-27 | Image processing system, imaging apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013110828A JP6115316B2 (en) | 2013-05-27 | 2013-05-27 | Image processing system, imaging apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014230239A true JP2014230239A (en) | 2014-12-08 |
| JP6115316B2 JP6115316B2 (en) | 2017-04-19 |
Family
ID=52129675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013110828A Active JP6115316B2 (en) | 2013-05-27 | 2013-05-27 | Image processing system, imaging apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6115316B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017011638A (en) * | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | Image processing apparatus, imaging device, image processing method, program, and recording medium |
| JP2020136823A (en) * | 2019-02-15 | 2020-08-31 | キヤノン株式会社 | Image processing device, imaging device, image processing method, control method for imaging device, and program |
| KR20200126374A (en) * | 2018-01-29 | 2020-11-06 | 유니버시티 오브 워싱턴 | Systems and Imaging Methods for Meta Surfaces and Full-Color Imaging |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000209569A (en) * | 1999-01-19 | 2000-07-28 | Oki Electric Ind Co Ltd | Remote monitor, remote monitoring method and remote monitoring system |
| JP2008085697A (en) * | 2006-09-28 | 2008-04-10 | Kyocera Corp | Image pickup device and its manufacturing device and method |
| JP2010087862A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Image processing apparatus, image processing method, image capturing apparatus, image capturing method, and program |
| JP2010087859A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Image processing parameter calculator, image processing parameter calculating method, manufacturing method, image pickup device, image pickup method and program |
-
2013
- 2013-05-27 JP JP2013110828A patent/JP6115316B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000209569A (en) * | 1999-01-19 | 2000-07-28 | Oki Electric Ind Co Ltd | Remote monitor, remote monitoring method and remote monitoring system |
| JP2008085697A (en) * | 2006-09-28 | 2008-04-10 | Kyocera Corp | Image pickup device and its manufacturing device and method |
| JP2010087862A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Image processing apparatus, image processing method, image capturing apparatus, image capturing method, and program |
| JP2010087859A (en) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | Image processing parameter calculator, image processing parameter calculating method, manufacturing method, image pickup device, image pickup method and program |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017011638A (en) * | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | Image processing apparatus, imaging device, image processing method, program, and recording medium |
| KR20200126374A (en) * | 2018-01-29 | 2020-11-06 | 유니버시티 오브 워싱턴 | Systems and Imaging Methods for Meta Surfaces and Full-Color Imaging |
| JP2021512365A (en) * | 2018-01-29 | 2021-05-13 | ユニヴァーシティ オブ ワシントン | Meta-surfaces and systems for full-color imaging and imaging methods |
| JP7328232B2 (en) | 2018-01-29 | 2023-08-16 | ユニヴァーシティ オブ ワシントン | Metasurfaces and systems for full-color imaging and methods of imaging |
| KR102604884B1 (en) * | 2018-01-29 | 2023-11-21 | 유니버시티 오브 워싱턴 | Systems and imaging methods for metasurfaces and full-color imaging |
| JP2020136823A (en) * | 2019-02-15 | 2020-08-31 | キヤノン株式会社 | Image processing device, imaging device, image processing method, control method for imaging device, and program |
| JP7278092B2 (en) | 2019-02-15 | 2023-05-19 | キヤノン株式会社 | Image processing device, imaging device, image processing method, imaging device control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6115316B2 (en) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8937644B2 (en) | Stereoscopic image capture | |
| JP5274391B2 (en) | Interchangeable lens camera and control method thereof | |
| JP5903529B2 (en) | Imaging apparatus, imaging method, and image processing apparatus | |
| US9894270B2 (en) | Image processing apparatus and image processing method for handling a raw image, of a moving image or a still image | |
| US9723169B2 (en) | Imaging apparatus and imaging apparatus control method | |
| TWI502548B (en) | Real-time image processing method and device therefor | |
| WO2015180683A1 (en) | Mobile terminal, method and device for setting image pickup parameters, and computer storage medium | |
| US20150103204A1 (en) | Image processing device and method capable of displaying high-quality image while preventing display delay, and image pickup apparatus | |
| JP5730928B2 (en) | Captured image display device, imaging system, captured image display method, and program | |
| JP6115316B2 (en) | Image processing system, imaging apparatus, and program | |
| TWI276904B (en) | A document camera and its digital image zoom system | |
| KR20160135826A (en) | Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium | |
| US9462182B2 (en) | Imaging apparatus and control method thereof | |
| JP2017224939A (en) | Imaging apparatus | |
| JP2013225779A (en) | Image processing device, imaging device, and image processing program | |
| JP6702792B2 (en) | Image processing apparatus and control method thereof | |
| JP6669065B2 (en) | Filter control device, filter control method, and imaging device | |
| TWI574225B (en) | Vehicle event data recorder and operation method thereof | |
| JP2018207424A (en) | Information transfer device | |
| JP7468391B2 (en) | Image capture device and image capture processing method | |
| US11070746B2 (en) | Image capturing apparatus, method of controlling image capturing apparatus, and storage medium | |
| JP7289642B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM | |
| TW200810537A (en) | Method and system for image overlay processing | |
| JP6917800B2 (en) | Image processing device and its control method and program | |
| JP2008042326A (en) | Imaging apparatus and simultaneous display control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170306 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6115316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |