JP2009302739A - Omnidirectional imaging apparatus, and method of controlling imaging of omnidirectional image - Google Patents

Omnidirectional imaging apparatus, and method of controlling imaging of omnidirectional image Download PDF

Info

Publication number
JP2009302739A
JP2009302739A JP2008152919A JP2008152919A JP2009302739A JP 2009302739 A JP2009302739 A JP 2009302739A JP 2008152919 A JP2008152919 A JP 2008152919A JP 2008152919 A JP2008152919 A JP 2008152919A JP 2009302739 A JP2009302739 A JP 2009302739A
Authority
JP
Japan
Prior art keywords
omnidirectional
image
flare correction
correction value
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008152919A
Other languages
Japanese (ja)
Other versions
JP4964830B2 (en
Inventor
Terutomo Uematsu
照智 植松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008152919A priority Critical patent/JP4964830B2/en
Publication of JP2009302739A publication Critical patent/JP2009302739A/en
Application granted granted Critical
Publication of JP4964830B2 publication Critical patent/JP4964830B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an omnidirectional imaging apparatus or the like for executing flare correction of photographed omnidirectional images. <P>SOLUTION: A black level acquisition part acquires the signal level S of a center part and the black level OB of an OB area (step S3). A flare correction value calculation part compares the signal level S of the center part and the black level OB of the OB area, and determines whether or not a relation of OB≤S is satisfied (step S4). When the relation of OB≤S is satisfied, the occurrence of flare is determined and a flare correction value F is calculated (step S5). A digital signal processing part executes the flare correction of the omnidirectional images (step S6) on the basis of the flare correction value F, and generates the omnidirectional images. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は３６０°の視野を有する全方位画像を撮影する全方位撮像装置及び全方位画像の撮像制御方法に係り、特に撮影した全方位画像のフレア補正を行う全方位撮像装置及び全方位画像の撮像制御方法に関する。   The present invention relates to an omnidirectional imaging apparatus that captures an omnidirectional image having a field of view of 360 ° and an imaging control method for the omnidirectional image, and more particularly to an omnidirectional imaging apparatus that performs flare correction of a captured omnidirectional image and The present invention relates to an imaging control method.

従来から、広範囲を撮影する装置として、双曲面ミラーや円錐形ミラー等の全方位ミラーを用いて３６０°の視野範囲を撮影する全方位撮像装置が知られている。   2. Description of the Related Art Conventionally, as an apparatus for photographing a wide range, an omnidirectional imaging apparatus that photographs a 360 ° visual field range using an omnidirectional mirror such as a hyperboloidal mirror or a conical mirror is known.

特許文献１には、曲面ミラーの支持手段として透明指示手段を用いると共に、その内面反射の影響を完全に取り除く手段を備えた全方位撮像装置が記載されている。特許文献１に記載の全方位撮像装置によれば、反対方向からの一次の内面反射の影響を取り除けるばかりではなく、一度鏡面で反射してから内面反射する光の影響も受けない全方位撮像装置を実現することが可能となる。
特開２００６−２３５５０９号公報 Patent Document 1 describes an omnidirectional imaging apparatus including a transparent instruction unit as a curved mirror support unit and a unit that completely removes the influence of internal reflection. According to the omnidirectional imaging device described in Patent Document 1, not only the influence of the primary internal reflection from the opposite direction can be removed, but also the omnidirectional imaging device that is not affected by the light that is once reflected by the mirror surface and then internally reflected. Can be realized.
JP 2006-235509 A

太陽光等の極めて明るい光がレンズに入射すると、レンズに入射した光がレンズ鏡筒内で乱反射し、輝度信号の黒レベルの浮き上がり、即ちフレアが発生することが知られている。フレアが発生すると、撮影された画像は、いわゆる黒に締まりのない画像となる。一方、上記のような全方位撮像装置は広範囲を撮影することから、太陽光のような明るい光が全方位ミラーに入射する可能性が高い。全方位ミラーに明るい光が入射すると、この光は全方位ミラーで反射されて撮像レンズに入射するため、撮影される画像はフレアが発生しやすいという問題点があった。   It is known that when extremely bright light such as sunlight is incident on the lens, the light incident on the lens is diffusely reflected in the lens barrel, and the black level of the luminance signal rises, that is, flare occurs. When flare occurs, the photographed image becomes an image without so-called black. On the other hand, since the omnidirectional imaging apparatus as described above captures a wide area, there is a high possibility that bright light such as sunlight enters the omnidirectional mirror. When bright light is incident on the omnidirectional mirror, the light is reflected by the omnidirectional mirror and incident on the imaging lens, so that there is a problem that flare is likely to occur in the captured image.

本発明はこのような事情に鑑みてなされたもので、撮影した全方位画像のフレア補正を行う全方位撮像装置及び全方位画像の撮像制御方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and an object thereof is to provide an omnidirectional imaging apparatus that performs flare correction of a captured omnidirectional image and an imaging control method for an omnidirectional image.

前記目的を達成するために請求項１に記載の全方位撮像装置は、周囲からの入射光を反射光として出力する全方位ミラーと、撮像レンズを介して入射した前記全方位ミラーからの反射光を撮像素子により光電変換し、全方位画像を生成する手段と、前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する手段と、前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する算出手段と、前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う手段とを備えたことを特徴とする。   In order to achieve the above object, the omnidirectional imaging apparatus according to claim 1 includes an omnidirectional mirror that outputs incident light from the surroundings as reflected light, and reflected light from the omnidirectional mirror that is incident through an imaging lens. Means for generating an omnidirectional image by means of an image sensor, means for acquiring a signal level of a central area where no light is incident from the omnidirectional mirror of the omnidirectional image, and a signal level of the central area. And a calculating unit that calculates a flare correction value for the omnidirectional image based on the calculated flare correction value. A unit that performs a flare correction for the omnidirectional image based on the calculated flare correction value.

請求項１の全方位撮像装置によれば、全方位画像の中心部の撮影無効領域の信号レベルを取得し、撮影無効領域の信号レベルに基づいて前記撮影画像のフレア補正値を算出し、算出したフレア補正値に基づいて全方位画像のフレア補正を行うようにしたので、フレアのない全方位画像を撮影することができる。   According to the omnidirectional imaging apparatus of claim 1, the signal level of the imaging invalid area at the center of the omnidirectional image is acquired, and the flare correction value of the captured image is calculated based on the signal level of the imaging invalid area. Since the flare correction of the omnidirectional image is performed based on the flare correction value, the omnidirectional image without flare can be taken.

請求項２に示すように請求項１に記載の全方位撮像装置において、前記撮像素子のオプティカルブラック領域の黒レベルを取得する手段を備え、前記算出手段は、前記中心領域の信号レベルが前記オプティカルブラック領域の黒レベルより輝度が高い場合に、前記中心領域の信号レベルと前記オプティカルブラック領域の黒レベルの差をフレア補正値として算出することを特徴とする。   The omnidirectional imaging apparatus according to claim 1, further comprising means for acquiring a black level of an optical black area of the image sensor, wherein the calculation means has a signal level of the central area of the optical area. When the luminance is higher than the black level of the black area, a difference between the signal level of the central area and the black level of the optical black area is calculated as a flare correction value.

これにより、適切なフレア補正値を算出することができる。   Thereby, an appropriate flare correction value can be calculated.

請求項３に示すように請求項２に記載の全方位撮像装置において、前記撮像素子のオプティカルブラック領域の黒レベルは、オプティカルブラック領域の垂直転送路毎の積算値のうち、最も輝度が高い積算値を持つ垂直転送路の黒レベルであることを特徴とする。   3. The omnidirectional imaging apparatus according to claim 2, wherein the black level of the optical black area of the image sensor is an integration with the highest luminance among the integrated values for each vertical transfer path of the optical black area. It is characterized by the black level of the vertical transfer path having a value.

これにより、適切なフレア補正値を算出することができる。   Thereby, an appropriate flare correction value can be calculated.

前記目的を達成するために請求項４に記載の全方位画像の撮像制御方法は、周囲からの入射光を反射光として出力する全方位ミラーからの反射光を撮像レンズを介して撮像素子に入射させ、前記撮像素子により光電変換して全方位画像を生成する工程と、前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する工程と、前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する工程と、前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う工程とを備えたことを特徴とする。   In order to achieve the above object, the omnidirectional image capturing control method according to claim 4, the reflected light from the omnidirectional mirror that outputs incident light from the surroundings as reflected light is incident on the image sensor through the imaging lens. Generating an omnidirectional image by photoelectric conversion by the imaging device, obtaining a signal level of a central area where no light is incident from the omnidirectional mirror of the omnidirectional image, and a signal of the central area The method includes a step of calculating a flare correction value of the omnidirectional image based on a level, and a step of performing flare correction of the omnidirectional image based on the calculated flare correction value.

これにより、フレアのない全方位画像を撮影することができる。   Thereby, an omnidirectional image without flare can be taken.

本発明によれば、撮影画像の中心部の撮影無効領域の信号レベルを取得し、撮影無効領域の黒レベルに基づいて前記撮影画像のフレア補正値を算出し、算出したフレア補正値に基づいて前記撮影画像のフレア補正を行うようにしたので、フレアのない全方位画像を撮影することができる。   According to the present invention, the signal level of the shooting invalid area at the center of the shot image is acquired, the flare correction value of the shot image is calculated based on the black level of the shooting invalid area, and the flare correction value is calculated based on the calculated flare correction value. Since the flare correction of the photographed image is performed, an omnidirectional image without flare can be photographed.

以下に、本発明を実施するための最良の形態について説明する。   The best mode for carrying out the present invention will be described below.

図１は、本発明に係る全方位撮像装置１の外観図である。   FIG. 1 is an external view of an omnidirectional imaging apparatus 1 according to the present invention.

同図に示すように、全方位撮像装置１は、デジタルカメラ２、全方位ミラー３、及び透明筒体４から構成される。   As shown in FIG. 1, the omnidirectional imaging device 1 includes a digital camera 2, an omnidirectional mirror 3, and a transparent cylinder 4.

全方位ミラー３は、３６０°の視野範囲を映すための双曲面ミラーである。透明筒体４は、透明な素材で構成され、全方位ミラー３を支持している。デジタルカメラ２は、デジタルカメラ２の撮影レンズの光軸の延長線と全方位ミラー３の中心軸とが同軸となるように配置され、透明筒体４に支持されている。このように構成された全方位撮像装置１は、デジタルカメラ２が全方位ミラー３を撮影することにより、３６０°の視野を有する全方位画像を取得することができる。   The omnidirectional mirror 3 is a hyperboloid mirror for projecting a field of view of 360 °. The transparent cylinder 4 is made of a transparent material and supports the omnidirectional mirror 3. The digital camera 2 is arranged so that the extension line of the optical axis of the photographing lens of the digital camera 2 and the central axis of the omnidirectional mirror 3 are coaxial, and is supported by the transparent cylinder 4. The omnidirectional imaging apparatus 1 configured as described above can acquire an omnidirectional image having a 360 ° field of view by the digital camera 2 photographing the omnidirectional mirror 3.

図２は、デジタルカメラ２の電気的構成を示すブロック図である。   FIG. 2 is a block diagram showing an electrical configuration of the digital camera 2.

同図に示すように、デジタルカメラ２は、光学ユニット１１、モータ駆動部１２、ＣＣＤ１３、ＣＣＤドライバ１４、アナログ信号処理部１５、Ａ／Ｄ変換器１６、デジタル信号処理部１７、バス１８、フラッシュ１９、充電部２０、ＣＰＵ２１、メモリカード２２、外部メモリインターフェース２３、ＬＣＤインターフェース２４、ＬＣＤ２５、メモリインターフェース２６、ＲＡＭ２７、ＲＯＭ２８、圧縮伸張処理回路２９、中心抽出部３０、黒レベル取得部３１、及びフレア補正値算出部３２等を備えて構成される。   As shown in the figure, the digital camera 2 includes an optical unit 11, a motor drive unit 12, a CCD 13, a CCD driver 14, an analog signal processing unit 15, an A / D converter 16, a digital signal processing unit 17, a bus 18, and a flash. 19, charging unit 20, CPU 21, memory card 22, external memory interface 23, LCD interface 24, LCD 25, memory interface 26, RAM 27, ROM 28, compression / decompression processing circuit 29, center extraction unit 30, black level acquisition unit 31, and flare A correction value calculation unit 32 is provided.

各部はＣＰＵ２１に制御されて動作し、ＣＰＵ２１は、図示しない操作部からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ２の各部を制御する。   Each unit operates under the control of the CPU 21, and the CPU 21 controls each unit of the digital camera 2 by executing a predetermined control program based on an input from an operation unit (not shown).

ＲＯＭ２８にはＣＰＵ２１が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ２１は、このＲＯＭ２８に記録された制御プログラムをＲＡＭ２７に読み出し、逐次実行することにより、デジタルカメラ２の各部を制御する。   In addition to the control program executed by the CPU 21, the ROM 28 stores various data necessary for control. The CPU 21 controls each unit of the digital camera 2 by reading the control program recorded in the ROM 28 into the RAM 27 and sequentially executing the program.

なお、このＲＡＭ２７は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。   The RAM 27 is used as a program execution processing area, a temporary storage area for image data, and various work areas.

光学ユニット１１は、図示しないフォーカスレンズ及びズームレンズを含む撮影レンズと、絞りとから構成される。モータ駆動部１２は、フォーカスレンズ、ズームレンズ及び絞りを移動させるためのモータ及び上記レンズの位置を検出するためのセンサ等を備える。ＣＰＵ２１は、モータ駆動部１２に制御信号を出力して、撮影レンズのフォーカシング、ズーミング及び絞りの制御を行う。   The optical unit 11 includes a photographing lens including a focus lens and a zoom lens (not shown), and a diaphragm. The motor drive unit 12 includes a focus lens, a zoom lens, a motor for moving the diaphragm, a sensor for detecting the position of the lens, and the like. The CPU 21 outputs a control signal to the motor driving unit 12 to perform focusing, zooming, and aperture control of the photographing lens.

ＣＣＤ１３は撮像素子であり、光学ユニット１１の後段に配置されている。図３は、ＣＣＤ１３の撮像面の概略を示す図である。同図に示すように、ＣＣＤ１３の撮像面は多数の受光素子がマトリクス状に配列されており、被写体光を受光する有効画素領域４１と、その周囲の光学的に遮光された領域、すなわちＯＢ（オプティカルブラック）領域４２とに分割されている。ＯＢ領域４２の受光素子は、遮光部材で覆われて光が遮られている。ＣＣＤ１３の有効画素領域４１は、光学ユニット１１を透過した被写体光を受光し、受光した被写体光を各受光素子によって電気信号に変換する。   The CCD 13 is an image sensor, and is arranged at the rear stage of the optical unit 11. FIG. 3 is a diagram showing an outline of the imaging surface of the CCD 13. As shown in the figure, the imaging surface of the CCD 13 has a large number of light receiving elements arranged in a matrix, and an effective pixel region 41 for receiving subject light and an optically shielded region around it, that is, OB ( It is divided into an optical black area 42. The light receiving element in the OB region 42 is covered with a light shielding member to block light. The effective pixel area 41 of the CCD 13 receives subject light transmitted through the optical unit 11 and converts the received subject light into an electrical signal by each light receiving element.

このＣＣＤ１３は、ＣＣＤドライバ１４を介して供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。ＣＰＵ２１は、ＣＣＤドライバ１４を介してＣＣＤ１３の駆動を制御する。   The CCD 13 outputs the charge accumulated in each pixel as a serial image signal line by line in synchronization with the vertical transfer clock and horizontal transfer clock supplied via the CCD driver 14. The CPU 21 controls driving of the CCD 13 via the CCD driver 14.

また、画像信号の出力は、デジタルカメラ２が撮影モードにセットされると開始される。すなわち、デジタルカメラ２が撮影モードにセットされると、ＬＣＤ２５にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると、一旦停止され、本撮影が終了すると、再度開始される。   The output of the image signal is started when the digital camera 2 is set to the shooting mode. In other words, when the digital camera 2 is set to the photographing mode, output of an image signal is started to display a through image on the LCD 25. The output of the image signal for the through image is temporarily stopped when the instruction for the main photographing is given, and is started again when the main photographing is finished.

ＣＣＤ１３から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、アナログ信号処理部１５に取り込まれる。   The image signal output from the CCD 13 is an analog signal, and this analog image signal is taken into the analog signal processing unit 15.

アナログ信号処理部１５は、図示しない相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）を含んで構成される。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅する。このアナログ信号処理部１５で所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換器１６に取り込まれる。   The analog signal processing unit 15 includes a correlated double sampling circuit (CDS) (not shown) and an automatic gain control circuit (AGC). The CDS removes noise contained in the image signal, and the AGC amplifies the noise-removed image signal with a predetermined gain. The analog image signal subjected to the required signal processing by the analog signal processing unit 15 is taken into the A / D converter 16.

Ａ／Ｄ変換器１６は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素ごとＲ、Ｇ、Ｂの濃度を示す階調値を有している。   The A / D converter 16 converts the captured analog image signal into a digital image signal having a gradation width of a predetermined bit. This image signal is so-called RAW data, and has a gradation value indicating the density of R, G, and B for each pixel.

デジタル信号処理部１７は、図示しないホワイトバランスゲイン算出回路、ゲイン補正回路、階調補正回路、ＲＧＢ補間演算回路、及びＲＧＢ／ＹＣ変換回路等から構成される。   The digital signal processing unit 17 includes a white balance gain calculation circuit, a gain correction circuit, a gradation correction circuit, an RGB interpolation calculation circuit, an RGB / YC conversion circuit, and the like (not shown).

ホワイトバランスゲイン算出回路は、ホワイトバランス調整用のゲイン値を算出する。ゲイン補正回路は、ホワイトバランスゲイン算出回路で算出されたゲイン値を用いてホワイトバランス調整を行う。階調補正回路は、ホワイトバランス調整された画像信号に、所定の階調変換処理（いわゆるガンマ補正）を施す。   The white balance gain calculation circuit calculates a gain value for white balance adjustment. The gain correction circuit performs white balance adjustment using the gain value calculated by the white balance gain calculation circuit. The gradation correction circuit performs a predetermined gradation conversion process (so-called gamma correction) on the image signal subjected to white balance adjustment.

ＲＧＢ補間演算回路は、階調変換処理されたＲ、Ｇ、Ｂの色信号を補間演算して、各画素位置におけるＲ、Ｇ、Ｂ３色の信号を求める。例えば、Ｒを出力する画素では、この画素位置におけるＧ、Ｂの色信号がどの程度になるかを周りの画素のＧ、Ｂ信号から補間演算により求める。ＲＧＢ／ＹＣ変換回路は、ＲＧＢ補間演算後のＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成する。   The RGB interpolation arithmetic circuit interpolates R, G, and B color signals subjected to gradation conversion processing to obtain R, G, and B3 color signals at each pixel position. For example, in a pixel that outputs R, the degree of the G and B color signals at this pixel position is obtained by interpolation from the G and B signals of surrounding pixels. The RGB / YC conversion circuit generates a luminance signal Y and color difference signals Cr and Cb from the R, G, and B signals after the RGB interpolation calculation.

このように、デジタル信号処理部１７は、Ｒ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。   As described above, the digital signal processing unit 17 performs predetermined signal processing on the image signals of R, G, and B colors, and the image signal (Y / C signal) including the luminance signal Y and the color difference signals Cr and Cb. ) Is generated.

バス１２９には、上記ＣＰＵ２１、メモリ１３２、画像入力コントローラ１２４のほか、画像信号処理回路１２５、圧縮処理回路１２６、ビデオエンコーダ１２７、メディアコントローラ１３０、ＡＦ検出回路１３３、ＡＥ検出回路１３４等が接続されており、これらはバス１２９を介して互いに情報を送受信できるようにされている。   In addition to the CPU 21, memory 132, and image input controller 124, the image signal processing circuit 125, compression processing circuit 126, video encoder 127, media controller 130, AF detection circuit 133, AE detection circuit 134, etc. are connected to the bus 129. These are configured to be able to transmit / receive information to / from each other via a bus 129.

圧縮伸張処理回路２９は、ＣＰＵ２１からの圧縮指令に従い、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ２１からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。   The compression / decompression processing circuit 29 performs compression processing of a predetermined format (for example, JPEG) on the image signal (Y / C signal) composed of the input luminance signal Y and color difference signals Cr and Cb in accordance with a compression command from the CPU 21. Generate compressed image data. Further, in accordance with a decompression command from the CPU 21, the input compressed image data is subjected to decompression processing in a predetermined format to generate uncompressed image data.

外部メモリインターフェース２３は、ＣＰＵ２１からの指令に従い、デジタルカメラ２に着脱自在なメモリカード２２に対してデータの読み／書きを制御する。   The external memory interface 23 controls reading / writing of data with respect to the memory card 22 detachably attached to the digital camera 2 in accordance with a command from the CPU 21.

ＬＣＤ２５は、撮影モードにおいては動画（スルー画）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）を表示することができ、また再生モードにおいてはメモリカード２２から読み出した再生画像等を表示することができる。ＬＣＤインターフェース２４は、ＣＰＵ２１からの指令に従い、ＬＣＤ２５への表示を制御する。   The LCD 25 can display a moving image (through image) in the shooting mode and can be used as an electronic viewfinder, and can display a shot image (preview image) before recording, and from the memory card 22 in the playback mode. The read reproduced image or the like can be displayed. The LCD interface 24 controls display on the LCD 25 in accordance with a command from the CPU 21.

フラッシュ１９は、図示しないシャッタボタンの全押しに同期して発光する撮影補助光である。充電部２０は、図示しない昇圧回路を備え、電池電圧からフラッシュ１９の発光用の昇圧電圧を生成し、この昇圧電圧により図示しないコンデンサを充電させる。このコンデンサに充電された電荷は、ＣＰＵ２１からの指示にしたがってフラッシュ１９に供給され、フラッシュ１９が発光する。   The flash 19 is photographing auxiliary light that is emitted in synchronization with a full press of a shutter button (not shown). The charging unit 20 includes a booster circuit (not shown), generates a boost voltage for light emission of the flash 19 from the battery voltage, and charges a capacitor (not shown) with the boosted voltage. The electric charge charged in the capacitor is supplied to the flash 19 in accordance with an instruction from the CPU 21, and the flash 19 emits light.

全方位撮像装置１は、このように構成されたデジタルカメラ２が、３６０°の視野範囲を映した全方位ミラー３を撮影することにより、３６０°の視野を有する全方位画像を撮影することができる。   The omnidirectional imaging apparatus 1 can shoot an omnidirectional image having a 360 ° field of view by photographing the omnidirectional mirror 3 that reflects the 360 ° field of view by the digital camera 2 configured as described above. it can.

図４は、全方位撮像装置１で撮影された全方位画像５１の一例を示す図である。全方位画像５１は、中心部５２が光の入射のない黒色の領域となっている。   FIG. 4 is a diagram illustrating an example of an omnidirectional image 51 captured by the omnidirectional imaging apparatus 1. In the omnidirectional image 51, the central portion 52 is a black region where no light is incident.

前述のように、デジタルカメラ２と全方位ミラー３は、デジタルカメラ２の撮影レンズの光軸の延長線と全方位ミラー３の中心軸とが同軸となるように配置されている。ここで、全方位ミラー３は、３６０°の視野範囲を映しているが、全方位ミラー３の中心軸については、撮影レンズの光軸に存在するＣＣＤ１３の受光面からの光が入射しないため、ＣＣＤ１３の受光面に対しても光を反射しない。このように、ＣＣＤ１３の受光面のうち撮影レンズの光軸との交点となる領域には入射する光が存在せず、全方位画像５１の中心部５２は光の入射のない黒色の領域となる。   As described above, the digital camera 2 and the omnidirectional mirror 3 are arranged so that the extension line of the optical axis of the photographing lens of the digital camera 2 and the central axis of the omnidirectional mirror 3 are coaxial. Here, the omnidirectional mirror 3 shows a 360 ° field of view, but the light from the light receiving surface of the CCD 13 existing on the optical axis of the photographing lens does not enter the central axis of the omnidirectional mirror 3. The light is not reflected also to the light receiving surface of the CCD 13. Thus, there is no incident light in the region that intersects the optical axis of the photographic lens on the light receiving surface of the CCD 13, and the central portion 52 of the omnidirectional image 51 is a black region where no light is incident. .

デジタルカメラ２の中心抽出部３０は、全方位画像５１の中心部５２を抽出する。   The center extraction unit 30 of the digital camera 2 extracts the center part 52 of the omnidirectional image 51.

黒レベル取得部３１は、ＣＣＤ１３のＯＢ領域４２の黒レベルと、中心抽出部３０が抽出した中心部５２の信号レベルを取得する。   The black level acquisition unit 31 acquires the black level of the OB area 42 of the CCD 13 and the signal level of the center 52 extracted by the center extraction unit 30.

フレア補正値算出部３２は、黒レベル取得部３１が取得した黒レベルと信号レベルに基づいて、全方位画像５１のフレア補正値を算出する。   The flare correction value calculation unit 32 calculates the flare correction value of the omnidirectional image 51 based on the black level and the signal level acquired by the black level acquisition unit 31.

次に、全方位撮像装置１の動作について、図５のフローチャートを用いて説明する。   Next, the operation of the omnidirectional imaging apparatus 1 will be described using the flowchart of FIG.

ユーザが、デジタルカメラ２を操作して全方位画像５１を撮影する（ステップＳ１）。撮影した全方位画像５１から、中心抽出部３０は中心部５２を抽出する（ステップＳ２）。   The user operates the digital camera 2 to capture the omnidirectional image 51 (step S1). The center extraction unit 30 extracts the center 52 from the captured omnidirectional image 51 (step S2).

黒レベル取得部３１は、中心部５２の信号レベルＳと、ＯＢ領域４２の黒レベルＯＢを取得する（ステップＳ３）。ここで、ＯＢ領域４２の黒レベルＯＢは、ＯＢ領域４２の垂直転送路毎の積算値のうち、最も輝度が高い積算値を持つ垂直転送路の黒レベルとする。このように構成することで、ノイズの影響を排除することができる。   The black level acquisition unit 31 acquires the signal level S of the central part 52 and the black level OB of the OB area 42 (step S3). Here, the black level OB of the OB area 42 is the black level of the vertical transfer path having the highest integrated value among the integrated values for each vertical transfer path of the OB area 42. With this configuration, the influence of noise can be eliminated.

フレア補正値算出部３２は、中心部５２の信号レベルＳと、ＯＢ領域４２の黒レベルＯＢを比較し、ＯＢ≦Ｓ（ＯＢ領域４２の黒レベルＯＢより中心部５２の信号レベルＳの方が輝度が高い）が成立するか否かを判定する（ステップＳ４）。   The flare correction value calculation unit 32 compares the signal level S of the central part 52 with the black level OB of the OB area 42, and OB ≦ S (the signal level S of the central part 52 is higher than the black level OB of the OB area 42). It is determined whether or not (high brightness) is established (step S4).

ＯＢ≦Ｓが成立する場合は、フレアが発生していると判断し、フレア補正値Ｆを算出する（ステップＳ５）。なお、フレア補正値Ｆは、［数１]を用いて算出する。   If OB ≦ S holds, it is determined that flare has occurred, and a flare correction value F is calculated (step S5). The flare correction value F is calculated using [Equation 1].

［数１］
Ｆ＝Ｓ−ＯＢ
デジタル信号処理部１７は、［数１］を用いて算出したフレア補正値Ｆに基づいて、全
方位画像５１のフレア補正を行い（ステップＳ６）、全方位画像５１を生成する。全方位画像５１のフレア補正は、図６に示すように、階調補正回路でのガンマ補正の際に、ガンマカーブγをフレア補正値Ｆだけシフトさせたガンマカーブγ´に基づいてガンマ補正を行うことにより行う。 [Equation 1]
F = S-OB
The digital signal processing unit 17 performs flare correction of the omnidirectional image 51 based on the flare correction value F calculated using [Equation 1] (step S6), and generates the omnidirectional image 51. As shown in FIG. 6, the flare correction of the omnidirectional image 51 is performed based on the gamma curve γ ′ obtained by shifting the gamma curve γ by the flare correction value F when performing the gamma correction in the gradation correction circuit. Do by doing.

また、ステップＳ４においてＯＢ≦Ｓが成立しない場合は、フレアは発生していないと判断し、通常の画像処理を行い、全方位画像を生成する（ステップＳ７）。階調補正回路でのガンマ補正については、通常のガンマカーブγを用いる。   If OB ≦ S is not satisfied in step S4, it is determined that no flare has occurred, normal image processing is performed, and an omnidirectional image is generated (step S7). For gamma correction in the gradation correction circuit, a normal gamma curve γ is used.

このように、全方位画像の中心部の信号レベルとＯＢ領域の黒レベルを比較し、中心部の信号レベルの方が輝度が高い場合はフレア補正を行うことで、全方位画像の黒レベルが必要以上に浮くことを防止することができる。   In this way, the signal level at the center of the omnidirectional image is compared with the black level of the OB area. If the signal level at the center is higher in luminance, flare correction is performed, so that the black level of the omnidirectional image is reduced. It is possible to prevent floating more than necessary.

図１は、本発明に係る全方位撮像装置１の外観図である。FIG. 1 is an external view of an omnidirectional imaging apparatus 1 according to the present invention. 図２は、デジタルカメラ２の電気的構成を示すブロック図である。FIG. 2 is a block diagram showing an electrical configuration of the digital camera 2. 図３は、ＣＣＤ１３の撮像面の概略を示す図である。FIG. 3 is a diagram showing an outline of the imaging surface of the CCD 13. 図４は、全方位画像５１の一例を示す図である。FIG. 4 is a diagram illustrating an example of the omnidirectional image 51. 図５は、全方位撮像装置１の動作を示すフローチャートである。FIG. 5 is a flowchart showing the operation of the omnidirectional imaging apparatus 1. 図６は、フレア補正を行う際のガンマ補正におけるガンマカーブを示す図である。FIG. 6 is a diagram illustrating a gamma curve in gamma correction when performing flare correction.

符号の説明Explanation of symbols

１…全方位撮像装置、２…デジタルカメラ、３…全方位ミラー、４…透明筒体、１３…ＣＣＤ、１７…デジタル信号処理部、２１…ＣＰＵ、３０…中心抽出部、３１…黒レベル取得部、３２…フレア補正値算出部、４１…有効画素領域、４２…ＯＢ領域、５１…全方位画像、５２…中心部   DESCRIPTION OF SYMBOLS 1 ... Omnidirectional imaging device, 2 ... Digital camera, 3 ... Omnidirectional mirror, 4 ... Transparent cylinder, 13 ... CCD, 17 ... Digital signal processing part, 21 ... CPU, 30 ... Center extraction part, 31 ... Black level acquisition 32: Flare correction value calculation unit 41: Effective pixel region 42 ... OB region 51: Omnidirectional image 52: Center portion

Claims (4)

周囲からの入射光を反射光として出力する全方位ミラーと、
撮像レンズを介して入射した前記全方位ミラーからの反射光を撮像素子により光電変換し、全方位画像を生成する手段と、
前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する手段と、
前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する算出手段と、
前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う手段と、
を備えたことを特徴とする全方位撮像装置。 An omnidirectional mirror that outputs incident light from the surroundings as reflected light;
Means for photoelectrically converting reflected light from the omnidirectional mirror incident through the imaging lens by an imaging device, and generating an omnidirectional image;
Means for acquiring a signal level of a central region where no light is incident from the omnidirectional mirror of the omnidirectional image;
Calculation means for calculating a flare correction value of the omnidirectional image based on the signal level of the central region;
Means for performing flare correction of the omnidirectional image based on the calculated flare correction value;
An omnidirectional imaging apparatus comprising: 前記撮像素子のオプティカルブラック領域の黒レベルを取得する手段を備え、
前記算出手段は、前記中心領域の信号レベルが前記オプティカルブラック領域の黒レベルより輝度が高い場合に、前記中心領域の信号レベルと前記オプティカルブラック領域の黒レベルの差をフレア補正値として算出することを特徴とする請求項１に記載の全方位撮像装置。 Means for obtaining a black level of an optical black region of the image sensor;
The calculating means calculates a difference between the signal level of the central area and the black level of the optical black area as a flare correction value when the signal level of the central area is higher in luminance than the black level of the optical black area. The omnidirectional imaging apparatus according to claim 1. 前記撮像素子のオプティカルブラック領域の黒レベルは、オプティカルブラック領域の垂直転送路毎の積算値のうち、最も輝度が高い積算値を持つ垂直転送路の黒レベルであることを特徴とする請求項２に記載の全方位撮像装置。   3. The black level of the optical black area of the image pickup device is a black level of a vertical transfer path having an integrated value with the highest luminance among integrated values for each vertical transfer path of the optical black area. The omnidirectional imaging device according to 1. 周囲からの入射光を反射光として出力する全方位ミラーからの反射光を撮像レンズを介して撮像素子に入射させ、前記撮像素子により光電変換して全方位画像を生成する工程と、
前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する工程と、
前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する工程と、
前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う工程と、
を備えたことを特徴とする全方位画像の撮像制御方法。 A step of causing reflected light from an omnidirectional mirror that outputs incident light from the surroundings as reflected light to be incident on an image sensor via an imaging lens, and performing photoelectric conversion by the image sensor to generate an omnidirectional image;
Obtaining a signal level of a central region where no light is incident from the omnidirectional mirror of the omnidirectional image;
Calculating a flare correction value of the omnidirectional image based on the signal level of the central region;
Performing flare correction of the omnidirectional image based on the calculated flare correction value;
An imaging control method for an omnidirectional image, comprising:
JP2008152919A 2008-06-11 2008-06-11 Omnidirectional imaging apparatus and omnidirectional image imaging control method Expired - Fee Related JP4964830B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008152919A JP4964830B2 (en) 2008-06-11 2008-06-11 Omnidirectional imaging apparatus and omnidirectional image imaging control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008152919A JP4964830B2 (en) 2008-06-11 2008-06-11 Omnidirectional imaging apparatus and omnidirectional image imaging control method

Publications (2)

Publication Number Publication Date
JP2009302739A true JP2009302739A (en) 2009-12-24
JP4964830B2 JP4964830B2 (en) 2012-07-04

Family

ID=41549208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008152919A Expired - Fee Related JP4964830B2 (en) 2008-06-11 2008-06-11 Omnidirectional imaging apparatus and omnidirectional image imaging control method

Country Status (1)

Country Link
JP (1) JP4964830B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142836A1 (en) * 2018-01-16 2019-07-25 株式会社ニコン Coding device, decoding device, coding method, decoding method, coding program, and decoding program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03285471A (en) * 1990-03-31 1991-12-16 Minolta Camera Co Ltd Video camera
JPH03285469A (en) * 1990-03-31 1991-12-16 Minolta Camera Co Ltd Video camera
JP2002290841A (en) * 2001-03-23 2002-10-04 Nikon Corp Imaging device, and electronic camera
JP2003202273A (en) * 2001-10-18 2003-07-18 Canon Inc Flare measuring method
JP2006235509A (en) * 2005-02-28 2006-09-07 Yokogawa Electric Corp Omnidirectional imaging device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03285471A (en) * 1990-03-31 1991-12-16 Minolta Camera Co Ltd Video camera
JPH03285469A (en) * 1990-03-31 1991-12-16 Minolta Camera Co Ltd Video camera
JP2002290841A (en) * 2001-03-23 2002-10-04 Nikon Corp Imaging device, and electronic camera
JP2003202273A (en) * 2001-10-18 2003-07-18 Canon Inc Flare measuring method
JP2006235509A (en) * 2005-02-28 2006-09-07 Yokogawa Electric Corp Omnidirectional imaging device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142836A1 (en) * 2018-01-16 2019-07-25 株式会社ニコン Coding device, decoding device, coding method, decoding method, coding program, and decoding program
JPWO2019142836A1 (en) * 2018-01-16 2021-01-28 株式会社ニコン Encoding device, decoding device, coding method, decoding method, coding program, and decoding program
JP7226337B2 (en) 2018-01-16 2023-02-21 株式会社ニコン Encoding device, decoding device, encoding method, decoding method, encoding program, and decoding program

Also Published As

Publication number Publication date
JP4964830B2 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
JP2008175995A (en) Imaging apparatus
JP5156991B2 (en) Imaging apparatus, imaging method, and imaging program
JP4855155B2 (en) Imaging apparatus and imaging method using the same
KR101630304B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable medium
US9282257B2 (en) Image apparatus and imaging method
JP6706167B2 (en) Imaging device, image synthesizing method, and program
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2006148550A (en) Image processor and imaging device
JP2009017427A (en) Imaging device
US7961231B2 (en) Apparatus, method and computer-readable recording medium containing program for photographing
JP5392336B2 (en) Imaging apparatus, imaging method, and imaging program
JP4964830B2 (en) Omnidirectional imaging apparatus and omnidirectional image imaging control method
JP4714561B2 (en) Imaging apparatus and imaging method
JP2008072501A (en) Imaging apparatus, imaging method, program, and recording medium
JP2007208355A (en) Photographing device, method, and program
JP2006121165A (en) Imaging apparatus and image forming method
JP5625325B2 (en) Image data recording apparatus and image data recording program
JP5418553B2 (en) Imaging apparatus and imaging method using the same
JP4514138B2 (en) Method for driving solid-state imaging device and digital camera
JP2008147924A (en) Imaging apparatus
US7570289B2 (en) Electronic camera having a clamp circuit and performing a clamping process on an image signal
JPH08307761A (en) Digital type camera
JP2006186796A (en) Photographic apparatus, photographing method, and photographing program
JP4326997B2 (en) Imaging apparatus, focusing method, control program, and recording medium
JP2004129117A (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120328

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees