JP2018207412A - Control method of imaging apparatus - Google Patents
Control method of imaging apparatus Download PDFInfo
- Publication number
- JP2018207412A JP2018207412A JP2017113864A JP2017113864A JP2018207412A JP 2018207412 A JP2018207412 A JP 2018207412A JP 2017113864 A JP2017113864 A JP 2017113864A JP 2017113864 A JP2017113864 A JP 2017113864A JP 2018207412 A JP2018207412 A JP 2018207412A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shadow
- area
- reflected
- foreign object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、スイングパノラマ撮影装置の制御に関し、特に撮像素子表面の異物等による画質の劣化を回避する技術に関する。 The present invention relates to control of a swing panorama photographing apparatus, and more particularly to a technique for avoiding deterioration in image quality due to foreign matters on the surface of an image sensor.
パノラマ画像の生成方法に、スイングパノラマ撮影という技術がある。典型的な、スイングパノラマ画像の生成方法を、図６に示す。撮像装置を一定の方向にスイングさせながら所定の時間または所定の角度間隔で撮影すると、６０１〜６０３のように、構図に対して被写体の位置がずれ、かつ、お互いに被写体が重複した複数の画像が取得できる。 As a method for generating a panoramic image, there is a technique called swing panorama shooting. A typical method for generating a swing panorama image is shown in FIG. When shooting at a predetermined time or a predetermined angular interval while swinging the imaging device in a certain direction, a plurality of images in which the positions of the subjects are shifted with respect to the composition and the subjects overlap each other as in 601 to 603. Can be obtained.
取得した画像６０１〜６０３から、画像認識処理によってパノラマ合成に適した領域６０４〜６０６を選択・切出をし、スイング方向に沿ってつなぎ合わせることで、６０７のようなパノラマ画像を生成する。 From the acquired images 601 to 603, areas 604 to 606 suitable for panorama synthesis are selected and cut out by image recognition processing, and connected along the swing direction to generate a panorama image 607.
スマートフォンに搭載されたことで広く普及しつつあるスイングパノラマ機能は、近年、レンズ交換式の一眼レフカメラにも搭載されるようになっている。 In recent years, the swing panorama function, which has been widely spread by being installed in smartphones, has also been installed in interchangeable lens single-lens reflex cameras.
ここで、レンズ交換式一眼レフカメラ特有の問題として、レンズ交換時にカメラ内部に入り込んだ異物が撮像素子表面に付着してしまい、その影が撮影した画像に写り込んでしまうという問題がある。 Here, as a problem peculiar to the interchangeable lens single-lens reflex camera, there is a problem that a foreign substance that has entered the camera during lens replacement adheres to the surface of the image sensor, and its shadow is reflected in the photographed image.
この問題に対し、特許文献１のように、連続して撮影した複数の画像から、異物の影が写り込んでしまっている領域を相互に置き換えることで補正をするという技術がある。 In order to solve this problem, there is a technique in which, as in Patent Document 1, correction is performed by mutually replacing areas where shadows of foreign objects are reflected from a plurality of images taken continuously.
しかしながら、画像処理技術が向上しつつあるとはいえ、画像処理によって異物の影が写り込んだ領域の補正や置換えを行う場合には、補正痕が残ってしまったり、元の被写体像を損なってしまい、画質が低下してしまう。 However, even though image processing technology is improving, when correcting or replacing areas in which foreign object shadows are reflected by image processing, correction marks remain or the original subject image is damaged. As a result, the image quality deteriorates.
本発明の目的は、画像処理による補正をすることなく、異物の影の写り込みなどによる画質の低下を回避することが可能な、スイングパノラマ撮像装置の制御方法を提供することにある。 An object of the present invention is to provide a control method of a swing panorama imaging apparatus capable of avoiding deterioration in image quality due to reflection of a shadow of a foreign object without correction by image processing.
上記の目的を達成するために、本発明に係る撮像装置の制御方法は、
固体撮像素子と、該固体撮像素子の出力から画像を生成し、生成した画像に対し被写体の特徴抽出などの画像認識処理をし、生成した複数の画像の差分情報を抽出し、生成した複数の画像から所定の領域をそれぞれ選択し、複数の画像それぞれから選択した領域を切出して合成することでパノラマ画像を生成することが実行可能な演算処理回路と、撮像装置が回転運動をしていることを検知する角速度検知部と、前記演算処理回路での特徴抽出処理を行うことによって、生成された画像に含まれる、前記固体撮像素子の表面に付着した異物の影が写り込んだ領域を特定する手段と、を有する撮像装置の制御方法であって、前記パノラマ画像を生成する際には、前記異物の影が写り込んだ領域を特定した結果に基づいて、前記異物の影が写り込んだ領域以外からパノラマ合成に使用する領域の選択を行うことを特徴とする。
In order to achieve the above object, a method for controlling an imaging apparatus according to the present invention includes:
An image is generated from the solid-state imaging device and the output of the solid-state imaging device, image recognition processing such as subject feature extraction is performed on the generated image, difference information of the generated multiple images is extracted, and the generated multiple images An image processing device that is capable of generating a panoramic image by selecting a predetermined region from each image and cutting out and synthesizing the selected regions from each of the plurality of images, and that the imaging device is rotating By performing feature extraction processing in the angular velocity detection unit and the arithmetic processing circuit, the region including the shadow of the foreign matter attached to the surface of the solid-state image sensor included in the generated image is specified. A method of controlling the imaging apparatus, wherein when generating the panoramic image, the shadow of the foreign object is reflected based on a result of specifying an area in which the shadow of the foreign object is reflected. And performing a selection of a region to be used for panorama stitching from outside but region.
本発明に係る撮像装置の制御方法によれば、パノラマ合成用画像に写ってしまった異物の影の位置を特定し、異物の影を含まない領域からパノラマ合成に使用する領域の選択をすることで、画像処理による補正を行う必要がなくなり、画質の低下を最小限に抑えることが可能になる。 According to the control method of the imaging apparatus according to the present invention, the position of the shadow of the foreign object that appears in the panorama composition image is specified, and the area that is used for the panorama composition is selected from the area that does not include the shadow of the foreign object. Therefore, it is not necessary to perform correction by image processing, and it is possible to minimize deterioration in image quality.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
《第１の実施形態》
以下、図１〜４を参照して、本発明の第１の実施形態による、スイングパノラマ撮影装置の制御手段について説明する。
<< First Embodiment >>
Hereinafter, with reference to FIGS. 1-4, the control means of the swing panorama photographing apparatus according to the first embodiment of the present invention will be described.
図１は、本発明の第１の実施形態にかかわる、撮像装置の断面図を示す。 FIG. 1 shows a cross-sectional view of an imaging apparatus according to the first embodiment of the present invention.
図１に示すように、１０１は撮像装置、１０２はマウント機構であり、交換レンズ１８１は、このマウント機構１０２を介して撮像装置１０１本体に電気的及び機械的に接続される。 As shown in FIG. 1, reference numeral 101 denotes an image pickup apparatus, and 102 denotes a mount mechanism. The interchangeable lens 181 is electrically and mechanically connected to the main body of the image pickup apparatus 101 via the mount mechanism 102.
１３１は固体撮像素子である。固体撮像素子１３１の前面にはカバーガラスや光学ローパスフィルター、周辺には防塵・防滴のための密閉用部材を配している。固体撮像素子１３１で捉えられた物体像は、電子回路基板１４１に実装される演算処理回路２０３（図２にて後述）によって画像データに変換され、液晶表示部１４２（後述）に表示される。 131 is a solid-state image sensor. A cover glass and an optical low-pass filter are disposed on the front surface of the solid-state image sensor 131, and a sealing member for dust and drip proofing is disposed on the periphery. An object image captured by the solid-state imaging device 131 is converted into image data by an arithmetic processing circuit 203 (described later in FIG. 2) mounted on the electronic circuit board 141 and displayed on a liquid crystal display unit 142 (described later).
ファインダ光学系は、物体像の予定結像面に配置されているフォーカシングスクリーン１１１、ペンタプリズム１１２、ユーザが光学ファインダ像を観察するためのレンズ１１３によって構成される。 The finder optical system includes a focusing screen 111, a pentaprism 112, and a lens 113 for a user to observe the optical finder image, which are arranged on a planned image plane of the object image.
ミラー光学系は、ハーフミラー１２１とサブミラー１２２によって構成される。ハーフミラー１２１は、結像光学系からの光路Ｌ１を分割して光学ファインダに供給するための可動型のミラーである。ハーフミラー１２１の背後には可動型のサブミラー１２２が設けられており、ハーフミラー１２１を透過した光束の内、光路Ｌ１の光軸に近い光束が、サブミラー１２２によって焦点検出部１２３に入射する。 The mirror optical system includes a half mirror 121 and a sub mirror 122. The half mirror 121 is a movable mirror for dividing the optical path L1 from the imaging optical system and supplying it to the optical viewfinder. A movable sub mirror 122 is provided behind the half mirror 121, and among the light beams transmitted through the half mirror 121, a light beam close to the optical axis of the optical path L 1 is incident on the focus detection unit 123 by the sub mirror 122.
シャッター１２４は先幕と後幕によって構成される。先幕と後幕はそれぞれ複数枚の薄膜遮光素材によって構成され、これらを開閉動作させることにより固体撮像素子１３１への露光量を制御する。 The shutter 124 includes a front curtain and a rear curtain. The front curtain and the rear curtain are each composed of a plurality of thin film light-shielding materials, and the exposure amount to the solid-state image sensor 131 is controlled by opening and closing them.
１２５は測光部であり、光電変換素子によって構成される。マウント側からの入射光の一部がハーフミラー１２１によって分離されて測光部に入射しており、測光部１２５の出力から固体撮像素子１３１表面の光量を間接的に知覚することができる。 Reference numeral 125 denotes a photometric unit, which is constituted by a photoelectric conversion element. Part of the incident light from the mount side is separated by the half mirror 121 and is incident on the photometry unit, and the amount of light on the surface of the solid-state imaging device 131 can be indirectly perceived from the output of the photometry unit 125.
１４１は電子回路基板を示す。電子回路基板の回路構成については、図２のブロック図で示す。 Reference numeral 141 denotes an electronic circuit board. The circuit configuration of the electronic circuit board is shown in the block diagram of FIG.
１４２は液晶表示部を示す。液晶表示部１４２には、ＴＦＴ液晶表示素子などが用いられ、演算処理回路２０３（図２にて後述）から出力される画像データを表示する。 Reference numeral 142 denotes a liquid crystal display unit. The liquid crystal display unit 142 uses a TFT liquid crystal display element or the like, and displays image data output from the arithmetic processing circuit 203 (described later in FIG. 2).
図２は、本発明の第１の実施形態にかかわる、撮像装置１０１のブロック図である。 FIG. 2 is a block diagram of the imaging apparatus 101 according to the first embodiment of the present invention.
図２において、１４１は電子回路基板で、図２に例示する各回路が実装される。２０２は、撮像装置１０１の動作を主として制御する制御回路であり、後述する撮像装置内の各電気回路の制御を行う。２０３は、演算処理回路であり、固体撮像素子１３１に蓄積された電荷から画像データを生成し、生成した画像データを液晶表示部１４２に表示するための信号処理を行う。 In FIG. 2, reference numeral 141 denotes an electronic circuit board on which each circuit illustrated in FIG. 2 is mounted. A control circuit 202 mainly controls the operation of the imaging apparatus 101 and controls each electric circuit in the imaging apparatus described later. Reference numeral 203 denotes an arithmetic processing circuit that generates image data from the charges accumulated in the solid-state image sensor 131 and performs signal processing for displaying the generated image data on the liquid crystal display unit 142.
また、演算処理回路２０３では、生成した画像に含まれる被写体の特徴抽出や、生成した複数の画像の差分情報抽出といった、画像認識処理を行う。加えて、演算処理回路２０３では、生成した画像からの一部切出しや、切出した画像の合成といった、画像編集処理を行うことが可能であり、この画像編集処理機能によってパノラマ画像の生成も行う。 In addition, the arithmetic processing circuit 203 performs image recognition processing such as extraction of features of a subject included in the generated image and extraction of difference information of a plurality of generated images. In addition, the arithmetic processing circuit 203 can perform image editing processing such as partial clipping from the generated image and synthesis of the extracted images, and panorama images are also generated by this image editing processing function.
２０４は、記憶回路であり、演算処理回路２０３によって生成される画像データや前記の画像認識処理や画像編集処理の途中で発生するデータを一時的に保存したり、各電気回路を制御するパラメーターを記憶したりといった処理を行う。 A storage circuit 204 temporarily stores image data generated by the arithmetic processing circuit 203 and data generated during the image recognition processing and image editing processing, and sets parameters for controlling each electric circuit. Processing such as storing.
また、スイングパノラマ撮影時には、演算処理回路２０３がパノラマ合成用に撮影した複数の画像の撮影枚数を数え、記憶回路２０４に撮影枚数を保存し、保存された撮影枚数を参照して演算処理回路２０３がパノラマ合成処理を実行する。 Further, at the time of swing panorama shooting, the arithmetic processing circuit 203 counts the number of shots of a plurality of images shot for panorama synthesis, stores the number of shots in the storage circuit 204, and refers to the stored number of shots to calculate the arithmetic processing circuit 203. Executes panorama composition processing.
２１１は、駆動回路であり、固体撮像素子１３１を適正に露光させる為に、シャッター１２４の開閉制御や、ハーフミラー１２１およびサブミラー１２２のアップ／ダウンの制御を行う。 Reference numeral 211 denotes a drive circuit that controls opening / closing of the shutter 124 and up / down control of the half mirror 121 and the sub mirror 122 in order to properly expose the solid-state imaging device 131.
２１２は、スイッチ回路であり、撮像装置１０１を撮影準備状態とするスイッチ、撮影動作を開始するスイッチ、撮影条件を選択する為のスイッチ等がある。２１３は、操作検出回路で、撮像装置１０１内に設けられた多数の操作部材（不図示）からの信号を制御回路２０２に伝達する。２１４は、撮像装置１０１が回転運動をしていることを検出する角速度検出部であり、スイングパノラマ撮影時に、撮像装置１０１のスイング方向やスイング角度の検出を行う。角速度検出部には、角速度センサーなどが用いられる。 A switch circuit 212 includes a switch for setting the imaging apparatus 101 in a shooting preparation state, a switch for starting a shooting operation, and a switch for selecting shooting conditions. An operation detection circuit 213 transmits signals from a large number of operation members (not shown) provided in the imaging apparatus 101 to the control circuit 202. Reference numeral 214 denotes an angular velocity detection unit that detects that the imaging apparatus 101 is rotating, and detects the swing direction and swing angle of the imaging apparatus 101 during swing panorama shooting. An angular velocity sensor or the like is used for the angular velocity detector.
２２１は、電池２２２の電圧を、撮像装置１０１を構成する各回路ユニットが必要とする電圧に変換して供給する電源回路である。 Reference numeral 221 denotes a power supply circuit that converts and supplies the voltage of the battery 222 to a voltage required by each circuit unit constituting the imaging apparatus 101.
図３は、本発明の第１の実施形態にかかわる、スイングパノラマ撮影時の合成処理のフローチャートを示す。図４は、図３に示すフローチャートの、所定のステップにおける処理の解説図を示す。以降、図４の解説図を用いながら、図３のフローチャートに沿って、本実施形態の処理を説明していく。 FIG. 3 shows a flowchart of the composition processing at the time of swing panorama photographing according to the first embodiment of the present invention. FIG. 4 is an explanatory diagram of processing in a predetermined step of the flowchart shown in FIG. Hereinafter, the processing of this embodiment will be described along the flowchart of FIG. 3 using the explanatory diagram of FIG.
図３に示す本実施形態の処理は、Ｓ３０２〜Ｓ３０６のパノラマ合成用画像取得・保存、Ｓ３０７〜Ｓ３１２のパノラマ合成に使用する領域の選択処理、およびＳ３１３のパノラマ画像合成処理から成る。 The processing of the present embodiment shown in FIG. 3 includes panoramic composition image acquisition / storage in S302 to S306, region selection processing for panoramic composition in S307 to S312 and panoramic image composition processing in S313.
まず、Ｓ３０１のスイングパノラマ撮影開始と、Ｓ３０２〜Ｓ３０６の合成用画像取得・保存について解説する。 First, a description will be given of the start of swing panorama shooting in S301 and the acquisition and storage of images for synthesis in S302 to S306.
Ｓ３０１にて、所定の条件が揃うと、スイングパノラマ撮影を開始する。スイングパノラマ撮影開始の条件とは、例えば、メニュー画面からスイングパノラマ撮影モードが選択された場合や、所定の方向へのスイングを検知して自動的にスイングパノラマ撮影モードを開始する場合などである。 In S301, when predetermined conditions are met, swing panorama shooting is started. The conditions for starting the swing panorama shooting are, for example, when the swing panorama shooting mode is selected from the menu screen, or when the swing panorama shooting mode is automatically started upon detecting a swing in a predetermined direction.
Ｓ３０２では、演算処理回路２０３が、記憶回路２０４に記憶されているスイングパノラマ合成用画像の撮影枚数の計数値を初期化する。Ｓ３０２のｉは、撮影枚数の計数値を示す。 In S <b> 302, the arithmetic processing circuit 203 initializes the count value of the number of shots of the swing panorama composition image stored in the storage circuit 204. I in S302 indicates a count value of the number of shots.
Ｓ３０３で、レリーズボタンが押下されると、演算処理回路２０３は、１枚目のスイングパノラマ合成用画像を生成し、記憶回路２０４に保存し、スイングパノラマ合成用画像の撮影枚数の計数値に１を加算する（Ｓ３０４）。 When the release button is pressed in S303, the arithmetic processing circuit 203 generates the first image for synthesizing the swing panorama, stores it in the storage circuit 204, and sets the count value of the number of images taken for the image for synthesizing the swing panorama to 1. Are added (S304).
Ｓ３０５では、角速度検出部２１４の結果から、撮影者が撮像装置１０１を所定の方向にスイングしているかどうかを判定する。 In step S <b> 305, it is determined from the result of the angular velocity detection unit 214 whether the photographer is swinging the imaging device 101 in a predetermined direction.
Ｓ３０５の結果から、撮影者がスイングパノラマ撮影を継続している（撮影者が撮像装置１０１を所定の方向にスイングしている）と判断した場合、Ｓ３０６では、前回の撮影を行った状態から、撮像装置１０１が所定の角度以上回転したかどうかを判定する。撮像装置１０１が所定の角度以上回転したかどうかを判定する方法とは、例えば、角速度センサーの出力値と時間の積分値を算出し、積分値が所定の値以上であるかを判定するなどの方法である。 If it is determined from the result of S305 that the photographer continues swing panorama shooting (the photographer swings the imaging device 101 in a predetermined direction), in S306, from the state where the previous shooting was performed, It is determined whether the imaging apparatus 101 has rotated more than a predetermined angle. The method for determining whether or not the imaging device 101 has rotated more than a predetermined angle is, for example, calculating an integrated value of the output value of the angular velocity sensor and time and determining whether the integrated value is greater than or equal to a predetermined value. Is the method.
Ｓ３０６で、撮像装置１０１が所定の角度以上回転したと判定されると、２枚目のパノラマ合成用画像の撮影を実行し、記憶回路２０４に保存する。 If it is determined in step S <b> 306 that the imaging apparatus 101 has rotated by a predetermined angle or more, the second panorama composition image is captured and stored in the storage circuit 204.
以降、撮影者が継続して撮像装置１０１を所定の方向にスイングしている間は、Ｓ３０３〜３０６を繰り返し実行し、構図に対して被写体の位置をシフトさせたパノラマ合成用画像を、順次撮影する。 Thereafter, while the photographer continues to swing the imaging apparatus 101 in a predetermined direction, steps S303 to S306 are repeatedly executed to sequentially capture panorama composition images in which the position of the subject is shifted with respect to the composition. To do.
上記のようにして、連続して撮影されたパノラマ合成用画像は、例えば、図４の４０１〜４０３に示すように、構図に対して被写体の位置がずれ、かつ、お互いに被写体の一部が重複する画像となる。ここで、４０７は、各画像に写り込んだ異物の影を示す。 As described above, the panorama composition images continuously shot are shifted in the position of the subject with respect to the composition as shown in 401 to 403 in FIG. Duplicate images. Here, reference numeral 407 denotes the shadow of a foreign object reflected in each image.
Ｓ３０５にて、スイングが停止したと判定されると、Ｓ３０７〜Ｓ３１２に示す、パノラマ合成用画像からどの領域をパノラマ合成用に使用するかという、選択処理を開始する。 If it is determined in S305 that the swing has been stopped, the selection processing of which region to use for panorama composition from the panorama composition image shown in S307 to S312 is started.
Ｓ３０７〜Ｓ３１２のパノラマ合成に使用する領域の選択処理の説明をする。 The selection process of the area used for panoramic composition in S307 to S312 will be described.
Ｓ３０７では、Ｓ３０２〜Ｓ３０６の合成用画像取得・保存処理にて、パノラマ合成処理を行うために必要な画像が撮影できたかを判定し、必要な画像が取得できた場合には、Ｓ３０８からのパノラマ合成に使用する領域の選択処理を開始する。 In S307, it is determined whether or not an image necessary for performing the panorama synthesizing process has been captured in the compositing image acquisition / storing process in S302 to S306, and if the necessary image can be acquired, the panorama from S308 is obtained. The selection process of the area used for composition is started.
Ｓ３０７の判定は、例えば、Ｓ３０２〜Ｓ３０６の合成用画像取得・保存処理にて２枚以上の画像を撮影したかどうかや、１枚目の撮影と最後の撮影の間で所定値以上の角度のスイングが行われたか、などである。Ｓ３０７で、パノラマ合成処理を行うために必要な画像が撮影できなかったと判定された場合には、演算処理回路２０３が液晶表示部１４２に、スイングパノラマ撮影に失敗した旨の情報を表示して（Ｓ３１５）、スイングパノラマ撮影を終了する。 The determination in S307 is, for example, whether or not two or more images have been shot in the image acquisition / storing process for combining in S302 to S306, and whether the angle is equal to or greater than a predetermined value between the first shot and the last shot. Whether a swing has been performed. If it is determined in S307 that an image necessary for performing the panorama composition process has not been captured, the arithmetic processing circuit 203 displays information indicating that the swing panorama shooting has failed on the liquid crystal display unit 142 ( S315), swing panorama shooting is terminated.
Ｓ３０８では、Ｓ３０２〜Ｓ３０６で取得した複数のパノラマ合成用画像のうち、連続する少なくとも２枚以上の画像それぞれについて特徴抽出処理を行う。特徴抽出処理とは、例えば、位置合わせに有効な特異な形状を有する被写体を抽出する処理や、図４の４０４〜４０６に示すように、微分処理によって構図内の被写体それぞれの輪郭を捉える処理などである。 In S308, a feature extraction process is performed for each of at least two consecutive images among the plurality of panorama composition images acquired in S302 to S306. The feature extraction processing is, for example, processing for extracting a subject having a unique shape effective for alignment, processing for capturing the contour of each subject in the composition by differentiation processing, as indicated by 404 to 406 in FIG. It is.
Ｓ３０９では、特徴抽出処理が施された連続して撮影された２枚のパノラマ合成用画像４０１、４０２について、被写体が重複するように位置合わせを行い、Ｓ３１０では、構図が重複する領域について、画素値の差分を算出する。異物の影が写り込んだ領域４０７は、４０１〜４０３に示すように、被写体によらず、構図に対して同じ位置にある。このため、被写体を基準として位置合わせをした上で画像の画素値の差分を算出することで、被写体像は相殺されるが、異物の影が写り込んだ領域は差分として残るため、Ｓ３０８〜Ｓ３１０に示す方法により、異物の影が写り込んだ領域を検出することが可能となる。 In step S309, the two panoramic composition images 401 and 402 that have been subjected to the feature extraction process are aligned so that the subject overlaps, and in step S310, the pixel is determined for the region where the composition overlaps. The difference between values is calculated. The area 407 where the shadow of the foreign object is reflected is at the same position with respect to the composition regardless of the subject, as indicated by 401 to 403. Therefore, by calculating the difference between the pixel values of the image after aligning with the subject as a reference, the subject image is canceled out, but the area where the shadow of the foreign object is reflected remains as the difference. By the method shown in (1), it is possible to detect an area where a shadow of a foreign object is reflected.
Ｓ３１１では、Ｓ３１０で検出した異物の影が写り込んだ領域が、元のパノラマ合成用画像４０１〜４０３上でどの位置にあるのか置き換え処理を行った上で、Ｓ３１２で、異物の影の写り込みがない領域から、パノラマ合成に使用する領域を選択する。通常、パノラマ合成に使用する領域は、画像４０８の破線で囲われた領域４０９のように、画像の中央付近が選択される。 In step S311, the position of the area where the shadow of the foreign object detected in step S310 is reflected on the original panorama composition images 401 to 403 is replaced. In step S312, the shadow of the foreign object is reflected. Select the area to be used for panorama synthesis from the area without. Normally, the area used for the panorama composition is selected near the center of the image, as in an area 409 surrounded by a broken line in the image 408.
一方、Ｓ３１２のパノラマ合成に使用する領域の選択処理とは、例えば、４１０のように、異物の影が写り込んだ領域４０７を含まない範囲から、パノラマ合成に使用する領域を選択する処理である。 On the other hand, the selection process of the area used for the panorama composition in S312 is a process of selecting an area used for the panorama composition from a range that does not include the area 407 in which the shadow of the foreign object is reflected, for example, 410. .
Ｓ３１３では、Ｓ３１２で選択したパノラマ合成に使用する領域に基づいて、撮影したすべてのパノラマ合成用画像から、パノラマ合成に使用する領域の切出し処理を行い、切出した領域それぞれについてスイング方向に沿って合成処理を行い、パノラマ画像を生成する。パノラマ画像の生成が完了すると、Ｓ３１４で、スイングパノラマ撮影モードが解除され、通常撮影の待機状態に移行する。 In S313, based on the area used for panorama composition selected in S312, the area used for panorama composition is extracted from all the images for panorama composition, and the extracted areas are combined along the swing direction. Processing is performed to generate a panoramic image. When the generation of the panoramic image is completed, the swing panorama shooting mode is canceled in S314, and the normal shooting standby state is entered.
以上、Ｓ３０１〜Ｓ３１４が、本実施形態の、スイングパノラマ合成処理のフローチャートである。 As described above, S301 to S314 are a flowchart of the swing panorama composition process of the present embodiment.
上述の通り、異物の影が写り込んだ領域を避けて、パノラマ画像合成用の切出し領域を選択することで、画像処理での異物の影が写り込んだ領域の補正を行う必要がなくなるため、補正痕等による画質の低下を抑制することができる。 As described above, by avoiding the area where the shadow of the foreign object is reflected and selecting the cutout area for panoramic image composition, it is not necessary to correct the area where the shadow of the foreign object is reflected in the image processing. Degradation of image quality due to correction marks or the like can be suppressed.
《第２の実施形態》
第１の実施形態では、スイングパノラマ撮影中に取得したパノラマ合成用画像から、異物の影が写り込んだ領域を検出し、その検出結果を元にパノラマ合成に使用する領域を選択した。
<< Second Embodiment >>
In the first embodiment, an area in which a shadow of a foreign object is reflected is detected from a panorama composition image acquired during swing panorama shooting, and an area to be used for panorama composition is selected based on the detection result.
本実施形態では、第１の実施形態の形態に加え、スイングパノラマ撮影開始前に取得された異物の影が写り込んだ領域に関する情報を元に、パノラマ合成に使用する領域の選択を行うことを特徴とする。 In this embodiment, in addition to the form of the first embodiment, the selection of the area to be used for panorama synthesis is performed based on the information regarding the area in which the shadow of the foreign object is acquired before the start of the swing panorama shooting. Features.
以下、図５を参照して、本実施形態に係るスイングパノラマ撮影装置の制御手段について説明する。 Hereinafter, the control means of the swing panorama photographing apparatus according to the present embodiment will be described with reference to FIG.
図５は、本実施形態にかかわる、スイングパノラマ撮影時の合成処理のフローチャートを示す。 FIG. 5 shows a flowchart of the composition processing at the time of swing panorama shooting according to the present embodiment.
本実施形態は、第１の実施形態を基本としており、Ｓ３０１〜Ｓ３０６、Ｓ３１３およびＳ３１４は、第１の実施形態と同じ処理を行う。以降、図５のフローチャートに沿って、本実施形態の処理を説明していく。 This embodiment is based on the first embodiment, and S301 to S306, S313, and S314 perform the same processing as the first embodiment. Hereinafter, the processing of this embodiment will be described with reference to the flowchart of FIG.
Ｓ３０１にて、スイングパノラマ撮影を開始すると、演算処理回路２０３が、撮像装置内の記憶回路２０４に記憶されている、異物の影が写り込んだ領域の位置情報を読み出す（Ｓ５０１）。異物の影が写り込んだ領域の位置情報とは、例えば、固体撮像素子１３１上の所定の画素を原点とし、水平方向・垂直方向をＸ軸・Ｙ軸とし、画素単位を基準とした座標系で表現される、原点からの相対的な距離を示す座標である。異物の影が写り込んだ領域の位置情報の取得方法とは、例えば、レンズの絞りを最大限に絞った状態で白い壁などの白一面の被写体を撮影し、生成された真っ白な画像から、演算処理回路２０３での画像認識処理により、異物の影が写り込んだ領域を検出する方法などである。 When swing panorama shooting is started in S301, the arithmetic processing circuit 203 reads position information of an area in which a shadow of a foreign object is reflected, which is stored in the storage circuit 204 in the imaging apparatus (S501). The position information of the area in which the shadow of the foreign object is reflected is, for example, a coordinate system based on a pixel unit with a predetermined pixel on the solid-state imaging device 131 as the origin, the horizontal direction and the vertical direction as the X axis and the Y axis. It is a coordinate that indicates the relative distance from the origin, expressed as. The acquisition method of the position information of the area where the shadow of the foreign object is reflected is, for example, by photographing a white surface such as a white wall with the lens aperture fully squeezed, and from the generated white image, For example, a method of detecting a region in which a shadow of a foreign object is reflected by image recognition processing in the arithmetic processing circuit 203 is used.
Ｓ５０２では、Ｓ５０１で読み出した異物の影が写り込んだ領域の位置情報を基に、第１の実施形態のＳ３１２と同様の処理を行い、パノラマ合成に使用する領域を選択する。 In S502, processing similar to S312 of the first embodiment is performed on the basis of the position information of the region in which the shadow of the foreign substance read out in S501 is reflected, and a region used for panorama synthesis is selected.
以降、第１の実施形態と同様に、Ｓ３０２〜Ｓ３０６でパノラマ合成用画像の取得・保存処理を実施し、Ｓ５０２で決定したパノラマ合成に使用する領域に基づいて、Ｓ３１３・Ｓ３１４でパノラマ画像合成処理を実施する。以上が、本実施形態の、スイングパノラマ合成処理のフローチャートである。 Thereafter, as in the first embodiment, panorama synthesis image acquisition / storage processing is performed in S302 to S306, and panorama image synthesis processing is performed in S313 and S314 based on the region used for panorama synthesis determined in S502. To implement. The above is the flowchart of the swing panorama composition process of the present embodiment.
上述の通り、スイングパノラマ撮影前に取得した異物の影が写り込んだ領域の位置情報を使用することで、第１の実施形態と同様に、画像処理での異物の影が写り込んだ領域の補正を行う必要がなくなるため、補正痕等による画質の低下を抑制することができる。 As described above, by using the position information of the area in which the shadow of the foreign object is captured before the swing panorama shooting, the area of the area in which the shadow of the foreign object is captured in the image processing as in the first embodiment. Since it is not necessary to perform correction, it is possible to suppress deterioration in image quality due to correction marks or the like.
１０１ 撮像装置本体、１３１ 固体撮像素子、２０３ 演算処理回路、
１４ 角速度検出部
101 imaging device body, 131 solid-state imaging device, 203 arithmetic processing circuit,
14 Angular velocity detector
Claims (3)
該固体撮像素子の出力から画像を生成し、生成した画像に対し被写体の特徴抽出の画像認識処理をし、生成した複数の画像の差分情報を抽出し、生成した複数の画像から所定の領域をそれぞれ選択し、複数の画像それぞれから選択した領域を切出して合成することでパノラマ画像を生成することが実行可能な演算処理回路と、
撮像装置が回転運動をしていることを検知する角速度検知部と、
前記演算処理回路での特徴抽出処理を行うことによって、生成された画像に含まれる、前記固体撮像素子の表面に付着した異物の影が写り込んだ領域を特定する手段と、
を有する撮像装置の制御方法であって、
前記パノラマ画像を生成する際には、前記異物の影が写り込んだ領域を特定した結果に基づいて、前記異物の影が写り込んだ領域以外からパノラマ合成に使用する領域の選択を行うことを特徴とする撮像装置の制御方法。 A solid-state image sensor;
An image is generated from the output of the solid-state imaging device, image recognition processing for subject feature extraction is performed on the generated image, difference information of the generated plurality of images is extracted, and a predetermined region is extracted from the generated plurality of images. An arithmetic processing circuit capable of generating a panoramic image by selecting and synthesizing and selecting a selected area from each of a plurality of images;
An angular velocity detector that detects that the imaging device is rotating; and
Means for specifying a region in which a shadow of a foreign object attached to the surface of the solid-state imaging device is included in the generated image by performing feature extraction processing in the arithmetic processing circuit;
A method for controlling an imaging apparatus having:
When generating the panoramic image, based on the result of specifying the area in which the shadow of the foreign object is reflected, an area to be used for panorama synthesis is selected from the area other than the area in which the shadow of the foreign object is reflected. A control method for an imaging apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017113864A JP2018207412A (en) | 2017-06-09 | 2017-06-09 | Control method of imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017113864A JP2018207412A (en) | 2017-06-09 | 2017-06-09 | Control method of imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018207412A true JP2018207412A (en) | 2018-12-27 |
Family
ID=64957549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017113864A Pending JP2018207412A (en) | 2017-06-09 | 2017-06-09 | Control method of imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018207412A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415340A (en) * | 2019-08-01 | 2019-11-05 | 浙江开奇科技有限公司 | The image treatment method and terminal device of panoramic video image for digital guide to visitors |
-
2017
- 2017-06-09 JP JP2017113864A patent/JP2018207412A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415340A (en) * | 2019-08-01 | 2019-11-05 | 浙江开奇科技有限公司 | The image treatment method and terminal device of panoramic video image for digital guide to visitors |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4576295B2 (en) | Digital camera | |
| JP2008157979A (en) | Digital camera | |
| JP2008199486A (en) | Single lens reflex type electronic imaging device | |
| JP5723488B2 (en) | Camera and operation control method thereof | |
| JP2008053845A (en) | Lens interchangeable camera | |
| JP2009267566A (en) | Image pickup apparatus | |
| TW200835313A (en) | Imaging apparatus | |
| JP2010049134A (en) | Image pickup device | |
| JP2008053843A (en) | Digital camera capable of recording motion picture | |
| JP2008096582A (en) | Camera | |
| US7805068B2 (en) | Imaging apparatus | |
| JP2005128092A (en) | Camera | |
| US20080266405A1 (en) | Imaging apparatus | |
| US11330156B2 (en) | Image capturing device | |
| JP2010245604A (en) | Imaging device | |
| JP2007028390A (en) | Electronic imaging apparatus | |
| US10634976B2 (en) | Imaging device | |
| JP2018207412A (en) | Control method of imaging apparatus | |
| JP2010224290A (en) | Camera | |
| JP2017120272A (en) | Imaging device | |
| JP2008306490A (en) | Imaging equipment | |
| JP2007281974A (en) | Digital camera | |
| JP2010060675A (en) | Imaging device | |
| JP2008294590A (en) | Imaging device | |
| JP2010124177A (en) | Imaging apparatus and control method of the imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |