JP2010050502A - Image processor, image processing method, and image processing program - Google Patents
Image processor, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2010050502A JP2010050502A JP2008210305A JP2008210305A JP2010050502A JP 2010050502 A JP2010050502 A JP 2010050502A JP 2008210305 A JP2008210305 A JP 2008210305A JP 2008210305 A JP2008210305 A JP 2008210305A JP 2010050502 A JP2010050502 A JP 2010050502A
- Authority
- JP
- Japan
- Prior art keywords
- blurring
- main subject
- unit
- image processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。さらに詳述すると、種々の特殊撮影効果を得る際に好適な画像処理装置、画像処理方法および画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program. More specifically, the present invention relates to an image processing apparatus, an image processing method, and an image processing program suitable for obtaining various special photographing effects.
銀塩カメラでは、撮影レンズの前面に各種のフィルタを装着することにより、さまざまな特殊撮影を行うことができた。例えば、フィルタの真中に穴があき、周辺がすりガラス状になっているフィルタを装着することにより、撮影画面の中心部だけをシャープに写し周辺部をぼかした撮影効果が得られたり、フィルタの中心部以外に同一方向に流れる傷をつけたフィルタを装着することにより、撮影画面の中心部は通常であるが周辺部が同一方向に動感のある撮影効果を得られるものなどがあった。 With a silver salt camera, various special photography was possible by attaching various filters to the front of the taking lens. For example, by attaching a filter with a hole in the middle of the filter and a frosted glass periphery, you can obtain a shooting effect that sharpens only the center of the shooting screen and blurs the periphery, or the center of the filter By attaching a filter with a scratch that flows in the same direction in addition to the portion, there are some that can obtain a photographing effect in which the central portion of the photographing screen is normal but the peripheral portion has a dynamic feeling in the same direction.
例えば、ポートレート撮影や花などのマクロ撮影では、意図的に前景や背景をぼかすことによって主要被写体を浮かび上がらせる写真表現が効果的であり、銀塩カメラでこのような写真表現を行う場合、主要被写体にピントを合わせ、被写界深度を浅くした状態で撮影されていた。 For example, in portrait photography and macro photography such as flowers, photographic expressions that highlight the main subject by intentionally blurring the foreground or background are effective. When performing such photographic expression with a silver halide camera, It was shot with the subject in focus and a shallow depth of field.
一方、デジタルカメラ、特にコンパクトタイプのデジタルカメラにおいて、撮像素子の露光面は、銀塩カメラの露光面に比べて著しく狭いため、銀塩カメラと同じ画角を得ようとすると、銀塩カメラの撮像レンズの焦点距離に比べてデジタルカメラの撮像レンズの焦点距離は短くなる。また、口径の大きな撮影レンズは大型、高価となるため、コンパクトタイプのデジタルカメラでは口径の小さな撮影レンズが用いられていることが多い。被写界深度は、焦点距離が小さく、口径が小さくなると深くなり、あまりぼけなくなるため、デジタルカメラでは被写界深度が銀塩カメラよりも深くなり、銀塩カメラのような絞り効果が得られないという問題がある。 On the other hand, in digital cameras, particularly compact type digital cameras, the exposure surface of the image sensor is significantly narrower than the exposure surface of the silver salt camera. The focal length of the imaging lens of the digital camera is shorter than the focal length of the lens. In addition, since a photographic lens having a large aperture is large and expensive, a photographic lens having a small aperture is often used in a compact digital camera. The depth of field becomes deeper and less blurred when the focal length is small and the aperture is small, so the depth of field of a digital camera is deeper than that of a silver halide camera, and an aperture effect similar to that of a silver halide camera is obtained. There is no problem.
このような問題に対し、画像データを電子的に加工して、背景をぼかす技術が提案されている。例えば、特許文献１には、画像データを主要被写体と背景に分離し、背景のぼけ量に応じて、さらに背景のぼけ量を強調し、自然なぼけの写真表現を得る技術が提案されている。また、例えば、特許文献２には、移動体であるメインの被写体とそれ以外の部分に移動体の動きを強調する画像処理を行う技術が開示されている。 In order to solve such a problem, a technique has been proposed in which image data is processed electronically to blur the background. For example, Patent Document 1 proposes a technique for separating image data into a main subject and a background, further enhancing the amount of background blur according to the amount of background blur, and obtaining a natural blur photo expression. . For example, Patent Document 2 discloses a technique for performing image processing for emphasizing the movement of a moving object on a main subject that is a moving object and other portions.
しかしながら、特許文献１に記載の技術は、絞り効果についての一定の効果を得ることはできるが、動感のある撮影効果を出すことはできない。また、特許文献２に記載の技術は、移動体の移動方向を強調させるためのいわゆる流し撮りといわれる撮影効果を出すことはできるが、被写体が静止している場合には対応できない。このように、いずれの技術も特定条件下での撮影効果に限られるものであり、種々の特殊撮影効果を選択的に実現可能とするものではない。 However, although the technique described in Patent Document 1 can obtain a certain effect regarding the aperture effect, it cannot provide a dynamic shooting effect. The technique described in Patent Document 2 can produce a so-called panning effect for emphasizing the moving direction of the moving body, but cannot cope with a case where the subject is stationary. As described above, any technique is limited to the photographing effect under a specific condition, and does not enable various special photographing effects to be selectively realized.
そこで本発明は、光学フィルタを用いることで実現していた種々の特殊撮影効果を、光学フィルタやその他の部品を追加することなく実現できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。 Therefore, the present invention provides an image processing apparatus, an image processing method, and an image processing program that can realize various special photographing effects realized by using an optical filter without adding an optical filter or other components. With the goal.
かかる目的を達成するため、請求項１に記載の画像処理装置は、撮影画像を主要被写体部分とその他の部分に分離する分離手段と、分離手段により分離されたその他の部分を２以上の領域に分割する分割手段と、分割手段により分割された各領域について方向性を有するぼかしをかけるぼかし手段と、主要被写体部分とぼかし手段によりぼかしをかけられたその他の部分を合成する合成手段とを備えるものである。したがって、撮影画像の主要被写体部分を除くその他の部分を、２以上の領域に分割し、方向性を有するぼかし処理をして動感のある特殊撮影効果を出している。 In order to achieve such an object, an image processing apparatus according to claim 1, a separating unit that separates a captured image into a main subject part and another part, and the other part separated by the separating part into two or more regions. Dividing means for dividing, blurring means for blurring each area divided by the dividing means, and synthesizing means for synthesizing the main subject part and other parts blurred by the blurring means It is. Therefore, the other part of the photographed image excluding the main subject part is divided into two or more regions, and a blurring process having directionality is performed to produce a special photographing effect with a dynamic feeling.
請求項２に記載の発明は、請求項１に記載の画像処理装置において、ぼかし手段は、分割手段により分割された領域について、互いに異なる方向への方向性を有するぼかしをかけるものである。したがって、異なる方向への方向性を有したぼかし処理をして被写体を注目させる特殊撮影効果を出している。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the blurring unit blurs the areas divided by the dividing unit with directivity in different directions. Therefore, a special photographing effect is obtained in which the subject is focused by performing a blurring process having directions in different directions.
請求項３に記載の発明は、請求項１または２に記載の画像処理装置において、ぼかしの方法に対応して設定された複数のぼかしモードから１つのぼかしモードを選択する選択手段を更に備え、ぼかし手段は、選択されたぼかしモードに応じて、分割された各領域について方向性を有するぼかしをかけるものである。したがって、選択されたモードに応じて種々の特殊撮影効果を出している。 The invention according to claim 3 further comprises selection means for selecting one blur mode from a plurality of blur modes set corresponding to the blur method in the image processing device according to claim 1 or 2, The blurring unit applies blurring having directionality to each of the divided areas according to the selected blurring mode. Therefore, various special photographing effects are produced according to the selected mode.
請求項４に記載の発明は、請求項１から３までのいずれかに記載の画像処理装置において、ぼかし手段は、分割手段により分割された領域について、強度の異なる方向性を有するぼかしかけるものである。したがって、同一方向または異なる方向に方向性の強さの異なるぼかし処理をしてさらに動感のある特殊撮影効果を出している。 According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the blurring unit blurs the regions divided by the dividing unit and having directions having different intensities. is there. Therefore, the blurring process with different directionality is performed in the same direction or in different directions to produce a special shooting effect with more dynamic feeling.
請求項５に記載の発明は、請求項１から４までのいずれかに記載の画像処理装置において、ぼかし手段は、分割手段により分割された領域のうち１または２以上の領域に方向性を有しないぼかしをかけるものである。したがって、一部の領域に方向性を有しないぼかしをかけることにより、方向性を有するぼかしをかけた領域のぼかし処理を強調した特殊撮影効果を出している。 According to a fifth aspect of the present invention, in the image processing device according to any one of the first to fourth aspects, the blurring means has directionality in one or more of the areas divided by the dividing means. Do not blur. Therefore, a special photographing effect that emphasizes the blurring process of the blurred area having the directionality is obtained by blurring a part of the area without the directionality.
請求項６に記載の発明は、請求項１から５までのいずれかに記載の画像処理装置において、ぼかし手段は、分割手段により分割された領域のうち１または２以上の領域にぼかしをかけないものである。したがって、一部の領域にぼかしをかけないことにより、方向性を有するぼかしをかけた領域のぼかし処理を強調した特殊撮影効果を出している。 According to a sixth aspect of the present invention, in the image processing device according to any one of the first to fifth aspects, the blurring unit does not blur one or more of the regions divided by the dividing unit. Is. Therefore, by not blurring a part of the area, a special shooting effect is obtained in which the blurring process of the blurred area having directionality is emphasized.
請求項７に記載の発明は、請求項１から６までのいずれかに記載の画像処理装置において、分離手段は、主要被写体部分を複数箇所検出し、該複数箇所の主要被写体部分につき、それぞれ主要被写体部分とその他の部分に分離するものである。したがって、主要被写体が複数ある場合においても、それぞれの主要被写体に応じたその他の部分に対して、方向性を有するぼかし処理をして主要被写体それぞれに特殊撮影効果を出している。 According to a seventh aspect of the present invention, in the image processing apparatus according to any one of the first to sixth aspects, the separating unit detects a plurality of main subject portions, and each of the plurality of main subject portions has a main portion. It separates into a subject part and other parts. Therefore, even when there are a plurality of main subjects, the other parts corresponding to each main subject are subjected to a blurring process having directionality to produce a special shooting effect for each main subject.
請求項８に記載の発明は、請求項１から７までのいずれかに記載の画像処理装置において、方向性は、撮影画像の各画素位置に対応した、予め記憶されたテーブルにより定められるものである。したがって、画素単位で様々な方向性を有するぼかし処理をして複雑な動感のある特殊撮影効果を出している。 According to an eighth aspect of the present invention, in the image processing apparatus according to any one of the first to seventh aspects, the directionality is determined by a prestored table corresponding to each pixel position of the photographed image. is there. Therefore, a special photographing effect with a complex dynamic feeling is produced by performing blurring processing having various directions on a pixel basis.
また、請求項９に記載の画像処理方法は、撮影画像を主要被写体部分とその他の部分に分離する分離処理と、分離処理により分離されたその他の部分を２以上の領域に分割する分割処理と、分割処理により分割された各領域について方向性を有するぼかしをかけるぼかし処理と、主要被写体部分とぼかし手段によりぼかしをかけられたその他の部分を合成する合成処理とを行うようにしている。したがって、撮影画像の主要被写体部分を除くその他の部分を、２以上の領域に分割し、方向性を有するぼかし処理をして動感のある特殊撮影効果を出している。 The image processing method according to claim 9 is a separation process for separating a captured image into a main subject part and another part, and a division process for dividing the other part separated by the separation process into two or more regions. In addition, a blurring process for blurring each area divided by the splitting process and a synthesis process for synthesizing the main subject part and the other parts blurred by the blurring unit are performed. Therefore, the other part of the photographed image excluding the main subject part is divided into two or more regions, and a blurring process having directionality is performed to produce a special photographing effect with a dynamic feeling.
また、請求項１０に記載の画像処理プログラムは、撮影画像を主要被写体部分とその他の部分に分離する分離処理と、分離手段により分離されたその他の部分を２以上の領域に分割する分割処理と、分割手段により分割された各領域について方向性を有するぼかしをかけるぼかし処理と、主要被写体部分とぼかし手段によりぼかしをかけられたその他の部分を合成する合成処理とをコンピュータに実行させるものである。したがって、撮影画像の主要被写体部分を除くその他の部分を、２以上の領域に分割し、方向性を有するぼかし処理をして動感のある特殊撮影効果を出している。 According to a tenth aspect of the present invention, there is provided an image processing program for separating a captured image into a main subject portion and other portions, and a dividing processing for dividing the other portions separated by the separating means into two or more regions. , Causing the computer to execute a blurring process for blurring each area divided by the dividing unit and a synthesis process for combining the main subject portion and the other part blurred by the blurring unit. . Therefore, the other part of the photographed image excluding the main subject part is divided into two or more regions, and a blurring process having directionality is performed to produce a special photographing effect with a dynamic feeling.
本発明によれば、光学フィルタの装着により実現されていた種々の特殊撮影効果を、光学フィルタやその他の部品を追加することなく実現できる。 According to the present invention, it is possible to realize various special photographing effects realized by mounting an optical filter without adding an optical filter or other components.
以下、本発明の構成を図１から図１３に示す実施の形態に基づいて詳細に説明する。 Hereinafter, the configuration of the present invention will be described in detail based on the embodiment shown in FIGS.
１．画像処理装置の構成
画像処理装置の機能ブロック図および画像処理装置に接続する接続機器の一例を図１に示す。画像処理装置には、例えば、撮像装置を適用することができる。本実施形態では、撮像装置の一例としデジタルスチルカメラ装置を例に説明する。
1. Configuration of Image Processing Device FIG. 1 shows a functional block diagram of an image processing device and an example of a connected device connected to the image processing device. For example, an imaging apparatus can be applied to the image processing apparatus. In the present embodiment, a digital still camera device will be described as an example of an imaging device.
デジタルスチルカメラ装置１（以下、単にデジタルカメラともいう）は、以下に述べるように、システム制御部２、撮像部３、画像処理部４、表示制御部５、ＬＣＤ６、記録メディアインターフェイス７、記録メディア８、ハードキーインターフェイス部９、通信インターフェイス部１０等により構成される。 As described below, the digital still camera device 1 (hereinafter also simply referred to as a digital camera) includes a system control unit 2, an imaging unit 3, an image processing unit 4, a display control unit 5, an LCD 6, a recording media interface 7, and a recording medium. 8, the hard key interface unit 9, the communication interface unit 10 and the like.
システム制御部２は、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマ−等により構成され、デジタルカメラ１全体の制御を行う。また、撮像部３は、光学系部品（レンズ及びレンズ駆動モータ等）、ＣＣＤ、ＣＣＤ駆動回路、Ａ／Ｄ変換器等により構成され、撮像を行う。 The system control unit 2 includes a CPU, NAND flash memory, SDRAM, timer, and the like, and controls the entire digital camera 1. The imaging unit 3 includes an optical system component (such as a lens and a lens driving motor), a CCD, a CCD driving circuit, an A / D converter, and the like, and performs imaging.
画像処理部４は、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等により構成され、撮像部３で得られた画像信号に種々の画像処理を施すと共に、撮像部３のＣＣＤ駆動タイミング、レンズ駆動モータを制御して焦点距離やズーム位置の切り替え、フォーカシング、露出調整等を行う。 The image processing unit 4 includes an image processing DSP (digital signal processor), a RAM, and the like provided for performing image compression / decompression, and performs various image processing on the image signal obtained by the imaging unit 3. The CCD drive timing of the image pickup unit 3 and the lens drive motor are controlled to perform switching of the focal length and zoom position, focusing, exposure adjustment, and the like.
また、画像処理部４には、分離処理（後述の主要被写体画像抽出処理（Ｓ８））を行う分離手段４０、分割処理（後述の背景画像分離処理（Ｓ９））を行う分割手段４１、ぼかし処理（後述の背景画像ぼかし処理（Ｓ１０））を行うぼかし手段４２および合成処理（後述する合成処理（Ｓ１１））を行う合成手段４３が構成される。 The image processing unit 4 includes a separation unit 40 that performs a separation process (main subject image extraction process (S8) described later), a dividing unit 41 that performs a division process (background image separation process (S9) described later), and a blurring process. A blurring unit 42 that performs (background image blurring processing (S10) described later) and a combining unit 43 that performs combining processing (combining processing (S11) described later) are configured.
表示制御部５は、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤ６へ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラ等により構成され、画像処理部４で処理された画像信号をＬＣＤ６へ表示するための信号処理を行う。 The display control unit 5 includes a D / A converter, an on-screen display controller, and the like provided for generating various graphic images for a user interface and displaying them on the LCD 6. Signal processing for displaying the image signal on the LCD 6 is performed.
ＬＣＤ６は、画像およびユーザーインターフェイスのためのグラフィック等を表示する表示部（モニタ）である。 The LCD 6 is a display unit (monitor) that displays images and graphics for a user interface.
記録メディアインターフェイス部７は、メモリカードコントローラ等により構成される記録メディア８とのインターフェイスである。 The recording medium interface unit 7 is an interface with a recording medium 8 constituted by a memory card controller or the like.
記録メディア８は、フラッシュメモリ等により構成され、圧縮された画像信号や画像に関する種々の情報を記憶するために設けられたデジタルカメラ１から着脱可能なメディアである。 The recording medium 8 is a medium that is configured by a flash memory or the like and is detachable from the digital camera 1 provided to store various information related to a compressed image signal and images.
ハードキーインターフェイス部９は、例えば、電源スイッチ３３、レリーズのためのレリーズボタン１２や、撮影モード設定のための撮影モードダイヤル１３、各種設定のためのメニューボタン２６等のボタンおよびダイヤル（図２参照）や、メインＣＰＵへの主電源制御を行うために設けられたサブＣＰＵ等により構成される。 The hard key interface unit 9 includes, for example, a power switch 33, a release button 12 for release, a shooting mode dial 13 for setting a shooting mode, a menu button 26 for various settings, and a dial (see FIG. 2). ), And a sub CPU provided to perform main power control to the main CPU.
通信インターフェイス部１０は、ＵＳＢ等を接続してデータ通信を行うために設けられた通信コントローラである。 The communication interface unit 10 is a communication controller provided for performing data communication by connecting a USB or the like.
また、パーソナルコンピュータ（以下、ＰＣともいう）１１は、デジタルカメラ１とＵＳＢ等で接続される接続機器であり、デジタルカメラ１から転送された画像データを再生したり、デジタルカメラ１に対して各種設定を行う。 A personal computer (hereinafter also referred to as a PC) 11 is a connection device connected to the digital camera 1 via a USB or the like. The personal computer 11 reproduces image data transferred from the digital camera 1 or performs various operations on the digital camera 1. Set up.
次に、デジタルカメラ１の外観図の一例を図２に示す。ここで、図２（Ａ）は上面図、（Ｂ）は正面図、（Ｃ）は裏面図を示す。 Next, an example of an external view of the digital camera 1 is shown in FIG. 2A is a top view, FIG. 2B is a front view, and FIG. 2C is a back view.
デジタルカメラ１の上面には、レリーズボタン１２、撮影モードダイヤル１３、および撮影可能枚数など表示するサブＬＣＤ１４が配置されている。 On the top surface of the digital camera 1, a release button 12, a shooting mode dial 13, and a sub LCD 14 for displaying the number of images that can be shot are arranged.
また、デジタルカメラ１の正面には、メモリカードスロットル１５、ストロボ発光部１６、光学ファインダ１７、測距ユニット１８、リモコン受光部１９、鏡胴ユニット２０が配置されている。 In addition, a memory card throttle 15, a strobe light emitting unit 16, an optical viewfinder 17, a distance measuring unit 18, a remote control light receiving unit 19, and a lens barrel unit 20 are disposed on the front surface of the digital camera 1.
また、デジタルカメラ１の背面には、ＡＦＬＥＤ２１、ストロボＬＥＤ２２、ズームスイッチ（テレ）２３、ズームスイッチ（ワイド）２４、セルフタイマ／削除スイッチ２５、メニューボタン２６、上／ストロボスイッチ２７、右スイッチ２８、ディスプレイスイッチ２９、下／ストロボスイッチ３０、左／画像確認スイッチ３１、オーケースイッチ３２、電源スイッチ３３およびＬＣＤモニタ６が配置されている。 Also, on the back of the digital camera 1, AFLED 21, strobe LED 22, zoom switch (tele) 23, zoom switch (wide) 24, self-timer / delete switch 25, menu button 26, up / strobe switch 27, right switch 28, A display switch 29, a lower / strobe switch 30, a left / image confirmation switch 31, an OK switch 32, a power switch 33, and the LCD monitor 6 are arranged.
２．画像処理装置の基本動作
次に、デジタルカメラ１の基本動作について説明する。
2. Next, the basic operation of the digital camera 1 will be described.
先ず、起動動作について簡単に説明する。ユーザによりデジタルカメラ１の電源スイッチ３３が入れられると、ハードキーインターフェイス部９はシステム制御部２のメインＣＰＵへの電源供給をオンにする。 First, the starting operation will be briefly described. When the user turns on the power switch 33 of the digital camera 1, the hard key interface unit 9 turns on the power supply to the main CPU of the system control unit 2.
メインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラムデータをＳＤＲＡＭへ転送する。ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。 The main CPU first starts access (program execution) from the boot unit of the NAND flash memory, and transfers program data to the SDRAM by the boot program. When the transfer to the SDRAM is completed, the program execution pointer (program counter) is moved to the transferred program on the SDRAM, and thereafter, the startup process is started by the program on the SDRAM.
起動処理では、オペレーティングシステムの初期化やレンズ鏡胴の繰りだし処理、記録メディアの初期化処理などの処理が実行される。例えば、鏡胴の繰り出し処理は、画像処理部４を介して撮像部３のレンズ駆動モータに所定の間隔毎にパルス信号を与えることにより行う。また、記録メディアの初期化処理は、記録メディアインターフェイス部７を介して記録メディア８への電源とクロックを供給した後、記録メディア８へ初期化コマンドを発行する。当該初期化処理は記録メディア８内で行われ、システム制御部２はその完了を検知するために記録メディア８のステータスを所定の間隔でチェックする。 In the startup process, an operating system initialization process, a lens barrel extension process, a recording medium initialization process, and the like are executed. For example, the lens barrel feeding process is performed by applying a pulse signal to the lens driving motor of the imaging unit 3 at predetermined intervals via the image processing unit 4. In the initialization process of the recording medium, the power and clock are supplied to the recording medium 8 via the recording medium interface unit 7 and then an initialization command is issued to the recording medium 8. The initialization process is performed in the recording medium 8, and the system control unit 2 checks the status of the recording medium 8 at a predetermined interval in order to detect the completion.
次いで、撮影動作について簡単に説明する。ユーザは撮影に際し、各種のキースイッチやダイヤル等を操作し、例えば、通常撮影モード、特殊撮影モード（ぼかしモード）等の撮影モードを決定する。ユーザによる操作内容はハードキーインターフェイス部９を通じてシステム制御部２で判別される。 Next, the photographing operation will be briefly described. When shooting, the user operates various key switches and dials to determine a shooting mode such as a normal shooting mode and a special shooting mode (blur mode). The operation content by the user is determined by the system control unit 2 through the hard key interface unit 9.
システム制御部２は、操作内容に応じて表示制御部５へガイダンスグラフィックを生成し、ユーザに次操作を促す。また、システム制御部２は、撮影モードが決定されると、当該撮影モードに応じた処理パラメータを画像処理部４へ設定する。即ち、システム制御部２は、ユーザに特殊撮影モードのうちから任意のモードを選択させ、選択された特殊撮影モードに応じて、当該特殊撮影を行うための処理パラメータ等を画像処理部４へ設定する選択手段として機能する。 The system control unit 2 generates a guidance graphic for the display control unit 5 according to the operation content, and prompts the user for the next operation. Further, when the shooting mode is determined, the system control unit 2 sets processing parameters according to the shooting mode in the image processing unit 4. That is, the system control unit 2 allows the user to select an arbitrary mode from among the special shooting modes, and sets processing parameters and the like for performing the special shooting in the image processing unit 4 according to the selected special shooting mode. Functions as a selection means.
また、ユーザはズームスイッチ２３，２４を操作し、画角（撮影範囲）を決定する。ここで、ユーザによる操作内容はハードキーインターフェイス部９を通じてシステム制御部２で判別される。システム制御部２は、操作に応じて撮像部３を制御しレンズを駆動する。撮像部３は画像処理部４からの制御に従い、実際の撮影に先だって、被写体画像を撮像し、表示手段の解像度にあわせて加工したスルー画像（モニタリング画像）を表示するための撮像動作を開始する。 In addition, the user operates the zoom switches 23 and 24 to determine the angle of view (shooting range). Here, the content of the operation by the user is determined by the system control unit 2 through the hard key interface unit 9. The system control unit 2 drives the lens by controlling the imaging unit 3 according to the operation. In accordance with control from the image processing unit 4, the imaging unit 3 captures a subject image prior to actual shooting and starts an imaging operation for displaying a through image (monitoring image) processed according to the resolution of the display unit. .
撮像されたデータは連続的に画像処理部４へ送られ、画像処理部４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部５へ送る。表示制御部５では、画像データを信号処理してＬＣＤ６へ表示し、ユーザへ撮像状態を提示する。また、レリーズボタンが押されると、その操作はモード設定と同様にハードキーインターフェイス部９を通じてシステム制御部２で判別される。 The imaged data is continuously sent to the image processing unit 4, which performs processing such as color space conversion, gamma correction, and white balance adjustment, and then sends the image data to the display control unit 5. In the display control unit 5, the image data is signal-processed and displayed on the LCD 6, and the imaging state is presented to the user. When the release button is pressed, the operation is discriminated by the system control unit 2 through the hard key interface unit 9 as in the mode setting.
撮像部３は画像処理部４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部４へ送る。これを受けた画像処理部４は、撮影モードに応じた画像処理、圧縮処理を行う。また、システム制御部２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部７を通じて記録メディア８へ書き込む。 The imaging unit 3 performs focusing according to control from the image processing unit 4, and then sends the captured image to the image processing unit 4. Receiving this, the image processing unit 4 performs image processing and compression processing according to the shooting mode. Further, the system control unit 2 reads the compressed image data, adds header information, and then writes the compressed image data to the recording medium 8 through the recording medium interface unit 7.
３．画像処理装置の画像処理動作
次に、本発明の画像処理装置が行う特徴的な画像処理動作、本発明の画像処理方法および本発明の画像処理プログラムが実行する処理の詳細について図３に示すフローチャートを用いて説明する。
3. Image Processing Operation of Image Processing Device Next, the flowchart shown in FIG. 3 shows details of the characteristic image processing operation performed by the image processing device of the present invention, the image processing method of the present invention, and the processing executed by the image processing program of the present invention. Will be described.
以下に述べる画像処理は、ユーザにより設定された各種の特殊撮影モードに応じて主要被写体以外の領域（背景領域）のぼかし方を変える処理である。したがって、撮影モードダイヤル１３やメニューボタン２６などによるユーザ操作により、通常撮影モードとは異なる特殊撮影モードが設定されている場合に実行されるものである。以下に、特殊撮影モードとして、主要被写体に向かってズームインした様な効果をもつ「ズームインフィルタモード」が設定された場合を例に説明する。また、図３に示すフローチャートは、モニタリング動作中の処理フローを示している。 The image processing described below is a process of changing how to blur an area (background area) other than the main subject in accordance with various special shooting modes set by the user. Therefore, it is executed when a special shooting mode different from the normal shooting mode is set by a user operation using the shooting mode dial 13 or the menu button 26. Hereinafter, a case where “zoom-in filter mode” having an effect of zooming in toward a main subject is set as a special photographing mode will be described as an example. Further, the flowchart shown in FIG. 3 shows a processing flow during the monitoring operation.
システム制御部２は、モニタリング動作が開始されると、設定されている「ズームインフィルタモード」を実現するために、先ず、各種の処理パラメータを初期化する（Ｓ１）。尚、処理パラメータの初期化は処理の終了時に実行するようにしてもよいのはもちろんである。 When the monitoring operation is started, the system control unit 2 first initializes various processing parameters in order to realize the set “zoom-in filter mode” (S1). Of course, the initialization of the processing parameters may be executed at the end of the processing.
次に、システム制御部２は、画像処理部４および撮像部３を制御し、ＣＣＤＡＦスキャンを行う（Ｓ２）。より具体的には、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする処理を行うものである。 Next, the system control unit 2 controls the image processing unit 4 and the imaging unit 3 to perform CCDAF scanning (S2). More specifically, the focus lens is gradually moved from the infinite end to the near end, the subject is imaged at a plurality of positions, and the focus having the highest sharpness among the plurality of image data captured is obtained. Processing for setting the lens position to the in-focus position is performed.
次に、システム制御部２は、各画像の小領域毎の距離または、距離に関連するパラメータを判定する距離判定処理を行う（Ｓ３）。距離判定処理（Ｓ３）について以下に説明する。 Next, the system control unit 2 performs a distance determination process for determining a distance for each small region of each image or a parameter related to the distance (S3). The distance determination process (S3) will be described below.
図４（Ａ）〜（Ｄ）に画像処理の詳細を説明する図を示す。図４（Ａ）において、１００はモニタリング画像の画角、１０１は１つのＡＦ評価値エリア、１０２はＡＦエリアを示している。 4A to 4D are diagrams for explaining the details of the image processing. In FIG. 4A, 100 indicates the angle of view of the monitoring image, 101 indicates one AF evaluation value area, and 102 indicates the AF area.
ＡＦ評価値エリア１０１は、画角１００内を均等に分割した小領域（エリア）である。距離判定処理（Ｓ３）では、ＣＣＤＡＦにより領域毎にＡＦ評価値が算出される。具体的には、システム制御部２は、領域毎にＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの駆動位置を判定し、さらに、領域毎に現在のズーム位置からレンズの駆動位置を距離情報に変換するものである。 The AF evaluation value area 101 is a small area (area) obtained by equally dividing the angle of view 100. In the distance determination process (S3), an AF evaluation value is calculated for each region by CCDAF. Specifically, the system control unit 2 analyzes the AF evaluation value for each lens position obtained by CCDAF scanning for each region based on a predetermined algorithm, and drives the lens corresponding to the peak position of the AF evaluation value. The position is determined, and the driving position of the lens is converted into distance information from the current zoom position for each region.
ここでＡＦ評価値とは、領域内の画像のコントラストの積算値をいい、具体的には、領域内の各画素に対し水平方向のＨＰＦ（ハイパスフィルター）演算を行い、得られた結果を加算して得られるものである。尚、ＨＰＦの係数には、例えば、ｋｉ={−１,−２,６,−２,−１}といった値を用いれば良い。例えば、ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ３は注目画素に乗算される係数、ｋ４は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ５は注目画素の水平方向＋２の座標の画素に乗算される係数である。 Here, the AF evaluation value refers to an integrated value of the contrast of the image in the area. Specifically, the horizontal HPF (high pass filter) calculation is performed on each pixel in the area, and the obtained result is added. Is obtained. For the HPF coefficient, for example, a value such as ki = {− 1, −2, 6, −2, −1} may be used. For example, k0 is a coefficient that is multiplied by the pixel of the pixel in the horizontal direction-2 of the pixel of interest, k1 is a coefficient that is multiplied by a pixel of the pixel of interest in the horizontal direction-1 coordinate, k3 is a coefficient that is multiplied by the pixel of interest, k4 is a coefficient that is multiplied by the pixel of the pixel of interest in the horizontal direction + 1, and k5 is a coefficient that is multiplied by the pixel of the pixel of interest in the coordinate of horizontal direction + 2.
このＡＦ評価値の演算を、図５に示すＡＦ評価値エリア１０１内の５画素を抜き出したものを例に挙げて具体的に説明する。 The calculation of the AF evaluation value will be specifically described with an example in which five pixels in the AF evaluation value area 101 shown in FIG. 5 are extracted.
図５において、１００１は注目画素の水平方向−２の座標の画素、１００２は注目画素の水平方向−１の座標の画素、１００３は注目画素、１００４は注目画素の水平方向＋１の座標の画素、１００５は注目画素の水平方向＋２の座標の画素を示している。この場合、ＡＦ評価値は、次式（１）で求められる。
（ＡＦ評価値） ＝ ｋ０×（１００１の画素の値） ＋ ｋ１×（１００２の画素の値） ＋ ｋ２×（１００３の画素の値） ＋ ｋ３×（１００４の画素の値） ＋ ｋ４×（１００５の画素の値） …（１）
In FIG. 5, reference numeral 1001 denotes a pixel having a coordinate in the horizontal direction-2 of the target pixel, 1002 a pixel having a coordinate in the horizontal direction -1 of the target pixel, 1003 a target pixel, 1004 a pixel having the coordinate in the horizontal direction +1 of the target pixel, Reference numeral 1005 denotes a pixel having a coordinate in the horizontal direction +2 of the target pixel. In this case, the AF evaluation value is obtained by the following equation (1).
(AF evaluation value) = k0 × (value of pixel 1001) + k1 × (value of pixel 1002) + k2 × (value of pixel 1003) + k3 × (value of pixel 1004) + k4 × (1005) Pixel value) (1)
さらに、求めたＡＦ評価値から距離情報（レンズから被写体までの距離）を取得するには、ガウスの結像方程式１／ａ＋１／ｂ＝１／ｆに基づいて、次式（２）で求められる。
ａ＝ｂｆ／（ｂ−ｆ） …（２）
但し、ａ：レンズから被写体までの距離
ｂ：レンズから撮像素子間の距離
ｆ：レンズの焦点距離 である。
Further, in order to obtain distance information (distance from the lens to the subject) from the obtained AF evaluation value, it is obtained by the following expression (2) based on the Gaussian imaging equation 1 / a + 1 / b = 1 / f. .
a = bf / (b−f) (2)
Where a: distance from the lens to the subject
b: Distance between the lens and the image sensor
f: focal length of the lens.
尚、（２）式におけるレンズの焦点距離ｆは、撮影時のズーム位置により一意に求められる。また、レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの駆動位置から一意に求められる。 Note that the focal length f of the lens in equation (2) is uniquely determined by the zoom position at the time of shooting. Further, the distance b between the lens and the image sensor is uniquely obtained from the drive position of the focus lens from which the peak of the AF evaluation value is obtained.
以上により、画角１００内のすべてＡＦ評価値エリア１０１毎の距離情報を得ることができる。尚、すべての領域についての距離情報が得られない場合は、例えば、周辺の領域について求めたデータに基づいて補間処理を行ったり、ＡＦ評価値取得時のフィルタを変更し、再スキャンするなどして求めるようにすれば良い。 As described above, distance information for each AF evaluation value area 101 in the angle of view 100 can be obtained. If distance information for all the areas cannot be obtained, for example, interpolation processing is performed based on the data obtained for the surrounding areas, or the filter at the time of AF evaluation value acquisition is changed and rescanned. And ask for it.
また図４（Ａ）において、ＡＦエリア１０２はＡＦでフォーカスを合わせるエリアに設定される。システム制御部２は、画面中央部分のＡＦ評価値エリア１０１のうち、最も近距離にあるエリアをＡＦエリア１０２として判定するＡＦエリア判定処理を行う（Ｓ４）。 In FIG. 4A, an AF area 102 is set as an area to be focused by AF. The system control unit 2 performs an AF area determination process for determining the area closest to the AF evaluation value area 101 at the center of the screen as the AF area 102 (S4).
さらに図４（Ｂ）に示すように、ＡＦエリア１０２とほぼ等距離にあると判断された領域を主要被写体ブロック１０３として判定する主要被写体ブロック判定処理を行う（Ｓ５）。即ち、ＡＦエリア１０２は主要被写体ブロック１０３に含まれる。 Further, as shown in FIG. 4B, main subject block determination processing is performed in which an area determined to be substantially equidistant from the AF area 102 is determined as the main subject block 103 (S5). That is, the AF area 102 is included in the main subject block 103.
次に、システム制御部２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出して記憶する平均輝度算出処理を行う（Ｓ６）。平均輝度算出処理（Ｓ６）の詳細は後述する。 Next, the system control unit 2 performs an average luminance calculation process for calculating and storing the average luminance of the image data at the position corresponding to the main subject block 103 (S6). Details of the average luminance calculation process (S6) will be described later.
次に、図４（Ｃ）に示すように、システム制御部２は、得られた主要被写体ブロック１０３の情報および撮像した画像を元に主要被写体領域１０４を判定する主要被写体領域判定処理を行う（Ｓ７）。 Next, as shown in FIG. 4C, the system control unit 2 performs main subject region determination processing for determining the main subject region 104 based on the obtained information on the main subject block 103 and the captured image ( S7).
主要被写体領域判定処理（Ｓ７）は、輪郭抽出を行う画像処理手法により、主要被写体ブロック１０３を含む任意形状の領域の判定を行うものである。尚、輪郭抽出を行う画像処理手法としては公知のものを用いればよく、特に限られるものではない。 The main subject area determination process (S7) is for determining an area of an arbitrary shape including the main subject block 103 by an image processing method for extracting a contour. It should be noted that a known method may be used as an image processing method for performing contour extraction, and is not particularly limited.
また、このとき抽出された主要被写体領域１０４の上下方向(Ｙ軸方向とする)と左右方向（Ｘ軸方向とする）の中心に当たる画素を主要被写体領域１０４の中心画素に設定してその画素座標を記録しておく。画素座標そのものの設定の仕方としては例えば一番左下の画素を（Ｘ，Ｙ）＝（１，１）としてそこから右方向（Ｘ方向）、上方向（Ｙ方向）にカウントアップするように構成すればよい。 In addition, the pixel corresponding to the center of the main subject region 104 extracted at this time in the vertical direction (Y-axis direction) and the left-right direction (X-axis direction) is set as the central pixel of the main subject region 104, and its pixel coordinates are set. Record. As a method of setting the pixel coordinate itself, for example, the lower left pixel is set to (X, Y) = (1, 1), and is counted up from there to the right (X direction) and upward (Y direction). do it.
次に、画像処理部４は、主要被写体領域１０４の情報を基に、主要被写体画像抽出処理（Ｓ８）以降の処理を順次行う。以下に図４（Ｄ）を参照して詳説する。尚、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。 Next, the image processing unit 4 sequentially performs processing after the main subject image extraction processing (S8) based on the information of the main subject region 104. Details will be described below with reference to FIG. Reference numeral 105 denotes a captured image, 106 denotes a main subject, 107 denotes an extracted main subject image, 108 denotes a background image, 109 denotes a blurred background image, and 110 denotes a composite image.
主要被写体の抽出処理（Ｓ８）では、主要被写体領域１０４に沿って画像を分離することで、主要被写体１０６の抽出を行う。 In the main subject extraction process (S8), the main subject 106 is extracted by separating the image along the main subject region 104.
図４（Ｄ）では、主要被写体１０６が中央に存在する場合を一例として示している。主要被写体の抽出処理（Ｓ８）の結果、撮影画像１０５は主要被写体画像１０７と主要被写体以外の画像領域（背景画像）１０８に分離される。 FIG. 4D shows an example in which the main subject 106 exists in the center. As a result of the main subject extraction process (S8), the captured image 105 is separated into a main subject image 107 and an image area (background image) 108 other than the main subject.
さらに主要被写体以外の画像領域（背景画像）１０８をさらに主要被写体１０６との位置関係を元に複数の領域に分割する背景画像分離処理を行う（Ｓ９）。尚、画像データは画素単位の集合体であるので、領域に分割するとは、各画素に対する処理をその分割した集合体で行うという意味である。 Further, a background image separation process is performed in which the image area (background image) 108 other than the main subject is further divided into a plurality of areas based on the positional relationship with the main subject 106 (S9). Since the image data is an aggregate in units of pixels, dividing into regions means that processing for each pixel is performed in the divided aggregate.
本実施形態では、撮影画面を中心として図８に示すように４分割している。さらに、分割された背景画像１０８に対し、背景画像ぼかし処理を行う（Ｓ１０）。 In the present embodiment, the screen is divided into four as shown in FIG. Further, a background image blurring process is performed on the divided background image 108 (S10).
例えば、「ズームインフィルタモード」（図８参照）では、主要被写体１０６に対して放射状のぼかし処理を行うので、右上領域には左下方向への方向性を持ったぼかし処理を行い、右下領域には左上方向、左上領域には右下方向、左下領域には右上方向への方向性を持ったぼかし処理を行うことで、主要被写体以外のぼかした背景画像１０９を生成している。 For example, in the “zoom-in filter mode” (see FIG. 8), radial blurring processing is performed on the main subject 106, so blurring processing with directionality in the lower left direction is performed on the upper right region, and the lower right region is performed. The blur background image 109 other than the main subject is generated by performing blur processing with directionality in the upper left direction, the upper left area in the lower right direction, and the lower left area in the upper right direction.
ここで、背景画像ぼかし処理（Ｓ１０）は、方向性を持ったぼかし処理であることを特徴としている。まず、方向性を持ったぼかし処理の詳細について、図７を参照して説明する。 Here, the background image blurring process (S10) is a blurring process having directionality. First, details of the blurring process with directionality will be described with reference to FIG.
図７は、右下領域に左上への方向性を持ったぼかしを行う処理と右上領域に左下への方向性を持ったぼかしを行う処理の例を示している。尚、図７の各セルは、１画素を示しており、全画面は、３２×３２画素である。 FIG. 7 shows an example of processing for performing blurring with a direction toward the upper left in the lower right region and processing for performing blurring with a direction toward the lower left in the upper right region. Each cell in FIG. 7 shows one pixel, and the entire screen is 32 × 32 pixels.
方向性を持ったぼかし処理は、例えば、領域内の各画素に対し、方向性を出したい方向と反対方向の複数個の画素データを加算して平均して、元々の画素と置き換える作業を繰り返すことで、ぼかし処理を行うものである。 In the blurring process with directionality, for example, for each pixel in the region, a plurality of pixel data in the direction opposite to the direction in which the directionality is desired is added and averaged to replace the original pixel. Thus, the blurring process is performed.
即ち、右下領域において左斜め上方向への動きを出すためには、例えば、次式（３）、
（Ａ画素） ＝ （Ａ＋Ｂ＋Ｃ）／３
（Ｂ画素） ＝ （Ｂ＋Ｃ＋Ｄ）／３
（Ｃ画素） ＝ （Ｃ＋Ｄ＋Ｆ）／３ …（３）
のように演算を行えばよい。ここで加算平均する画素数は任意に設定可能であり、特に限られるものではない。尚、残りの画素についても同様に演算を行えばよい。
That is, in order to make a leftward upward movement in the lower right region, for example, the following equation (3),
(A pixel) = (A + B + C) / 3
(B pixel) = (B + C + D) / 3
(C pixel) = (C + D + F) / 3 (3)
The calculation may be performed as follows. Here, the number of pixels to be added and averaged can be arbitrarily set, and is not particularly limited. The same calculation may be performed for the remaining pixels.
さらに、例えば、動きの方向性の強さ（強度）、即ち、画像のスピード感を出すためには、次式（４）のように、足し合わせる数を大きくする。その他の画素についても同様に行えばよい。
（Ａ画素） ＝ （Ａ＋Ｂ＋Ｃ＋Ｄ）／４ …（４）
Furthermore, for example, in order to obtain the strength (intensity) of the directionality of movement, that is, the sense of speed of the image, the number to be added is increased as in the following equation (4). The same may be done for other pixels.
(A pixel) = (A + B + C + D) / 4 (4)
また、端画素の場合は、斜め左上部のいずれかの画素データや周辺のデータなどを用いて、例えば、次式（５）のように、代用する。
（Ｅ画素）、（Ｆ画素） ＝ （Ｄ＋Ｅ＋Ｆ）／３
（Ｅ画素） ＝ （Ｅ画素の左斜下の画素＋Ｆ画素の左斜下の画素＋Ｆ画素の２つ下の画素）/３ …（５）
In the case of an end pixel, any pixel data in the upper left of the diagonal or peripheral data is used, for example, as shown in the following equation (5).
(E pixel), (F pixel) = (D + E + F) / 3
(E pixel) = (Pixel below left diagonal of E pixel + Pixel below diagonal left of F pixel + Pixel below F pixel) / 3 (5)
同様に、右上領域において左斜め下方向への動きを出すためには、例えば、次式（６）、
（Ｌ画素） ＝ （Ｌ＋Ｋ＋Ｊ）／３
（Ｋ画素） ＝ （Ｋ＋Ｊ＋Ｉ）／３ …（６）
のように演算を行えばよい。その他の画素についても同様に行えばよい。
Similarly, in order to move leftward and downward in the upper right region, for example, the following equation (6),
(L pixel) = (L + K + J) / 3
(K pixel) = (K + J + I) / 3 (6)
The calculation may be performed as follows. The same may be done for other pixels.
また、動きの方向性の強さ、即ち、画像のスピード感を出すためには、上記式（４）のように足し合わせる数を大きくすればよい。さらに、端画素の場合は、斜め右下部のいずれかの画素データまたは周辺のデータなどを用いて代用すればよい。尚、Ｇ画素は端画素ではないが、例えば、次式（７）、
（Ｇ画素） ＝ （Ｇ＋Ｇの右斜め下（ぼかし処理前）＋さらに右斜め下（ぼかし処理前）／３ …（７）
のように求めても、上記式（５）で示したように、周辺画素で代用してもよい。
Further, in order to obtain a strong directionality of movement, that is, a sense of speed of an image, the number to be added may be increased as in the above equation (4). Further, in the case of the end pixel, any pixel data in the lower right corner or surrounding data may be used instead. Although the G pixel is not an end pixel, for example, the following equation (7),
(G pixel) = (G + G diagonally lower right (before blurring process) + further diagonally lower right (before blurring process) / 3 (7)
Even if it calculates | requires like this, as shown in the said Formula (5), you may substitute with a surrounding pixel.
尚、上述の例では、右上領域および右下領域について説明したが、左上領域および左下領域についても同様に演算を行えばよい。即ち、左上領域に右下方向への方向性を持たせ、左下領域に右上方向への方向性を持たせることで、主要被写体に向かってズームインした様な特殊撮影効果を得ることができる。 In the above example, the upper right region and the lower right region have been described. However, the same calculation may be performed for the upper left region and the lower left region. That is, by providing the upper left area with a direction toward the lower right direction and the lower left area with an direction toward the upper right direction, it is possible to obtain a special photographing effect such as zooming in toward the main subject.
また、右斜め上下、横方向など別方向への方向性を持ったぼかし処理の動きの場合も同様に上述の処理を適用すればよい、また、画素単位で方向を変える場合についても同様に上述の処理適用することができる。 In addition, the above-described processing may be applied similarly in the case of the motion of the blurring processing having directionality in another direction such as diagonally right and up and down, and in the horizontal direction, and similarly in the case of changing the direction in units of pixels. Processing can be applied.
また、例えば、変化をより細かくするために、加算する画素データを中間的なデータに変えて行っても良い。尚、中間的なデータは、例えば、隣接するデータを予め補間して作成しておけばよい。また、例えば、主要被写体に近い部分から、周辺部に行くに従ってぼかしの強さを変化させて、より動感を強調する処理も行ってもよい。 For example, in order to make the change more detailed, the pixel data to be added may be changed to intermediate data. The intermediate data may be created by interpolating adjacent data in advance, for example. Further, for example, a process of enhancing the dynamic feeling by changing the intensity of blurring from the part close to the main subject to the peripheral part may be performed.
また、上述の例では、３２×３２の画素の画面を例に説明したが、画素数の多い実画像でも同様に処理することができる。ここで、画素数の多い画像データに対し上述の処理を実行する場合は、計算量が膨大となり処理に時間がかかることが考えられる。したがって、この場合、演算量を減らして高速にぼかし処理を行う為に、画像データの縮小処理を行うことで画素数を減らし、当該縮小画像に対して上述の処理を行った上で拡大し、主要被写体部と合成することにより計算量を軽減することが好ましい。しかしながら、縮小処理を行うか否か、またどの程度、縮小処理を行うかどうかは、ハードウェアの性能や処理の待機許容時間、また、主要被写体以外の部分について要求される画質精度等に応じて適宜決定すればよく、特に限られるものではない。 In the above example, a screen of 32 × 32 pixels has been described as an example. However, an actual image having a large number of pixels can be processed in the same manner. Here, when the above-described processing is performed on image data having a large number of pixels, it is conceivable that the calculation amount is enormous and the processing takes time. Therefore, in this case, in order to reduce the amount of calculation and perform the blurring process at high speed, the number of pixels is reduced by performing the reduction process of the image data, the above-described process is performed on the reduced image, and the enlargement is performed. It is preferable to reduce the calculation amount by combining with the main subject portion. However, whether or not to perform the reduction process and whether or not to perform the reduction process depend on the hardware performance, the waiting time for the process, the image quality accuracy required for the part other than the main subject, and the like. It may be determined as appropriate and is not particularly limited.
また、上述の例では、画像の分割単位を４分割としたが、分割するか否か、分割単位をどの程度にするかは、任意に設定可能であり、特に限られるものではない。例えば、３２×３２分割のように細かく分割し、それぞれの領域に微妙に方向を変えたぼかしを行うことでより効果的な合成結果を得ることができる。尚、分割単位は、ハードウェア性能、得られる効果と処理時間等とを考慮して適宜判断すればよい。 In the above example, the image is divided into four division units. However, whether or not to divide the image and how much the division unit is set can be arbitrarily set, and is not particularly limited. For example, a more effective composition result can be obtained by finely dividing the image into 32 × 32 divisions and performing blurring in which the direction is slightly changed in each area. The division unit may be appropriately determined in consideration of hardware performance, the obtained effect, processing time, and the like.
さらに、その他種々のぼかし処理を用いることが可能である。例えば、所定の方向性を出す為の画素データをあらかじめ作成し、テーブル形式（パラメータテーブル）で保存しておき、主要被写体の中心部と処理したい画素との座標差に応じてテーブルを参照して、読み出した方向性を持ったデータを処理したい画素と置き換えたり、有る程度撮影データも加味するため加算して置き換えたりすることでぼかし処理を行う方法をとってもよい。また、計算用のパラメータのみをテーブル保存しておき、処理する画素と図示しない演算を行うことで、方向性を持ったぼかし処理を行う構成としてもよい。 Further, various other blurring processes can be used. For example, pixel data for obtaining a predetermined direction is created in advance and stored in a table format (parameter table), and the table is referred to according to the coordinate difference between the center of the main subject and the pixel to be processed. Alternatively, a method of performing the blurring process by replacing the read data having directionality with a pixel to be processed or adding and replacing to some extent imaging data may be taken. Alternatively, only a calculation parameter may be stored in a table, and a blurring process having directionality may be performed by performing calculation (not shown) with pixels to be processed.
図６は、図３の背景画像ぼかし処理（Ｓ１０）の処理の詳細を示すフローチャートである。尚、以下の説明において、上述した画像を分割して領域別にぼかし処理を行うことを「領域別判定を行うぼかし処理」といい、また、保存されたテーブルを参照して画素別にぼかし処理を行うことを「テーブル参照を行うぼかし処理」という。 FIG. 6 is a flowchart showing details of the background image blurring process (S10) of FIG. In the following description, dividing the above-described image and performing blurring processing for each region is referred to as “blurring processing for performing determination by region”, and performing blurring processing for each pixel with reference to a stored table. This is called “blurring processing for referring to a table”.
先ず、撮影前に決定された特殊撮影モードによりぼかし処理を領域別に処理（領域別判定を行うぼかし処理）を行うモードであるのか、画素毎に処理（テーブル参照を行うぼかし処理）を行うモードであるのかを判断する（Ｓ１０−１）。 First, it is a mode in which blur processing is performed for each region (blurring processing for performing discrimination by region) in a special shooting mode determined before shooting, or in a mode for performing processing for each pixel (blur processing for performing table reference). It is determined whether or not there is (S10-1).
領域別判定を行うぼかし処理では、最初の処理画素を読み出し（Ｓ１０−８）、その画素が所属する領域に応じた処理が行われて（Ｓ１０−９）、次の画素処理に移行し（Ｓ１０−１１）、全処理が終了する（Ｓ１０−１０：Ｙｅｓ）と、処理終了となる。 In the blurring process for determining by area, the first process pixel is read (S10-8), the process corresponding to the area to which the pixel belongs is performed (S10-9), and the process proceeds to the next pixel process (S10). -11) When the entire process ends (S10-10: Yes), the process ends.
一方、テーブル参照を行うぼかし処理では、最初の処理画素を読み出し（Ｓ１０−２）、主要被写体分離時に記録した主要被写体の中心画素（Ｓ７参照）と処理しようとする画素の差分座標を求め（Ｓ１０−３）、当該差分座標から、処理式をテーブル参照して決定し（Ｓ１０−４）、それぞれ演算する（Ｓ１０−５）、処理が終わったら次の画素に移行して（Ｓ１０−７）、全画素について処理が終了する（Ｓ１０−６：Ｙｅｓ）と、処理終了となる。尚、前述のように、テーブル参照する内容は、例えば、演算用パラメータでも良いし、置き換えるぼかし済み画素データでも良いし、元々の画素と合成して方向性を出す半処理画素データでもよい。 On the other hand, in the blurring process for referring to the table, the first processing pixel is read (S10-2), and the difference coordinates between the central pixel of the main subject (see S7) recorded at the time of main subject separation and the pixel to be processed are obtained (S10). -3) From the difference coordinates, the processing formula is determined with reference to the table (S10-4), and each is calculated (S10-5). When the processing is completed, the process proceeds to the next pixel (S10-7). When the process is completed for all pixels (S10-6: Yes), the process ends. As described above, the content referred to in the table may be, for example, a calculation parameter, blurred pixel data to be replaced, or half-processed pixel data that is combined with the original pixel to generate directionality.
図８〜図１３に本発明の画像処理装置により実現可能な特殊撮影モードのいくつかの例を示す。尚、図８は、上述したとおり、主要被写体に向かってズームインした様な特殊撮影モード（「ズームインフィルタモード」、領域別判定を行うぼかし処理）を示している。 8 to 13 show some examples of special photographing modes that can be realized by the image processing apparatus of the present invention. FIG. 8 shows a special shooting mode (“zoom-in filter mode”, blurring processing for performing region-by-region determination) in which the main subject is zoomed in as described above.
図９は、主要被写体が静止しているのに流し撮りのように見える特殊撮影モード（領域別判定を行うぼかし処理）の実施例である。本モードでは、主要被写体以外の複数領域（背景画像）１０８のすべてに対し、同一の方向性を持ったぼかし処理を行っている。図９では、４分割した主要被写体以外の領域１０８のすべてに対して右から左の方向性を持ったぼかし処理を行っており、すべての領域に属する一つ一つの画素単位に対して同じ手順にて方向性を持ったぼかし処理を行ったものである。尚、本モードの場合は、必ずしも背景画像１０８を分割する必要はない。 FIG. 9 is an example of a special shooting mode (blurring process for performing region-by-region determination) that looks like panning while the main subject is stationary. In this mode, blurring processing having the same direction is performed on all of the plurality of regions (background images) 108 other than the main subject. In FIG. 9, blurring processing with right-to-left directionality is performed on all areas 108 other than the main subject divided into four, and the same procedure is performed for each pixel unit belonging to all areas. This is a blurring process with directionality. In this mode, it is not always necessary to divide the background image 108.
図１０は、主要被写体の右側のみ右方向に流れている様な特殊撮影モード（領域別判定を行うぼかし処理）の実施例である。本モードでは、主要被写体以外の複数領域１０８の一部に対し、同一の方向性を持ったぼかし処理を行っている。図１０では、４分割した主要被写体以外の領域１０８のうち右側の２つの領域に属した画素にのみ右から左の方向性を持ったぼかし処理を行い、左側２つの領域に属した画素には、単純なぼかし処理や、エッジ強調処理を行うか、あるいは何もしない。 FIG. 10 is an example of a special shooting mode (blurring process for performing region-specific determination) in which only the right side of the main subject flows in the right direction. In this mode, blurring processing having the same direction is performed on a part of the plurality of regions 108 other than the main subject. In FIG. 10, only the pixels belonging to the two right regions of the region 108 other than the main subject divided into four are subjected to the blurring process with right-to-left directionality, and the pixels belonging to the two left regions are Do simple blurring, edge enhancement, or do nothing.
このように、本発明は、主要被写体１０６が動いているかどうかには関係なく動感を出すことができ、かつ、その方向性も自由である。即ち、図９に示すような主要被写体１０６があたかも左に動いているかの様な特殊撮影効果や、図１０に示すような撮影画面の右半分と左半分で効果の異なる特殊撮影効果を得ることができる。 In this way, the present invention can give a sense of motion regardless of whether the main subject 106 is moving, and the directionality thereof is also free. That is, a special shooting effect as if the main subject 106 is moving to the left as shown in FIG. 9 or a special shooting effect with different effects in the right half and the left half of the shooting screen as shown in FIG. Can do.
図１１は、複数の主要被写体に向かってそれぞれズームイン効果をもたせた特殊撮影モード（領域別判定を行うぼかし処理）の実施例である。図１１は主要被写体１０６が画面中心部に１つ（例えば、近距離の人物）と、左右部分に２つ（例えば、遠距離の人物や植物等）で合計３つ有る場合を示している。 FIG. 11 shows an example of a special shooting mode (blurring process for performing region-specific determination) in which a zoom-in effect is applied to each of a plurality of main subjects. FIG. 11 shows a case where there are a total of three main subjects 106, one at the center of the screen (for example, a person at a short distance) and two at the left and right portions (for example, a person at a long distance, a plant, etc.).
本モードでは、それぞれの３つの主要被写体１０６を分離し、それらの周囲をそれぞれ４分割することで、光学フィルタの装着では行えなかった特殊撮影効果を得ることが可能となる。実施例では、最初に中央の主要被写体１０６ａを分離し、中央の主要被写体１０６ａ以外の部分を４分割している。さらに左右奥のそれぞれの主要被写体１０６ｂ，１０６ｃの周辺部についてもそれぞれ主要被写体１０６ｂ，１０６ｃが充分含まれる範囲をそれぞれの主要被写体１０６ｂ，１０６ｃを中心に４分割して、計１２分割する構成としている。 In this mode, by separating each of the three main subjects 106 and dividing each of them into four parts, it is possible to obtain a special photographing effect that could not be achieved by mounting an optical filter. In the embodiment, the central main subject 106a is first separated, and the portions other than the central main subject 106a are divided into four. Further, the peripheral portions of the main subjects 106b and 106c at the left and right sides are also configured to be divided into a total of 12 by dividing the range in which the main subjects 106b and 106c are sufficiently included into four parts around the main subjects 106b and 106c. .
その後、図１１に示すように、それぞれの領域に属する画素に対してそれぞれ３つの主要被写体１０６に向かうような方向性を持ったぼかし処理をおこない、分割していた３つの主要被写体画像１０７と合成する。この方法により、３つの主要被写体１０６は、はっきり描写されそれぞれの周りが主要被写体１０６に向かって放射状にながれた撮影結果を得ることができる。 Thereafter, as shown in FIG. 11, blurring processing having a direction toward each of the three main subjects 106 is performed on the pixels belonging to the respective regions, and the divided three main subject images 107 are combined. To do. With this method, it is possible to obtain a photographing result in which the three main subjects 106 are clearly depicted and the circumference of each of the three main subjects 106 radiates toward the main subject 106.
本モードによれば、被写体がどこにあっても特殊撮影効果が得られること、被写***置に応じた位置を自動的に方向性を持たせてぼかすことができること、方向を変化させることができることなど、光学フィルタの装着では実現できない種々の特殊撮影効果を実現することができる。 According to this mode, special shooting effects can be obtained wherever the subject is, the position according to the subject position can be automatically blurred with directionality, the direction can be changed, etc. Various special photographing effects that cannot be realized by mounting an optical filter can be realized.
図１２は、渦巻き状の中心に主要被写体があるような特殊撮影モード（テーブル参照を行うぼかし処理）の実施例である。図１２に示すように、主要被写体１０６との位置関係に応じて方向性を微細に変化させた渦巻き状のぼかし効果を行うことで、渦巻きの中心にある主要被写体１０６に注目を集める効果のある撮影結果を得ることができる。 FIG. 12 shows an example of a special photographing mode (blurring process for referring to a table) in which the main subject is in the spiral center. As shown in FIG. 12, the effect of attracting attention to the main subject 106 at the center of the spiral is obtained by performing a spiral blur effect in which the directionality is finely changed in accordance with the positional relationship with the main subject 106. Shooting results can be obtained.
本モードでは、主要被写体以外の領域１０８をより詳細に分割する必要がある。図１２の実施例では、３２×３２分割で示している。主要被写体１０６との位置関係に応じて微妙に方向性を変える処理を行うため、演算量がかなり多くなる。このため、簡易的に対応する方向決定テーブル（中心画素との座標差＜Ｘ，Ｙ方向の距離＞に応じてぼかし方向を微妙に変化させた画素データ）などを準備しておき、処理する画素とあらかじめ記憶してある主要被写体１０６の特定画素（中心画素）との差分座標に応じて、方向を変化させるテーブルデータを呼び出すなどの方式をとることで、演算量を減らすことができる。 In this mode, it is necessary to divide the area 108 other than the main subject in more detail. In the embodiment of FIG. 12, it is shown by 32 × 32 divisions. Since the process of slightly changing the direction is performed according to the positional relationship with the main subject 106, the amount of calculation is considerably increased. For this reason, a simple corresponding direction determination table (pixel data in which the blurring direction is slightly changed according to the coordinate difference <distance in the X and Y directions> with the central pixel) is prepared, and the pixel to be processed The amount of calculation can be reduced by adopting a method of calling table data for changing the direction according to the difference coordinates with the specific pixel (center pixel) of the main subject 106 stored in advance.
また、この撮影を行う際は主要被写体１０６を中心部に持ってくることを撮影条件として決めておき、画面全体に渡る渦巻き状の方向性を持った画素データを全て準備しておき、主要被写体１０６が分離された段階で、それ以外の領域１０８の画素をすべて渦巻き状の方向性を持った画素データに置き換えたり、主要被写体以外の領域１０８の画素と、渦巻き状の方向性を持った画素データとを加算して置き換えたりしても演算量を減らすことができる。 Further, when performing this shooting, it is determined that the main subject 106 is brought to the center as a shooting condition, and all the pixel data having a spiral direction over the entire screen is prepared. When the pixels 106 are separated, all the pixels in the other area 108 are replaced with pixel data having a spiral directionality, or pixels in the area 108 other than the main subject and pixels having a spiral directionality are replaced. Even if data is added and replaced, the amount of calculation can be reduced.
図１３は、ズームイン効果＋周辺部に行くほど方向性の動きが強くなる特殊撮影モード（テーブル参照を行うぼかし処理）の実施例である。図１３に示した実施例は、図８に示した実施例と同様の処理を行う際に、主要被写体１０６との距離に応じてぼかし量大きさを変更した実施例である。 FIG. 13 shows an example of the zoom-in effect + the special photographing mode (blurring processing for referring to the table) in which the directionality becomes stronger toward the periphery. The embodiment shown in FIG. 13 is an embodiment in which the amount of blur is changed according to the distance to the main subject 106 when performing the same processing as the embodiment shown in FIG.
本モードでは、主要被写体１０６からの距離が離れるにしたがって上述のように方向性を持ったぼかし効果を大きくするように、加算平均を取るときに用いる画素の数を増やしていく処理を行っている。また、上述のように主要被写体１０６の特定画素（中心画素）とぼかし処理をする画素との座標差を元にテーブル参照して、ぼかし処理時に足し合わせて平均を取る画素数を読み出すように構成することにより、演算量を減らすことができる。 In this mode, as the distance from the main subject 106 increases, processing for increasing the number of pixels used for averaging is performed so as to increase the blurring effect having directionality as described above. . In addition, as described above, the table is referred to based on the coordinate difference between the specific pixel (center pixel) of the main subject 106 and the pixel to be blurred, and the number of pixels to be averaged is added together during the blurring process. By doing so, the amount of calculation can be reduced.
本モードによれば、主要被写体１０６から離れるに従って方向性はそのままにして、大きく（スピード感が向上して）ぼかすような処理をおこなうことになるので、図８に示した例よりもさらに特殊撮影効果を高めることができる。 According to this mode, as the distance from the main subject 106 is increased, the directionality remains the same, and processing that greatly blurs (improving speed) is performed, so that special shooting is further performed than the example shown in FIG. The effect can be enhanced.
図３のフローチャートの説明に戻る。画像処理部４は、上述の背景画像ぼかし処理（Ｓ１０）により生成された主要被写体以外のぼかした背景画像１０９と主要被写体領域１０７とを合成して合成画像１１０を得る合成処理（Ｓ１１）を行う。 Returning to the flowchart of FIG. The image processing unit 4 performs a synthesis process (S11) for synthesizing the blurred background image 109 other than the main subject generated by the background image blurring process (S10) and the main subject area 107 to obtain a composite image 110. .
生成した合成画像１１０は、表示制御部５を介してＬＣＤ６へ表示される（Ｓ１２）。以上で１コマのモニタリング画像の処理が完了する。 The generated composite image 110 is displayed on the LCD 6 via the display control unit 5 (S12). This completes the processing of one frame of the monitoring image.
さらに、平均輝度算出処理（Ｓ１３）を行う。平均輝度算出処理（Ｓ６およびＳ１３）は撮影者がフレーミングを変化させたかどうかをモニタリングする処理であり、主要被写体部分を検出する際に平均輝度を取得しておき（Ｓ６）、合成処理の終了時に再取得して（Ｓ１３）、所定レベル以上の変化があれば、フレーミングが変化したものとして、ＣＣＤＡＦスキャン（Ｓ２）から再度やり直し、変化がない場合は、モニタリングが継続している間、主要被写体領域判定（Ｓ７）〜合成処理（Ｓ１１）までの処理を継続して行うものである。 Further, an average luminance calculation process (S13) is performed. The average luminance calculation process (S6 and S13) is a process for monitoring whether or not the photographer has changed the framing. The average luminance is acquired when the main subject portion is detected (S6), and at the end of the synthesis process. Re-acquisition (S13), if there is a change of a predetermined level or more, it is assumed that the framing has changed, and the CCDAF scan (S2) is started again. The processing from determination (S7) to synthesis processing (S11) is continuously performed.
モニタリングが終了するまでＳ７〜Ｓ１４までの処理を繰り返し実行し（Ｓ１５）、モニタリングの終了により画像処理は終了する。 The processing from S7 to S14 is repeatedly executed until the monitoring is finished (S15), and the image processing is finished when the monitoring is finished.
以上述べてきたように、本発明によれば、簡易な構成で、他に部品の追加をすることなく、各種光学フィルタを交換しながら撮影したかのような、動感があり、また、主要被写体を注目させる効果のある特殊撮影を行うことができる。また、光学フィルタ装着時のように、主要被写体を撮影画面の中心にもってくる必要がなく、撮影時のフレーミングの自由度が高い。また、主要被写体が複数ある場合など、光学フィルタでは実現できなかった撮影効果も得ることができる。また、方向性を持ったぼかし効果を付加するにあたり、被写体が移動している必要もなく、また撮像装置を移動させる必要もない。 As described above, according to the present invention, there is a moving feeling as if the image was taken while exchanging various optical filters with a simple configuration and without adding other components, and the main subject. Special shooting with the effect of attracting attention can be performed. Further, unlike the case where the optical filter is attached, it is not necessary to bring the main subject to the center of the shooting screen, and the degree of freedom of framing during shooting is high. In addition, when there are a plurality of main subjects, it is possible to obtain a shooting effect that could not be realized with an optical filter. Further, when adding a blurring effect with directionality, it is not necessary for the subject to move, and it is not necessary to move the imaging device.
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。 The above-described embodiment is a preferred embodiment of the present invention, but is not limited thereto, and various modifications can be made without departing from the gist of the present invention.
例えば、上述の実施形態では、画像処理装置として撮像装置を例に説明したが、画像処理装置としては、他の種々の装置も適用可能である。例えば、パーソナルコンピュータ１１に上述の構成（画像処理部４等）を備えるようにして、パーソナルコンピュータ１１を画像処理装置として機能させるようにしても良い。 For example, in the above-described embodiment, the imaging apparatus is described as an example of the image processing apparatus, but various other apparatuses can be applied as the image processing apparatus. For example, the personal computer 11 may be provided with the above-described configuration (such as the image processing unit 4) so that the personal computer 11 functions as an image processing apparatus.
また、上述の実施形態では、背景画像について特殊撮影効果を得られる画像処理方法について説明したが、必要に応じて撮影画像全体や主要被写体部分に対しても、上述の各種処理を行って特殊撮影効果を得るようにしても良いのはもちろんである。 In the above-described embodiment, the image processing method that can obtain the special shooting effect for the background image has been described. Needless to say, an effect may be obtained.
１ デジタルスチルカメラ装置
２ システム制御部
３ 撮像部
４ 画像処理部
５ 表示制御部
６ ＬＣＤ
７ 記録メディアインターフェイス部
８ 記録メディア
９ ハードキーインターフェイス部
１０ 通信インターフェイス部
１１ パーソナルコンピュータ
４０ 分離手段
４１ 分割手段
４２ ぼかし手段
４３ 合成手段
１０５ 撮影画像
１０６ 主要被写体
１０７ 主要被写体画像
１０８ 背景画像
１０９ ぼかした背景画像
１１０ 合成画像
DESCRIPTION OF SYMBOLS 1 Digital still camera apparatus 2 System control part 3 Imaging part 4 Image processing part 5 Display control part 6 LCD
7 Recording media interface unit 8 Recording media 9 Hard key interface unit 10 Communication interface unit 11 Personal computer 40 Separating unit 41 Dividing unit 42 Blur unit 43 Combining unit 105 Photographed image 106 Main subject 107 Main subject image 108 Background image 109 Blurred background image 110 Composite image
Claims (10)
前記分離手段により分離された前記その他の部分を２以上の領域に分割する分割手段と、
前記分割手段により分割された各領域について方向性を有するぼかしをかけるぼかし手段と、
前記主要被写体部分と前記ぼかし手段によりぼかしをかけられた前記その他の部分を合成する合成手段
とを備えることを特徴とする画像処理装置。 Separating means for separating the captured image into a main subject part and other parts;
Dividing means for dividing the other part separated by the separating means into two or more regions;
Blur means for blurring with directionality for each region divided by the dividing means;
An image processing apparatus comprising: a synthesizing unit that synthesizes the main subject portion and the other portion blurred by the blurring unit.
前記ぼかし手段は、前記選択されたぼかしモードに応じて、前記分割された各領域について方向性を有するぼかしをかけることを特徴とする請求項１または２に記載の画像処理装置。 A selection means for selecting one blur mode from a plurality of blur modes set corresponding to the blur method;
The image processing apparatus according to claim 1, wherein the blurring unit performs blurring having directionality on each of the divided areas in accordance with the selected blurring mode.
前記分離処理により分離された前記その他の部分を２以上の領域に分割する分割処理と、
前記分割処理により分割された各領域について方向性を有するぼかしをかけるぼかし処理と、
前記主要被写体部分と前記ぼかし手段によりぼかしをかけられた前記その他の部分を合成する合成処理
とを行うことを特徴とする画像処理方法。 Separation processing that separates the captured image into the main subject part and other parts,
A division process for dividing the other part separated by the separation process into two or more regions;
A blurring process that blurs each area divided by the dividing process with directionality;
An image processing method, comprising: combining a main subject portion with the other portion blurred by the blurring means.
前記分離手段により分離された前記その他の部分を２以上の領域に分割する分割処理と、
前記分割手段により分割された各領域について方向性を有するぼかしをかけるぼかし処理と、
前記主要被写体部分と前記ぼかし手段によりぼかしをかけられた前記その他の部分を合成する合成処理
とをコンピュータに実行させることを特徴とする画像処理プログラム。 Separation processing that separates the captured image into the main subject part and other parts,
A division process of dividing the other part separated by the separation unit into two or more regions;
A blurring process that blurs each area divided by the dividing unit with directionality;
An image processing program for causing a computer to execute a synthesis process for synthesizing the main subject portion and the other portion blurred by the blurring unit.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008210305A JP5262417B2 (en) | 2008-08-19 | 2008-08-19 | Image processing apparatus, image processing method, and image processing program |
| CN2009101658898A CN101656817B (en) | 2008-08-19 | 2009-08-12 | Image processing apparatus, image processing process |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008210305A JP5262417B2 (en) | 2008-08-19 | 2008-08-19 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010050502A true JP2010050502A (en) | 2010-03-04 |
| JP5262417B2 JP5262417B2 (en) | 2013-08-14 |
Family
ID=41710889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008210305A Expired - Fee Related JP5262417B2 (en) | 2008-08-19 | 2008-08-19 | Image processing apparatus, image processing method, and image processing program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5262417B2 (en) |
| CN (1) | CN101656817B (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014126612A (en) * | 2012-12-25 | 2014-07-07 | Canon Inc | Imaging device and control method therefore |
| JP2014135784A (en) * | 2014-04-30 | 2014-07-24 | Olympus Imaging Corp | Imaging apparatus, imaging method and imaging program |
| US9241112B2 (en) | 2010-09-03 | 2016-01-19 | Olympus Corporation | Imaging apparatus, imaging method and computer-readable recording medium |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104010124A (en) * | 2013-02-22 | 2014-08-27 | 腾讯科技（深圳）有限公司 | Method and device for displaying filter effect, and mobile terminal |
| CN104793910B (en) * | 2014-01-20 | 2018-11-09 | 联想(北京)有限公司 | A kind of method and electronic equipment of information processing |
| CN107277354B (en) * | 2017-07-03 | 2020-04-28 | 瑞安市智造科技有限公司 | Virtual photographing method, virtual photographing terminal and computer readable storage medium |
| CN108495029B (en) * | 2018-03-15 | 2020-03-31 | 维沃移动通信有限公司 | Photographing method and mobile terminal |
| CN109599032B (en) * | 2018-12-28 | 2021-10-26 | 厦门天马微电子有限公司 | Flexible display panel and flexible display device |
| CN111028563A (en) * | 2019-11-26 | 2020-04-17 | 罗昊 | Multimedia teaching system for art design and method thereof |
| CN111626924B (en) * | 2020-05-28 | 2023-08-15 | 维沃移动通信有限公司 | Image blurring processing method and device, electronic equipment and readable storage medium |
| CN113709366B (en) * | 2021-08-24 | 2022-11-22 | 联想(北京)有限公司 | Information processing method and device |
| CN114666513B (en) * | 2022-03-01 | 2024-02-02 | 维沃移动通信有限公司 | Image processing method and device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1141512A (en) * | 1997-07-24 | 1999-02-12 | Olympus Optical Co Ltd | Image processing unit |
| JP2000512833A (en) * | 1997-04-18 | 2000-09-26 | エイ・ティ・アンド・ティ・コーポレーション | Improving depth perception by integrating monocular cues |
| JP2007066199A (en) * | 2005-09-01 | 2007-03-15 | Canon Inc | Image processor and image processing method |
-
2008
- 2008-08-19 JP JP2008210305A patent/JP5262417B2/en not_active Expired - Fee Related
-
2009
- 2009-08-12 CN CN2009101658898A patent/CN101656817B/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000512833A (en) * | 1997-04-18 | 2000-09-26 | エイ・ティ・アンド・ティ・コーポレーション | Improving depth perception by integrating monocular cues |
| JPH1141512A (en) * | 1997-07-24 | 1999-02-12 | Olympus Optical Co Ltd | Image processing unit |
| JP2007066199A (en) * | 2005-09-01 | 2007-03-15 | Canon Inc | Image processor and image processing method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9241112B2 (en) | 2010-09-03 | 2016-01-19 | Olympus Corporation | Imaging apparatus, imaging method and computer-readable recording medium |
| JP2014126612A (en) * | 2012-12-25 | 2014-07-07 | Canon Inc | Imaging device and control method therefore |
| JP2014135784A (en) * | 2014-04-30 | 2014-07-24 | Olympus Imaging Corp | Imaging apparatus, imaging method and imaging program |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101656817A (en) | 2010-02-24 |
| JP5262417B2 (en) | 2013-08-14 |
| CN101656817B (en) | 2012-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5262417B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5036599B2 (en) | Imaging device | |
| WO2021073331A1 (en) | Zoom blurred image acquiring method and device based on terminal device | |
| US9578260B2 (en) | Digital photographing apparatus and method of controlling the digital photographing apparatus | |
| JP5124372B2 (en) | Image processing apparatus, image processing method, and digital still camera | |
| JP5230456B2 (en) | Image processing apparatus and image processing method | |
| JP2009054130A (en) | Image processor, image processing method, and digital still camera | |
| JP2008271241A (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
| JP2008271240A (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
| KR101599872B1 (en) | Digital photographing apparatus method for controlling the same and recording medium storing program to implement the method | |
| JP2009027298A (en) | Imaging apparatus and control method thereof | |
| JP4652998B2 (en) | Imaging device | |
| JP2010226694A (en) | Image processor and method of image processing | |
| JP2008116844A (en) | Imaging apparatus | |
| JP5144724B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
| JP6261205B2 (en) | Image processing device | |
| JP5212046B2 (en) | Digital camera, image processing apparatus, and image processing program | |
| JP2008079193A (en) | Digital camera | |
| JP2009218704A (en) | Image processing apparatus and image processing method | |
| JP2009055125A (en) | Imaging apparatus and its control method | |
| JP5117889B2 (en) | Image processing apparatus and image processing method | |
| JP2017143354A (en) | Image processing apparatus and image processing method | |
| JP2020017807A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2011239267A (en) | Imaging apparatus and image processing apparatus | |
| JP2008054031A (en) | Digital camera and display control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120717 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5262417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |