JP2013240110A - Image processing device, image processing method, and photographing method - Google Patents
Image processing device, image processing method, and photographing method Download PDFInfo
- Publication number
- JP2013240110A JP2013240110A JP2013170962A JP2013170962A JP2013240110A JP 2013240110 A JP2013240110 A JP 2013240110A JP 2013170962 A JP2013170962 A JP 2013170962A JP 2013170962 A JP2013170962 A JP 2013170962A JP 2013240110 A JP2013240110 A JP 2013240110A
- Authority
- JP
- Japan
- Prior art keywords
- image
- trimming
- unit
- image data
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話など、連写機能を有する画像処理装置、画像処理方法、および撮影方法に関する。 The present invention relates to an image processing apparatus, an image processing method, and a photographing method having a continuous shooting function, such as a digital camera, a video camera, and a camera-equipped mobile phone.
従来のフィルム写真のように、一瞬を切り取るような静止画撮影は、一般ユーザにとって比較的に簡単である。一方、動画撮影は、開始のタイミングと終了のタイミングの取り方が難しく、運動会や結婚式のように形式化した行事でしか、ムービーカメラを使用することはなかった。また、詳細な演出を予め決めておいた場合以外には、撮影動画の変化は乏しく、鑑賞に耐える画像とはなり難いものであった。テレビ番組のように頻繁に構図に変化のある動画に慣れたユーザにとっては、単調な画像は耐えにくいものがあるからである。さらに、撮影パラメータを変更することにより、多彩な表現が可能であるが、素人のユーザにとっては困難なものがあった。 As in conventional film photography, still image shooting that cuts out a moment is relatively easy for a general user. On the other hand, in video shooting, it was difficult to determine the start timing and end timing, and movie cameras were used only for events that were formalized, such as athletic meet and wedding ceremony. In addition, except for the case where a detailed performance is determined in advance, the change in the captured moving image is scarce and it is difficult to obtain an image that can withstand viewing. This is because a monotonous image is difficult to endure for a user who is used to a moving image whose composition changes frequently such as a television program. Furthermore, although various expressions can be made by changing the shooting parameters, there are things that are difficult for an amateur user.
そこで、静止画と動画を組み合わせて画像に変化をつけることが考えられる。例えば、特許文献１、２には、動画の撮影中に静止画の撮影を行うことのできるカメラが開示されている。また、動画の撮影後に動画の編集を行うようによって単調とならないようにしたカメラが提案されている。例えば、特許文献３には、動画の編集時に、動画を接続する際に、接続時のルール（パンで終了し、パンで開始する）に従っていない時に、トランジション効果を付与しており、動画編集に関して専門的知識のないユーザであっても動画編集を容易に行えるようにしたカメラが開示されている。 Therefore, it is conceivable to change the image by combining still images and moving images. For example, Patent Documents 1 and 2 disclose a camera that can capture a still image while capturing a moving image. In addition, there has been proposed a camera that does not become monotonous by editing a moving image after shooting the moving image. For example, Patent Document 3 provides a transition effect when connecting a moving image when editing the moving image and does not follow the connection rule (end with pan and start with pan). There has been disclosed a camera that allows a user who has no specialized knowledge to easily edit a moving image.
特許文献１、２に記載に開示されたカメラはいずれも、動画と静止画を同じ装置で撮影できるだけであって、単調さをなくした画像を撮影するものではない。また、特許文献３に開示されたカメラは、動画編集時の提案であって、撮影時に単調とならないようにした画像を撮影するものではない。 Each of the cameras disclosed in Patent Documents 1 and 2 can only shoot a moving image and a still image with the same device, and does not shoot an image without monotonousness. Further, the camera disclosed in Patent Document 3 is a proposal at the time of moving image editing, and does not shoot an image that is not monotonous at the time of shooting.
本発明は、このような事情を鑑みてなされたものであり、変化に富んだ多彩な画像を、簡単に誰でも撮影可能とした画像処理装置、画像処理方法、および撮影方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an image processing apparatus, an image processing method, and a photographing method that enable anyone to easily photograph a variety of various images. Objective.
上記目的を達成するため第１の発明に係わる画像処理装置は、連写で取得された複数の画像データを記録する記憶部と、上記記憶部に記憶された上記画像データに含まれる顔の数と大きさと位置を検出する検出部と、上記画像データから上記検出部によって検出された数の顔を、上記顔の大きさと位置に応じて切り出す際のトリミング枠を決定する決定部と、上記決定部によって決定された複数のトリミング枠によって上記画像データから上記顔ごとに順次画像を切り出すトリミング部と、を有する。 In order to achieve the above object, an image processing apparatus according to a first invention includes a storage unit that records a plurality of image data acquired by continuous shooting, and the number of faces included in the image data stored in the storage unit. A detection unit that detects a size and a position; a determination unit that determines a trimming frame for cutting out the number of faces detected by the detection unit from the image data according to the size and position of the face; and the determination A trimming unit that sequentially crops an image for each face from the image data using a plurality of trimming frames determined by the unit.
第２の発明に係わる画像処理装置は、上記第１の発明において、上記記憶部からの画像データに基づく画像を表示する表示部を有し、上記トリミング部は、複数のトリミング枠から起点と終点を決めて順次画像を切出し、上記表示部は、上記トリミング部によって順次、切り出された画像に基づいてスキャン表示する。 An image processing apparatus according to a second invention has a display unit for displaying an image based on image data from the storage unit in the first invention, and the trimming unit starts and ends from a plurality of trimming frames. The image is sequentially cut out and the display unit scans and displays the images based on the images cut out sequentially by the trimming unit.
第３の発明に係わる画像処理装置は、上記第１の発明において、上記決定部は、一番大きな顔に合わせて、または顔の大きさの平均値、または顔の大きさに合わせて変化させるように、上記トリミング枠を決定する。 In the image processing apparatus according to a third aspect of the present invention, in the first aspect, the determining unit changes the size according to the largest face, the average value of the size of the face, or the size of the face. Thus, the trimming frame is determined.
第４の発明に係わる画像処理装置は、上記第１の発明において、上記画像データの動きの有無を判定する動き判定部を有し、上記トリミング部は、上記動き判定部による判定結果に基づいて、トリミング処理を決定する。 According to a fourth aspect of the present invention, there is provided an image processing apparatus according to the first aspect, further comprising: a motion determination unit that determines the presence or absence of motion of the image data, and the trimming unit is based on a determination result by the motion determination unit. Determine the trimming process.
第５の発明に係わる画像処理装置は、上記第１の発明において、上記トリミング部は、上記検出部によって検出された顔の数が一人の場合は、ズームダウンまたはズームアップするようにトリミング処理を行う。 The image processing apparatus according to a fifth aspect of the present invention is the image processing apparatus according to the first aspect, wherein the trimming unit performs a trimming process so as to zoom down or zoom up when the number of faces detected by the detection unit is one. Do.
第６の発明に係わる画像処理装置は、上記第１の発明において、上記決定部は、上記検出部によって検出された顔の数が一人の場合は、撮影者が構図を変更しても、この構図の変更に応じて顔部分に対応するトリミング枠を複数、決定し、上記トリミング部は、上記決定部によって決定された複数のトリミング枠によって上記顔の部分に対応する領域の画像データを順次画像を切り出す。 An image processing apparatus according to a sixth invention is the image processing apparatus according to the first invention, wherein the determination unit is configured to detect the number of faces detected by the detection unit even if the photographer changes the composition. A plurality of trimming frames corresponding to the face portion are determined according to the composition change, and the trimming unit sequentially images the image data of the area corresponding to the face portion by the plurality of trimming frames determined by the determination unit. Cut out.
第７の発明に係わる画像処理方法は、記憶部に記憶された画像データに含まれる顔の数と大きさと位置を検出する検出ステップと、上記画像データから上記検出ステップによって検出された顔を、上記顔の大きさと位置に応じて切り出す際のトリミング枠を決定する決定ステップと、上記決定された複数のトリミング枠によって上記画像データから上記顔ごとに順次画像を切り出すトリミング処理を行うトリミング処理ステップと、を有する。 An image processing method according to a seventh invention includes a detection step of detecting the number, size, and position of faces included in image data stored in a storage unit, and a face detected by the detection step from the image data. A determining step for determining a trimming frame for cutting out according to the size and position of the face; a trimming processing step for performing a trimming process for sequentially cutting out images for each face from the image data by the determined plurality of trimming frames; Have.
第８の発明に係わる撮影方法は、被写体像を上記画像データに変換し、該画像データを連続的に取得する連写ステップと、上記連写ステップによって取得された上記画像データに含まれる顔の数と大きさと位置を検出する検出ステップと、上記画像データから上記検出ステップにおいて検出された顔を、上記顔の大きさと位置に応じて切り出す際のトリミング枠を決定する決定ステップと、上記決定された複数のトリミング枠によって上記画像データから上記顔ごとに順次画像を切り出すトリミング処理を行うトリミング処理ステップと、を有する。 According to an eighth aspect of the present invention, there is provided a shooting method for converting a subject image into the image data and continuously acquiring the image data, and a face included in the image data acquired by the continuous shooting step. A detection step for detecting the number, size, and position; a determination step for determining a trimming frame for cutting out the face detected in the detection step from the image data according to the size and position of the face; A trimming process step of performing a trimming process of sequentially cutting out images for each face from the image data using a plurality of trimming frames.
本発明によれば、変化に富んだ多彩な画像を、だれでも簡単に撮影可能とした画像処理装置、画像処理方法、および撮影方法を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus, an image processing method, and a photographing method that enable anyone to easily photograph a variety of various images.
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、パラメータ設定部３、モーション判定部４、記録部６、パラメータ制御部７、表示部８、操作部９、時計部１１等から構成される。 A preferred embodiment will be described below using a camera to which the present invention is applied according to the drawings. FIG. 1 is a block diagram showing an electric circuit of a camera 10 according to an embodiment of the present invention. The camera 10 is a digital camera, and includes a control unit 1, an imaging unit 2, a face detection unit 2a, a parameter setting unit 3, a motion determination unit 4, a recording unit 6, a parameter control unit 7, a display unit 8, an operation unit 9, and a clock. It consists of part 11 grade.
撮像部２は、ズーム機能とピント合わせ機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。顔検出部２ａは撮像部２から出力され、制御部１によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合には、人物の顔の数、その位置や大きさ等を検出し、検出結果を制御部１に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。 The imaging unit 2 includes a photographing lens (zoom lens) having a zoom function and a focusing function, an exposure control unit such as a shutter / aperture, an imaging element, a driving and reading circuit for the imaging element, and the like. The subject image is converted into image data by the image sensor and output. The face detection unit 2a is based on the image data output from the imaging unit 2 and processed by the control unit 1, whether or not a human face is included in the subject image, and if a face is included Detects the number of human faces, their positions and sizes, and outputs the detection results to the control unit 1. In detecting a face, shadows of parts such as eyes, nose, and mouth in the face are extracted and performed by a pattern matching method or the like.
制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、構図変化判定部１ａ、トリミング部１ｂ、画像処理部５を有する。構図変化判定部１ａは、画面の構図やカメラ１０の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部２から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ１０の構え方については、後述するモーション判定部４の判定出力に基づいて判定する。 The control unit 1 controls the entire sequence of the camera 10 according to a stored program. The control unit 1 includes a composition change determination unit 1a, a trimming unit 1b, and an image processing unit 5. The composition change determination unit 1a determines whether the composition of the screen and the way the camera 10 is held have changed. In determining the composition change of the screen, a motion vector or the like is used based on the image data output from the imaging unit 2. Further, how to hold the camera 10 is determined based on a determination output of a motion determination unit 4 described later.
トリミング部１ｂは、撮像部２から出力される画像データの一部を切り出すトリミング処理を行う。画像データの切り出しにあたっては、後述するように、スキャン処理の際に、顔検出部２ａによって検出された顔の位置や大きさ等に基づいて、被写体の顔の周辺を切り出す。そのほか、再生時に撮影画像について、ユーザの指示に応じてトリミングにより拡大画像を生成する。 The trimming unit 1b performs a trimming process for cutting out part of the image data output from the imaging unit 2. When the image data is cut out, as will be described later, the periphery of the face of the subject is cut out based on the position and size of the face detected by the face detection unit 2a during the scanning process. In addition, a magnified image is generated by trimming the captured image at the time of reproduction in accordance with a user instruction.
画像処理部５は、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。 The image processing unit 5 captures image data output from the imaging unit 2, performs various image processing such as thinning processing, clipping processing, edge enhancement, color correction, and image compression, 6 performs image processing such as recording of still images and moving images and reproduction and display of still images and moving images. In image compression / expansion, a still image compression / expansion circuit, a moving image compression / expansion circuit, and the like are provided for still images and moving images in accordance with respective processes.
また、画像処理部５は、静止画撮影の前後で所定時間（例えば、０．５秒程度）の間、撮影した動画の画像データを仮記憶し、この仮記憶した画像データの画像処理を行う。画像処理にあたっては、静止画と動画を比較し、この比較結果に基づいて、画像処理を変更する。この画像処理については、図３ないし図６を用いて後述する。 The image processing unit 5 temporarily stores image data of a captured moving image for a predetermined time (for example, about 0.5 seconds) before and after taking a still image, and performs image processing on the temporarily stored image data. . In image processing, a still image and a moving image are compared, and the image processing is changed based on the comparison result. This image processing will be described later with reference to FIGS.
パラメータ設定部３は、撮影部２における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部１に出力する。なお、絞り値等の場合には、測光の結果に応じて自動的に設定されるようにしても良い。パラメータ制御部７は、パラメータ設定部３において手動設定または自動設定された撮影パラメータに基づいて撮像部２の制御を行う。撮影パラメータを制御することにより、露出や画角や背景のボケ（被写界深度）等を調整可能となる。 The parameter setting unit 3 manually sets shooting parameters using a zoom button for changing the focal length in the shooting unit 2, an aperture value setting operation unit for setting an aperture value, and the like, and outputs them to the control unit 1. In the case of an aperture value or the like, it may be automatically set according to the result of photometry. The parameter control unit 7 controls the imaging unit 2 based on the imaging parameters that are set manually or automatically by the parameter setting unit 3. By controlling the shooting parameters, it is possible to adjust exposure, angle of view, background blur (depth of field), and the like.
モーション判定部４は、３次元空間の加速度、すなわち３軸加速度と、３次元空間での回転速度、すなわち３軸角速度の計６軸の物理量を検出する６軸センサ等を有している。このモーション判定部４は、カメラ１０の構え方が変わっていないか否かについて判定することができる。 The motion determination unit 4 includes a six-axis sensor or the like that detects a total of six axes of physical quantities including acceleration in a three-dimensional space, that is, three-axis acceleration, and rotation speed in the three-dimensional space, that is, a three-axis angular velocity. The motion determination unit 4 can determine whether or not the way the camera 10 is held.
操作部９は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部５によって圧縮処理された静止画や動画の画像データを記録する。 The operation unit 9 includes various operation members such as a release button, a power switch, a reproduction mode setting button, a menu button, etc., determines the operation state of these operation members, and sends a determination result to the control unit 1. The above-described control unit 1 controls photographing and reproduction in a predetermined sequence according to the operation state of the operation member. The recording unit 6 records image data of still images and moving images acquired by the imaging unit 2 and compressed by the image processing unit 5 when a shooting instruction is given by the release button.
表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示モニタを有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。時計部１１は、計時動作を行い、撮影日時情報を出力する。この撮影日時情報は、静止画や動画の画像データを記録部６に記録する際に合わせて記録する。 The display unit 8 has a display monitor such as a liquid crystal panel or an organic EL panel arranged on the back surface of the camera 10, and displays a live view display before shooting, normal playback display of recorded images, and camera information display. Etc. The photographer can observe the live view display and determine the composition and timing. The clock unit 11 performs a timekeeping operation and outputs shooting date information. This shooting date / time information is recorded when image data of a still image or a moving image is recorded in the recording unit 6.
次に、図２を用いて画像処理部５の構成の詳細について説明する。画像処理部５は、前述したように、撮像部２から出力される画像データを取り込み、間引き処理等の各種画像処理を行うが、ここでは、静止画撮影の前後で撮影した動画の画像データの画像処理に関連する構成を主に説明する。 Next, details of the configuration of the image processing unit 5 will be described with reference to FIG. As described above, the image processing unit 5 captures the image data output from the imaging unit 2 and performs various image processing such as thinning processing. Here, the image data of the moving image captured before and after the still image capturing is processed. A configuration related to image processing will be mainly described.
仮記録部５ａは、撮像部２からの画像データを仮記憶するためのメモリであり、静止画の画像データを仮記憶するためのメモリ０と、この静止画の先立つ所定時間、および静止画の後に続く所定時間の間、撮影される動画（連写）の各フレームに対応する画像データをそれぞれ仮記憶するためのメモリ（−ｎ）〜メモリ（−１）、メモリ０、メモリ１〜メモリｎを有する。ここで、メモリ（−ｎ）〜メモリ（−１）は静止画の撮影に先立つ所定時間の間の動画を仮記録するためのメモリであり、メモリ０は静止画の画像データを仮記録するためのメモリであり、メモリ１〜メモリｎは静止画撮影後の所定時間の間の動画を仮記録するためのメモリである。時間制御部５ｈは、時計部１１から計時情報を入力し、動画を所定時間の間、記録するための計時制御を行う。なお、メモリ（−ｎ）〜メモリｎの全てに画像データを記録する必要はなく、このうちの限られたメモリのみを、動画と静止画の画像データの記録に使用するようにしても良い。 The temporary recording unit 5a is a memory for temporarily storing image data from the imaging unit 2, a memory 0 for temporarily storing image data of a still image, a predetermined time prior to the still image, and a still image Memory (−n) to memory (−1), memory 0, memory 1 to memory n for temporarily storing image data corresponding to each frame of a moving image (continuous shooting) to be captured for a predetermined time that follows. Have Here, the memory (−n) to the memory (−1) are memories for temporarily recording moving images for a predetermined time prior to still image shooting, and the memory 0 is for temporarily recording image data of still images. The memories 1 to n are memories for temporarily recording a moving image for a predetermined time after still image shooting. The time control unit 5h inputs timekeeping information from the clock unit 11 and performs timekeeping control for recording a moving image for a predetermined time. Note that it is not necessary to record image data in all of the memories (-n) to the memory n, and only a limited memory among them may be used for recording image data of moving images and still images.
静止画の画像データを仮記憶するためのメモリ０は静止画圧縮部５ｂに接続されている。静止画圧縮部５ｂは、ＪＰＥＧ等の画像圧縮を行う。分類部５ｃは、静止画圧縮部５ｂからの静止画の画像データを入力し、静止画に顔が含まれているか、また顔が含まれている場合に一人か複数人かを判定し、静止画の分類を行う。 A memory 0 for temporarily storing still image data is connected to the still image compression unit 5b. The still image compression unit 5b performs image compression such as JPEG. The classification unit 5c receives the still image data from the still image compression unit 5b, determines whether the still image includes a face, and if the face includes a face, determines whether there is one or more people. Classify the strokes.
動画（連写）の各フレームの画像データを記憶するメモリ（−ｎ）〜メモリ（−１）、メモリ１〜メモリｎは、動き判定部５ｄと効果処理部５ｅに接続されている。動き判定部５ｄは、メモリ（−ｎ）〜メモリ（−１）に仮記録されている静止画撮影前の動画の画像データを用いて静止画撮影前の被写体に動きがあるか否かの判定を行う。同様に、動き判定部５ｄは、メモリ１〜メモリｎに仮記録されている静止画撮影後の動画の画像データを用いて静止画撮影後の被写体に動きがあるか否かの判定を行う。 Memory (−n) to memory (−1) and memory 1 to memory n for storing image data of each frame of the moving image (continuous shooting) are connected to the motion determination unit 5d and the effect processing unit 5e. The motion determination unit 5d determines whether or not there is a motion in the subject before the still image shooting using the image data of the moving image before the still image shooting temporarily recorded in the memory (−n) to the memory (−1). I do. Similarly, the motion determination unit 5d determines whether or not there is a motion in the subject after the still image shooting, using the image data of the moving image after the still image shooting temporarily recorded in the memories 1 to n.
効果処理部５ｅは、動き判定部５ｄにおける動画の動き判定結果と、分類部５ｃにおける静止画の分類結果を入力し、これらの結果に基づいて、入力した動画の画像データに対して画像効果が生ずるような画像処理を行う。この画像処理は、後述する図６に示す関係に従って行う。動画圧縮部５ｆは効果処理部５ｅによって画像処理された画像データを、ＭＰＥＧ４やモーションＪＰＥＧ等による動画圧縮を行う。 The effect processing unit 5e inputs the motion determination result of the moving image in the motion determining unit 5d and the still image classification result in the classification unit 5c, and based on these results, the image effect is applied to the input moving image data. Image processing that occurs is performed. This image processing is performed according to the relationship shown in FIG. The moving image compression unit 5f performs moving image compression on the image data processed by the effect processing unit 5e by MPEG4, motion JPEG, or the like.
接続データ部５ｇは、動画圧縮部５ｆによって生成された動画の画像データと、静止画圧縮部５ｂによって生成された静止画の画像データを結合し、両画像データを連続的に再生するための接続情報を生成する。接続データ部５ｆによる接続情報と、静止画圧縮部５ｂからの画像データと、動画圧縮部５ｇからの画像データは、記録部６に送られ、１つの画像ファイルとして記録される。記録部６に記録された画像データの再生にあたっては、再生速度を速めたり、逆にゆっくりさせ、早送りやスローモーションで再生を可能としている。また、１秒に何コマ撮影するかによっても、仮記録部５ａのメモリの容量が、何秒相当であるかは変化する。このように自由度をもって使用するメモリである。 The connection data unit 5g combines the moving image data generated by the moving image compression unit 5f and the still image data generated by the still image compression unit 5b, and continuously connects both image data. Generate information. The connection information by the connection data unit 5f, the image data from the still image compression unit 5b, and the image data from the moving image compression unit 5g are sent to the recording unit 6 and recorded as one image file. When the image data recorded in the recording unit 6 is reproduced, the reproduction speed is increased, or conversely, the image data is reproduced by fast-forwarding or slow motion. Also, the number of seconds corresponding to the memory capacity of the temporary recording unit 5a varies depending on how many frames are taken per second. Thus, the memory is used with a degree of freedom.
次に、図３ないし図６を用いて、静止画と動画の比較結果に基づいて行う動画の画像処理について説明する。図３（ａ）は、静止画撮影前後の画像の様子を示している。後述するように、本実施形態におけるカメラでは、静止画の撮影の前後の所定時間（例えば、０．５秒）の動画動画（連写）の画像データも、静止画の画像データに併せて仮記録している。 Next, with reference to FIG. 3 to FIG. 6, a description will be given of moving image processing performed based on a comparison result between a still image and a moving image. FIG. 3A shows the state of images before and after still image shooting. As will be described later, in the camera according to the present embodiment, image data of a moving image (continuous shooting) for a predetermined time (for example, 0.5 seconds) before and after taking a still image is also temporarily combined with the image data of the still image. It is recorded.
ただし、本実施形態においては、取得した動画と静止画の画像データを、そのまま記録するのではなく、再生時に鑑賞に耐えられるようにするために、動画に対して画像効果を与える画像処理を行った後に、記録部６に記録するようにしている。画像処理は、静止画とその前後の動画を比較判定、この判定結果に応じて切り替え、期待感を持って画像を鑑賞できるような画像処理を行っている。 However, in the present embodiment, the acquired moving image and still image data are not recorded as they are, but image processing that gives an image effect to the moving image is performed in order to withstand viewing during playback. After that, it is recorded in the recording unit 6. In the image processing, a still image and a moving image before and after the still image are compared, and switching is performed according to the determination result, so that the image can be viewed with expectation.
図３（ｂ）は、この画像処理の一例を示したものである。この例では、静止画に人物が一人だけ映っており、また、静止画の前後の動画に動きがないことから、静止画撮影前の動画に対してはアップ状態から通常画像に変化（ズームダウン）させ、静止画撮影後の動画に対しては通常画像からアップ状態に変化（ズームアップ）させている。ここでズームアップ、ズームダウンを行っているのは、一人でしかも動きが殆どないことから、この人物にフォーカスを当てるような感覚を醸し出すためである。また、併せて、静止画撮影前の動画に対してはフェードイン、静止画撮影後の動画に対してはフェードアウトの処理を行っている。ここでは、複数の遷移効果を組み合わせているが、勿論、このような効果を全て付与しなくても良い。例えば、後述する図６では、単純化して一つの代表的な効果のみを記載して説明している。 FIG. 3B shows an example of this image processing. In this example, only one person is shown in the still image, and there is no movement in the movie before and after the still image, so the movie before the still image is changed from the up state to the normal image (zoom down). The moving image after the still image shooting is changed from the normal image to the up state (zoomed up). The reason for zooming up and down here is to create a sense of focusing on this person because there is almost no movement. At the same time, fade-in processing is performed for moving images before still image shooting, and fade-out processing is performed for moving images after still image shooting. Although a plurality of transition effects are combined here, of course, it is not necessary to provide all such effects. For example, in FIG. 6 described later, only one representative effect is described in a simplified manner.
このようにして記録された動画と静止画の組み合わせは、そのまま再生表示してもよいが、さらに変化をつけるために、図３（ｃ）に示すように再生表示を行っても良い。この例では、画像効果を付与された動画のみを集め、この動画を連続的に再生するようにしている。すなわち、図３（ｃ）では、静止画撮影後の画像処理された動画を再生し、続けて、他の静止画撮影後の画像処理された動画の順番を逆に再生している。 The combination of the moving image and the still image recorded in this manner may be reproduced and displayed as they are, but may be reproduced and displayed as shown in FIG. In this example, only moving images to which image effects are given are collected, and the moving images are continuously reproduced. That is, in FIG. 3C, an image-processed moving image after still image shooting is played back, and then the order of the image-processed moving image after other still image shooting is played back in reverse.
図３（ｃ）では、２つの動画を連続的に再生しているが、他の動画をさらに連続的に再生するようにしても良い。この場合、ズームアップした画像を再生した後には、ズームダウンする画像を再生するように、また、フェードインした画像を再生した後にはフェードアウトする画像を再生するように、画像がなめらかに変化するように、その順番を考慮して配列すると、自然な画面推移を楽しむことができる。ある種のリズム感を醸し出すために、全ての画像が常にアップで終わるようにしても良い。また、前述のように再生速度は、必ずしも撮影時の速度と一致させる必要はなく、早送り気味に再生したり、逆にスローモーションで再生しても良い。 In FIG. 3C, two moving images are played back continuously, but other moving images may be played back further continuously. In this case, the image changes smoothly so that the zoomed-down image is played after the zoomed-up image is played, and the faded-out image is played after the faded-in image is played. In addition, if the arrangement is taken into consideration, natural screen transition can be enjoyed. In order to create a certain rhythmic sense, all images may always end up. Further, as described above, the playback speed does not necessarily need to match the speed at the time of shooting, and playback may be performed in a fast-forward manner or conversely in slow motion.
次に、図４を用いて、静止画と動画の比較結果に基づいて行う動画の画像処理の他の例を説明する。この他の例では、静止画には、複数の人物が映っており、また、静止画の撮影前の動画は、人物の間隔が広い状態から次第に狭くなっており、これらの動画に動きがある。しかし、静止画の撮影後の動画には殆ど動きがない。このような状況で、この例では、画像の記録時の画像処理として、静止画撮影前の動画に対してはフェードイン、すなわち露出オーバの状態から適正露光の状態となるような画像処理を行っている。ここで、フェードインとしているのは、動きの起点を曖昧にし、複数人の人物の全体の動きを見ることをできるようにするためである。 Next, another example of moving image processing performed based on a comparison result between a still image and a moving image will be described with reference to FIG. In this other example, the still image includes a plurality of people, and the moving image before shooting the still image is gradually narrowed from the state where the interval between the people is wide, and there is movement in these moving images. . However, there is almost no movement in the moving image after taking a still image. In this situation, in this example, as the image processing at the time of image recording, image processing is performed so that the moving image before still image shooting is faded in, that is, the overexposure state is changed to the proper exposure state. ing. Here, the reason for fading in is to make the starting point of the motion ambiguous so that the entire motion of a plurality of persons can be seen.
また、静止画撮影後の動画に対して、一人一人の顔をアップして表示するスキャン処理を行っている。このスキャン処理について、図５を用いて説明する。図５に示す例では、３人の人物の顔が映っており、この３人の顔が順次、アップとなるようにトリミング処理を行う。このため、左端と右端の人物の顔の中心が顔の移動にあたっての起点・終点とする。そして、平均的な顔の大きさを求め、この大きさを考慮して、上側の移動ライン２３ａと下側の移動ライン２３ｂを決定し、これらのラインの間でトリミング枠２１ａ、２１ｂ、２１ｃが滑るように移動させたかのように、トリミング画像を切り出すと、スキャン画像を得ることができる。このスキャン処理については、図１０を用いて後述する。 In addition, a scanning process is performed for displaying a moving image after taking a still image. This scanning process will be described with reference to FIG. In the example shown in FIG. 5, the faces of three persons are shown, and the trimming process is performed so that the faces of the three persons are sequentially raised. For this reason, the center of the face of the person at the left end and the right end is set as the starting point / end point for moving the face. Then, an average face size is obtained, and the upper moving line 23a and the lower moving line 23b are determined in consideration of this size, and trimming frames 21a, 21b, 21c are defined between these lines. When the trimmed image is cut out as if it was moved in a sliding manner, a scanned image can be obtained. This scanning process will be described later with reference to FIG.
制御部１および画像処理部５内において、上述したような静止画と動画の比較結果に基づいて行う動画の画像処理を行う。静止画と動画の比較結果に基づく動画処理の一例を、図６に示す。図６（ａ）は分類部５ｃによって静止画に顔があり、かつ一人と判定された場合における動画に対する画像処理を示す。動画に動きがある場合には、動きの始まりや終わりをぼかすように、フェードインやフェードアウトの処理を行い、動きがない場合には、顔の表情が分かるように、ズームアップの処理を行っている。なお、図中、「動画１」は静止画撮影前の動画を意味し、「動画２」は静止画撮影後の動画を意味する。前述したように、ここでは代表的な効果を図示したが、勿論、他の効果、例えば、露出の変更やぼかし効果などを併用しても良い。このような処理は、画像処理部５の効果処理部５ｅによってなされる。 In the control unit 1 and the image processing unit 5, moving image processing is performed based on the comparison result between the still image and the moving image as described above. An example of the moving image processing based on the comparison result between the still image and the moving image is shown in FIG. FIG. 6A shows image processing for a moving image when the classification unit 5c determines that the still image has a face and is alone. If there is motion in the video, fade in and fade out to blur the beginning and end of the motion, and if there is no motion, zoom in to make the facial expression visible. Yes. In the figure, “moving image 1” means a moving image before still image shooting, and “moving image 2” means a moving image after still image shooting. As described above, typical effects are illustrated here, but other effects such as exposure change and blurring effect may be used together. Such processing is performed by the effect processing unit 5e of the image processing unit 5.
図６（ｂ）は分類部５ｃによって静止画に顔があり、かつ二人以上と判定された場合における動画に対する画像処理を示す。動画に動きが有る場合には、一人の場合と同様、動きの始まりや終わりをぼかすように、フェードインやフェードアウトの処理を行っている。また、動きがない場合には、各人の顔の表情が分かるように、スキャンを行っている。 FIG. 6B shows image processing for a moving image when the classification unit 5c has a face in the still image and it is determined that there are two or more people. When there is a motion in the moving image, fade-in and fade-out processing is performed so as to blur the start and end of the motion as in the case of one person. When there is no movement, scanning is performed so that the facial expressions of each person can be understood.
図６（ｃ）は分類部５ｃによって静止画に顔がないと判定された場合であり、これは風景の可能性が高い。そこで、動画に動きが有る場合には、一人の場合と同様、動きの始まりや終わりをぼかすように、フェードインやフェードアウトの処理を行っている。また、動きがない場合には、ズームアップを行うようしても良いが、本実施形態においては、色の鮮やかさを引き立てるように、白黒画像からカラー画像に変化するようにしている。なお、図６に示した動画処理の一覧表は例示であり、条件を取り替えてもよく、また他の処理を組み合わせても良い。 FIG. 6C shows a case where the classification unit 5c determines that there is no face in the still image, which is highly likely to be a landscape. Therefore, when there is a motion in the moving image, fade-in and fade-out processing is performed so as to blur the start and end of the motion as in the case of one person. Further, when there is no movement, zooming up may be performed, but in the present embodiment, a monochrome image is changed to a color image so as to enhance the vividness of the color. Note that the moving image processing list shown in FIG. 6 is an example, and the conditions may be changed or other processing may be combined.
本実施形態においては、静止画の撮影後も連続して動画の撮影を行っている。このため、静止画の撮影後も所定時間（実施形態においては、０．５秒）の間、被写体にカメラ１０を向けていないと、見苦しい画像となってしまう。そこで、本実施形態においては、撮影者に必要以上のストレスをかけさせないようにするために、画面中央に位置する人物２５を自動的に抽出し、人物２１の顔の部分をトリミングして記録するようにしている。 In the present embodiment, a moving image is continuously captured after a still image is captured. For this reason, if the camera 10 is not pointed at the subject for a predetermined time (in the embodiment, 0.5 seconds) even after taking a still image, the image becomes unsightly. Therefore, in the present embodiment, in order to prevent the photographer from applying unnecessary stress, the person 25 located at the center of the screen is automatically extracted, and the face portion of the person 21 is trimmed and recorded. I am doing so.
このトリミングの仕方について、図７および図８を用いて説明する。図７は被写体である人物２５を撮影している様子を示しており、静止画は撮影領域１５ａで撮影され、この後に続く動画は撮影領域１５ｂ、１５ｃで撮影される。このとき、カメラ１０で撮像される画像の内、図８（ａ）は、撮影領域１５ａに対応する画像であり、図８（ｂ）は撮影領域１５ｂに対応する画像であり、図８（ｃ）は撮影領域１５ｃに対応する画像である。 This trimming method will be described with reference to FIGS. FIG. 7 shows a state where a person 25 as a subject is being photographed. A still image is photographed in the photographing region 15a, and a subsequent moving image is photographed in the photographing regions 15b and 15c. At this time, among images captured by the camera 10, FIG. 8A is an image corresponding to the imaging region 15a, FIG. 8B is an image corresponding to the imaging region 15b, and FIG. ) Is an image corresponding to the imaging region 15c.
静止画の撮影領域１５ａに対応する図８（ａ）の画像は、そのまま図８（ｄ）に示すように記録されるが、動画の撮影領域１５ｂに対応する画像は、撮影領域１５ａの画面中央を含むトリミング領域１７ｂ（人物２５顔が中央に存在）、図８（ｅ）に示すように記録され、動画の撮影領域１５ｃに対応する画像は、撮影領域１５ａの画面中央を含むトリミング領域１７ｃが、図８（ｆ）に示すように記録される。ここで、トリミング領域１７ｂ、１７ｃのアスペクト比は、静止画のアスペクト比と変えても良いが、同じアスペクト比とすることにより、違和感をなくすことができることから、本実施形態においては、同一アスペクト比としている。 The image of FIG. 8A corresponding to the still image shooting area 15a is recorded as it is as shown in FIG. 8D, but the image corresponding to the moving image shooting area 15b is the center of the screen of the shooting area 15a. A trimming area 17b including the face of the person 25 is present in the center, and an image corresponding to the moving image shooting area 15c recorded as shown in FIG. 8E has the trimming area 17c including the center of the screen of the shooting area 15a. As shown in FIG. 8F, the recording is performed. Here, the aspect ratios of the trimming regions 17b and 17c may be changed from the aspect ratio of the still image. However, by setting the same aspect ratio, a sense of incongruity can be eliminated. It is said.
このように、撮影者が撮影領域１５ａ〜１５ｃに構図を変更しても、静止画の画面の中央部分に対応するトリミング領域１７ｂ、１７ｃの画像データが記録部６に記録される。撮影者が、静止画撮影終了後、安心し、無意識のうちに撮影領域１５ｂ、１５ｃに構図を変えても、画面中央部分がトリミングされて記録される。顔部分のみをトリミングして使用することにより、被写体の表情変化を捉えるための動画表現を行うことができる。つまり、図８（ｄ）〜（ｆ）のように、画像が遷移する中で、被写体がリラックスした表情になる過程を記録することができ、思い出を喚起することができる。 As described above, even if the photographer changes the composition to the shooting areas 15 a to 15 c, the image data of the trimming areas 17 b and 17 c corresponding to the central portion of the still image screen is recorded in the recording unit 6. Even if the photographer is relieved after the still image is photographed and unconsciously changes the composition to the photographing regions 15b and 15c, the center portion of the screen is trimmed and recorded. By trimming and using only the face portion, it is possible to perform moving image expression for capturing changes in the expression of the subject. That is, as shown in FIGS. 8D to 8F, it is possible to record a process in which the subject becomes a relaxed facial expression while the image transitions, and to recall memories.
なお、図７および図８を用いて説明したトリミング処理は、制御部１内の構図変化判定部１ａおよびトリミング部１ｂによって実行される。すなわち、構図変化判定部１ａは撮影領域１５ａ〜１５ｃに変化したことを判定すると、トリミング部１ｂが判定結果に基づいてトリミング処理を行う。このトリミング処理された画像データは、前述の仮記録部５ａに送られ、上述の動画の画像処理が実行される。すなわち、仮記録部５ａの各メモリに仮記録された画像データに対して、トリミング１ｂによってトリミング処理を行い、同じメモリに再度記録させ、その結果を動画圧縮する。 The trimming process described with reference to FIGS. 7 and 8 is executed by the composition change determination unit 1a and the trimming unit 1b in the control unit 1. In other words, when the composition change determination unit 1a determines that the photographing regions 15a to 15c have been changed, the trimming unit 1b performs a trimming process based on the determination result. The trimmed image data is sent to the temporary recording unit 5a, and the above-described moving image processing is executed. That is, the image data temporarily recorded in each memory of the temporary recording unit 5a is subjected to trimming processing by the trimming 1b, recorded again in the same memory, and the result is compressed into a moving image.
次に、本実施形態に係わるカメラ１０の動作を図９に示すカメラ制御のフローチャートを用いて説明する。カメラ１０がパワーオンとなり起動すると、図９に示すフローがスタートする。スタートすると、まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０には、撮影モードと再生モード等が備えられており、操作部９の操作状態に基づいて撮影者のモード選択状態を判定する。 Next, the operation of the camera 10 according to the present embodiment will be described with reference to the camera control flowchart shown in FIG. When the camera 10 is powered on and activated, the flow shown in FIG. 9 starts. When starting, it is first determined whether or not the camera is in shooting mode (S1). The camera 10 includes a shooting mode, a playback mode, and the like, and determines the mode selection state of the photographer based on the operation state of the operation unit 9.
ステップＳ１における判定の結果、撮影モードでなかった場合には、撮影モード以外のモードを実行する。ここでは、再生モード等の他のモードを実行するが、詳しい説明を省略する。ステップＳ１における判定の結果、撮影モードであった場合には、撮像および表示を行う（Ｓ２）。このステップでは、撮像部２によって取得した画像データについて画像処理部５において画像処理し、表示部８にライブビュー表示を行う。撮影者がライブビュー表示を見ながら構図やシャッタチャンスを決定することができる。 If the result of determination in step S <b> 1 is not shooting mode, a mode other than shooting mode is executed. Here, although other modes, such as reproduction mode, are performed, detailed explanation is omitted. If the result of determination in step S1 is shooting mode, imaging and display are carried out (S2). In this step, the image processing unit 5 performs image processing on the image data acquired by the imaging unit 2 and performs live view display on the display unit 8. The photographer can determine the composition and the photo opportunity while viewing the live view display.
続いて、連続撮影の仮記録を行う（Ｓ３）。ここでは、撮像部２から画像データを所定のタイミング繰り返し取得し、この取得した画像データを仮記録部５ａのメモリ（−ｎ）〜メモリ（−１）に順次、仮記録する。ここで記録される動画の画像データの画素数等は、静止画の画像データに比較した場合、同等でも良いが、一般に動画の画素数は静止画ほどの数を要求されないことから、静止画に比較し、低画素でも良い。 Subsequently, temporary recording of continuous shooting is performed (S3). Here, image data is repeatedly acquired at a predetermined timing from the imaging unit 2, and the acquired image data is temporarily recorded sequentially in the memory (−n) to the memory (−1) of the temporary recording unit 5a. The number of pixels of the image data of the moving image recorded here may be equal when compared with the image data of the still image. However, since the number of pixels of the moving image is generally not required to be as many as the still image, In comparison, low pixels may be used.
連続撮影仮記録を開始すると、次に撮影か否かの判定を行う（Ｓ４）。ここでは、操作部９のレリーズ釦が操作されたか否かを判定する。この判定の結果、撮影と判定されなかった場合には、撮影・表示および連続撮影仮記録を続行したままで、次に、０．５秒前の画像が有るか否かの判定を行う（Ｓ５）。本実施形態においては、静止画撮影前の所定時間、ここでは０．５秒の間、動画を仮記録しており、０．５秒より前の画像が有る場合には削除している。このステップＳ５においては、連続撮影仮記録を開始してから０．５秒を経過した場合には、０．５秒前の画像が有ると判定する。 When continuous shooting temporary recording is started, it is next determined whether or not shooting is performed (S4). Here, it is determined whether or not the release button of the operation unit 9 has been operated. As a result of this determination, if it is not determined that the image is captured, it is determined whether or not there is an image of 0.5 seconds before, while continuing the image capturing / display and the temporary recording temporary recording (S5). ). In the present embodiment, a moving image is temporarily recorded for a predetermined time before still image shooting, here 0.5 seconds, and is deleted when there is an image before 0.5 seconds. In step S5, when 0.5 seconds have elapsed since the start of continuous shooting temporary recording, it is determined that there is an image 0.5 seconds before.
ステップＳ５における判定の結果、０．５秒前の画像が有る場合には、対象画像の削除を行う（Ｓ６）。ここでは、メモリ（−ｎ）〜メモリ（−１）内に仮記録されている画像の内、０．５秒より前の画像を削除し、直近の画像がメモリ（−１）に仮記録されるように、記録位置の変更を行う。この対象画像の削除を行うと、またはステップＳ５における判定の結果、０．５秒前の画像がなかった場合には、ステップＳ１に戻る。 If the result of determination in step S5 is that there is an image 0.5 seconds before, the target image is deleted (S6). Here, among the images temporarily recorded in the memory (−n) to the memory (−1), the image before 0.5 seconds is deleted, and the latest image is temporarily recorded in the memory (−1). As described above, the recording position is changed. If the target image is deleted or if the result of determination in step S5 is that there is no image 0.5 seconds ago, the process returns to step S1.
ステップＳ４における判定の結果、撮影であった場合には、静止画撮影および記録を行う（Ｓ１１）。このステップでは、撮像部２から出力された画像データを仮記録部５ａ中のメモリ０に仮記録し、静止画圧縮部５ｂにおいて圧縮処理した後、記録部６に静止画の画像データを記録する。 If the result of determination in step S4 is shooting, still image shooting and recording are performed (S11). In this step, the image data output from the imaging unit 2 is temporarily recorded in the memory 0 in the temporary recording unit 5a, and after being compressed in the still image compression unit 5b, still image data is recorded in the recording unit 6. .
続いて、画面特徴判定を行う（Ｓ１２）。ここでは、静止画の画像データを用いて分類部５ｃにおいて、顔があるか否か、また顔があるとしたら一人か複数か否か等について画面の特徴の判定を行う。なお、この画面特徴判定は、ステップＳ２において、撮像を行うたびに、その時取得した画像データを用いて画面特徴判定を行うようにしてもよい。 Subsequently, screen feature determination is performed (S12). Here, using the image data of the still image, the classification unit 5c determines whether or not there is a face, and if there is a face, whether or not there is one or a plurality of screen characteristics. Note that this screen feature determination may be performed using the image data acquired at that time every time imaging is performed in step S2.
次に、連続撮影の仮記録を行う（Ｓ１３）。ステップＳ３においては撮影前の動画の仮記録であったが、ここでは撮影後の動画の画像データを仮記録部５ａのメモリ１〜メモリｎに順次、仮記録する。連続撮影の仮記録を行うと、次に、撮影後に連続撮影を開始してから所定時間、ここでは０．５秒経過したか否かの判定を行う（Ｓ１４）。この判定の結果、０．５秒が経過していなかった場合には、ステップＳ１３に戻り、連続撮影を続行する。 Next, temporary recording of continuous shooting is performed (S13). In step S3, the moving image is temporarily recorded before shooting. Here, the image data of the moving image after shooting is temporarily recorded in the memories 1 to n of the temporary recording unit 5a sequentially. When the continuous recording of the continuous shooting is performed, it is next determined whether or not a predetermined time, in this case, 0.5 seconds has elapsed since the continuous shooting was started after the shooting (S14). If 0.5 second has not elapsed as a result of this determination, the process returns to step S13 to continue continuous shooting.
ステップＳ１４における判定の結果、０．５秒が経過した場合には、次に、連続撮影を終了し（Ｓ１５）、静止画・動画判定を行う（Ｓ２１）。ここでは、図６を用いて説明したように、静止画の特徴（顔の有無、一人か複数か）と、撮影前後の動画の比較（動きの有無）について判定を行い、撮影前の動画と撮影後の動画についてそれぞれ付与する効果を決定する。 If 0.5 second has passed as a result of the determination in step S14, then the continuous shooting is terminated (S15), and still image / moving image determination is performed (S21). Here, as described with reference to FIG. 6, a determination is made about the still image characteristics (whether there is a face, one or more) and a comparison between moving images before and after shooting (moving), Determine the effect to be given to each video after shooting.
続いて、静止画・動画判定で決定した撮影前の動画に対して、効果処理部５ｅが効果付与１の画像処理を行い（Ｓ２２）、この画像処理された画像データを記録部６に記録する（Ｓ２３）。また、静止画・動画判定で決定した撮影後の動画に対して、効果処理部５ｅが効果付与２の画像処理を行い（Ｓ２４）、この画像処理された画像データを記録部６に記録する（Ｓ２５）。 Subsequently, the effect processing unit 5e performs the image processing with the effect 1 on the moving image before shooting determined by the still image / moving image determination (S22), and the image processed image data is recorded in the recording unit 6. (S23). Further, the effect processing unit 5e performs image processing of effect imparting 2 on the captured moving image determined by the still image / moving image determination (S24), and the image processed image data is recorded in the recording unit 6 (S24). S25).
静止画撮影後の動画２の記録を行うと、次に、静止画と動画の対応関係を記録する（Ｓ２６）。一般に静止画と動画の画像ファイルは別々に構成される場合が多いことから、接続データ部５ｇによって、静止画撮影前の動画、静止画、静止画撮影後の動画の対応関係を記録しておく。対応関係を記録すると、ステップＳ１に戻る。 Once the moving image 2 after the still image is recorded, the correspondence between the still image and the moving image is recorded (S26). In general, image files of still images and moving images are often configured separately, so the connection data section 5g records the correspondence between the moving image before still image shooting, the still image, and the moving image after still image shooting. . When the correspondence is recorded, the process returns to step S1.
次に、ステップＳ２２、またはステップＳ２４において、効果付与１、２を行う場合であって、その効果が図５を用いて説明したスキャンの場合の動作について、図１０に示すフローチャートを用いて説明する。スキャンのフローに入ると、まず各部の比較を行う（Ｓ３１）。顔検出部２ａによって顔の位置と大きさが検出され、この検出結果を用いて各顔の位置と大きさを比較する。 Next, the operation in the case of performing the effect application 1 or 2 in step S22 or step S24 and the effect is the scan described with reference to FIG. 5 will be described with reference to the flowchart shown in FIG. . If the scan flow is entered, each part is first compared (S31). The face detection unit 2a detects the position and size of the face, and compares the position and size of each face using this detection result.
続いて、顔の平均の大きさＦＡを求める（Ｓ３２）。前述したように、ステップＳ３１において、顔の大きさを比較しており、このときの顔の大きさの平均を求め、この平均値を大きさＦＡとする。この大きさＦＡの大きさの枠を決める（Ｓ３３）。この枠は、図５のトリミング枠２２ａ〜２２ｃに対応し、画像データから各顔を切り出す際の枠となる。なお、トリミング枠２２ａ〜２２ｃは、顔の大きさに合わせて変化させても良いが、本実施形態においては、スキャンを再生表示する際に、トリミング枠の大きさが変化すると見苦しいことから、顔の平均の大きさで統一することにした。このような処理によって、ある範囲だけをスキャンしていくような効果が得られるが、人物の顔が切れる場合がある。これを避けたい場合には、設定によって、一番大きな顔に合わせてトリミング枠を決めるようにしても良い。 Subsequently, an average face size FA is obtained (S32). As described above, in step S31, the face sizes are compared, the average of the face sizes at this time is obtained, and this average value is set as the size FA. A frame of the size FA is determined (S33). This frame corresponds to the trimming frames 22a to 22c in FIG. 5 and serves as a frame when each face is cut out from the image data. The trimming frames 22a to 22c may be changed according to the size of the face. However, in the present embodiment, when the size of the trimming frame is changed when the scan is reproduced and displayed, We decided to unify with the average size. Such processing provides an effect of scanning only a certain range, but the face of a person may be cut off. If it is desired to avoid this, the trimming frame may be determined according to the largest face by setting.
次に、右端と左端の顔中心位置の判定を行い（Ｓ３４）、起点と終点を決定する（Ｓ３５）。ここでは、顔検出部２ａによって検出された顔の内、一番右側の顔と一番左側の顔の中心位置を求め、これらの顔の中心位置を起点と終点とする。続いて、起点から終点に枠を移動し、そのときの枠内の画像をトリミングする（Ｓ３６）。ここでは、右端または左端から他端に向けて、図４（ｂ）の静止画撮影後の動画のように、顔の部分をトリミングした画像が流れるように変化する。このスキャンの起点と終点の間にある顔は一部欠ける可能性があるが、動画の不連続性を防止し、動画がスムーズに変化するように画像処理を行っている。スキャンが終点に達すると、このフローから元のフローに戻る。 Next, the face center positions of the right end and the left end are determined (S34), and the start point and end point are determined (S35). Here, the center positions of the rightmost face and the leftmost face among the faces detected by the face detection unit 2a are obtained, and the center positions of these faces are set as the start point and the end point. Subsequently, the frame is moved from the start point to the end point, and the image in the frame at that time is trimmed (S36). Here, the image is changed so that an image obtained by trimming the face portion flows from the right end or the left end toward the other end, like a moving image after still image shooting in FIG. Although there is a possibility that a part of the face between the starting point and the ending point of this scan may be missing, discontinuity of the moving image is prevented and image processing is performed so that the moving image changes smoothly. When the scan reaches the end point, the flow returns to the original flow.
ステップＳ２２の効果付与１およびステップＳ２４の効果付与２では、スキャン以外にも、フェードイン・フェードアウト、ズームイン・ズームアウト等の画像処理を行うが、公知の画像処理であることから、詳しい説明を省略する。 In effect imparting 1 in step S22 and effect imparting 2 in step S24, image processing such as fade-in / fade-out and zoom-in / zoom-out is performed in addition to scanning, but detailed description is omitted because it is well-known image processing. To do.
以上説明したように、本発明の一実施形態においては、誰でも簡単に撮影できる静止画の前後で撮影者にも被写体にも気付かれることなく連写を行い、このときの画像の判定結果に応じて、連写時の画像に対して異なる画像処理を行うようにしている。このため、変化に富んだ多彩な画像を、誰でも簡単に撮影、または記録することができる。 As described above, in one embodiment of the present invention, continuous shooting is performed before and after a still image that anyone can easily shoot without being noticed by the photographer and the subject. Accordingly, different image processing is performed on images during continuous shooting. Therefore, anyone can easily shoot or record a wide variety of images.
なお、本発明の一実施形態においては、静止画の前後で行う連写（動画撮影）の時間は、０．５秒としたが、これは例示であり、これより長くても良く、また短くても構わない。また、静止画および連写された後画像処理された動画は、直ちに記録部６に記録されたが、記録されることなく、または記録と略同時に表示部８に表示するようにしても構わない。 In the embodiment of the present invention, the continuous shooting (moving image shooting) time before and after the still image is set to 0.5 seconds. However, this is an example, and may be longer or shorter. It doesn't matter. In addition, the still image and the moving image that has been subjected to image processing after continuous shooting are immediately recorded in the recording unit 6, but may be displayed on the display unit 8 without being recorded or substantially simultaneously with the recording. .
さらに、動画の画像処理については、図６にズームアップ・ズームダウン、フェードイン・フェードアウト、スキャン、カラー白黒の例を示したが、判定結果に対して、どのような画像処理を行うかは適宜、変更しても良い。また、１つの処理に限らず、いくつかの処理を組み合わせても良い。さらに、顔の数や動きに基づいて、動画の画像処理を変更していたが、分類分けは顔の数や動きに限らず、顔の表情等、他の条件によって画像処理を変更するようにしても勿論かまわない。 Further, with regard to image processing of moving images, FIG. 6 shows examples of zooming up / down, fading in / fading out, scanning, and color / monochrome, but what kind of image processing is performed on the determination result is appropriately determined. , You may change. Moreover, not only one process but several processes may be combined. Furthermore, video image processing has been changed based on the number and movement of faces, but classification is not limited to the number and movement of faces, and image processing is changed depending on other conditions such as facial expressions. But of course it does n’t matter.
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、静止画と動画を撮影可能なカメラであれば、本発明を適用することができる。 In the present embodiment, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and may be used for moving images such as video cameras and movie cameras. It may be a camera, or may be a camera built in a mobile phone, a personal digital assistant (PDA), a game machine, or the like. In any case, the present invention can be applied to any camera that can capture still images and moving images.
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１・・・制御部、１ａ・・・画像処理部、１ｂ・・・トリミング部、２・・・撮像部、２ａ・・・顔検出部、３・・・パラメータ設定部、４・・・モーション判定部、５・・・画像処理部、５ａ・・・仮記録部、５ｂ・・・静止画圧縮部、５ｃ・・・分類部、５ｄ・・・動き判定部、５ｅ・・・効果処理部５ｆ・・・動画圧縮部、５ｇ・・・接続データ部、５ｈ・・・時間制御部、６・・・記録部、７・・・パラメータ制御部、８・・・表示部、９・・・操作部、１０・・・カメラ、１１・・・時計部、１５ａ・・・撮影領域、１５ｂ・・・撮影領域、１５ｃ・・・撮影領域、１７ｂ・・・トリミング領域、１７ｃ・・・トリミング領域、２１ａ・・・人物、２１ｂ・・・人物、２１ｃ・・・人物、２２ａ・・・トリミング枠、２２ｂ・・・トリミング枠、２２ｃ・・・トリミング枠、２３ａ・・・移動ライン、２３ｂ・・・移動ライン、２５・・・人物 DESCRIPTION OF SYMBOLS 1 ... Control part, 1a ... Image processing part, 1b ... Trimming part, 2 ... Imaging part, 2a ... Face detection part, 3 ... Parameter setting part, 4 ... Motion Determination unit, 5 ... Image processing unit, 5a ... Temporary recording unit, 5b ... Still image compression unit, 5c ... Classification unit, 5d ... Motion determination unit, 5e ... Effect processing unit 5f: moving image compression unit, 5g: connection data unit, 5h: time control unit, 6 ... recording unit, 7 ... parameter control unit, 8 ... display unit, 9 ... Operation unit, 10 ... camera, 11 ... clock unit, 15a ... shooting area, 15b ... shooting area, 15c ... shooting area, 17b ... trimming area, 17c ... trimming area , 21a ... person, 21b ... person, 21c ... person, 22a ... trimming frame, 22b ... Trimming frame, 22c ··· trimming frame, 23a ··· transfer line, 23b ··· transfer line, 25 ... person
Claims (8)
上記記憶部に記憶された上記画像データに含まれる顔の数と大きさと位置を検出する検出部と、
上記画像データから上記検出部によって検出された数の顔を、上記顔の大きさと位置に応じて切り出す際のトリミング枠を決定する決定部と、
上記決定部によって決定された複数のトリミング枠によって上記画像データから上記顔ごとに順次画像を切り出すトリミング部と、
を有することを特徴とする画像処理装置。 A storage unit for recording a plurality of image data acquired by continuous shooting;
A detection unit that detects the number, size, and position of faces included in the image data stored in the storage unit;
A determination unit that determines a trimming frame when the number of faces detected by the detection unit from the image data is cut out according to the size and position of the face;
A trimming unit that sequentially crops an image for each face from the image data by a plurality of trimming frames determined by the determination unit;
An image processing apparatus comprising:
上記トリミング部は、複数のトリミング枠から起点と終点を決めて順次画像を切出し、
上記表示部は、上記トリミング部によって順次、切り出された画像に基づいてスキャン表示する、
ことを特徴とする請求項１に記載の画像処理装置。 A display unit for displaying an image based on the image data from the storage unit;
The trimming unit determines the start and end points from a plurality of trimming frames, and sequentially cuts out images.
The display unit scans and displays images based on the images sequentially cut out by the trimming unit.
The image processing apparatus according to claim 1.
上記トリミング部は、上記動き判定部による判定結果に基づいて、トリミング処理を決定する、
ことを特徴とする請求項１に記載の画像処理装置。 A motion determination unit that determines the presence or absence of motion of the image data;
The trimming unit determines a trimming process based on a determination result by the motion determination unit.
The image processing apparatus according to claim 1.
上記トリミング部は、上記決定部によって決定された複数のトリミング枠によって上記顔の部分に対応する領域の画像データを順次画像を切り出す、
ことを特徴とする請求項１に記載の画像処理装置。 When the number of faces detected by the detection unit is one, the determination unit determines a plurality of trimming frames corresponding to the face portion according to the change of the composition even if the photographer changes the composition. ,
The trimming unit sequentially crops an image of image data of a region corresponding to the face portion by a plurality of trimming frames determined by the determination unit;
The image processing apparatus according to claim 1.
上記画像データから上記検出ステップによって検出された顔を、上記顔の大きさと位置に応じて切り出す際のトリミング枠を決定する決定ステップと、
上記決定された複数のトリミング枠によって上記画像データから上記顔ごとに順次画像を切り出すトリミング処理を行うトリミング処理ステップと、
を有することを特徴とする画像処理方法。 A detection step of detecting the number, size and position of faces included in the image data stored in the storage unit;
A determination step of determining a trimming frame for cutting out the face detected by the detection step from the image data according to the size and position of the face;
A trimming process step of performing a trimming process of sequentially cutting out images for each face from the image data by the determined plurality of trimming frames;
An image processing method comprising:
上記連写ステップによって取得された上記画像データに含まれる顔の数と大きさと位置を検出する検出ステップと、
上記画像データから上記検出ステップにおいて検出された顔を、上記顔の大きさと位置に応じて切り出す際のトリミング枠を決定する決定ステップと、
上記決定された複数のトリミング枠によって上記画像データから上記顔ごとに順次画像を切り出すトリミング処理を行うトリミング処理ステップと、
を有することを特徴とする撮影方法。 A continuous shooting step of converting a subject image into the image data and continuously acquiring the image data;
A detecting step for detecting the number, size and position of faces included in the image data acquired by the continuous shooting step;
A determination step of determining a trimming frame for cutting out the face detected in the detection step from the image data according to the size and position of the face;
A trimming process step of performing a trimming process of sequentially cutting out images for each face from the image data by the determined plurality of trimming frames;
A photographing method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170962A JP5722399B2 (en) | 2013-08-21 | 2013-08-21 | Image processing apparatus, image processing method, and photographing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170962A JP5722399B2 (en) | 2013-08-21 | 2013-08-21 | Image processing apparatus, image processing method, and photographing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009177250A Division JP5350928B2 (en) | 2009-07-30 | 2009-07-30 | Camera and camera control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013240110A true JP2013240110A (en) | 2013-11-28 |
| JP5722399B2 JP5722399B2 (en) | 2015-05-20 |
Family
ID=49764700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013170962A Expired - Fee Related JP5722399B2 (en) | 2013-08-21 | 2013-08-21 | Image processing apparatus, image processing method, and photographing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5722399B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1051755A (en) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | Screen display controller for video conference terminal equipment |
| JP2006261711A (en) * | 2005-03-15 | 2006-09-28 | Seiko Epson Corp | Image generating apparatus |
| JP2006349943A (en) * | 2005-06-15 | 2006-12-28 | Canon Inc | Method and apparatus for displaying image |
| JP2007074503A (en) * | 2005-09-08 | 2007-03-22 | Omron Corp | Dynamic image editing device |
-
2013
- 2013-08-21 JP JP2013170962A patent/JP5722399B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1051755A (en) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | Screen display controller for video conference terminal equipment |
| JP2006261711A (en) * | 2005-03-15 | 2006-09-28 | Seiko Epson Corp | Image generating apparatus |
| JP2006349943A (en) * | 2005-06-15 | 2006-12-28 | Canon Inc | Method and apparatus for displaying image |
| JP2007074503A (en) * | 2005-09-08 | 2007-03-22 | Omron Corp | Dynamic image editing device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5722399B2 (en) | 2015-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5350928B2 (en) | Camera and camera control method | |
| US8446479B2 (en) | Photographing apparatus | |
| US8471944B2 (en) | Camera and display control method of the same | |
| JP5806623B2 (en) | Imaging apparatus, imaging method, and program | |
| JP5400486B2 (en) | Imaging apparatus and imaging method | |
| JP6242428B2 (en) | Imaging apparatus and imaging method | |
| JP5451197B2 (en) | Imaging device | |
| JP5722399B2 (en) | Image processing apparatus, image processing method, and photographing method | |
| JP5329311B2 (en) | Imaging apparatus, imaging method, playback apparatus, and playback method | |
| JP6013574B2 (en) | Imaging apparatus and imaging method | |
| JP5816732B2 (en) | Imaging apparatus and imaging method | |
| JP5206421B2 (en) | Digital camera, photographing recording method, and photographing control program | |
| JP5637645B2 (en) | Imaging apparatus and imaging method | |
| JP5816733B2 (en) | Imaging apparatus and imaging method | |
| JP5925275B2 (en) | Imaging apparatus and imaging method | |
| JP5695728B2 (en) | Imaging apparatus and imaging method | |
| JP5603978B2 (en) | Imaging apparatus and imaging method | |
| JP3670308B2 (en) | camera | |
| JP2008060661A (en) | Electronic camera | |
| JP5077113B2 (en) | Electronic camera | |
| JP2014207580A (en) | Photographing apparatus | |
| JP2014027691A (en) | Camera, control method of camera, display control device, and display control method | |
| JP2012114549A (en) | Image processing device, imaging device, and image processing program | |
| JP2008053855A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150325 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5722399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |