JP6489260B2

JP6489260B2 - Imaging device

Info

Publication number: JP6489260B2
Application number: JP2018072120A
Authority: JP
Inventors: 佑亮井手
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2018-04-04
Filing date: 2018-04-04
Publication date: 2019-03-27
Anticipated expiration: 2034-05-16
Also published as: JP2018148564A

Description

本発明は、被写体を撮影する撮像装置に関する。 The present invention relates to an imaging apparatus that photographs a subject.

被写体を撮影する主撮像装置の他に、画像の再生時に、液晶画面を閲覧している者を撮影する副撮像装置を備えたデジタルカメラが知られている。このデジタルカメラは、副撮像装置で撮影された閲覧者の画像の笑顔の情報に基づいて、表示画面に表示されている画像のお気に入り度を求めている。（特許文献１） In addition to a main imaging device that captures a subject, a digital camera that includes a sub-imaging device that captures a person who is viewing a liquid crystal screen during image playback is known. This digital camera obtains the favorite degree of the image displayed on the display screen based on the smile information of the image of the viewer photographed by the sub imaging device. (Patent Document 1)

特開２０１２−１５６７５０号公報JP 2012-156750 A

しかし、特許文献１に記載のデジタルカメラでは、撮影者自身が閲覧した場合も閲覧者の画像として区別無く扱われてしまう問題があった。 However, the digital camera described in Patent Document 1 has a problem that it is handled without distinction as a viewer's image even when the photographer browses it.

本発明の一態様による撮像装置は、被写体が撮影された第１画像と、前記被写体の撮影を行った撮影者が撮影された第２画像とを対応付けて記憶する記憶部と、前記記憶部に記憶されている前記第１画像を再生する再生部と、前記再生部で前記第１画像を再生すると、前記第１画像の閲覧者が撮影された第３画像を取得する取得部と、前記第３画像を前記第２画像と区別して前記第１画像に対応付けて前記記憶部に記憶する制御部とを備える。 An imaging apparatus according to an aspect of the present invention includes a storage unit that stores a first image in which a subject is captured and a second image in which a photographer who has captured the subject is captured, and the storage unit A reproduction unit that reproduces the first image stored in the recording unit, an acquisition unit that obtains a third image taken by a viewer of the first image when the reproduction unit reproduces the first image; A control unit that distinguishes the third image from the second image and associates the third image with the first image and stores the third image in the storage unit.

本発明によれば、撮影者の画像と閲覧者の画像を適切に扱うことができる。 According to the present invention, a photographer's image and a viewer's image can be handled appropriately.

撮像装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of an imaging device. 撮像装置の外観斜視図である。It is an external appearance perspective view of an imaging device. 記憶部の記憶状態を示す図である。It is a figure which shows the memory | storage state of a memory | storage part. 撮影時の動作を示すフローチャートである。It is a flowchart which shows the operation | movement at the time of imaging | photography. 再生時に閲覧者を撮影する動作を示すフローチャートである。It is a flowchart which shows the operation | movement which image | photographs a viewer at the time of reproduction | regeneration. 再生時に閲覧者画像を再生する動作を示すフローチャートである。It is a flowchart which shows the operation | movement which reproduces | regenerates a viewer image at the time of reproduction | regeneration. 表示部の表示画面を示す図である。It is a figure which shows the display screen of a display part.

図１は、デジタルカメラとしての撮像装置１の機能構成を示すブロック図である。撮像装置１は、第１撮像部２と、第２撮像部３と、制御部４と、保持検出部５と、操作部６と、表示部７と、音声出力部８と、記憶部９とを備える。 FIG. 1 is a block diagram illustrating a functional configuration of an imaging apparatus 1 as a digital camera. The imaging device 1 includes a first imaging unit 2, a second imaging unit 3, a control unit 4, a holding detection unit 5, an operation unit 6, a display unit 7, an audio output unit 8, and a storage unit 9. Is provided.

第１撮像部２は、撮像光学系２１と、撮像素子２２と、レンズ駆動回路２３とを備えている。撮像光学系２１は、ズームレンズやフォーカスレンズを含む複数のレンズ群で構成され、被写体像を撮像素子２２の受光面に結像させる。なお、図１を簡単にするため、撮像光学系２１を単レンズとして図示している。レンズ駆動回路２３は、制御部４の制御のもと、撮像光学系２１のズームレンズを駆動して焦点距離を調節するとともに、撮像光学系２１のフォーカスレンズを駆動して焦点調節を行う。撮像素子２２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成され、撮像光学系２１により結像した被写体像を撮像して、得られた画像信号を制御部４へ出力する。 The first imaging unit 2 includes an imaging optical system 21, an imaging element 22, and a lens driving circuit 23. The imaging optical system 21 includes a plurality of lens groups including a zoom lens and a focus lens, and forms a subject image on the light receiving surface of the imaging element 22. In order to simplify FIG. 1, the imaging optical system 21 is illustrated as a single lens. Under the control of the control unit 4, the lens driving circuit 23 drives the zoom lens of the imaging optical system 21 to adjust the focal length, and drives the focus lens of the imaging optical system 21 to adjust the focus. The imaging element 22 is configured by, for example, a CCD image sensor or a CMOS image sensor, captures a subject image formed by the imaging optical system 21, and outputs the obtained image signal to the control unit 4.

第２撮像部３は、撮像光学系３１と、撮像素子３２とを備えている。撮像光学系３１は、単焦点のレンズで構成され、被写体像を撮像素子３２の受光面に結像させる。撮像素子３２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成され、撮像光学系３１により結像した被写体像を撮像して、得られた画像信号を制御部４へ出力する。第２撮像部３は、後述するように、第１撮像部２の反対側に設けられ、撮像装置１で撮影中の撮影者や再生している画像の閲覧者を撮影する。 The second imaging unit 3 includes an imaging optical system 31 and an imaging element 32. The imaging optical system 31 is composed of a single-focus lens, and forms a subject image on the light receiving surface of the imaging element 32. The image pickup device 32 is configured by, for example, a CCD image sensor or a CMOS image sensor, picks up a subject image formed by the image pickup optical system 31, and outputs the obtained image signal to the control unit 4. As will be described later, the second imaging unit 3 is provided on the opposite side of the first imaging unit 2 and photographs a photographer who is photographing with the imaging device 1 and a viewer of the image being reproduced.

制御部４は、ＣＰＵおよびその他の周辺回路等により構成され、撮像装置１の全体の制御を行う。制御部４は、撮像素子２２、３２から取得した画像信号から画像データを生成する。制御部４の内部には、図示省略するメモリが設けられ、このメモリには、撮像素子２２、３２からの画像信号を基に取得される画像データを一時的に記憶するために使用される。また、このメモリには、後述するフローチャートで示すプログラムが記憶される。 The control unit 4 includes a CPU and other peripheral circuits, and controls the entire image pickup apparatus 1. The control unit 4 generates image data from the image signals acquired from the imaging elements 22 and 32. A memory (not shown) is provided inside the control unit 4, and this memory is used for temporarily storing image data acquired based on image signals from the image sensors 22 and 32. Further, this memory stores a program shown in a flowchart to be described later.

保持検出部５は、撮影者が撮像装置１を手で保持しているかを検出する。保持検出部５は、例えば、撮像装置１の保持部に設けられたタッチセンサ等である。 The holding detection unit 5 detects whether the photographer is holding the imaging device 1 by hand. The holding detection unit 5 is, for example, a touch sensor or the like provided in the holding unit of the imaging device 1.

操作部６は、撮影者や閲覧者によって操作される種々の入力部材、例えば、電源スイッチ、レリーズボタン、再生ボタンなどにより構成される。操作部６は、各ボタンが操作されると、各操作に応じた操作信号を制御部４へ出力する。 The operation unit 6 includes various input members operated by a photographer or a viewer, for example, a power switch, a release button, a playback button, and the like. When each button is operated, the operation unit 6 outputs an operation signal corresponding to each operation to the control unit 4.

表示部７は、撮像装置１の背面に搭載された液晶モニタ（背面モニタ）等で構成され、撮像素子２２、３２で撮像された画像や各種設定メニューなどが表示される。 The display unit 7 includes a liquid crystal monitor (rear monitor) mounted on the back surface of the imaging device 1 and displays images captured by the image sensors 22 and 32, various setting menus, and the like.

音声出力部８は、制御部４からの指示により、音声合成による音声メッセージを出力する。 The voice output unit 8 outputs a voice message by voice synthesis according to an instruction from the control unit 4.

記憶部９は、後述する被写体画像、撮影者画像、閲覧者画像などを記憶する。制御部４は、撮像素子２２、３２から取得した画像信号に対して所定の画像処理を行って静止画像データを生成し、ＪＰＥＧなどの所定の方式により圧縮処理を施して、被写体画像、撮影者画像、閲覧者画像などを記憶部９に記録する。 The storage unit 9 stores a subject image, a photographer image, a viewer image, and the like, which will be described later. The control unit 4 performs predetermined image processing on the image signals acquired from the image sensors 22 and 32 to generate still image data, performs compression processing by a predetermined method such as JPEG, and performs subject image and photographer shooting. Images, browser images, etc. are recorded in the storage unit 9.

図２は、撮像装置１の外観斜視図である。撮像装置１の前面には、第１撮像部２が配置されている。撮像装置１の上面にはレリーズボタン６ａが設けられている。撮像装置１の背面には、第２撮像部３、表示部７、再生モード切替ボタン６ｂ、識別情報切替ボタン６ｃ、各種設定の為の十字キー６ｄ、音声メッセージを出力するスピーカ８ａが配置されている。撮像装置１の前面側部の保持部にはタッチセンサ５ａが設けられている。 FIG. 2 is an external perspective view of the imaging apparatus 1. A first imaging unit 2 is disposed on the front surface of the imaging device 1. A release button 6 a is provided on the upper surface of the imaging apparatus 1. On the rear surface of the imaging apparatus 1, a second imaging unit 3, a display unit 7, a playback mode switching button 6b, an identification information switching button 6c, a cross key 6d for various settings, and a speaker 8a for outputting a voice message are arranged. Yes. A touch sensor 5 a is provided on the holding unit on the front side of the imaging device 1.

撮影者は、撮像装置１を保持して第１撮像部２により被写体を撮影する。この時、撮像装置１を保持していればタッチセンサ５ａに右手が触れた状態になる。そして、撮影者が撮像装置１の背面側に位置していれば、第２撮像部３により撮影者を撮影する。また、撮影終了後に、閲覧者が撮像装置１を保持して画像の再生を行って、表示部７に表示されている画像を閲覧している時に、第２撮像部３により閲覧者を撮影する。 The photographer holds the imaging device 1 and photographs the subject by the first imaging unit 2. At this time, if the imaging device 1 is held, the right hand touches the touch sensor 5a. If the photographer is located on the back side of the image pickup apparatus 1, the second image pickup unit 3 photographs the photographer. In addition, after the photographing is finished, the viewer holds the imaging device 1 and reproduces the image, and when the image displayed on the display unit 7 is browsed, the second imaging unit 3 photographs the viewer. .

図３は、記憶部９の記憶状態を示す図である。被写体画像９ａに対応付けて、撮影者画像９ｂ、閲覧者画像９ｃ、識別情報９ｄ、評価値９ｅが記憶される。被写体画像９ａは、撮影者がレリーズボタン６ａを操作して第１撮像部２により撮影した被写体の画像である。撮影者画像９ｂは、撮影者が第１撮像部２により被写体を撮影している時に、第２撮像部３により撮影された撮影者の画像である。 FIG. 3 is a diagram illustrating a storage state of the storage unit 9. A photographer image 9b, a viewer image 9c, identification information 9d, and an evaluation value 9e are stored in association with the subject image 9a. The subject image 9a is an image of a subject photographed by the first imaging unit 2 by operating the release button 6a by the photographer. The photographer image 9 b is an image of the photographer photographed by the second image capturing unit 3 when the photographer is photographing the subject by the first image capturing unit 2.

閲覧者画像９ｃは、閲覧者が表示部７に表示されている画像を閲覧している時に、第２撮像部３により撮影された閲覧者の画像である。閲覧者画像９ｃには、閲覧者画像９ｃｉ〜９ｃｋと閲覧者画像９ｃｘ〜９ｃｚが記憶される。閲覧者画像９ｃｉ〜９ｃｋは、撮影者自身が写っている画像であり、画像の良好度に基づく評価値が高い順に３枚の画像が記憶されている。閲覧者画像９ｃｘ〜９ｃｚは、撮影者以外の人物が写っている画像であり、画像の良好度に基づく評価値が高い順に３枚の画像が記憶されている。 The browser image 9 c is an image of a browser photographed by the second imaging unit 3 when the viewer is browsing the image displayed on the display unit 7. In the browser image 9c, browser images 9ci to 9ck and browser images 9cx to 9cz are stored. The viewer images 9ci to 9ck are images in which the photographer himself is photographed, and three images are stored in descending order of evaluation values based on the degree of goodness of the images. The viewer images 9cx to 9cz are images in which a person other than the photographer is shown, and three images are stored in descending order of evaluation values based on the image quality.

識別情報９ｄは、撮影者自身が写っている画像か撮影者以外の人物が写っている画像かを指定する識別情報である。具体的には、閲覧者画像９ｃｉ〜９ｃｋにそれぞれ対応して、撮影者自身が写っている画像であることを示す識別情報９ｄとして「１」が記憶され、閲覧者画像９ｃｘ〜９ｃｚにそれぞれ対応して、撮影者以外の人物が写っている画像であることを示す識別情報９ｄとして「０」が記憶されている。 The identification information 9d is identification information for designating whether an image of the photographer himself or an image of a person other than the photographer. Specifically, “1” is stored as identification information 9d indicating that the photographer himself is an image corresponding to each of the viewer images 9ci to 9ck, and corresponds to each of the viewer images 9cx to 9cz. Then, “0” is stored as the identification information 9d indicating that the image includes a person other than the photographer.

評価値９ｅは、閲覧者画像９ｃの良好度を評価した結果の評価値が記憶される。具体的には、閲覧者画像９ｃを解析して、閲覧者画像９ｃ内の笑顔の人数の多さ、顔の大きさ、撮影のブレの少なさ、露光の適切さなどを評価して段階的に数値化して、これを評価値として記憶する。 The evaluation value 9e stores an evaluation value as a result of evaluating the goodness of the browser image 9c. Specifically, the viewer image 9c is analyzed to evaluate the number of smiling faces in the viewer image 9c, the size of the face, the amount of camera shake, the appropriateness of exposure, and the like. And is stored as an evaluation value.

図３では、１枚の被写体画像９ａに対応付けて、撮影者画像９ｂ、閲覧者画像９ｃ、識別情報９ｄ、評価値９ｅが記憶されている状態を図示しているが、被写体画像９ａが複数枚ある場合は、それぞれの被写体画像９ａに対応付けて、撮影者画像９ｂ、閲覧者画像９ｃ、識別情報９ｄ、評価値９ｅがそれぞれ記憶される。 Although FIG. 3 illustrates a state in which a photographer image 9b, a viewer image 9c, identification information 9d, and an evaluation value 9e are stored in association with one subject image 9a, there are a plurality of subject images 9a. When there are images, a photographer image 9b, a viewer image 9c, identification information 9d, and an evaluation value 9e are stored in association with each subject image 9a.

以下、本実施の形態における撮像装置１の動作を、図４〜図６に示すフローチャートを参照して説明する。図４〜図６に示すフローチャートの処理は制御部４内のＣＰＵがフローチャートで示すプログラムを実行することによって行われる。以下の説明で特に明示しない場合は、フローチャートの各ステップの実行主体は制御部４内のＣＰＵである。 Hereinafter, the operation of the imaging apparatus 1 according to the present embodiment will be described with reference to the flowcharts shown in FIGS. The processing in the flowcharts shown in FIGS. 4 to 6 is performed by the CPU in the control unit 4 executing the program shown in the flowcharts. Unless otherwise specified in the following description, the execution subject of each step in the flowchart is the CPU in the control unit 4.

図４は、撮像装置１の撮影時の動作を示すフローチャートである。撮影者は、図２に示す撮像装置１の保持部を保持してタッチセンサ５ａに触れた状態で、第１撮像部２を被写体に向けて撮影の体勢に入る。そして、図４のステップＳ４０１で、制御部４は、レリーズボタン６ａが押下されたかを検出する。レリーズボタン６ａが押下されると、ステップＳ４０２へ進み、制御部４は、第１撮像部２により被写体を撮影する。制御部４は、撮像素子２２から取得した画像信号から被写体画像を生成し、制御部４の内部のメモリに、撮像素子２２からの画像信号を基に取得される被写体画像を一時的に記憶する。 FIG. 4 is a flowchart illustrating an operation at the time of shooting of the imaging apparatus 1. The photographer holds the holding unit of the imaging device 1 shown in FIG. 2 and touches the touch sensor 5a, and enters the shooting posture with the first imaging unit 2 facing the subject. In step S401 in FIG. 4, the control unit 4 detects whether the release button 6a has been pressed. When the release button 6 a is pressed, the process proceeds to step S 402, and the control unit 4 images the subject by the first imaging unit 2. The control unit 4 generates a subject image from the image signal acquired from the image sensor 22 and temporarily stores the subject image acquired based on the image signal from the image sensor 22 in a memory inside the control unit 4. .

次に、ステップＳ４０３へ進み、制御部４は、撮影された被写体画像を記憶部９へ記憶する。具体的には、図３に示すように、被写体画像９ａとして記憶部９へ記憶される。 In step S403, the control unit 4 stores the captured subject image in the storage unit 9. Specifically, as shown in FIG. 3, the subject image 9a is stored in the storage unit 9.

次に、ステップＳ４０４へ進み、制御部４は、第２撮像部３により撮影者を撮影する。第２撮像部３は、図２に示すように、撮像装置１の背面に設けられており、撮像装置１を保持した撮影者の顔を中心に撮影することになる。撮影された撮影者画像は制御部４内のメモリに一時的に記憶される。なお制御部４は、ステップＳ４０４の第２撮像部３による撮影者の撮影と、ステップＳ４０２の第１撮像部２による被写体の撮影と同じタイミングで行うようにしてもよい。 Next, the process proceeds to step S 404, and the control unit 4 photographs the photographer with the second imaging unit 3. As shown in FIG. 2, the second imaging unit 3 is provided on the back surface of the imaging device 1 and shoots mainly on the face of the photographer holding the imaging device 1. The photographed photographer image is temporarily stored in the memory in the control unit 4. Note that the control unit 4 may perform the photographing at the same timing as the photographing of the photographer by the second imaging unit 3 in step S404 and the photographing of the subject by the first imaging unit 2 in step S402.

次に、ステップＳ４０５へ進み、制御部４は、撮影された撮影者画像を解析し、撮影者が撮影されているか判別する。具体的には、撮影者の両眼、鼻、そして口が撮影者画像内に含まれているかを解析し、何れも含まれていれば撮影者が撮影されていると判別する。眼、鼻、口のいずれかが含まれていない場合や、ブレがある場合や、露光が適切でない場合は撮影者が撮影されていないと判別する。撮影者が撮影されていると判別された場合はステップＳ４０６へ進む。 In step S405, the control unit 4 analyzes the photographed photographer image and determines whether the photographer is photographed. Specifically, it is analyzed whether the photographer's eyes, nose, and mouth are included in the photographer image. If all of them are included, it is determined that the photographer is photographed. If any of the eyes, nose, or mouth is not included, if there is blur, or if the exposure is not appropriate, it is determined that the photographer is not photographed. If it is determined that the photographer is photographed, the process proceeds to step S406.

ステップＳ４０６で、制御部４は、ステップＳ４０２で撮影された被写体画像９ａとステップＳ４０４で撮影された撮影者画像９ｂを対応付けて記憶部９へ記憶する。具体的には、図３に示すように、撮影者画像９ｂは被写体画像９ａに対応付けて記憶部９へ記憶される。 In step S406, the control unit 4 stores the subject image 9a captured in step S402 and the photographer image 9b captured in step S404 in association with each other in the storage unit 9. Specifically, as shown in FIG. 3, the photographer image 9b is stored in the storage unit 9 in association with the subject image 9a.

上記ステップＳ４０５で、撮影者が撮影されていないと判別された場合はステップＳ４０７へ進む。ステップＳ４０７で、制御部４は、撮影者が撮影されていないことを示すメッセージを音声出力部８より出力させる。具体的には、音声出力部８より「撮影者が撮影されていません。カメラに対向する位置へ顔を向けてください。」などのメッセージを音声合成によりスピーカ８ａより音声で出力する。または、制御部４は、撮影者画像内に眼、鼻、口のいずれかが含まれていない場合や、ブレがある場合や、露光が適切でない場合等においては、撮影者が撮影されていないことを示すメッセージを表示部７へ表示させるようにしてもよい。また制御部は、撮影者が撮影されていないことを示すメッセージをスピーカ８ａより音声で出力し、かつ、表示部７へ表示させるようにしてもよい。 If it is determined in step S405 that the photographer is not photographed, the process proceeds to step S407. In step S407, the control unit 4 causes the voice output unit 8 to output a message indicating that the photographer is not photographed. Specifically, the voice output unit 8 outputs a message such as “The photographer is not photographed. Please face to the position facing the camera” from the speaker 8a by voice synthesis. Alternatively, the control unit 4 does not photograph the photographer when the photographer image does not include any of eyes, nose, or mouth, when there is a blur, or when the exposure is not appropriate. A message indicating this may be displayed on the display unit 7. Further, the control unit may output a message indicating that the photographer is not photographed by voice from the speaker 8 a and display the message on the display unit 7.

次に、ステップＳ４０８へ進み、制御部４は、撮影者が撮像装置１を保持しているかを検出する。具体的には、図２に示すように、撮像装置１の前面側部の保持部に設けられているタッチセンサ５ａを撮影者が触れているかを保持検出部５により検出する。 Next, the process proceeds to step S 408, and the control unit 4 detects whether the photographer is holding the imaging device 1. Specifically, as shown in FIG. 2, the holding detection unit 5 detects whether the photographer is touching the touch sensor 5 a provided in the holding unit on the front side portion of the imaging device 1.

撮影者が撮像装置１を保持していることが検出された場合は、ステップＳ４０４へ戻り、第２撮像部３により撮影者を撮影する。すなわち、撮影者が撮像装置１を保持している間は、撮影者が撮影されるまで撮影を繰り返す。これにより、第１撮像部２による被写体の撮影に対応して、第２撮像部３により撮影者を撮影することができる。 When it is detected that the photographer is holding the imaging device 1, the process returns to step S 404 and the second image capturing unit 3 captures the photographer. That is, while the photographer is holding the imaging device 1, the photographing is repeated until the photographer is photographed. Accordingly, the photographer can be photographed by the second imaging unit 3 in response to the photographing of the subject by the first imaging unit 2.

ステップＳ４０８で、撮影者が撮像装置１を保持していることが検出されなかった場合は、ステップＳ４０９へ進む。ステップＳ４０９では、制御部４は、撮影者が撮影されなかったことを示すメッセージを音声出力部８より出力させる。具体的には、音声出力部８より「撮影者が撮影できませんでした。」などのメッセージを音声合成によりスピーカ８ａより音声で出力する。 If it is not detected in step S408 that the photographer is holding the imaging device 1, the process proceeds to step S409. In step S409, the control unit 4 causes the voice output unit 8 to output a message indicating that the photographer has not been photographed. Specifically, a message such as “The photographer could not shoot” is output from the audio output unit 8 by voice synthesis from the speaker 8a.

なお、撮影者が撮影されなかった場合は、別途、手動操作により、第２撮像部３により撮影者を撮影して、この撮影者画像９ｂを被写体画像９ａに対応付けて記憶部９へ記憶するようにしてもよい。具体的には、操作部６で、第２撮像部３による撮影者の撮影モードに設定する。そして、対応付ける被写体画像９ａを表示部７に表示した状態でレリーズボタン６ａを押下して第２撮像部３により撮影者を撮影する。 If the photographer is not photographed, the photographer is photographed by the second imaging unit 3 by manual operation, and the photographer image 9b is associated with the subject image 9a and stored in the storage unit 9. You may do it. Specifically, the operation unit 6 sets the photographing mode of the photographer by the second imaging unit 3. Then, with the subject image 9 a to be associated displayed on the display unit 7, the release button 6 a is pressed and the second imaging unit 3 captures the photographer.

以上の撮影動作により、被写体が撮影される毎に、撮影者の撮影者画像９ｂを被写体画像９ａに対応付けて記憶部９に順次記憶する。 With the above photographing operation, every time a subject is photographed, the photographer image 9b of the photographer is sequentially stored in the storage unit 9 in association with the subject image 9a.

次に被写体画像９ａを再生する場合の動作を図５、図６に示すフローチャートを参照して説明する。 Next, the operation for reproducing the subject image 9a will be described with reference to the flowcharts shown in FIGS.

被写体画像９ａを再生するには、図１に示す操作部６を操作して、被写体画像９ａのサムネイル画像を表示部７に一覧表示させ、サムネイル画像を十字キー６ｄなどの操作により指定して、再生する被写体画像９ａを決定する。被写体画像９ａを再生するにあたって、図２に示す再生モード切替ボタン６ｂを操作して再生モードを指定する。再生モード切替ボタン６ｂは押圧する毎に第１再生モードと第２再生モードを切り替える。第１再生モードは、被写体画像９ａを再生すると共に、閲覧者を撮影するモードである。第２再生モードは、被写体画像９ａを再生すると共に、閲覧者画像を再生するモードである。 In order to reproduce the subject image 9a, the operation unit 6 shown in FIG. 1 is operated to display a list of thumbnail images of the subject image 9a on the display unit 7, and the thumbnail images are designated by the operation of the cross key 6d. The subject image 9a to be reproduced is determined. When the subject image 9a is reproduced, the reproduction mode is designated by operating the reproduction mode switching button 6b shown in FIG. Each time the playback mode switching button 6b is pressed, the playback mode switching button 6b switches between the first playback mode and the second playback mode. The first reproduction mode is a mode in which the subject image 9a is reproduced and the viewer is photographed. The second reproduction mode is a mode in which the subject image 9a is reproduced and the viewer image is reproduced.

図５は、再生時に閲覧者を撮影する動作を示すフローチャートである。
再生モード切替ボタン６ｂを操作して、被写体画像９ａを再生すると共に、閲覧者を撮影する第１再生モードに切り替える。ステップＳ５０１では、制御部４は、再生が指定された被写体画像９ａを記憶部９より読み出して表示部７へ再生表示する。この場合、制御部４は、記憶部９に記憶されている被写体画像９ａを再生する再生部として機能する。 FIG. 5 is a flowchart showing an operation of photographing a viewer during reproduction.
The reproduction mode switching button 6b is operated to reproduce the subject image 9a and switch to the first reproduction mode for photographing the viewer. In step S501, the control unit 4 reads the subject image 9a designated for reproduction from the storage unit 9 and reproduces and displays it on the display unit 7. In this case, the control unit 4 functions as a playback unit that plays back the subject image 9 a stored in the storage unit 9.

次のステップＳ５０２では、制御部４は、第２撮像部３により閲覧者を撮影して閲覧者画像を取得する。閲覧者は、表示部７に再生されている被写体画像９ａを、表示部７に正対して閲覧しており、そのため表示部７に並設されている第２撮像部３により閲覧者が撮影される。取得した閲覧者画像は制御部４内のメモリに一時的に記憶される。ステップＳ５０２における制御部４は、被写体画像９ａの閲覧者を第２撮像部３で撮影して閲覧者画像を取得する取得部として機能する。 In the next step S502, the control unit 4 captures a viewer image by photographing the viewer with the second imaging unit 3. The viewer browses the subject image 9a reproduced on the display unit 7 in front of the display unit 7, so that the viewer is photographed by the second imaging unit 3 provided in parallel with the display unit 7. The The acquired viewer image is temporarily stored in the memory in the control unit 4. The control unit 4 in step S502 functions as an acquisition unit that captures the viewer image of the subject image 9a by the second imaging unit 3 and acquires the viewer image.

なお、ステップＳ５０２で、良好な閲覧者画像が取得できなかった場合は、取得できるまでステップＳ５０２の撮影を繰り返すようにしてもよい。良好な閲覧者画像とは、閲覧者の両眼、鼻、そして口が閲覧者画像内に含まれているかを解析し、何れも含まれていれば良好であると判別する。眼、鼻、口のいずれかが含まれていない場合や、ブレがある場合や、露光が適切でない場合は良好ではないと判別する。また、閲覧者画像には複数人の閲覧者が含まれてもよい。 In addition, when a favorable browser image cannot be acquired in step S502, the imaging in step S502 may be repeated until it can be acquired. A good viewer image is analyzed by analyzing whether the viewer's eyes, nose, and mouth are included in the viewer image. If any of the eyes, nose, or mouth is not included, if there is blur, or if the exposure is not appropriate, it is determined that it is not good. In addition, a plurality of viewers may be included in the viewer image.

次のステップＳ５０３では、制御部４は、表示部７に再生している被写体画像９ａと対応する撮影者画像９ｂを記憶部９より読み出す。 In the next step S503, the control unit 4 reads from the storage unit 9 a photographer image 9b corresponding to the subject image 9a reproduced on the display unit 7.

そして、ステップＳ５０４では、制御部４は、閲覧者画像は撮影者自身かを判別する。具体的には、ステップＳ５０２で取得した閲覧者画像と、ステップＳ５０３で読み出した撮影者画像９ｂを比較し、閲覧者画像は撮影者自身が写っているかを判別する。閲覧者画像に撮影者だけが写っていれば閲覧者画像は撮影者自身と判別する。閲覧者画像に撮影者以外の人物が写っていれば閲覧者画像は撮影者自身ではないと判別する。閲覧者画像に複数の人物が写っていた場合は、その中に撮影者が含まれていたとしても、閲覧者画像は撮影者自身ではないと判別する。ステップＳ５０４における制御部４は、再生されている被写体画像９ａに対応する撮影者画像９ｂと取得された閲覧者画像とを比較して、閲覧者画像が撮影者自身であるかを判別する判別部として機能する。 In step S504, the control unit 4 determines whether the viewer image is the photographer himself. Specifically, the viewer image acquired in step S502 and the photographer image 9b read in step S503 are compared, and it is determined whether the viewer image shows the photographer himself. If only the photographer appears in the viewer image, the viewer image is determined as the photographer himself. If a person other than the photographer appears in the viewer image, it is determined that the viewer image is not the photographer himself. When a plurality of persons are shown in the viewer image, it is determined that the viewer image is not the photographer itself even if the photographer is included in the image. In step S504, the control unit 4 compares the photographer image 9b corresponding to the reproduced subject image 9a with the acquired viewer image, and determines whether the viewer image is the photographer himself. Function as.

ステップＳ５０４で、閲覧者画像は撮影者自身であると判別された場合は、ステップＳ５０５へ進む。ステップＳ５０５では、制御部４は、閲覧者画像の識別情報を撮影者とする。具体的には、閲覧者画像に対応して、記憶部９の識別情報９ｄとして「１」を記憶するように、制御部４内のメモリに一時的に記憶する。 If it is determined in step S504 that the viewer image is the photographer himself, the process proceeds to step S505. In step S505, the control unit 4 sets the identification information of the viewer image as the photographer. Specifically, “1” is temporarily stored in the memory in the control unit 4 so as to store “1” as the identification information 9 d in the storage unit 9 corresponding to the viewer image.

次のステップＳ５０６では、制御部４は、閲覧者画像の評価を行う。具体的には、閲覧者画像を解析して、閲覧者画像内の笑顔の人数の多さ、顔の大きさ、撮影のブレの少なさ、露光の適切さなどの各要素を評価して段階的に数値化する。例えば、笑顔の人数の多さは、笑顔の人数を数値化する。顔の大きさは、顔が小さいと「１」にし、顔の大きさが両眼、鼻、口が含まれる大きさを最大の「５」として段階的に数値化する。顔の大きさが両眼、鼻、口が含まれない場合は「０」とする。撮影のブレは、ブレがあると「０」とし、ブレが無いと「５」とする。露光の適切さは、露光が適切でなければ「０」とし、露光が適切であれば「５」とする。これらの各要素を合計した値を評価値とし、閲覧者画像に対応して、記憶部９の評価値９ｅとして記憶するように、制御部４内のメモリに一時的に記憶する。 In the next step S506, the control unit 4 evaluates the viewer image. Specifically, it analyzes the viewer image and evaluates each element such as the number of smiling faces in the viewer image, the size of the face, the lack of camera shake, and the appropriateness of exposure. Numerically. For example, the number of smiling faces is quantified. The face size is set to “1” when the face is small, and the face size is digitized step by step with the size including both eyes, nose and mouth being the maximum “5”. When the size of the face does not include both eyes, nose, and mouth, “0” is set. Shooting blur is “0” when there is blur and “5” when there is no blur. The appropriateness of exposure is “0” if exposure is not appropriate, and “5” if exposure is appropriate. A value obtained by summing these elements is used as an evaluation value, and is temporarily stored in the memory in the control unit 4 so as to be stored as the evaluation value 9e of the storage unit 9 corresponding to the viewer image.

次のステップＳ５０７では、制御部４は、記憶部９に既に記憶されている閲覧者画像９ｃｉ〜９ｃｋの各評価値９ｅと上記ステップＳ５０６で求めた評価値を比較し、ステップＳ５０６で求めた評価値が高ければ、評価値が高い順に閲覧者画像９ｃｉ〜９ｃｋ、識別情報９ｄ、および評価値９ｅからなる一連の情報を並び替えて、記憶部９に記憶する。すなわち、既に記憶されていた閲覧者画像９ｃｉ〜９ｃｋと比較して、ステップＳ５０２で取得された閲覧者画像の評価値が高ければ、この閲覧者画像が識別情報、評価値と共に新たに記憶部９に記憶される。閲覧者画像９ｃｉ〜９ｃｋには、撮影者であることを指定する識別情報９ｄとして「１」が対応して記憶される。 In the next step S507, the control unit 4 compares the evaluation values 9e of the viewer images 9ci to 9ck already stored in the storage unit 9 with the evaluation values obtained in step S506, and the evaluation obtained in step S506. If the value is high, a series of information including the viewer images 9ci to 9ck, the identification information 9d, and the evaluation value 9e is rearranged and stored in the storage unit 9 in descending order of the evaluation value. That is, if the evaluation value of the browser image acquired in step S502 is higher than that of the previously stored browser images 9ci to 9ck, the browser image is newly stored together with the identification information and the evaluation value. Is remembered. In the viewer images 9ci to 9ck, “1” is stored correspondingly as the identification information 9d for designating the photographer.

上記ステップＳ５０４で、閲覧者画像は撮影者自身ではないと判別された場合は、ステップＳ５０８へ進む。ステップＳ５０８では、制御部４は、閲覧者画像の識別情報を閲覧者とする。具体的には、閲覧者画像に対応して、記憶部９の識別情報９ｄとして「０」を記憶するように、制御部４内のメモリに一時的に記憶する。 If it is determined in step S504 that the viewer image is not the photographer himself, the process proceeds to step S508. In step S508, the control unit 4 sets the viewer image identification information as the viewer. Specifically, “0” is temporarily stored in the memory in the control unit 4 so as to store “0” as the identification information 9d in the storage unit 9 corresponding to the viewer image.

次のステップＳ５０９では、制御部４は、閲覧者画像の評価を行う。具体的には、閲覧者画像を解析して、閲覧者画像内の笑顔の人数の多さ、顔の大きさ、撮影のブレの少なさ、露光の適切さなどの各要素を評価して段階的に数値化する。そして各要素を合計した値を評価値とし、閲覧者画像に対応して、記憶部９の評価値９ｅとして記憶するように、制御部４内のメモリに一時的に記憶する。 In the next step S509, the control unit 4 evaluates the viewer image. Specifically, it analyzes the viewer image and evaluates each element such as the number of smiling faces in the viewer image, the size of the face, the lack of camera shake, and the appropriateness of exposure. Numerically. And the value which totaled each element is made into an evaluation value, and it memorize | stores temporarily in the memory in the control part 4 so that it may memorize | store as the evaluation value 9e of the memory | storage part 9 corresponding to a viewer image.

次のステップＳ５１０では、制御部４は、記憶部９に既に記憶されている閲覧者画像９ｃｘ〜９ｃｚの各評価値９ｅと上記ステップＳ５０６で求めた評価値を比較し、ステップＳ５０６で求めた評価値が高ければ、評価値が高い順に閲覧者画像９ｃｘ〜９ｃｚ、識別情報９ｄ、および評価値９ｅからなる一連の情報を並び替えて、記憶部９に記憶する。すなわち、既に記憶されていた閲覧者画像９ｃｘ〜９ｃｚと比較して、ステップＳ５０２で取得された閲覧者画像の評価値が高ければ、この閲覧者画像が識別情報、評価値と共に新たに記憶部９に記憶される。閲覧者画像９ｃｘ〜９ｃｚには、閲覧者であることを指定する識別情報９ｄとして「０」が対応して記憶される。 In the next step S510, the control unit 4 compares the evaluation values 9e of the viewer images 9cx to 9cz already stored in the storage unit 9 with the evaluation values obtained in step S506, and the evaluation obtained in step S506. If the value is high, a series of information including the viewer images 9cx to 9cz, the identification information 9d, and the evaluation value 9e are rearranged and stored in the storage unit 9 in descending order of the evaluation value. That is, if the evaluation value of the browser image acquired in step S502 is higher than that of the already stored browser images 9cx to 9cz, the browser image is newly stored together with the identification information and the evaluation value. Is remembered. In the browser images 9cx to 9cz, “0” is stored correspondingly as the identification information 9d for designating the viewer.

なお、撮影者自身が写っている閲覧者画像９ｃｉ〜９ｃｋと撮影者以外の人物が写っている閲覧者画像９ｃｘ〜９ｃｚは夫々３枚の例で説明したが、最も評価値の高い閲覧者画像９ｃを夫々１枚記憶してもよく、夫々２枚以上の複数枚を記憶してもよく、ステップＳ５０２で取得した閲覧者画像９ｃの全てを記憶してもよい。いずれの場合も、閲覧者画像９ｃに対応付けて識別情報９ｄを記憶する。 Note that the viewer images 9ci to 9ck in which the photographer himself is photographed and the viewer images 9cx to 9cz in which a person other than the photographer is photographed have been described with three examples, but the viewer image having the highest evaluation value. One 9c may be stored, two or more of each may be stored, and all of the viewer images 9c acquired in step S502 may be stored. In either case, the identification information 9d is stored in association with the viewer image 9c.

次にステップＳ５１１に進み、制御部４は、操作部６の十字キー６ｄなどの操作により、次の被写体画像９ａの再生指定操作が行われたかを検出する。次の被写体画像９ａの再生指定操作が検出された場合は、ステップＳ５１２に進み、制御部４は、記憶部９の次の被写体画像９ａを再生対象として指定する。その後、ステップＳ５０１に戻り、制御部４は、再生対象として指定された次の被写体画像９ａを記憶部９より読み出して表示部７へ再生表示する。 Next, proceeding to step S511, the control unit 4 detects whether the reproduction designation operation for the next subject image 9a has been performed by the operation of the cross key 6d of the operation unit 6 or the like. When the reproduction designation operation for the next subject image 9a is detected, the process proceeds to step S512, and the control unit 4 designates the next subject image 9a in the storage unit 9 as a reproduction target. Thereafter, the process returns to step S501, and the control unit 4 reads out the next subject image 9a designated as a reproduction target from the storage unit 9, and reproduces and displays it on the display unit 7.

上記ステップＳ５１１で、次の被写体画像９ａの再生指定操作が検出されない場合は、ステップＳ５１３に進む。ステップＳ５１３では、制御部４は、操作部６から再生の終了指定がなされたかを検出し、検出されなければステップＳ５１１に戻る。ステップＳ５１３で、操作部６から再生の終了指定がなされた場合は処理を終了する。 If the reproduction designation operation for the next subject image 9a is not detected in step S511, the process proceeds to step S513. In step S513, the control unit 4 detects whether or not the reproduction end has been designated from the operation unit 6, and if not, returns to step S511. In step S513, if the reproduction end is designated from the operation unit 6, the process is terminated.

以上の再生動作により、被写体画像９ａが再生される毎に、その閲覧者の閲覧者画像９ｃを被写体画像９ａに対応付けて記憶部９に順次記憶する。 With the above reproduction operation, each time the subject image 9a is reproduced, the viewer image 9c of the viewer is sequentially stored in the storage unit 9 in association with the subject image 9a.

図６は、再生時に閲覧者画像を再生する動作を示すフローチャートである。
再生モード切替ボタン６ｂを操作して第２再生モードに切り替える。第２再生モードは、被写体画像を再生すると共に、閲覧者画像を再生するモードである。 FIG. 6 is a flowchart showing an operation of reproducing a viewer image during reproduction.
The playback mode switching button 6b is operated to switch to the second playback mode. The second reproduction mode is a mode for reproducing a subject image and reproducing a viewer image.

また、図２に示す識別情報切替ボタン６ｃは押圧する毎に撮影者の指定と閲覧者の指定を切り替える。識別情報切替ボタン６ｃによる撮影者の指定は、識別情報が撮影者として記憶されている閲覧者画像を再生する指定である。識別情報切替ボタン６ｃによる閲覧者の指定は、識別情報が閲覧者として記憶されている閲覧者画像を再生する指定である。閲覧者画像の再生に先立って、識別情報切替ボタン６ｃが操作されて、識別情報として撮影者もしくは閲覧者が予め指定されている。 Further, each time the identification information switching button 6c shown in FIG. 2 is pressed, the designation of the photographer and the designation of the viewer are switched. The designation of the photographer by the identification information switching button 6c is a designation for reproducing the viewer image in which the identification information is stored as the photographer. The designation of the viewer by the identification information switching button 6c is a designation for reproducing the viewer image in which the identification information is stored as the viewer. Prior to reproduction of the viewer image, the identification information switching button 6c is operated, and the photographer or the viewer is designated in advance as the identification information.

ステップＳ６０１では、制御部４は、再生が指定された被写体画像９ａを記憶部９より読み出して表示部７へ再生表示する。 In step S601, the control unit 4 reads the subject image 9a designated for reproduction from the storage unit 9 and reproduces and displays it on the display unit 7.

次のステップＳ６０２では、制御部４は、再生している被写体画像９ａと対応する閲覧者画像９ｃが記憶部９に記憶されているかを検出する。被写体画像９ａと対応する閲覧者画像９ｃが記憶されていれば、ステップＳ６０３に進む。 In the next step S 602, the control unit 4 detects whether the viewer image 9 c corresponding to the subject image 9 a being reproduced is stored in the storage unit 9. If the viewer image 9c corresponding to the subject image 9a is stored, the process proceeds to step S603.

ステップＳ６０３では、制御部４は、識別情報切替ボタン６ｃの操作による識別情報の指定が撮影者であるか閲覧者であるかを検出する。識別情報の指定が撮影者であればステップＳ６０４に進む。 In step S603, the control unit 4 detects whether the designation of identification information by operating the identification information switching button 6c is a photographer or a viewer. If the identification information is designated as a photographer, the process proceeds to step S604.

ステップＳ６０４では、制御部４は、記憶部９より識別情報９ｄが撮影者として指定されている閲覧者画像９ｃｉ〜９ｃｋを読み出して表示部７に表示する。図７は表示部７の表示画面を示す図である。表示画面の７ａに被写体画像９ａを表示し、７ｂに閲覧者画像９ｃｉ〜９ｃｋの一枚を縮小して表示する。記憶部９には、閲覧者として撮影者自身の閲覧者画像９ｃｉ〜９ｃｋが評価値９ｅの高い順に記憶されており、これを評価値９ｅの高い順に読み出して表示部７へ一定時間表示し、一定時間表示が経過すると次に評価値９ｅの高い閲覧者画像９ｃｉ〜９ｃｋを表示する。したがって、被写体画像９ａを閲覧した撮影者自身の閲覧者画像９ｃｉ〜９ｃｋを被写体画像９ａと合わせて鑑賞することができる。 In step S 604, the control unit 4 reads the browser images 9ci to 9ck in which the identification information 9 d is designated as the photographer from the storage unit 9 and displays it on the display unit 7. FIG. 7 is a diagram showing a display screen of the display unit 7. The subject image 9a is displayed on the display screen 7a, and one of the viewer images 9ci to 9ck is reduced and displayed on 7b. The storage unit 9 stores the viewer images 9ci to 9ck of the photographer himself as a viewer in the order of the high evaluation value 9e, reads them in the order of the high evaluation value 9e, displays them on the display unit 7 for a certain period of time, When the display for a certain period of time has elapsed, the viewer images 9ci to 9ck having the next highest evaluation value 9e are displayed. Therefore, the viewer images 9ci to 9ck of the photographer who viewed the subject image 9a can be viewed together with the subject image 9a.

上記ステップＳ６０３で、識別情報の指定が閲覧者であればステップＳ６０５に進む。ステップＳ６０５では、制御部４は、記憶部９より識別情報９ｄが閲覧者として指定されている閲覧者画像９ｃｉ〜９ｃｋを読み出して表示部７に表示する。図７に示す表示部７の表示画面の７ａに被写体画像９ａを表示し、７ｂに閲覧者画像９ｃｉ〜９ｃｋの一枚を縮小して表示する。記憶部９には、閲覧者として撮影者以外の人物が写っている閲覧者画像９ｃｘ〜９ｃｚが評価値９ｅの高い順に記憶されており、これを評価値９ｅの高い順に読み出して表示部７へ一定時間表示し、一定時間表示が経過すると次に評価値９ｅの高い閲覧者画像９ｃｘ〜９ｃｚを表示する。したがって、被写体画像９ａを閲覧した撮影者以外の閲覧者画像９ｃｉ〜９ｃｋを被写体画像９ａと合わせて鑑賞することができる。 If the identification information is designated as a viewer in step S603, the process proceeds to step S605. In step S605, the control unit 4 reads the browser images 9ci to 9ck in which the identification information 9d is designated as the viewer from the storage unit 9, and displays the read images on the display unit 7. The subject image 9a is displayed on the display screen 7a of the display unit 7 shown in FIG. 7, and one of the viewer images 9ci to 9ck is reduced and displayed on the display 7b. In the storage unit 9, browser images 9 cx to 9 cz in which a person other than the photographer is shown as a viewer are stored in the descending order of the evaluation value 9 e. Displayed for a certain period of time, and when the display for a certain period of time has passed, the viewer images 9cx to 9cz having the next highest evaluation value 9e are displayed. Therefore, the viewer images 9ci to 9ck other than the photographer who viewed the subject image 9a can be viewed together with the subject image 9a.

上記ステップＳ６０２で、被写体画像９ａと対応する閲覧者画像９ｃが記憶部９に記憶されていない場合や、上記ステップＳ６０４、Ｓ６０５の処理後はステップＳ６０６に進む。 In step S602, if the viewer image 9c corresponding to the subject image 9a is not stored in the storage unit 9, or after the processing in steps S604 and S605, the process proceeds to step S606.

ステップＳ６０６では、制御部４は、操作部６の十字キー６ｄなどの操作により、次の被写体画像９ａの再生指定操作が行われたかを検出する。次の被写体画像９ａの再生指定操作が検出された場合は、ステップＳ６０７に進み、制御部４は、記憶部９の次の被写体画像９ａを再生対象として指定する。その後、ステップＳ６０１に戻り、制御部４は、再生対象として指定された次の被写体画像９ａを記憶部９より読み出して表示部７へ再生表示する。 In step S606, the control unit 4 detects whether a reproduction designation operation for the next subject image 9a has been performed by operating the cross key 6d of the operation unit 6 or the like. When the reproduction designation operation for the next subject image 9a is detected, the process proceeds to step S607, and the control unit 4 designates the next subject image 9a in the storage unit 9 as a reproduction target. After that, the process returns to step S601, and the control unit 4 reads the next subject image 9a designated as a reproduction target from the storage unit 9, and reproduces and displays it on the display unit 7.

上記ステップＳ６０６で、次の被写体画像９ａの再生指定操作が検出されない場合は、ステップＳ６０８に進む。ステップＳ６０８では、制御部４は、操作部６から再生の終了指定がなされたかを検出し、検出されなければステップＳ６０１に戻り、以下、同じ被写体画像９ａと閲覧者画像９ｃの再生を繰り返す。ステップＳ６０８で、操作部６から再生の終了指定がなされた場合は処理を終了する。
以上の再生動作により、被写体画像９ａが再生される毎に、閲覧者の閲覧者画像９ｃを被写体画像９ａに対応付けて表示部７に順次再生する。 If the reproduction designation operation for the next subject image 9a is not detected in step S606, the process proceeds to step S608. In step S608, the control unit 4 detects whether or not the reproduction end has been designated from the operation unit 6. If not, the control unit 4 returns to step S601 and repeats the reproduction of the same subject image 9a and viewer image 9c. In step S608, when the end of reproduction is designated from the operation unit 6, the process ends.
Through the above-described reproduction operation, each time the subject image 9a is reproduced, the viewer image 9c of the viewer is sequentially reproduced on the display unit 7 in association with the subject image 9a.

（変形例）
本発明は、以上説明した実施の形態を次のように変形して実施することができる。
（１）第２撮像部３により撮影者画像９ｂと閲覧者画像９ｃを撮影するとして説明した。しかし、第１撮影部２により撮影者画像９ｂと閲覧者画像９ｃを撮影するようにしても良い。表示部７が設置角度を変更可能な表示部である場合、撮影者により、第１撮像部２の反対側に設けられた表示部７の設置角度が変更され、表示部７の表示面を被写体側に向けられた場合には、第１撮像部２により撮影者画像９ｂや閲覧者画像９ｃを撮影するようにする。この場合、撮像装置１は、表示部７の設置角度を検出するセンサーを備えるようにする。制御部４は、センサーにより検出された表示部７の設置角度と、保持検出部５の検出結果との少なくともいずれか一方の検出結果を用いて、撮影者画像９ｂと閲覧者画像９ｃの撮影を第１撮像部２により行うか第２撮像部３により行うかを判断する。 (Modification)
The present invention can be implemented by modifying the embodiment described above as follows.
(1) It has been described that the photographer image 9b and the viewer image 9c are photographed by the second imaging unit 3. However, the photographer image 9b and the viewer image 9c may be photographed by the first photographing unit 2. When the display unit 7 is a display unit that can change the installation angle, the installation angle of the display unit 7 provided on the opposite side of the first imaging unit 2 is changed by the photographer, and the display surface of the display unit 7 is displayed on the subject. When directed to the side, the photographer image 9b and the viewer image 9c are photographed by the first imaging unit 2. In this case, the imaging apparatus 1 includes a sensor that detects the installation angle of the display unit 7. The control unit 4 captures the photographer image 9b and the viewer image 9c using the detection result of at least one of the installation angle of the display unit 7 detected by the sensor and the detection result of the holding detection unit 5. It is determined whether it is performed by the first imaging unit 2 or the second imaging unit 3.

（２）図５のステップＳ５０４で、閲覧者画像は撮影者自身であると判別された場合は、閲覧者画像の識別情報を撮影者として、閲覧者画像９ｃｉ〜９ｃｋを記憶する例で説明した。しかし、閲覧者画像は撮影者自身であると判別された場合は、閲覧者画像９ｃｉ〜９ｃｋを記憶しないようにしてもよい。一方、閲覧者画像は撮影者自身ではないと判別された場合に、閲覧者画像９ｃｘ〜９ｃｚを被写体画像に対応付けて記憶部９に記憶する。この場合は、識別情報を記憶する必要はない。そして被写体画像が再生された場合に、再生された被写体画像と対応する閲覧者画像９ｃｘ〜９ｃｚを記憶部９より読み出して再生する。 (2) In the case where it is determined in step S504 in FIG. 5 that the viewer image is the photographer himself, the description has been given of the example in which the viewer images 9ci to 9ck are stored using the identification information of the viewer image as the photographer. . However, if the viewer image is determined to be the photographer himself, the viewer images 9ci to 9ck may not be stored. On the other hand, when it is determined that the viewer image is not the photographer himself, the viewer images 9cx to 9cz are stored in the storage unit 9 in association with the subject images. In this case, it is not necessary to store identification information. When the subject image is reproduced, the viewer images 9cx to 9cz corresponding to the reproduced subject image are read from the storage unit 9 and reproduced.

（３）記憶部９には、被写体画像９ａに対応付けて、撮影者画像９ｂ、閲覧者画像９ｃ、識別情報９ｄ、評価値９ｅを記憶する例で説明した。しかし、被写体画像９ａにリンク情報を設け、リンク情報によって被写体画像９ａと、撮影者画像９ｂ、閲覧者画像９ｃ、識別情報９ｄ、評価値９ｅとを対応付けるようにしてもよい。 (3) As described above, the storage unit 9 stores the photographer image 9b, the viewer image 9c, the identification information 9d, and the evaluation value 9e in association with the subject image 9a. However, link information may be provided in the subject image 9a, and the subject image 9a may be associated with the photographer image 9b, the viewer image 9c, the identification information 9d, and the evaluation value 9e based on the link information.

（４）第１撮像部２および第２撮像部３で撮影する画像は静止画として説明した。しかし、少なくとも何れか一方は動画であってもよい。例えば、閲覧者を動画で撮影する場合は、第２撮像部３で一定時間撮影した動画あるいは一定のフレーム数撮影した動画と第１撮像部２で撮影した被写体画像とを対応付ける。この場合、被写体画像は静止画であっても良く、動画であってもよい。撮影者を動画で撮影する場合は、制御部４は、被写体を撮影するために撮影者によるレリーズボタン６ａの押下を検出する前に、撮影者の動画の撮影を開始するようにして良い。この場合、制御部４は、撮影者によるレリーズボタン６ａの押下解除を検出するとともに、第２撮像部３による撮影者の動画撮影を終了しても良いし、撮影者によるレリーズボタン６ａの押下解除後の数秒後（たとえば３秒後）に、第２撮像部３による撮影者の動画撮影を終了しても良い。これにより、第１撮像部２による被写体像の撮影前後の撮影者画像の評価値を得ることができる。 (4) The image captured by the first imaging unit 2 and the second imaging unit 3 has been described as a still image. However, at least one of them may be a moving image. For example, when a viewer is photographed as a moving image, a moving image photographed for a certain time by the second imaging unit 3 or a moving image photographed by a certain number of frames is associated with a subject image photographed by the first imaging unit 2. In this case, the subject image may be a still image or a moving image. When the photographer is photographed as a moving image, the control unit 4 may start photographing the photographer's moving image before detecting that the photographer presses the release button 6a in order to photograph the subject. In this case, the control unit 4 may detect the release release of the release button 6a by the photographer, and may end the shooting of the photographer by the second imaging unit 3, or the release release of the release button 6a by the photographer. After a few seconds later (for example, after 3 seconds), the video shooting of the photographer by the second imaging unit 3 may be terminated. Thereby, the evaluation value of the photographer image before and after the photographing of the subject image by the first imaging unit 2 can be obtained.

（５）被写体画像を再生すると共に、閲覧者を撮影する第１再生モードと、被写体画像を再生すると共に、閲覧者画像を再生する第２再生モードとを備えた例で説明した。しかし、第１再生モードと第２再生モードに分けることなく、閲覧者の撮影と、撮影した閲覧者画像の再生とを連続して行うようにしてもよい。 (5) The example provided with the first reproduction mode for reproducing the subject image and photographing the viewer and the second reproduction mode for reproducing the subject image and reproducing the viewer image has been described. However, without dividing into the first reproduction mode and the second reproduction mode, it is possible to continuously perform the photographing of the viewer and the reproduction of the photographed viewer image.

（６）第２撮像部３で撮影された評価値の高い閲覧者画像９ｃを複数枚記憶する例で説明した。しかし、閲覧者が異なれば異なる閲覧者ごとに閲覧者画像９ｃを複数枚記憶するようにしてもよい。具体的には、閲覧者としてＡさん、Ｂさん、Ｃさん、・・を認識し、認識した各閲覧者毎に閲覧者画像９ｃを記憶する。この場合、各閲覧者毎にその閲覧者画像を評価して評価値の高い閲覧者画像９ｃを記憶するようにしてもよい。 (6) The example has been described in which a plurality of browser images 9c having high evaluation values photographed by the second imaging unit 3 are stored. However, if the viewers are different, a plurality of viewer images 9c may be stored for each different viewer. Specifically, Mr. A, Mr. B, Mr. C,... Are recognized as viewers, and a viewer image 9c is stored for each recognized viewer. In this case, the viewer image may be stored for each viewer by evaluating the viewer image.

（７）閲覧者画像９ｃを読み出して表示部７に表示する場合に、図７に示すように、表示画面の７ａに被写体画像９ａを表示し、７ｂに閲覧者画像９ｃを縮小して表示する例で説明した。しかし、操作部６の指示に応じて、７ａに閲覧者画像９ｃを表示し、７ｂに被写体画像９ａを縮小して表示してもよい。また、表示画面の７ａに被写体画像９ａを表示し、操作部６の指示に応じて、表示画面の７ａの被写体画像９ａを閲覧者画像９ｃの表示に切り替えて表示してもよい。いずれの場合も、被写体画像９ａに対応付けて閲覧者画像９ｃを表示するものとする。 (7) When the browser image 9c is read and displayed on the display unit 7, as shown in FIG. 7, the subject image 9a is displayed on the display screen 7a, and the viewer image 9c is reduced and displayed on 7b. Explained with an example. However, in response to an instruction from the operation unit 6, the viewer image 9c may be displayed on 7a and the subject image 9a may be reduced and displayed on 7b. Alternatively, the subject image 9a may be displayed on the display screen 7a, and the subject image 9a on the display screen 7a may be switched to display the viewer image 9c in accordance with an instruction from the operation unit 6. In either case, the viewer image 9c is displayed in association with the subject image 9a.

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）撮像装置は、被写体が撮影された被写体画像と、被写体の撮影を行った撮影者が撮影された撮影者画像とを対応付けて記憶する記憶部９と、記憶部９に記憶されている被写体画像を再生する再生部（制御部４、ステップＳ５０１）と、再生部で被写体画像の再生を行っている場合に、被写体画像の閲覧者が撮影された閲覧者画像を取得する取得部（制御部４、ステップＳ５０２）と、再生されている被写体画像に対応する撮影者画像と取得された閲覧者画像とを比較して、閲覧者画像が撮影者自身ではない場合に、閲覧者画像を被写体画像に対応付けて記憶部９に記憶する制御部４とを備えることを特徴とする。したがって、撮影者自身が閲覧した閲覧者画像を区別することができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The image pickup apparatus stores a subject image obtained by photographing a subject and a photographer image obtained by photographing a photographer who has photographed the subject in association with each other, and is stored in the storage unit 9. A playback unit (control unit 4, step S501) that plays back a subject image, and an acquisition unit that acquires a viewer image taken by a viewer of the subject image when the playback of the subject image is performed by the playback unit ( The control unit 4, step S 502) compares the photographer image corresponding to the subject image being reproduced with the acquired viewer image, and if the viewer image is not the photographer himself, the viewer image is selected. And a control unit 4 that stores the image in the storage unit 9 in association with the subject image. Therefore, it is possible to distinguish the viewer image viewed by the photographer himself.

本発明は、上記の実施の形態に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。 The present invention is not limited to the above-described embodiment, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention as long as the characteristics of the present invention are not impaired. It is. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.

１撮像装置
２第１撮像部
３第２撮像部
４制御部
５保持検出部
６操作部
７表示部
８音声出力部
９記憶部 DESCRIPTION OF SYMBOLS 1 Imaging device 2 1st imaging part 3 2nd imaging part 4 Control part 5 Holding | maintenance detection part 6 Operation part 7 Display part 8 Audio | voice output part 9 Memory | storage part

Claims

被写体が撮影された第１画像と、前記被写体の撮影を行った撮影者が撮影された第２画像とを対応付けて記憶する記憶部と、
前記記憶部に記憶されている前記第１画像を再生する再生部と、
前記再生部で前記第１画像を再生すると、前記第１画像の閲覧者が撮影された第３画像を取得する取得部と、
前記第３画像を前記第２画像と区別して前記第１画像に対応付けて前記記憶部に記憶する制御部とを備える撮像装置。 A storage unit that stores a first image in which a subject is photographed and a second image in which a photographer who has photographed the subject is associated;
A playback unit for playing back the first image stored in the storage unit;
When the first image is reproduced by the reproduction unit, an acquisition unit that acquires a third image taken by a viewer of the first image;
An imaging apparatus comprising: a control unit that distinguishes the third image from the second image and associates the third image with the first image and stores the third image in the storage unit.

請求項１に記載の撮像装置において、
前記制御部は、前記第２画像と前記第３画像とにより前記第２画像と前記第３画像とを区別して前記記憶部に記憶する撮像装置。 The imaging device according to claim 1,
The said control part is an imaging device which distinguishes and stores the said 2nd image and the said 3rd image in the said memory | storage part by the said 2nd image and the said 3rd image.

請求項１または２に記載の撮像装置において、
前記被写体を撮影して前記第１画像を生成する第１撮像部と、
前記撮影者を撮影して前記第２画像を生成する第２撮像部とをさらに備える撮像装置。 The imaging device according to claim 1 or 2,
A first imaging unit that images the subject and generates the first image;
An imaging apparatus further comprising: a second imaging unit that photographs the photographer and generates the second image.

請求項１から３のいずれか一項に記載の撮像装置において、
前記再生部は、再生する前記第１画像に対応する前記第３画像を前記記憶部から読み出して再生する撮像装置。 In the imaging device according to any one of claims 1 to 3,
The imaging device, wherein the reproduction unit reads out and reproduces the third image corresponding to the first image to be reproduced from the storage unit.

請求項１から３のいずれか一項に記載の撮像装置において、
前記制御部は、前記第３画像が前記撮影者でないと、前記第３画像が前記撮影者ではないことを示す第１の識別情報と前記第３画像とを前記第１画像に対応付けて前記記憶部に記憶し、前記第３画像が前記撮影者であると、前記第３画像が前記撮影者であることを示す第２の識別情報と前記第３画像とを前記第１画像に対応付けて前記記憶部に記憶する撮像装置。 In the imaging device according to any one of claims 1 to 3,
When the third image is not the photographer, the control unit associates the first identification information indicating that the third image is not the photographer and the third image with the first image. When the third image is the photographer, the second identification information indicating that the third image is the photographer and the third image are associated with the first image. And an image pickup device stored in the storage unit.

請求項５に記載の撮像装置において、
前記再生部は、前記再生の対象とする前記第１画像を前記記憶部より読み出し、読み出した前記第１画像に前記第１の識別情報が含まれていると、前記撮影者ではない前記第３画像を再生し、前記第２の識別情報が含まれていると、前記撮影者である前記第３画像を再生する撮像装置。 The imaging apparatus according to claim 5,
The reproduction unit reads out the first image to be reproduced from the storage unit, and the first identification information is included in the read first image, the third person who is not the photographer. An imaging apparatus that reproduces an image and reproduces the third image as the photographer when the second identification information is included.

請求項６に記載の撮像装置において、
前記第１の識別情報もしくは前記第２の識別情報を指定する操作部を更に備え、
前記再生部は、前記操作部の操作によって指定された前記第１の識別情報もしくは前記第２の識別情報で指示された前記第３画像を再生する撮像装置。 The imaging device according to claim 6,
An operation unit for designating the first identification information or the second identification information;
The reproduction apparatus is an imaging apparatus that reproduces the third image designated by the first identification information or the second identification information designated by an operation of the operation unit.

請求項１〜７のいずれか一項に記載の撮像装置において、
前記第３画像を評価する評価部を更に備え、
前記制御部は、前記評価部による評価を前記第３画像に対応付けて前記記憶部に記憶する撮像装置。 In the imaging device according to any one of claims 1 to 7,
An evaluation unit for evaluating the third image;
The said control part is an imaging device which matches the evaluation by the said evaluation part with the said 3rd image, and memorize | stores in the said memory | storage part.

請求項８に記載の撮像装置において、
前記評価部は、前記第３画像に含まれる画像の笑顔の人数を前記評価として検出し、
前記制御部は、前記評価の高い前記第３画像を前記記憶部に記憶する撮像装置。 The imaging device according to claim 8,
The evaluation unit detects the number of smiling faces of the image included in the third image as the evaluation;
The said control part is an imaging device which memorize | stores the said 3rd image with high said evaluation in the said memory | storage part.

請求項３に記載の撮像装置において、
前記撮影者が前記撮像装置を保持しているかを検出する保持検出部を更に備え、
前記第２撮像部は、前記保持検出部で前記撮影者が前記撮像装置を保持していることが検出されている間に、前記撮影者を撮影することを特徴とする撮像装置。 The imaging device according to claim 3.
A holding detector that detects whether the photographer holds the imaging device;
The second imaging unit photographs the photographer while the holding detection unit detects that the photographer is holding the imaging device.