JP4702015B2 - Image display apparatus and program - Google Patents

Image display apparatus and program Download PDF

Info

Publication number
JP4702015B2
JP4702015B2 JP2005347785A JP2005347785A JP4702015B2 JP 4702015 B2 JP4702015 B2 JP 4702015B2 JP 2005347785 A JP2005347785 A JP 2005347785A JP 2005347785 A JP2005347785 A JP 2005347785A JP 4702015 B2 JP4702015 B2 JP 4702015B2
Authority
JP
Japan
Prior art keywords
image
face
display
faces
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005347785A
Other languages
Japanese (ja)
Other versions
JP2007156606A (en
Inventor
敬輔 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2005347785A priority Critical patent/JP4702015B2/en
Publication of JP2007156606A publication Critical patent/JP2007156606A/en
Application granted granted Critical
Publication of JP4702015B2 publication Critical patent/JP4702015B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像内から人物の顔を検出して、当該顔を拡大表示する画像表示装置及びプログラムに関する。   The present invention relates to an image display device and a program for detecting a human face from an image and displaying the face in an enlarged manner.

複数の人物が写っている写真画像にあっては、当該画像全体に対して人物の顔の大きさが小さすぎる場合があり、かかる場合に、画像全体を画面に表示すると顔の詳細が見えなくなる虞がある。そこで、画像から人物の顔を検出し、当該顔の位置及び大きさを検出した後、当該顔を含む画像領域をズーム（拡大）表示する画像表示装置が知られている（例えば、特許文献１参照）。
また、画像表示装置は、複数の人物の顔を表示する場合に、一の顔から他の顔へと順次ゆっくりと移動しながら連続的に表示を行うようになっている。
特開２００５−１８２１９６号公報 In the case of a photographic image that contains multiple persons, the face size of the person may be too small for the entire image. In such a case, the details of the face cannot be seen when the entire image is displayed on the screen. There is a fear. Therefore, an image display device that detects a human face from an image, detects the position and size of the face, and zooms (enlarges) an image area including the face is known (for example, Patent Document 1). reference).
Further, when displaying the faces of a plurality of persons, the image display device continuously displays images while slowly moving from one face to another.
JP 2005-182196 A

ところで、上記特許文献１等の方法により画像の表示を適正に行うためには、画像内からの顔の検出を適正に行う必要がある。
しかしながら、顔の検出は高度な画像認識処理を必要とするものであるため、その精度を１００％とすることは困難である。即ち、画像内から全ての顔を検出するためにより多くの顔を検出することができるように顔の判定精度を低くすると、例えば蝋燭などの顔以外の画像領域を誤検出してしまう場合があり、かかる場合に、誤検出された画像領域をズームして長時間表示させると、不自然になってしまうといった問題がある。また、顔以外の画像領域を誤検出することがないように顔の判定精度を高くすると、画像内の全ての顔を検出することができなくなってしまうといった問題が生じることとなる。 By the way, in order to properly display an image by the method described in Patent Document 1 or the like, it is necessary to appropriately detect a face from within the image.
However, since face detection requires advanced image recognition processing, it is difficult to make the accuracy 100%. In other words, if the face determination accuracy is lowered so that more faces can be detected in order to detect all faces in the image, an image area other than the face such as a candle may be erroneously detected. In such a case, there is a problem that if an erroneously detected image area is zoomed and displayed for a long time, it becomes unnatural. Further, if the accuracy of the face determination is increased so that an image area other than the face is not erroneously detected, there arises a problem that all faces in the image cannot be detected.

そこで、本発明の課題は、画像内の複数の人物の顔の表示を適正に行うことができるとともに、顔以外の画像領域の誤検出によって生じる表示内容の不自然さを軽減することができる画像表示装置及びプログラムを提供することである。   Therefore, an object of the present invention is to display images of a plurality of persons in an image properly and to reduce the unnaturalness of display contents caused by erroneous detection of an image area other than the face. A display device and a program are provided.

請求項１に記載の発明の画像表示装置（例えば、図１の撮像装置１００等）は、
複数の人物が表された画像（例えば、図２の写真画像Ｇ等）の画像情報に基づいて、当該画像内から前記複数の人物の顔（例えば、図２の顔Ｆ等）を検出する顔検出手段（例えば、図１の顔検出部３等）と、
前記画像を構成する一部の画像領域（例えば、図４の画像領域Ｒ等）を拡大表示させる拡大表示手段（例えば、図１の表示部７等）と、
前記拡大表示手段により拡大表示される前記画像領域を当該画像内にて連続的に移動させる移動表示手段（例えば、図１の表示部７等）と、
前記顔検出手段により検出された前記顔の各々の位置を検出する位置検出手段（例えば、図１の顔検出部３等）と、
前記位置検出手段により検出された前記複数の顔の各々を通過するように前記移動表示手段によって前記画像領域を移動させる移動軌跡（例えば、図２の移動軌跡Ｌ等）を決定する移動軌跡決定手段（例えば、図１の軌跡決定部４等）と、
前記顔検出手段による顔検出の信頼度が所定の閾値以上であるか否かを判定する信頼度判定手段（例えば、図１の顔検出部３等）と、
前記移動軌跡決定手段により決定された前記移動軌跡に沿って移動表示される前記画像領域のうち、前記顔の各々を含む前記画像領域を静止表示させる静止表示手段（例えば、図１の表示部７等）と、
前記静止表示手段による前記画像領域の静止表示時間を、前記信頼度判定手段により前記所定の閾値未満であると判定された前記信頼度の前記顔に係る前記静止表示時間が、前記所定の閾値以上であると判定された前記信頼度の前記顔に係る前記静止表示時間よりも短くなるか、或いは、略ゼロとなるように決定する静止表示時間決定手段（例えば、図１の静止時間決定部６等）と、
を備えることを特徴としている。 The image display device according to the first aspect of the invention (for example, the imaging device 100 of FIG. 1)
A face for detecting the faces of the plurality of persons (for example, the face F in FIG. 2) from the image based on the image information of the image representing the plurality of persons (for example, the photographic image G in FIG. 2). Detection means (for example, the face detection unit 3 in FIG. 1);
An enlarged display means (for example, the display unit 7 in FIG. 1) for enlarging and displaying a part of the image area (for example, the image area R in FIG. 4) constituting the image;
Moving display means (for example, the display unit 7 in FIG. 1) for continuously moving the image area enlarged and displayed by the enlarged display means in the image;
Position detecting means for detecting the position of each of the faces detected by the face detecting means (for example, the face detecting unit 3 in FIG. 1);
Movement locus determination means for determining a movement locus (for example, movement locus L in FIG. 2) for moving the image area by the movement display means so as to pass through each of the plurality of faces detected by the position detection means. (For example, the locus determination unit 4 in FIG. 1);
Reliability determination means (for example, the face detection unit 3 in FIG. 1) for determining whether or not the reliability of face detection by the face detection means is equal to or higher than a predetermined threshold;
Among the image areas that are moved and displayed along the movement locus determined by the movement locus determination means, a stationary display means (for example, the display unit 7 in FIG. 1) that statically displays the image area including each of the faces. Etc.)
The static display time of the image area by the static display means is equal to or greater than the predetermined threshold for the static display time related to the face having the reliability determined by the reliability determination means to be less than the predetermined threshold. The static display time determining means (for example, the static time determining unit 6 in FIG. 1) determines that the reliability is determined to be shorter than or substantially zero than the static display time related to the face of the reliability. Etc.)
It is characterized by having.

ここで、人物が表された画像としては、例えば、撮像された人物が写っている写真画像や、高精細なコンピュータ・グラフィックス（ＣＧ）により描かれたＣＧ画像等が挙げられる。   Here, examples of the image representing a person include a photographic image showing a captured person, a CG image drawn by high-definition computer graphics (CG), and the like.

請求項２に記載の発明は、請求項１に記載の画像表示装置において、
前記顔検出手段により検出された前記顔の各々の前記画像全体に対する大きさを算出する大きさ算出手段（例えば、図１の顔検出部３等）と、
前記大きさ算出手段により算出された前記複数の顔の各々の大きさに基づいて、当該顔の各々を含む前記画像領域の前記拡大表示手段による拡大率を決定する拡大率決定手段（例えば、図１のズーム倍率決定部５等）と、
を備えることを特徴としている。 The invention according to claim 2 is the image display device according to claim 1,
Size calculation means (for example, the face detection unit 3 in FIG. 1) for calculating the size of each of the faces detected by the face detection means with respect to the entire image;
Based on the size of each of the plurality of faces calculated by the size calculating means, an enlargement ratio determining means for determining an enlargement ratio by the enlarged display means of the image area including each of the faces (for example, FIG. 1 zoom magnification determination unit 5 etc.),
It is characterized by having.

請求項３に記載の発明は、請求項２に記載の画像表示装置において、
前記静止表示時間決定手段は、さらに、前記大きさ算出手段により算出された前記顔の大きさに基づいて、前記静止表示時間を決定することを特徴としている。 The invention according to claim 3 is the image display device according to claim 2,
The still display time determining means is further characterized in that the still display time is determined based on the face size calculated by the size calculating means.

請求項４に記載の発明のプログラムは、
画像表示装置（例えば、図１の撮像装置１００等）に、
複数の人物が表された画像（例えば、図２の写真画像Ｇ等）の画像情報に基づいて、当該画像内から前記複数の人物の顔（例えば、図２の顔Ｆ等）を検出する機能と、
前記画像を構成する一部の画像領域（例えば、図４の画像領域Ｒ等）を拡大表示させる機能と、
拡大表示される前記画像領域を当該画像内にて連続的に移動させる機能と、
検出された前記顔の各々の位置を検出する機能と、
検出された前記複数の顔の各々を通過するように前記画像領域を移動させる移動軌跡（例えば、図２の移動軌跡Ｌ等）を決定する機能と、
顔検出の信頼度が所定の閾値以上であるか否かを判定する機能と、
決定された前記移動軌跡に沿って移動表示される前記画像領域のうち、前記顔の各々を含む前記画像領域を静止表示させる機能と、
前記画像領域の静止表示時間を、前記所定の閾値未満であると判定された前記信頼度の前記顔に係る前記静止表示時間が、前記所定の閾値以上であると判定された前記信頼度の前記顔に係る前記静止表示時間よりも短くなるか、或いは、略ゼロとなるように決定する機能と、
を実現させることを特徴としている。 The program of the invention according to claim 4 is:
In an image display device (for example, the imaging device 100 in FIG. 1),
A function for detecting the faces of the plurality of persons (for example, the face F in FIG. 2) from the image based on the image information of the image representing the plurality of persons (for example, the photographic image G in FIG. 2). When,
A function for enlarging and displaying a part of the image area constituting the image (for example, the image area R in FIG. 4);
A function of continuously moving the image area to be enlarged and displayed within the image;
A function of detecting the position of each of the detected faces;
A function of determining a movement locus (for example, movement locus L in FIG. 2) for moving the image region so as to pass through each of the detected faces;
A function of determining whether the reliability of face detection is equal to or higher than a predetermined threshold;
A function of statically displaying the image area including each of the faces among the image areas that are moved and displayed along the determined movement locus;
The still display time of the image area, the reliability of the face determined to be less than the predetermined threshold, the still display time of the face of the reliability determined to be greater than or equal to the predetermined threshold. A function of determining to be shorter than the stationary display time for the face or to be substantially zero;
It is characterized by realizing.

請求項１に記載の発明によれば、顔検出の信頼度に応じて各顔を含む画像領域の静止表示時間を決定することができ、これにより、顔検出の信頼度の低い顔を含む画像領域、即ち、顔以外の部分が誤検出された可能性の高い画像領域を表示させる際に、顔検出の信頼度の高い顔を含む画像領域への移動途中であるかのように表示させることができることとなって、顔以外の画像領域の誤検出によって生じる表示内容の不自然さを軽減することができる。また、実際は顔であるにも拘わらず信頼度が低いものであっても、表示時間は短くなるが確実に表示することができることとなって、画像内の複数の人物の顔の表示を適正に行うことができる。   According to the first aspect of the present invention, it is possible to determine the static display time of an image area including each face according to the reliability of face detection, and thereby an image including a face with low reliability of face detection. When displaying an area, that is, an image area in which a part other than the face is likely to be erroneously detected, it is displayed as if moving to an image area including a face with high face detection reliability. Therefore, the unnaturalness of the display content caused by the erroneous detection of the image area other than the face can be reduced. In addition, even if the face is actually a face but the reliability is low, the display time is shortened, but the face can be displayed reliably, so that the faces of a plurality of persons in the image can be displayed properly. It can be carried out.

請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、算出された複数の顔の各々の大きさに基づいて、当該顔の各々を含む画像領域の表示の際の拡大率を適正に決定することができ、画像内の複数の人物の顔の表示をより適正に行うことができる。   According to the second aspect of the present invention, it is obvious that the same effect as the first aspect of the invention can be obtained, and in particular, based on the calculated size of each of the plurality of faces. Thus, it is possible to appropriately determine the enlargement ratio when displaying the image area including each of the image areas, and it is possible to more appropriately display the faces of a plurality of persons in the image.

請求項３に記載の発明は、請求項２に記載の発明と同様の効果が得られるのは無論のこと、特に、検出された顔の大きさを考慮して、当該顔を含む画像領域の静止表示時間の決定をより適正に行うことができ、これにより、画像内の複数の人物の顔の表示をより適正に行うことができる。   Of course, the invention described in claim 3 can obtain the same effect as that of the invention described in claim 2, and in particular, in consideration of the size of the detected face, the image area including the face can be obtained. The determination of the static display time can be performed more appropriately, and thereby, the faces of a plurality of persons in the image can be displayed more appropriately.

請求項４に記載の発明によれば、顔検出の信頼度に応じて各顔を含む画像領域の静止表示時間を決定することができ、これにより、顔検出の信頼度の低い顔を含む画像領域、即ち、顔以外の部分が誤検出された可能性の高い画像領域を表示させる際に、顔検出の信頼度の高い顔を含む画像領域への移動途中であるかのように表示させることができることとなって、顔以外の画像領域の誤検出によって生じる表示内容の不自然さを軽減することができる。また、実際は顔であるにも拘わらず信頼度が低いものであっても、表示時間は短くなるが確実に表示することができることとなって、画像内の複数の人物の顔の表示を適正に行うことができる。   According to the fourth aspect of the present invention, it is possible to determine the still display time of an image area including each face according to the reliability of face detection, and thereby an image including a face with low reliability of face detection. When displaying an area, that is, an image area in which a part other than the face is likely to be erroneously detected, it is displayed as if moving to an image area including a face with high face detection reliability. Therefore, the unnaturalness of the display content caused by the erroneous detection of the image area other than the face can be reduced. In addition, even if the face is actually a face but the reliability is low, the display time is shortened, but the face can be displayed reliably, so that the faces of a plurality of persons in the image can be displayed properly. It can be carried out.

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
ここで、図１は、本発明を適用した画像表示装置の好適な一実施形態として例示する撮像装置１００の要部構成を示すブロック図である。 Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
Here, FIG. 1 is a block diagram showing a main configuration of an imaging apparatus 100 exemplified as a preferred embodiment of an image display apparatus to which the present invention is applied.

本実施形態の撮像装置１００は、例えば、写真画像Ｇ内の複数の人物の顔Ｆを検出して、表示部７（後述）に当該顔Ｆを含む画像領域Ｒを拡大表示するとともに（図２参照）、当該画像Ｇ内にて一の顔Ｆから他の顔Ｆへと連続的に移動しながら表示する画像表示処理を行うものである（図４（ａ）〜図４（ｃ）参照）。
具体的には、撮像装置１００は、図１に示すように、被写体を撮像する撮像部１と、撮像部１により撮像された被写体の写真画像Ｇに係る画像データ２ａを記録する画像記録部２と、画像記録部２に記録された画像データ２ａに係る写真画像Ｇ内から人物の顔Ｆを検出する顔検出部３と、写真画像Ｇを構成する画像領域Ｒの移動軌跡Ｌを決定する軌跡決定部４と、画像領域Ｒのズーム倍率を決定するズーム倍率決定部５と、移動表示される画像領域Ｒの静止表示時間を決定する静止時間決定部６と、写真画像Ｇや画像領域Ｒ等を表示する表示部７等を備えている。 The imaging apparatus 100 of the present embodiment detects, for example, a plurality of human faces F in the photographic image G and enlarges and displays an image region R including the faces F on the display unit 7 (described later) (FIG. 2). (See FIG. 4 (a) to FIG. 4 (c)). The image display processing is performed while continuously moving from one face F to another in the image G. .
Specifically, as illustrated in FIG. 1, the imaging apparatus 100 includes an imaging unit 1 that images a subject, and an image recording unit 2 that records image data 2 a related to a photographic image G of the subject captured by the imaging unit 1. A face detection unit 3 that detects a person's face F from within the photographic image G related to the image data 2a recorded in the image recording unit 2, and a locus that determines the movement locus L of the image region R constituting the photographic image G A determination unit 4, a zoom magnification determination unit 5 for determining the zoom magnification of the image region R, a still time determination unit 6 for determining a still display time of the image region R to be moved and displayed, a photographic image G, an image region R, etc. Is provided with a display unit 7 or the like.

撮像部１は、例えば、図示は省略するが、フォーカス機能やズーム機能を有する撮像レンズ群と、この撮像レンズ群を通過した被写体像を二次元の画像データに変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、この電子撮像部から出力される画像データ２ａに対して所定の画像処理を施す信号処理部と、電子撮像部及び信号処理部等を制御するための撮像制御部等を備えている。   For example, although not shown, the imaging unit 1 includes an imaging lens group having a focus function and a zoom function, and a CCD (Charge Coupled Device) that converts a subject image that has passed through the imaging lens group into two-dimensional image data. An electronic imaging unit composed of a CMOS (Complementary Metal-oxide Semiconductor), a signal processing unit that performs predetermined image processing on the image data 2a output from the electronic imaging unit, an electronic imaging unit, a signal processing unit, and the like An imaging control unit and the like for controlling are provided.

画像記録部２は、例えば、撮像部１により撮像された被写体の写真画像Ｇ（図２参照）の縦横それぞれが所定数の画素からなる所定の形式の画像データ２ａを記録するものである。
ここで、写真画像Ｇとしては、例えば、図２に示すように、複数人（例えば図２にあっては、７人）の人物が写っている画像を適用することができる。 The image recording unit 2 records, for example, image data 2a in a predetermined format in which the vertical and horizontal directions of the photographic image G (see FIG. 2) of the subject captured by the imaging unit 1 are each composed of a predetermined number of pixels.
Here, as the photographic image G, for example, as shown in FIG. 2, an image in which a plurality of persons (for example, seven persons in FIG. 2) are reflected can be applied.

なお、画像記録部２は、例えば、着脱自在なメモリカード等であっても良いし、内蔵型の記録装置等であっても良い。   The image recording unit 2 may be, for example, a removable memory card or the like, or a built-in recording device.

顔検出部（顔検出手段）３は、例えば、画像記録部２に記録されている所定の画像データ２ａを取得し、当該画像データ２ａに基づいて、当該写真画像Ｇ内から複数の人物の顔Ｆを検出するものである。
ここで、顔検出のアルゴリズムとしては、例えば、”Neural Network-Based Face Detection”,Henry A.Rowley, Shumet Baluja, Takeo Kanade,(PAMI,January 1998)の方法が挙げられる。
このアルゴリズムにあっては、写真画像Ｇのうち、ある任意の画像領域Ｒが顔Ｆであるか否かの判定を行う識別器を用いるようになっている。即ち、例えば、写真画像Ｇ内の様々な位置から様々な大きさの画像部分を切り出し、これら全ての画像部分を識別器に入力し、識別器は、各々が顔Ｆであるか否かを判定することにより、写真画像Ｇ内に写っている全ての顔Ｆの位置と大きさを検出する。より具体的には、識別器は、入力された画像部分に対する評価値（信頼度）を計算し、当該評価値を予め定められた所定の閾値と比較して、評価値が閾値以上の場合には顔Ｆであると判定し、また、閾値未満の場合は顔Ｆではないと判定した後、その判定結果を出力する。このようにして、写真画像Ｇ内の複数の顔Ｆの全ての位置及び大きさを検出するようになっている。
例えば、図２に示すように、数人（例えば、４人）並んだ被写体の背後にも人物の顔Ｆがいくつか写っている写真画像Ｇの場合、背後にいる人物の顔Ｆもいくつか検出されてしまう場合がある。この場合、背後の人たちの顔Ｆはカメラの方を向いていなかったり、隠れていたり、小さすぎることから、顔検出の信頼度が低くなる。
なお、図２において、四角い枠は検出された顔Ｆを表しているが、実線は信頼度が閾値Ｔ以上ものに対応し、破線は信頼度が閾値Ｔ未満のものに対応している。 The face detection unit (face detection means) 3 acquires, for example, predetermined image data 2a recorded in the image recording unit 2, and based on the image data 2a, a plurality of human faces from the photographic image G F is detected.
Here, as a face detection algorithm, for example, the method of “Neural Network-Based Face Detection”, Henry A. Rowley, Shumet Baluja, Takeo Kanade, (PAMI, January 1998) can be mentioned.
In this algorithm, a discriminator for determining whether or not an arbitrary image region R of the photographic image G is the face F is used. That is, for example, image parts of various sizes are cut out from various positions in the photographic image G, all these image parts are input to the classifier, and the classifier determines whether each is a face F. By doing so, the positions and sizes of all the faces F appearing in the photographic image G are detected. More specifically, the classifier calculates an evaluation value (reliability) for the input image portion, compares the evaluation value with a predetermined threshold value, and the evaluation value is equal to or greater than the threshold value. Is determined to be the face F, and if it is less than the threshold value, it is determined that the face is not the face F, and the determination result is output. In this way, all positions and sizes of the plurality of faces F in the photographic image G are detected.
For example, as shown in FIG. 2, in the case of a photographic image G in which several human faces F are reflected behind a subject lined up by several people (for example, four people), there are also several human faces F behind them. It may be detected. In this case, since the faces F of the people behind are not facing the camera, hidden, or too small, the reliability of face detection is low.
In FIG. 2, a square frame represents the detected face F, but a solid line corresponds to a face whose reliability is greater than or equal to the threshold T, and a broken line corresponds to a face whose reliability is less than the threshold T.

このように、顔検出部３は、写真画像Ｇ全体における、複数の顔Ｆの各々の位置を検出する位置検出手段を構成している。なお、検出された各顔Ｆの位置に係る位置情報は、軌跡決定部４に対して出力されるようになっている。
また、顔検出部３は、複数の顔Ｆの各々の写真画像Ｇ全体に対する大きさを算出する大きさ算出手段を構成している。なお、算出された各顔Ｆの大きさに係る大きさ情報は、ズーム倍率決定部５に対して出力されるようになっている。
さらに、顔検出部３は、顔検出の信頼度が所定の閾値Ｔ以上であるか否かを判定する信頼度判定手段を構成している。ここで、本実施形態にあっては、閾値をより低く設定することにより、顔Ｆの検出もれをより少なくするようにすることが好ましい。なお、信頼度の判定結果に係る信頼度情報は、静止時間決定部６に対して出力されるようになっている。 Thus, the face detection unit 3 constitutes a position detection unit that detects the position of each of the plurality of faces F in the entire photographic image G. Note that position information relating to the detected position of each face F is output to the trajectory determination unit 4.
Further, the face detection unit 3 constitutes a size calculating means for calculating the size of each of the plurality of faces F with respect to the entire photographic image G. Note that the size information related to the calculated size of each face F is output to the zoom magnification determination unit 5.
Further, the face detection unit 3 constitutes a reliability determination unit that determines whether or not the reliability of face detection is equal to or greater than a predetermined threshold T. Here, in the present embodiment, it is preferable that the detection leak of the face F be reduced by setting the threshold value lower. The reliability information related to the determination result of the reliability is output to the stationary time determination unit 6.

また、上記のアルゴリズムに替えて、例えば、主成分分析による固有顔（M.Turk and A.Pentland, Eigenfaces for recognition", Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71-86, 1991.）、サポートベクターマシーン（B. Heisele, P. Ho, and T. Poggio, “Face Recognition with Support Vector Machines: Global versus Component-based Approach,” In Proc. of Internation Conference on Computer Vision, vol.2,pp.688-694, 2001.）、ガボールウェーブレットとグラフマッチング（E.Elagin, J.Steffens, and H.Neven. utomatic Real-Time Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology. Proceedings of the International Conference on Automatic Face and Gesture Recognition '98, 1998）などを用いた顔検出手法等を用いることもできる。
そして、これらの何れの手法においても、例えば、識別器にて算出された所定の連続的な数値を評価することによって、顔Ｆであるか否かの判定を行うようになっている。 Moreover, instead of the above algorithm, for example, eigenfaces by principal component analysis (M. Turk and A. Pentland, Eigenfaces for recognition ", Journal of Cognitive Neuroscience, Vol. 3, No. 1, pp. 71-86, 1991), Support Vector Machine (B. Heisele, P. Ho, and T. Poggio, “Face Recognition with Support Vector Machines: Global versus Component-based Approach,” In Proc. Of Internation Conference on Computer Vision, vol. 2. , pp.688-694, 2001), Gabor wavelet and graph matching (E. Ellagin, J. Steffens, and H. Neven. utomatic Real-Time Pose Estimation System for Human Faces Based on Bunch Graph Matching Technology. Proceedings of the International Conference on Automatic Face and Gesture Recognition '98, 1998) can also be used.
In any of these methods, for example, it is determined whether or not the face is F by evaluating a predetermined continuous numerical value calculated by the discriminator.

軌跡決定部４は、例えば、顔検出部３から出力された位置情報に基づいて、各顔Ｆの重心Ｃを算出した後、これら複数の顔Ｆの各々の重心Ｃを通過するように画像領域Ｒを移動表示させるための移動軌跡Ｌ（図２参照）を決定する処理を行うものである。
ここで、移動軌跡Ｌとしては、例えば、左から右（或いは、右から左）のように一方向（例えば、水平方向等）に画像領域Ｒが移動するような移動軌跡Ｌや（図３（ａ）参照）、総移動距離が最短となるような移動軌跡Ｌ（図３（ｂ）参照）等であっても良い。なお、これらの移動軌跡Ｌは、一例であって、これらに限られるものではない。
このように、軌跡決定部４は、複数の顔Ｆの各々の重心Ｃを通過するように画像領域Ｒを移動させる移動軌跡Ｌを決定する移動軌跡決定手段を構成している。
なお、決定された画像領域Ｒの移動軌跡Ｌは、表示部７に対して出力されるようになっている。 For example, the trajectory determining unit 4 calculates the center of gravity C of each face F based on the position information output from the face detecting unit 3, and then passes through the center of gravity C of each of the plurality of faces F. A process of determining a movement locus L (see FIG. 2) for moving and displaying R is performed.
Here, as the movement trajectory L, for example, a movement trajectory L in which the image region R moves in one direction (for example, the horizontal direction) from left to right (or from right to left) (see FIG. 3 ( a)), or a movement locus L (see FIG. 3B) that makes the total movement distance the shortest. Note that these movement trajectories L are examples, and are not limited to these.
In this way, the trajectory determining unit 4 constitutes a moving trajectory determining unit that determines the moving trajectory L that moves the image region R so as to pass through the center of gravity C of each of the plurality of faces F.
The determined movement locus L of the image region R is output to the display unit 7.

ズーム倍率決定部５は、例えば、顔検出部３から出力された大きさ情報に基づいて、軌跡決定部４により決定された所定の移動軌跡Ｌに沿って移動表示される画像領域Ｒのうち、複数の顔Ｆの各々を含む画像領域Ｒのズーム倍率（拡大率）を決定する処理を行うものである。
ここで、ズーム倍率の決定方法は、如何なる方法であっても良いが、ズーム倍率は、例えば、表示部７の画面全体に対する顔Ｆの面積の割合が３０〜５０％程度となる倍率が自然であり好ましい。即ち、ズーム後の顔Ｆがあまりにも大きすぎると周囲の状況がわかりにくくなってしまい、また、小さすぎると顔Ｆの確認を適正に行うことができなくなってしまうためである。さらに、ズーム倍率があまりにも大きすぎると、ズーム後の顔Ｆの表示が粗くなってしまう場合があることから、ズーム倍率は、画像データ２ａの解像度を考慮して決定されることが好ましい。
このように、ズーム倍率決定部５は、複数の顔Ｆの各々を含む画像領域Ｒの拡大率（ズーム倍率）を決定する拡大率決定手段を構成している。そして、ズーム倍率決定部５により決定されたズーム倍率に従って画像領域Ｒを表示部７にてズーム表示することによって、写真画像Ｇ内の複数の人物の顔Ｆの表示をより適正に行うことができることとなる。
なお、決定された画像領域Ｒのズーム倍率は、表示部７に対して出力されるようになっている。 The zoom magnification determination unit 5 is, for example, among the image regions R that are moved and displayed along the predetermined movement locus L determined by the locus determination unit 4 based on the size information output from the face detection unit 3. A process of determining the zoom magnification (enlargement ratio) of the image region R including each of the plurality of faces F is performed.
Here, any method may be used for determining the zoom magnification. However, the zoom magnification is, for example, a natural magnification in which the ratio of the area of the face F to the entire screen of the display unit 7 is about 30 to 50%. It is preferable. That is, if the face F after zooming is too large, the surrounding situation becomes difficult to understand, and if it is too small, the face F cannot be properly confirmed. Furthermore, if the zoom magnification is too large, the display of the face F after zooming may become rough. Therefore, the zoom magnification is preferably determined in consideration of the resolution of the image data 2a.
As described above, the zoom magnification determining unit 5 constitutes an enlargement factor determining unit that determines an enlargement factor (zoom magnification) of the image region R including each of the plurality of faces F. Then, by displaying the image region R on the display unit 7 in accordance with the zoom magnification determined by the zoom magnification determining unit 5, the faces F of a plurality of persons in the photographic image G can be displayed more appropriately. It becomes.
Note that the determined zoom magnification of the image region R is output to the display unit 7.

静止時間決定部６は、例えば、顔検出部３から出力された信頼度情報に基づいて、移動表示される複数の顔Ｆの各々を含む画像領域Ｒの静止表示時間を決定する処理を行うものである。
即ち、静止時間決定部６は、軌跡決定部４により決定された所定の移動軌跡Ｌに沿って移動される画像領域Ｒを顔Ｆの各々の重心Ｃに対応する位置で静止表示させる静止表示時間を、顔検出の信頼度に従って決定するようになっている。具体的には、例えば、図４（ａ）〜（ｂ）に示すように、静止時間決定部６は、顔検出の信頼度が閾値Ｔ以上であると判定された顔Ｆを含む画像領域Ｒ１に係る静止表示時間が所定時間（例えば、３秒間など）となるように決定し（図４（ａ）及び図４（ｃ）参照）、また、信頼度が閾値Ｔ未満であると判定された顔Ｆを含む画像領域Ｒ２に係る静止表示時間が、略ゼロ秒、即ち、静止せずにそのままの速度で移動表示される状態となるように静止表示時間を決定するようになっている（図４（ｂ）参照）。
このように、静止時間決定部６は、顔検出部３により信頼度が所定の閾値Ｔ未満であると判定された顔Ｆを含む画像領域Ｒ２に係る静止表示時間を略ゼロに決定する静止表示時間決定手段を構成している。
なお、決定された画像領域Ｒの静止表示時間は、表示部７に対して出力されるようになっている。 The still time determination unit 6 performs, for example, a process of determining the still display time of the image region R including each of the plurality of faces F to be moved and displayed based on the reliability information output from the face detection unit 3. It is.
That is, the stationary time determination unit 6 displays the image region R that is moved along the predetermined movement locus L determined by the locus determination unit 4 at a position corresponding to the center of gravity C of the face F. Are determined according to the reliability of face detection. Specifically, for example, as illustrated in FIGS. 4A to 4B, the still time determination unit 6 includes an image region R <b> 1 including the face F for which the reliability of face detection is determined to be greater than or equal to the threshold T. 4 is determined so that the stationary display time is a predetermined time (for example, 3 seconds) (see FIGS. 4A and 4C), and the reliability is determined to be less than the threshold T. The still display time is determined so that the still display time related to the image region R2 including the face F is approximately zero seconds, that is, a state in which the display is moved and displayed at the same speed without being stopped (see FIG. 4 (b)).
As described above, the still time determination unit 6 determines the still display time related to the image region R2 including the face F, whose reliability is determined to be less than the predetermined threshold T by the face detection unit 3, to be substantially zero. It constitutes time determination means.
The determined still display time of the image area R is output to the display unit 7.

表示部７は、例えば、液晶表示パネル等により構成され、画像記録部２から取得した画像データ２ａに基づいて、写真画像Ｇや当該写真画像Ｇを構成する画像領域Ｒ等を表示するものである。
具体的には、表示部７は、写真画像Ｇを構成する一部の画像領域Ｒ、即ち、人物の顔Ｆを含む画像領域Ｒや人物どうしの間の顔Ｆ以外の画像領域Ｒ等を、ズーム倍率決定部５により決定された各々対応するズーム倍率に従って表示領域の略全面にズーム（拡大）表示するようになっている。ここで、表示部７は、画像領域Ｒを拡大表示する拡大表示手段を構成している。
また、表示部７は、移動表示手段として、写真画像Ｇ内にて画像領域Ｒを連続的に移動させながら表示するようになっている。即ち、表示部７は、軌跡決定部４により決定された移動軌跡Ｌに沿って画像領域Ｒを所定の移動速度（例えば、３００ピクセル／秒）で移動表示させるようになっている。
さらに、表示部７は、静止表示手段として、軌跡決定部４により決定された移動軌跡Ｌに沿って移動する画像領域Ｒのうち、静止時間決定部６により決定された複数の顔Ｆの各々の静止表示時間に応じて、当該顔Ｆを含む画像領域Ｒを静止表示させるようになっている。即ち、表示部７は、例えば、移動表示される画像領域Ｒのうち、信頼度が閾値Ｔ以上であると判定された顔Ｆを含む画像領域Ｒ１を当該顔Ｆの各々の重心Ｃに対応する位置で３秒間静止表示させ（図４（ａ）及び図４（ｃ）参照）、信頼度が閾値Ｔ未満であると判定された顔Ｆを含む画像領域Ｒ２を静止させずに（略ゼロ秒）そのまま移動表示させるようになっている。 The display unit 7 is configured by, for example, a liquid crystal display panel, and displays a photographic image G, an image region R constituting the photographic image G, and the like based on the image data 2a acquired from the image recording unit 2. .
Specifically, the display unit 7 displays a part of the image area R constituting the photographic image G, that is, the image area R including the face F of the person, the image area R other than the face F between the persons, and the like. In accordance with each corresponding zoom magnification determined by the zoom magnification determination unit 5, zoom (enlargement) display is performed on substantially the entire display area. Here, the display unit 7 constitutes an enlarged display unit that enlarges and displays the image region R.
In addition, the display unit 7 is configured to display the image region R while moving continuously in the photographic image G as a moving display means. In other words, the display unit 7 is configured to move and display the image region R at a predetermined movement speed (for example, 300 pixels / second) along the movement locus L determined by the locus determination unit 4.
Further, the display unit 7 serves as a stationary display unit for each of the plurality of faces F determined by the stationary time determination unit 6 among the image regions R that move along the movement track L determined by the track determination unit 4. The image region R including the face F is displayed stationary according to the stationary display time. That is, for example, the display unit 7 corresponds to the center of gravity C of each of the faces F, including the image area R1 including the face F whose reliability is determined to be greater than or equal to the threshold value T among the image areas R that are moved and displayed. The position is displayed at rest for 3 seconds (see FIGS. 4A and 4C), and the image region R2 including the face F whose reliability is determined to be less than the threshold T is not stopped (approximately zero seconds). ) Move and display as it is.

次に、画像表示処理について、図５を参照して詳細に説明する。
ここで、図５は、画像表示処理に係る動作の一例を示すフローチャートである。 Next, the image display process will be described in detail with reference to FIG.
Here, FIG. 5 is a flowchart showing an example of an operation related to the image display processing.

図５に示すように、例えば、ユーザによる操作部（図示略）等の所定操作に基づいて、所定の写真画像Ｇの画像表示処理の実行が指示されると、顔検出部３は、画像記録部２に記録された写真画像Ｇ（図２参照）に係る画像データ２ａを取得する（ステップＳ１）。
続けて、顔検出部３は、取得した画像データ２ａに基づいて、当該写真画像Ｇに写っている複数の人物の顔Ｆを検出する。具体的には、顔検出部３は、各顔Ｆの位置の検出（ステップＳ２１）、各顔Ｆの大きさの算出（ステップＳ２２）、並びに、各顔検出の信頼度の判定（ステップＳ２３）を行う。そして、顔検出部３は、検出した各顔Ｆの位置に係る位置情報の軌跡決定部４に対する出力、検出した各顔Ｆの大きさに係る大きさ情報のズーム倍率決定部５に対する出力、並びに、信頼度の判定結果に係る信頼度情報の静止時間決定部６に対する出力を行う。 As shown in FIG. 5, for example, when an instruction to execute image display processing of a predetermined photographic image G is instructed based on a predetermined operation such as an operation unit (not shown) by a user, the face detection unit 3 performs image recording. Image data 2a related to the photographic image G (see FIG. 2) recorded in the unit 2 is acquired (step S1).
Subsequently, the face detection unit 3 detects the faces F of a plurality of persons in the photographic image G based on the acquired image data 2a. Specifically, the face detection unit 3 detects the position of each face F (step S21), calculates the size of each face F (step S22), and determines the reliability of each face detection (step S23). I do. Then, the face detection unit 3 outputs the position information related to the detected position of each face F to the locus determination unit 4, outputs the size information related to the detected size of each face F to the zoom magnification determination unit 5, and The reliability information related to the reliability determination result is output to the stationary time determination unit 6.

次に、軌跡決定部４にあっては、顔検出部３から出力され入力された位置情報に基づいて、各顔Ｆの重心Ｃを算出して、これら複数の顔Ｆの各々の重心Ｃを通過するように画像領域Ｒを移動させる移動軌跡Ｌを決定して（図２及び図３参照）、当該移動軌跡Ｌを表示部７に対して出力する（ステップＳ３１）。
また、ズーム倍率決定部５にあっては、顔検出部３から出力され入力された大きさ情報に基づいて、各顔Ｆを含む画像領域Ｒのズーム倍率を決定して、当該ズーム倍率を表示部７に対して出力する（ステップＳ３２）。
また、静止時間決定部６にあっては、顔検出部３から出力され入力された信頼度情報に基づいて、各顔Ｆを含む画像領域Ｒの静止表示時間を決定して、当該静止表示時間を表示部７に対して出力する（ステップＳ３３）。 Next, the trajectory determination unit 4 calculates the centroid C of each face F based on the position information output from the face detection unit 3 and input, and calculates the centroid C of each of the plurality of faces F. A movement locus L for moving the image region R so as to pass is determined (see FIGS. 2 and 3), and the movement locus L is output to the display unit 7 (step S31).
Further, the zoom magnification determination unit 5 determines the zoom magnification of the image area R including each face F based on the size information output from the face detection unit 3 and displays the zoom magnification. Output to the unit 7 (step S32).
In addition, the still time determination unit 6 determines the still display time of the image region R including each face F based on the reliability information output from the face detection unit 3 and input, and the still display time Is output to the display unit 7 (step S33).

次に、表示部７にあっては、軌跡決定部４から出力され入力された移動軌跡Ｌ、ズーム倍率決定部５から出力され入力されたズーム倍率、並びに、静止時間決定部６から出力され入力された静止表示時間に基づいて、写真画像Ｇ内の複数の人物の顔Ｆを含む画像領域Ｒのズーム表示及び移動表示を行う（ステップＳ４）。
具体的には、表示部７は、ズーム倍率決定部５にて決定されたズーム倍率に従ってズーム表示された各顔Ｆを含む画像領域Ｒを、軌跡決定部４により決定された画像領域Ｒの移動軌跡Ｌに沿って当該画像内にて連続的に移動させながら表示させる（図４参照）。このとき、表示部７は、静止時間決定部６にて決定された静止表示時間に基づいて、顔検出の信頼度の高い顔Ｆを含む画像領域Ｒ１（図４（ａ）及び図４（ｃ）参照）は所定時間（例えば、３秒間）静止表示させるとともに、顔検出の信頼度の低い顔Ｆを含む画像領域Ｒ２（図４（ｂ）参照）は静止せずにそのまま移動表示させる。 Next, in the display unit 7, the movement locus L output and input from the locus determination unit 4, the zoom magnification output and input from the zoom magnification determination unit 5, and the stationary time determination unit 6 output and input. Based on the displayed still display time, zoom display and movement display of the image region R including the faces F of a plurality of persons in the photographic image G are performed (step S4).
Specifically, the display unit 7 moves the image region R including the face F zoomed according to the zoom magnification determined by the zoom magnification determination unit 5 to the image region R determined by the locus determination unit 4. The image is displayed while continuously moving in the image along the locus L (see FIG. 4). At this time, the display unit 7 displays the image region R1 including the face F with high face detection reliability based on the still display time determined by the still time determination unit 6 (FIGS. 4A and 4C). )) Is displayed stationary for a predetermined time (for example, 3 seconds), and the image region R2 (see FIG. 4B) including the face F with low face detection reliability is displayed without moving.

以上のように、本実施形態の撮像装置１００によれば、顔検出の信頼度に応じて各顔Ｆを含む画像領域Ｒの静止表示時間を決定することができる。つまり、拡大表示される画像領域Ｒを複数の人物の顔Ｆの各々の重心Ｃを通過するような移動軌跡Ｌに沿って移動させる際に、顔検出の信頼度が閾値Ｔ未満である信頼度の低い顔Ｆを含む画像領域Ｒ２の静止表示時間を略ゼロ秒として静止させずに移動表示させ、顔検出の信頼度が閾値Ｔ以上である信頼度の高い顔Ｆを含む画像領域Ｒ１の静止表示時間を３秒間とすることができる。
これにより、顔検出の信頼度の低い顔Ｆを含む画像領域Ｒ２、即ち、顔Ｆ以外の部分が誤検出された可能性の高い画像領域Ｒを拡大表示しても、信頼度の高い顔Ｆを含む画像領域Ｒ１への移動途中であるかのように表示させることができることとなって、顔Ｆ以外の画像領域Ｒの誤検出によって生じる表示内容の不自然さを軽減することができる。
また、顔検出部３により検出された顔Ｆは全て拡大表示されるので、実際は顔Ｆであるにも拘わらず信頼度が低いものであっても、表示時間は短くなるが確実に表示することができることとなって、画像内の複数の人物の顔Ｆの表示を適正に行うことができることとなる。従って、顔検出の信頼度の低い顔Ｆを含む画像領域Ｒ２は一切表示されなくなる従来の画像表示装置に比べて、技術的に優れ、より魅力的な撮像装置１００を提供することができる。 As described above, according to the imaging apparatus 100 of the present embodiment, the still display time of the image region R including each face F can be determined according to the reliability of face detection. That is, the reliability of the face detection reliability is less than the threshold T when the enlarged image area R is moved along the movement locus L that passes through the center of gravity C of each of the faces F of the plurality of persons. The stationary display time of the image region R2 including the low face F is set to approximately zero seconds and is displayed without moving, and the stationary region of the image region R1 including the highly reliable face F whose face detection reliability is equal to or higher than the threshold T is displayed. The display time can be 3 seconds.
As a result, even if the image region R2 including the face F with low face detection reliability, that is, the image region R with a high possibility that a part other than the face F is erroneously detected is enlarged and displayed, the face F with high reliability is obtained. Can be displayed as if moving to the image area R1 including the image area R1, and unnaturalness of display contents caused by erroneous detection of the image area R other than the face F can be reduced.
In addition, since all the faces F detected by the face detection unit 3 are displayed in an enlarged manner, even if the face F is actually a face F, even if the reliability is low, the display time is shortened, but it is surely displayed. Thus, the faces F of a plurality of persons in the image can be properly displayed. Therefore, it is possible to provide the imaging device 100 that is technically superior and more attractive than the conventional image display device in which the image region R2 including the face F with low reliability of face detection is not displayed at all.

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、各顔Ｆを含む画像領域Ｒの静止表示時間を顔検出の信頼度のみに基づいて決定するようにしたが、これに限られるものではなく、例えば、信頼度に加えて写真画像Ｇ全体に対する顔Ｆの大きさを考慮して静止表示時間を決定しても良い。
即ち、複数の人物の顔Ｆが写っている集合写真等にあっては、各顔Ｆの大きさは略一定となるのが一般的であるが、顔検出部３によって所定の閾値に対して極端に大きい顔Ｆや極端に小さい顔Ｆが算出された場合には、当該顔Ｆは、顔Ｆ以外の部分であるか、意図して撮影された顔Ｆではない可能性が高いと考えられる。そこで、静止時間決定部６は、顔検出部３から出力され入力された大きさ情報に基づいて、所定の閾値に対して極端に大きかったり極端に小さい顔Ｆに対しては、当該顔Ｆを含む画像領域Ｒでは静止せずに移動表示するように静止表示時間を決定する。
具体的には、画像表示処理において（図６参照）、顔検出部３は、算出した各顔Ｆの大きさに係る大きさ情報をズーム倍率決定部５とともに静止時間決定部６に対しても出力し（ステップＳ２２２）、静止時間決定部６にあっては、顔検出部３から出力され入力された信頼度情報に加えて大きさ情報に基づいて、各顔Ｆを含む画像領域Ｒの静止表示時間を決定する（ステップＳ２３３）。
このように、顔検出部３により検出された各顔Ｆの大きさを考慮することで、当該顔Ｆを含む画像領域Ｒの静止表示時間の決定をより適正に行うことができ、これにより、画像内の複数の人物の顔Ｆの表示をより適正に行うことができる。 The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, the static display time of the image region R including each face F is determined based only on the reliability of face detection. However, the present invention is not limited to this. For example, in addition to the reliability, the entire photographic image G The stationary display time may be determined in consideration of the size of the face F with respect to.
That is, in a group photo or the like in which a plurality of person's faces F are shown, the size of each face F is generally constant, but the face detection unit 3 makes a predetermined threshold value. When an extremely large face F or an extremely small face F is calculated, it is highly likely that the face F is a part other than the face F or is not the face F photographed intentionally. . Therefore, the stationary time determination unit 6 selects the face F for a face F that is extremely large or extremely small with respect to a predetermined threshold based on the size information output from the face detection unit 3 and input. The still display time is determined so that the moving image is displayed without moving in the including image region R.
Specifically, in the image display process (see FIG. 6), the face detection unit 3 sends the size information related to the calculated size of each face F to the still time determination unit 6 together with the zoom magnification determination unit 5. (Step S222), and the stationary time determination unit 6 performs stationary of the image region R including each face F based on the size information in addition to the reliability information output from the face detection unit 3 and input. The display time is determined (step S233).
In this way, by considering the size of each face F detected by the face detection unit 3, it is possible to more appropriately determine the stationary display time of the image region R including the face F. It is possible to more appropriately display the faces F of a plurality of persons in the image.

また、上記実施形態では、顔検出の信頼度が閾値Ｔ未満であると判定された顔Ｆを含む画像領域Ｒ２に係る静止表示時間を、略ゼロとしたが、これに限られるものではなく、例えば、当該静止表示時間は、信頼度が閾値Ｔ以上であると判定された顔Ｆを含む画像領域Ｒ１に係る静止表示時間よりも短くなっていれば良い。
このような構成としても、顔検出の信頼度の低い顔Ｆを含む画像領域Ｒ２、即ち、顔Ｆ以外の部分が誤検出された可能性の高い画像領域Ｒを拡大表示する際に、信頼度の高い顔Ｆを含む画像領域Ｒ１への移動途中であるかのように表示させることができることとなって、顔Ｆ以外の画像領域Ｒの誤検出によって生じる表示内容の不自然さを軽減することができる。
また、実際は顔Ｆであるにも拘わらず信頼度が低いものであっても表示時間は短くなるが確実に表示することができることとなって、画像内の複数の人物の顔Ｆの表示を適正に行うことができることとなる。 Further, in the above embodiment, the stationary display time related to the image region R2 including the face F determined that the reliability of face detection is less than the threshold T is set to substantially zero. However, the present invention is not limited to this. For example, the still display time may be shorter than the still display time related to the image region R1 including the face F whose reliability is determined to be equal to or greater than the threshold T.
Even in such a configuration, when the image area R2 including the face F with low face detection reliability, that is, the image area R in which a part other than the face F is likely to be erroneously detected is enlarged and displayed, Can be displayed as if moving to the image area R1 including the face F having a high height, thereby reducing the unnaturalness of the display content caused by erroneous detection of the image area R other than the face F. Can do.
In addition, even if the face F is actually low, the display time is shortened even if the reliability is low, but it can be surely displayed, and the display of the faces F of a plurality of persons in the image is appropriate. Can be done.

さらに、静止時間の決定にあっては、写真の雰囲気や、画像表示の際にＢＧＭが用いられる場合には、そのＢＧＭの雰囲気（リズム）等を考慮しても良い。即ち、例えば、ＢＧＭのテンポが所定速度よりも速い場合は静止時間を短くしたり、テンポが遅い場合は静止時間を長く設定するようにしても良い。
加えて、顔Ｆどうしの間の画像領域Ｒの移動速度も、上記の静止時間と同様に、写真の雰囲気や、ＢＧＭの雰囲気等を考慮して設定しても良い。 Furthermore, in determining the resting time, the atmosphere of a photograph or the atmosphere (rhythm) of the BGM may be taken into consideration when the BGM is used for image display. That is, for example, when the BGM tempo is faster than a predetermined speed, the stationary time may be shortened, and when the tempo is slow, the stationary time may be set longer.
In addition, the moving speed of the image region R between the faces F may be set in consideration of the atmosphere of the photograph, the atmosphere of BGM, and the like, similar to the above-described stationary time.

また、上記実施形態では、顔検出や所定の画像領域Ｒの拡大表示等に画像記録部２に記録された画像データ２ａを用いるようにしたが、これに限られるものではなく、例えば、外部装置から送信され所定の通信ケーブルを介して受信した画像データ２ａを用いるようにしても良い。即ち、予め画像記録部２に記録された画像データ２ａでなくとも、顔検出等を行う際に撮像装置１００が所定の手段を用いて随時取得した画像データ２ａであっても良い。
さらに、画像データ２ａとして当該撮像装置１００にて撮像された写真画像Ｇに係るものを例示して説明したが、これに限られるものではなく、例えば、銀塩カメラにて撮像された後、所定のスキャナ等の画像読取装置により読み取られた画像データ２ａであっても良い。
また、写真画像Ｇに限られるものではなく、複数の人物が表され、顔検出をすることができる画像であれば如何なるものであっても良く、例えば、コンピュータ・グラフィックス（ＣＧ）にて作成された高精細なＣＧ画像等であっても良い。 In the above embodiment, the image data 2a recorded in the image recording unit 2 is used for face detection, enlarged display of a predetermined image region R, and the like. However, the present invention is not limited to this. Alternatively, the image data 2a transmitted from and received via a predetermined communication cable may be used. That is, instead of the image data 2a recorded in the image recording unit 2 in advance, the image data 2a acquired by the imaging apparatus 100 at any time using predetermined means when performing face detection or the like may be used.
Further, the image data 2a has been described by taking the photographic image G taken by the imaging apparatus 100 as an example. However, the image data 2a is not limited to this. It may be image data 2a read by an image reading apparatus such as a scanner.
The image is not limited to the photographic image G, and any image can be used as long as it represents a plurality of persons and can detect a face. For example, it is created by computer graphics (CG). It may be a high-definition CG image or the like.

加えて、上記実施形態では、人物の顔Ｆを検出するようにしたが、これに限られるものではなく、例えば、上記と略同様の各処理を任意の物体が表された画像に対して行うことで当該物体を検出するような構成としても良い。
さらに、上記実施形態では、本発明に係る画像表示装置として、撮像装置１００を例示したが、これに限られるものではなく、少なくとも画像データを表示する表示部７を備える装置であれば、如何なるものであっても良い。また、例えば、画像表示装置としてのディスプレイを備えるパーソナルコンピュータ（ＰＣ；図示略）等に画像データを取り込み、当該ＰＣによる所定のプログラムの実行に基づいて、上記のように、顔検出処理、顔の位置の検出処理、顔検出の信頼度の判定処理、画像領域の移動軌跡の決定処理、並びに、画像領域の拡大表示処理、移動表示処理及び静止表示処理等を実施することにより、本発明を実現するようにしても良い。 In addition, in the above-described embodiment, the person's face F is detected. However, the present invention is not limited to this. For example, each process similar to the above is performed on an image representing an arbitrary object. It is good also as a structure which detects the said object by this.
Furthermore, in the above-described embodiment, the imaging device 100 is illustrated as the image display device according to the present invention. However, the present invention is not limited to this, and any device may be used as long as the device includes the display unit 7 that displays at least image data. It may be. Further, for example, image data is taken into a personal computer (PC; not shown) having a display as an image display device, and based on execution of a predetermined program by the PC, as described above, face detection processing, The present invention is realized by performing position detection processing, face detection reliability determination processing, image region movement trajectory determination processing, image region enlargement display processing, movement display processing, still display processing, and the like. You may make it do.

本発明を適用した画像表示装置の好適な一実施形態として例示する撮像装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the imaging device illustrated as suitable one Embodiment of the image display apparatus to which this invention is applied. 図１の撮像装置による画像表示処理に係る写真画像を模式的に示した図である。It is the figure which showed typically the photographic image which concerns on the image display process by the imaging device of FIG. 図２の画像表示処理に係る写真画像を構成する画像領域の移動軌跡を模式的に示した図である。It is the figure which showed typically the movement locus | trajectory of the image area | region which comprises the photographic image which concerns on the image display process of FIG. 図２の画像表示処理に係る画像領域の移動を模式的に示した図である。It is the figure which showed typically the movement of the image area which concerns on the image display process of FIG. 図２の画像表示処理に係る動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to the image display process of FIG. 2. 変形例１の撮像装置による画像表示処理に係る動作の一例を示すフローチャートである。10 is a flowchart illustrating an example of an operation related to an image display process performed by an imaging apparatus according to a first modification.

符号の説明Explanation of symbols

１００ 撮像装置（画像表示装置）
１ 撮像部
２ 画像記録部
２ａ 画像データ
３ 顔検出部（顔検出手段、位置検出手段、大きさ算出手段、信頼度判定手段）
４ 軌跡決定部（移動軌跡決定手段）
５ ズーム倍率決定部（拡大率決定手段）
６ 静止時間決定部（静止表示時間決定手段）
７ 表示部（拡大表示手段、移動表示手段、静止表示手段）
Ｆ 顔
Ｇ 写真画像
Ｌ 移動軌跡
Ｒ 画像領域 100 Imaging device (image display device)
DESCRIPTION OF SYMBOLS 1 Image pick-up part 2 Image recording part 2a Image data 3 Face detection part (a face detection means, a position detection means, a size calculation means, a reliability determination means)
4 Trajectory determination unit (moving trajectory determination means)
5 Zoom magnification determination unit (magnification rate determination means)
6 Stationary time determination unit (stationary display time determination means)
7 Display section (enlarged display means, moving display means, stationary display means)
F Face G Photo image L Movement trajectory R Image area

Claims (4)

複数の人物が表された画像の画像情報に基づいて、当該画像内から前記複数の人物の顔を検出する顔検出手段と、
前記画像を構成する一部の画像領域を拡大表示させる拡大表示手段と、
前記拡大表示手段により拡大表示される前記画像領域を当該画像内にて連続的に移動させる移動表示手段と、
前記顔検出手段により検出された前記顔の各々の位置を検出する位置検出手段と、
前記位置検出手段により検出された前記複数の顔の各々を通過するように前記移動表示手段によって前記画像領域を移動させる移動軌跡を決定する移動軌跡決定手段と、
前記顔検出手段による顔検出の信頼度が所定の閾値以上であるか否かを判定する信頼度判定手段と、
前記移動軌跡決定手段により決定された前記移動軌跡に沿って移動表示される前記画像領域のうち、前記顔の各々を含む前記画像領域を静止表示させる静止表示手段と、
前記静止表示手段による前記画像領域の静止表示時間を、前記信頼度判定手段により前記所定の閾値未満であると判定された前記信頼度の前記顔に係る前記静止表示時間が、前記所定の閾値以上であると判定された前記信頼度の前記顔に係る前記静止表示時間よりも短くなるか、或いは、略ゼロとなるように決定する静止表示時間決定手段と、
を備えることを特徴とする画像表示装置。 Face detection means for detecting faces of the plurality of persons from the image based on the image information of the image representing the plurality of persons;
An enlarged display means for enlarging and displaying a part of the image area constituting the image;
Moving display means for continuously moving the image area enlarged and displayed by the enlarged display means within the image;
Position detecting means for detecting the position of each of the faces detected by the face detecting means;
A movement trajectory determining means for determining a movement trajectory for moving the image area by the movement display means so as to pass through each of the plurality of faces detected by the position detection means;
Reliability determination means for determining whether or not the reliability of face detection by the face detection means is equal to or greater than a predetermined threshold;
A stationary display unit that statically displays the image region including each of the faces among the image regions that are moved and displayed along the movement locus determined by the movement locus determination unit;
The static display time of the image area by the static display means is equal to or greater than the predetermined threshold for the static display time related to the face having the reliability determined by the reliability determination means to be less than the predetermined threshold. Static display time determining means for determining to be shorter than or substantially zero than the static display time related to the face of the reliability determined to be,
An image display device comprising: 前記顔検出手段により検出された前記顔の各々の前記画像全体に対する大きさを算出する大きさ算出手段と、
前記大きさ算出手段により算出された前記複数の顔の各々の大きさに基づいて、当該顔の各々を含む前記画像領域の前記拡大表示手段による拡大率を決定する拡大率決定手段と、
を備えることを特徴とする請求項１に記載の画像表示装置。 Size calculating means for calculating the size of each of the faces detected by the face detecting means with respect to the entire image;
An enlargement ratio determining means for determining an enlargement ratio by the enlargement display means of the image area including each of the faces based on the size of each of the plurality of faces calculated by the size calculating means;
The image display apparatus according to claim 1, further comprising: 前記静止表示時間決定手段は、さらに、前記大きさ算出手段により算出された前記顔の大きさに基づいて、前記静止表示時間を決定することを特徴とする請求項２に記載の画像表示装置。   The image display device according to claim 2, wherein the still display time determination unit further determines the still display time based on the size of the face calculated by the size calculation unit. 画像表示装置に、
複数の人物が表された画像の画像情報に基づいて、当該画像内から前記複数の人物の顔を検出する機能と、
前記画像を構成する一部の画像領域を拡大表示させる機能と、
拡大表示される前記画像領域を当該画像内にて連続的に移動させる機能と、
検出された前記顔の各々の位置を検出する機能と、
検出された前記複数の顔の各々を通過するように前記画像領域を移動させる移動軌跡を決定する機能と、
顔検出の信頼度が所定の閾値以上であるか否かを判定する機能と、
決定された前記移動軌跡に沿って移動表示される前記画像領域のうち、前記顔の各々を含む前記画像領域を静止表示させる機能と、
前記画像領域の静止表示時間を、前記所定の閾値未満であると判定された前記信頼度の前記顔に係る前記静止表示時間が、前記所定の閾値以上であると判定された前記信頼度の前記顔に係る前記静止表示時間よりも短くなるか、或いは、略ゼロとなるように決定する機能と、
を実現させるためのプログラム。 In the image display device,
A function of detecting faces of the plurality of persons from the image based on image information of the image representing the plurality of persons;
A function of enlarging and displaying a part of the image area constituting the image;
A function of continuously moving the image area to be enlarged and displayed within the image;
A function of detecting the position of each of the detected faces;
A function of determining a movement trajectory for moving the image region so as to pass through each of the detected faces;
A function of determining whether the reliability of face detection is equal to or higher than a predetermined threshold;
A function of statically displaying the image area including each of the faces among the image areas that are moved and displayed along the determined movement locus;
The still display time of the image area, the reliability of the face determined to be less than the predetermined threshold, the still display time of the face of the reliability determined to be greater than or equal to the predetermined threshold. A function of determining to be shorter than the stationary display time for the face or to be substantially zero;
A program to realize
JP2005347785A 2005-12-01 2005-12-01 Image display apparatus and program Expired - Fee Related JP4702015B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005347785A JP4702015B2 (en) 2005-12-01 2005-12-01 Image display apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005347785A JP4702015B2 (en) 2005-12-01 2005-12-01 Image display apparatus and program

Publications (2)

Publication Number Publication Date
JP2007156606A JP2007156606A (en) 2007-06-21
JP4702015B2 true JP4702015B2 (en) 2011-06-15

Family

ID=38240923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005347785A Expired - Fee Related JP4702015B2 (en) 2005-12-01 2005-12-01 Image display apparatus and program

Country Status (1)

Country Link
JP (1) JP4702015B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4436453B2 (en) 2007-06-13 2010-03-24 豊田鉄工株式会社 Operating device with load sensor
JP5213639B2 (en) * 2008-10-26 2013-06-19 三洋電機株式会社 Image processing device
JP5434096B2 (en) * 2009-01-27 2014-03-05 株式会社ニコン Digital camera
JP5553569B2 (en) * 2009-09-29 2014-07-16 富士フイルム株式会社 Image display device and image display method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193933A (en) * 2002-12-11 2004-07-08 Canon Inc Image enlargement display method, its apparatus, and medium program
JP2005182196A (en) * 2003-12-16 2005-07-07 Canon Inc Image display method and image display device
JP2005318515A (en) * 2004-03-31 2005-11-10 Fuji Photo Film Co Ltd Digital still camera, image reproducing apparatus, face image display apparatus, and methods of controlling same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193933A (en) * 2002-12-11 2004-07-08 Canon Inc Image enlargement display method, its apparatus, and medium program
JP2005182196A (en) * 2003-12-16 2005-07-07 Canon Inc Image display method and image display device
JP2005318515A (en) * 2004-03-31 2005-11-10 Fuji Photo Film Co Ltd Digital still camera, image reproducing apparatus, face image display apparatus, and methods of controlling same

Also Published As

Publication number Publication date
JP2007156606A (en) 2007-06-21

Similar Documents

Publication Publication Date Title
CN111066315B (en) Apparatus, method and readable medium configured to process and display image data
JP4912117B2 (en) Imaging device with tracking function
JP4274233B2 (en) Imaging apparatus, image processing apparatus, image processing method therefor, and program causing computer to execute the method
JP6106921B2 (en) Imaging apparatus, imaging method, and imaging program
US8063947B2 (en) Image shooting device
JP5206095B2 (en) Composition determination apparatus, composition determination method, and program
US8531557B2 (en) Method, apparatus and system for performing a zoom operation
EP2339536B1 (en) Image processing system, image processing apparatus, image processing method, and program
EP1912432B1 (en) Digital camera
JP5036612B2 (en) Imaging device
KR101537948B1 (en) Photographing method and apparatus using pose estimation of face
US11736792B2 (en) Electronic device including plurality of cameras, and operation method therefor
EP2547089A1 (en) Electronic zoom device, electronic zoom method, and program
JP6141829B2 (en) Movie analysis apparatus, movie analysis method, program, and integrated circuit
JP2006295646A (en) Image processor and image processing program
KR20170026144A (en) Control apparatus, method of controlling image sensing device, and computer-readable storage medium
JP2010114752A (en) Device and method of imaging and program
JP2008171108A (en) Face condition determining device and imaging device
KR101661211B1 (en) Apparatus and method for improving face recognition ratio
JP4894708B2 (en) Imaging device
JP4702015B2 (en) Image display apparatus and program
JP2012068948A (en) Face attribute estimating apparatus and method therefor
WO2012014946A1 (en) Image processing device and image processing program
JP2009105559A (en) Method of detecting and processing object to be recognized from taken image, and portable electronic device with camera
AU2016277643A1 (en) Using face detection metadata to select video segments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

R150 Certificate of patent or registration of utility model

Ref document number: 4702015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees