JP5106240B2 - Image processing apparatus and image processing server - Google Patents
Image processing apparatus and image processing server Download PDFInfo
- Publication number
- JP5106240B2 JP5106240B2 JP2008127926A JP2008127926A JP5106240B2 JP 5106240 B2 JP5106240 B2 JP 5106240B2 JP 2008127926 A JP2008127926 A JP 2008127926A JP 2008127926 A JP2008127926 A JP 2008127926A JP 5106240 B2 JP5106240 B2 JP 5106240B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- unit
- display
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置および画像処理サーバーに関し、詳しくは、スライドショー等のように複数の撮影画像を再生する画像処理装置および画像処理サーバーに関する。 The present invention relates to an image processing equipment Contact and image processing server, more particularly, to an image processing equipment Contact and image processing server for reproducing a plurality of captured images as a slide show or the like.
近年、デジタルカメラ等の撮像装置の普及により写真画像がデジタル化され、従来のように単にプリントしてアルバムを作成するだけではなく、テレビやパーソナルコンピュータ等で画像を再生させ観賞することが一般的になってきている。また、デジタルカメラの背面に設けられた液晶モニタ等の表示装置に撮影画像を再生表示し、また携帯電話の表示部に再生表示して、撮影画像を楽しむユーザーも多くなってきている。 In recent years, with the widespread use of imaging devices such as digital cameras, photographic images have been digitized, and it is common not to simply print and create albums as in the past, but to reproduce and view images on televisions, personal computers, etc. It is becoming. In addition, there are an increasing number of users who enjoy playing a photographed image by reproducing and displaying the photographed image on a display device such as a liquid crystal monitor provided on the back of the digital camera, and reproducing and displaying it on a display unit of a mobile phone.
このように液晶モニタ等の表示装置に撮影画像を再生して楽しむことは一般的になってきている。しかし、単に撮影画像を見るだけでは、状況によっては単調な感じになってしまうことから、ＢＧＭ（バックグランドミュージック）をつけたり、また画像の切替時にフェードイン、フェードアウトのような遷移効果を施す提案がなされている。 As described above, it has become common to reproduce and enjoy a captured image on a display device such as a liquid crystal monitor. However, simply looking at the captured image may make it monotonous depending on the situation, so there are proposals to add background music (BGM) and to apply transition effects such as fade-in and fade-out when switching images. Has been made.
例えば、特許文献１には、スライドショー再生時に、再生画像の撮影時期に見合うＢＧＭを再生することにより映像鑑賞効果を高めるようにした再生装置が開示されている。しかし、特許文献１に開示の再生装置では、撮影画像を順番に再生するだけであり、機械的で冷たい印象があり、楽しむという観点からは充分ではない。そこで、特許文献２には、デジタルカメラ等で撮影した画像から顔の部分を抽出し、この顔部分にフィルタ処理を施すことにより顔の表情を変化させ、顔画像を美しく加工する顔画像処理装置が開示されている。
特許文献２に開示の顔画像処理装置によれば、画像中の顔部分を種々変更することから機械的で冷たい印象は幾分緩和することができる。しかし、この顔画像処理装置では、撮影画像を改変し加工してしまうことから、不自然な顔になってしまうおそれもある。 According to the face image processing apparatus disclosed in Patent Document 2, since the face portion in the image is variously changed, the mechanical and cold impression can be somewhat relieved. However, in this face image processing apparatus, the photographed image is modified and processed, so that there is a possibility that the face becomes unnatural.
本発明は、このような事情を鑑みてなされたものであり、複数の画像を順次再生するにあたって、単調な画像の遷移とはならず、楽しむことのできる画像処理装置および画像処理サーバーを提供することを目的とする。 The present invention has been made in view of such circumstances, in order to sequentially reproduce a plurality of images, not the transition of the monotonous image, the image processing equipment Contact and image processing server that can be enjoyed The purpose is to provide.
第１の発明に係わる画像処理装置は、複数の画像を順次表示するにあたって、上記複数の画像の中の顔画像に対して所定の画像処理を行う画像処理装置であって、上記複数の画像を記録する画像記録部と、上記画像記録部から読み出され、現在表示中の上記顔画像の次に表示する画像の属する分類を判定する判定部と、上記判定部での判定結果に応じて、顔の表情を変化させた顔画像を表示するための画像処理を行う画像処理部と、を具備し、上記画像処理部は、上記順次表示における現在表示中の画像が顔画像であり、次に表示する画像が顔を含まないときに、上記顔画像の中の顔パーツが次第に変形するような遷移効果を施した顔画像を表示させ、この遷移効果を施した顔画像を表示した後に、上記画像記録部に記録された次の画像の表示を行う。 An image processing apparatus according to a first aspect of the present invention is an image processing apparatus that performs predetermined image processing on a face image in the plurality of images when sequentially displaying the plurality of images. According to the determination result of the image recording unit to be recorded, the determination unit that is read from the image recording unit and determines the classification to which the image to be displayed next to the currently displayed face image belongs, An image processing unit that performs image processing for displaying a face image with a changed facial expression, wherein the image processing unit is a currently displayed image in the sequential display; When the image to be displayed does not include a face, a face image with a transition effect that gradually deforms the facial parts in the face image is displayed, and after the face image with the transition effect is displayed, Table of the next image recorded in the image recorder It is carried out.
第２の発明に係わる画像処理装置は、複数の画像を順次表示するにあたって、上記複数の画像の中の顔画像に対して所定の画像処理を行う画像処理装置であって、上記複数の画像を記録する画像記録部と、上記画像記録部から読み出され、現在表示中の上記顔画像の次に表示する画像の属する分類を判定する判定部と、上記判定部での判定結果に応じて、顔の表情を変化させた顔画像を表示するための画像処理を行う画像処理部と、を具備し、上記画像処理部は、上記順次表示における現在表示中の画像が顔を含まず、次に表示する画像が顔画像であるときに、上記現在表示中の画像を消去した後、次の顔画像を表示する際には、先に上記顔画像の中の顔パーツを変形させた画像を表示させ、この表示が終わると、上記顔画像を表示する。 An image processing apparatus according to a second invention is an image processing apparatus that performs predetermined image processing on a face image in the plurality of images when sequentially displaying the plurality of images. According to the determination result of the image recording unit to be recorded, the determination unit that is read from the image recording unit and determines the classification to which the image to be displayed next to the currently displayed face image belongs, An image processing unit that performs image processing for displaying a face image with a changed facial expression, and the image processing unit includes a face that does not include a face in the image currently displayed in the sequential display, and When the image to be displayed is a face image, when the next face image is displayed after erasing the currently displayed image, an image obtained by deforming the face part in the face image is displayed first. When this display is completed, the face image is displayed.
第３の発明に係わる画像処理サーバーは、外部からのアクセスに応じて、複数の画像を順次表示するために、上記複数の画像の中の顔画像に対して所定の画像処理を実行可能なサーバーであって、上記顔画像の次に表示される画像の属する分類を判定する判定部と、上記判定部における上記画像の上記分類に応じて、上記顔画像の顔の表情を変化させた顔画像を表示させるための画像処理を行う画像処理部と、この画像処理された上記顔画像を仮想空間画像に合成し、仮想空間内展示用画像を生成するための画像合成部と、上記画像合成部によって生成された上記仮想空間内展示用画像を送信する送信部と、を具備する。 An image processing server according to a third aspect of the present invention is a server capable of executing predetermined image processing on a face image in the plurality of images in order to sequentially display the plurality of images in response to an external access. A determination unit that determines a classification to which an image displayed next to the face image belongs, and a facial image in which the facial expression of the facial image is changed according to the classification of the image in the determination unit An image processing unit for performing image processing for displaying the image, an image composition unit for synthesizing the image-processed face image with a virtual space image, and generating an image for display in the virtual space, and the image composition unit And a transmission unit that transmits the image for display in the virtual space generated by (1).
本発明によれば、前後に表示される画像の態様に応じて、顔画像の態様を変化させるための画像処理を行うようにしたので、複数の画像を順次再生するにあたって、単調な画像の遷移とはならず、楽しむことのできる画像処理装置および画像処理サーバーを提供することができる。
According to the present invention, since the image processing for changing the aspect of the face image is performed according to the aspect of the image displayed before and after, the monotonous transition of the image when sequentially reproducing a plurality of images and must not, be able to provide an image processing equipment you and image processing server that can be enjoyed.
以下、図面に従って本発明を適用したカメラ１０や、サーバー５０等を用いて好ましい実施形態について説明する。図１は本発明の第１実施形態に係わるカメラ１０の構成を示すブロック図である。カメラ１０は被写体を撮影し、撮影画像を取得するデジタルカメラである。 Hereinafter, a preferred embodiment will be described using the camera 10 to which the present invention is applied, a server 50, and the like according to the drawings. FIG. 1 is a block diagram showing a configuration of a camera 10 according to the first embodiment of the present invention. The camera 10 is a digital camera that captures a subject and acquires a captured image.
カメラ１０は、制御部１、撮影部２、画像記録部３、表情切換画像処理部４、画像分類部５、時計部６、顔及び顔パーツ検出部７、表示部８を有している。制御部１は、ＣＰＵ等を含みカメラ１０内の各部と接続され、記憶媒体に記憶された制御プログラムに従ってカメラ１０の全体を制御する。 The camera 10 includes a control unit 1, a photographing unit 2, an image recording unit 3, a facial expression switching image processing unit 4, an image classification unit 5, a clock unit 6, a face and face part detection unit 7, and a display unit 8. The control unit 1 includes a CPU and the like, is connected to each unit in the camera 10, and controls the entire camera 10 according to a control program stored in a storage medium.
撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される信号を処理する画像処理部等を含み、画像データを出力する。画像記録部３は、撮影部２から出力される静止画の画像データを記録する。 The photographing unit 2 includes an optical system for forming a subject image, an image sensor that photoelectrically converts the subject image, an image processing unit that processes a signal output from the image sensor, and the like, and outputs image data. The image recording unit 3 records image data of a still image output from the photographing unit 2.
顔及び顔パーツ検出部７は、撮影部２から画像データを入力し、この画像データに基づいて、人物の顔の部分を検出する。また、顔の部分を検出すると、顔の中の眼、口、鼻等の顔パーツを検出する。顔及び顔パーツ検出部７は、顔や顔パーツの検出結果を制御部１に出力する。 The face and face part detection unit 7 receives image data from the photographing unit 2 and detects a face portion of a person based on the image data. When a face portion is detected, face parts such as eyes, mouth, and nose in the face are detected. The face and face part detection unit 7 outputs the detection result of the face and face parts to the control unit 1.
画像分類部５は、画像記録部３に記録されている画像について、風景画像や人物画像等の分類を行う。本実施形態においては、顔及び顔パーツ検出部７によって顔が検出された場合には、人物画像と分類し、顔が検出されない場合には、風景画像と分類する。画像分類としては、本実施形態の手法以外にも、撮影時刻、撮影場所、画像解析等を組合せ、さらに細かい分類を行っても良い。 The image classification unit 5 classifies landscape images, person images, and the like for images recorded in the image recording unit 3. In the present embodiment, when a face is detected by the face and face part detection unit 7, it is classified as a person image, and when a face is not detected, it is classified as a landscape image. As the image classification, in addition to the method of the present embodiment, a finer classification may be performed by combining shooting time, shooting location, image analysis, and the like.
表情切換画像処理部４は、表示部８において画像の再生表示を行う際に、画像の再生と次の画像の再生の間で、人物の表情を変化させる。すなわち、顔及び顔パーツ検出部７において検出された眼や口等の顔パーツを変化させる画像処理を行う。 The facial expression switching image processing unit 4 changes the facial expression of the person between the reproduction of the image and the reproduction of the next image when the display unit 8 reproduces and displays the image. That is, image processing for changing the face parts such as the eyes and mouth detected by the face and face part detection unit 7 is performed.
表情切換画像処理部４による画像処理としては、例えば、図２（ａ）に示すような人物２１の画像に続いて、図２（ｃ）に示すような風景画像２３を再生表示する場合、人物画像と風景画像の間に、図２（ｂ）に示すように人物２１の表情を変化させた画像を挿入する。図２（ｂ）に示す例では、人物２１の眼２１ａを大きくし、口２１ｂを開いている。このような表情変化をつけることにより、次の風景画像２３に対する期待を持たせ、スライドショーが単調となるのを防ぐことができる。 As the image processing by the facial expression switching image processing unit 4, for example, when a landscape image 23 as shown in FIG. 2C is reproduced and displayed following an image of the person 21 as shown in FIG. As shown in FIG. 2B, an image in which the expression of the person 21 is changed is inserted between the image and the landscape image. In the example shown in FIG. 2B, the eye 21a of the person 21 is enlarged and the mouth 21b is opened. By giving such a facial expression change, expectation for the next landscape image 23 can be given, and the slide show can be prevented from becoming monotonous.
時計部６は、日時情報を取得するための時計機能を有している。ここから出力される日時情報は、撮影部２によって撮像された画像データを画像記録部３に記録する際に、一緒に記録される。 The clock unit 6 has a clock function for acquiring date / time information. The date / time information output from here is recorded together when the image data captured by the imaging unit 2 is recorded in the image recording unit 3.
表示部８は、カメラ１０の背面に設けられた液晶モニタ等によって構成され、画像記録部３に記録された画像データを読み出し、これに基づいて再生表示する。再生表示としては、通常の１駒ごとの再生やスライドショー形式による再生があり、スライドショーにあたっては、時計部６で取得され画像データに添付されている日時情報の順に沿って再生する。また、スライドショーの駒と駒の間で、図２に示したように人物の表情を変化させて再生する。 The display unit 8 is configured by a liquid crystal monitor or the like provided on the back surface of the camera 10, reads the image data recorded in the image recording unit 3, and reproduces and displays it based on this. The playback display includes normal frame-by-frame playback and playback in a slide show format. The slide show is played back in the order of date and time information acquired by the clock unit 6 and attached to the image data. Also, the slide show is reproduced by changing the facial expression of the person between the slideshow frames as shown in FIG.
次に、本発明の第１実施形態における動作を説明するが、動作フローの説明に先立って、本実施形態における画像処理の考え方について説明する。顔パーツの表情を変化させるために、まず、撮影画像から人物の顔を検出する。図４は、このために顔の位置を検出する方法を概念的に示したものである。 Next, the operation in the first embodiment of the present invention will be described. Prior to the description of the operation flow, the concept of image processing in the present embodiment will be described. In order to change the facial expression of the facial parts, first, a human face is detected from the photographed image. FIG. 4 conceptually shows a method for detecting the position of the face for this purpose.
本実施形態においては、顔及び顔パーツ検出部７は一般的な顔のテンプレートを複数、記憶しており、例えば、図４（ａ）に示すようなテンプレート２５の大きさを変えながら、図４（ｂ）に示すような写真画像の画面内を移動させ、一致度を判定する。このとき、比較的一致度が高くテンプレート２５と類似している部分があれば、そこを人物２２の顔と判定し、顔の大きさと位置に関する情報を取得する。 In the present embodiment, the face and face part detection unit 7 stores a plurality of general face templates. For example, while changing the size of the template 25 as shown in FIG. The photographic image is moved within the screen as shown in FIG. At this time, if there is a portion having a relatively high degree of coincidence and similar to the template 25, the portion is determined as the face of the person 22 and information regarding the size and position of the face is acquired.
写真画像の中から顔の位置と大きさが分かると、次に、テンプレート２５との一致から、どこに眼があり、どこに口があるかを判定できる。眼と口の位置、大きさを判定すると、次に、表情切換画像処理部４によって、眼を大きく見開いて口を大きく開く表情に変化させると、図４（ｃ）に示す画像になる。 When the position and size of the face are known from the photographic image, it is possible to determine where the eye is and where the mouth is based on the match with the template 25. When the position and size of the eyes and mouth are determined, when the facial expression switching image processing unit 4 changes the facial expression to a facial expression that widens the eyes and opens the mouth, the image shown in FIG. 4C is obtained.
このような表情変化としては、図５（ａ）→（ｂ）に示すように、眼を大きく見開くような表情以外にも、例えば、図５（ｃ）→（ｄ）に示すように、白目部の上を引き上げるような表情がある。また、眼以外にも、口の表情変化でもよく、例えば、図５（ｅ）→（ｆ）に示すように、口の横（端部）を上に引き上げてもよい。口の端部を引き上げると、笑ったように見え、また、口パターンの全体を大きくし、真ん中に白い歯が見えるようにすると、口が開いたような表情に変化させることができる。これらの３つのパターンで表情変化させると、図４（ｂ）の人物２２から図４（ｃ）の人物２２のように変化する。 As such a facial expression change, as shown in FIGS. 5A to 5B, in addition to a facial expression that widens the eyes, for example, as shown in FIGS. 5C to 5D, white eyes There is an expression that lifts the top of the club. In addition to the eyes, the expression of the mouth may be changed. For example, as shown in FIGS. 5E to 5F, the side (edge) of the mouth may be pulled up. Pulling up the edge of the mouth makes it look like laughing, and if the whole mouth pattern is enlarged so that white teeth can be seen in the middle, it can be changed to a facial expression that opens the mouth. When the expression is changed in these three patterns, the person 22 in FIG. 4B changes to the person 22 in FIG. 4C.
また、表情切換画像処理部４は、前述したような表情変化以外にも、視線を動かすように表情処理を行っても良い。例えば、図６（ａ）に示す人物２６の画像と、図６（ｄ）に示す人物２７の画像を、連続して再生するにあたって、図６（ｂ）に示すように人物２６の視線を左側に移すような画像を挿入しても良い。人物２７（図６（ｃ））は画面の左側に顔が位置することから、人物２６（図６（ａ））の視線を矢印２８のように左側に動かすことにより、ユーザーは自然に、その目線方向に次の被写体が来ると期待し、スライドショーを楽しむことができる。もちろん、このように画像のパターンを変えるのみならず、画像の上から、パーツを合成して表示してもよい。 The facial expression switching image processing unit 4 may perform facial expression processing so as to move the line of sight in addition to the facial expression change as described above. For example, when the image of the person 26 shown in FIG. 6 (a) and the image of the person 27 shown in FIG. 6 (d) are continuously reproduced, as shown in FIG. You may insert the image which moves to. Since the face of the person 27 (FIG. 6 (c)) is located on the left side of the screen, the user naturally moves the line of sight of the person 26 (FIG. 6 (a)) to the left as indicated by the arrow 28. Expecting the next subject to come in the line of sight, you can enjoy a slideshow. Of course, in addition to changing the pattern of the image in this way, parts may be combined and displayed from the top of the image.
表情切換画像処理部４における画像処理としては、画像データの顔の部分から眼や口の陰影パターンを判定し、画像の中で眼や口の範囲がどこからどこまでかを検出し、その中で、眼や口の端部の陰影、瞼や睫毛のライン、唇の境界などの陰影を推定し、その影の部分を変形させる。 As the image processing in the facial expression switching image processing unit 4, the shadow pattern of the eyes and mouth is determined from the face portion of the image data, and the range of the eye and mouth is detected from where in the image. Estimate the shadows of the edges of the eyes and mouth, the lines of the eyelashes and eyelashes, and the boundaries of the lips, and deform the shadows.
また、表情切換画像処理部４によって、眼を大きくする場合は、眼の両端部を固定して睫毛のラインの中心部を顔の上下方向（これもテンプレートマッチングによって分かる）に広がるように画像処理し、眼の部分が広がり、これらのラインの像がなくなった部分には、隣接する白眼や黒眼の部分を補えばよい。この処理を施すことによって眼が見開いたような画像を得ることができる。 Further, when the eyes are enlarged by the facial expression switching image processing unit 4, image processing is performed so that both ends of the eyes are fixed and the center part of the eyelash line extends in the vertical direction of the face (also known by template matching). However, the adjacent white-eye and black-eye portions may be supplemented in the portion where the eye portion is expanded and the image of these lines disappears. By performing this process, it is possible to obtain an image with the eyes wide open.
また、黒眼の位置が分かれば、黒眼の部分の画像を動かすことによって、別の場所を見ているような効果を演出することができる。さらに、眼を開けるような効果は、例えば黒眼部の画像を構成する画素の、縦横比を変化させ、正方形画素を、上下方向に長い長方形に置き換えることによっても得ることができる。さらに、黒眼の位置をずらすのも、黒眼を構成する画素に隣接する白眼を構成する画素の縦横比を変形させることによって可能となる。右に黒眼を寄せるには、黒眼の右側の白眼画素の幅を短くし、黒眼の左側の白眼画像の幅を長くすればよい。 If the position of the black eye is known, the effect of looking at another place can be produced by moving the image of the black eye portion. Further, the effect of opening the eyes can be obtained, for example, by changing the aspect ratio of the pixels constituting the image of the black eye portion and replacing the square pixels with rectangles that are long in the vertical direction. Furthermore, the position of the black eye can be shifted by changing the aspect ratio of the pixels constituting the white eye adjacent to the pixels constituting the black eye. To bring the black eye to the right, the width of the white-eye pixel on the right side of the black eye may be shortened and the width of the white-eye image on the left side of the black eye may be increased.
また、上述した方法以外にも、眼の形や見ている向きを変更するような画像処理は可能である。例えば、テンプレートに、いくつかの眼のパターンのデータベースを用意しておき、表情変化時には、その中から類似度の高い眼のテンプレート画像を合成して表示するような方法が考えられる。この置き換え用の、各々の眼のパターンのデータベースの中には、その眼が、見開いたり、閉じたり、どこかを見たりする場合の画像を合わせて用意しておき、その中から適切なものを選択し、順次切替えて合成すれば、次第に表情変化していくような画像を得ることができる。 In addition to the methods described above, image processing that changes the shape of the eye and the viewing direction is possible. For example, a method may be considered in which a database of several eye patterns is prepared as a template, and an eye template image having a high similarity is synthesized and displayed when the facial expression changes. In this replacement database for each eye pattern, prepare the images for when the eyes are widened, closed, or looked somewhere. By selecting and sequentially switching and synthesizing, it is possible to obtain an image that gradually changes its facial expression.
このように、本実施形態における表情変化の画像処理は、複数の静止画を順次に再生するにあたって、人物の顔の眼や口等の顔パーツのみを動画的に動くように処理している。このとき画像処理するにあたって、次に来る画像の態様に応じて変化をつけるようにしている。例えば、次の画像の主要被写体の方向に向けて視線を移動させるとか、期待を持たせるように、眼や口を大きく開く等の表情変化である。 As described above, the expression change image processing according to the present embodiment performs processing so that only facial parts such as the eyes and mouth of a person's face move in a moving manner when sequentially reproducing a plurality of still images. At this time, when image processing is performed, changes are made according to the mode of the next image. For example, a change in facial expression such as moving the line of sight toward the main subject in the next image or widening the eyes or mouth to give expectation.
次に、本発明の第１実施形態におけるカメラ１０の制御動作について、図３に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードをユーザーによって設定可能である。ステップＳ１における判定の結果、撮影モードが設定されていた場合には、顔検出と明るさ判定を行う（Ｓ２）。このステップでは、顔検出を顔及び顔パーツ検出部７によって行い、検出された顔の位置付近について、撮影部２の撮像部からの画像データに基づいて明るさ判定を行う。 Next, the control operation of the camera 10 in the first embodiment of the present invention will be described using the flowchart shown in FIG. If the camera control flow is entered, it is first determined whether or not the camera 10 is set to the shooting mode (S1). The camera 10 can be set by a user in a shooting mode and a playback mode. If the result of determination in step S1 is that shooting mode has been set, face detection and brightness determination are performed (S2). In this step, face detection is performed by the face and face part detection unit 7, and brightness determination is performed near the detected face position based on image data from the imaging unit of the imaging unit 2.
顔検出と明るさ判定を行うと、続いて、レリーズされたか否かの判定を行う（Ｓ３）。このステップでは、レリーズスイッチが操作され、撮影者によって撮影指示がなされたかを判定する。この判定の結果、レリーズされていなかった場合には、ステップＳ１に戻る。一方、レリーズされていた場合には、ステップＳ２において検出した顔位置に撮影レンズのピントを合わせ、適正露出となるように露出制御を行う（Ｓ４）。 If face detection and brightness determination are performed, it is subsequently determined whether or not a release has been performed (S3). In this step, it is determined whether the release switch has been operated and a photographing instruction has been issued by the photographer. If the result of this determination is that release has not been carried out, processing returns to step S1. On the other hand, when the shutter has been released, the photographing lens is brought into focus at the face position detected in step S2, and exposure control is performed so as to obtain an appropriate exposure (S4).
続いて、撮影を行う（Ｓ５）。このステップでは、撮影部２において、被写体像の静止画の画像データを取得する。撮影が終わると、画像分類と顔位置の記録を行う（Ｓ６）。このステップでは、ステップＳ５で取得した画像データに基づいて、顔及び顔パーツ検出部７は顔の有無を検出し、顔があった場合には、その顔の位置を検出する。また、画像分類部５は顔の有無等に基づいて、人物画像か風景画像かその他の画像等に画像の分類を行う。 Subsequently, photographing is performed (S5). In this step, the image capturing unit 2 acquires image data of a still image of the subject image. When shooting is completed, image classification and face position recording are performed (S6). In this step, based on the image data acquired in step S5, the face and face part detection unit 7 detects the presence of a face, and if there is a face, detects the position of the face. Further, the image classification unit 5 classifies the image into a person image, a landscape image, another image, or the like based on the presence or absence of a face.
なお、画像の分類としては、顔の有無情報に限らず、画像に付随した情報を参考にして行っても良い。最近では、写真画像に、撮影時刻のデータのみならず、ＧＰＳの情報などを用いて、位置のデータを付与できるカメラもあり、さらに、顔画像から個人を特定したりすることが可能であり、これらのデータを画像に付与することが可能である。 Note that image classification is not limited to face presence / absence information, and may be performed with reference to information associated with the image. Recently, there are cameras that can add position data to photo images using not only shooting time data but also GPS information, etc., and it is possible to identify individuals from face images, These data can be added to the image.
次に、画像と共に記録を行う（Ｓ７）。すなわち、このステップでは、ステップＳ５において取得した画像データを画像記録部３に記録し、このとき、この画像と共に画像分類結果、顔の位置や大きさの情報、時計部６からの撮影日時情報、およびその他の撮影パラーメータ等を記録する。記録が終わると、リターンし、ステップＳ１から再び実行する。 Next, it records with an image (S7). That is, in this step, the image data acquired in step S5 is recorded in the image recording unit 3. At this time, together with this image, the image classification result, face position and size information, shooting date and time information from the clock unit 6, And other shooting parameters, etc. When the recording is finished, the process returns and the process is executed again from step S1.
ステップＳ１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１）。この判定の結果、再生モードでもなかった場合には、ステップＳ１に戻る。一方、再生モードであった場合には、画像記録部３に記録されている撮影画像を表示部８にサムネイル表示する（Ｓ１２）。 If the result of determination in step S <b> 1 is not shooting mode, it is determined whether or not playback mode is set (S <b> 11). If the result of this determination is not playback mode, processing returns to step S1. On the other hand, if the playback mode is selected, the captured images recorded in the image recording unit 3 are displayed as thumbnails on the display unit 8 (S12).
続いて、指定画像の拡大表示を行う（Ｓ１３）。このステップでは、十字釦（不図示）等の操作によりサムネイル表示の中からユーザーによって選択された画像を表示部８に拡大表示する。指定画像を拡大表示すると、続いて、スライドショーか否かの判定を行う（Ｓ１４）。この判定の結果、スライドショーでなかった場合には、通常の１駒再生であることから、そのままリターンし、ステップＳ１から再び実行する。 Subsequently, the designated image is enlarged and displayed (S13). In this step, the image selected by the user from the thumbnail display is enlarged and displayed on the display unit 8 by operating the cross button (not shown) or the like. When the designated image is enlarged and displayed, it is subsequently determined whether or not it is a slide show (S14). If the result of this determination is that the slide show is not a slide show, it is normal one-frame playback, so that the process returns and executes again from step S1.
ステップＳ１４における判定の結果、スライドショーであった場合には、現在、表示部８に表示されている撮影画像の次の順番の撮影画像の画像分類を読み出す（Ｓ１５）。撮影画像は、撮影時に画像分類され（Ｓ７）、この画像分類は画像と共に記録されている（Ｓ７）。そこで、ステップＳ１５では画像と共に記録されている画像分類を読み出す。 If the result of determination in step S14 is a slide show, the image classification of the photographed image in the next order of the photographed image currently displayed on the display unit 8 is read (S15). The photographed images are classified at the time of photographing (S7), and this image classification is recorded together with the images (S7). In step S15, the image classification recorded together with the image is read out.
なお、撮影時（ステップＳ６）に画像分類を行っていない場合には、このステップＳ１５においてステップＳ６と同様に判定を行うようにしても良い。また、ステップＳ１７、ステップＳ２２において、現在表示の画像について判定を行うが、このときも画像と共に記録されている画像分類の情報を読み出して判定するが、それぞれのステップにおいて、画像分類の判定を行うようにしても良い。 If image classification is not performed at the time of shooting (step S6), determination may be made in step S15 as in step S6. In step S17 and step S22, the currently displayed image is determined. At this time, the image classification information recorded together with the image is read and determined. In each step, the image classification is determined. You may do it.
例えば、図２（ａ）に示すような人物２１の画像を再生表示している場合に、次の画像（図２（ｃ））の画像の分類結果を読み出す（この例では、風景画像）。この読み出された画像分類に応じて、ステップＳ１８、Ｓ２３、Ｓ２４において人物の表情に変化を与え、すなわち、表情切換画像処理部４によって遷移効果をもった画像を生成し、例えば図２（ｂ）に示したような画像を表示する。 For example, when the image of the person 21 as shown in FIG. 2A is reproduced and displayed, the image classification result of the next image (FIG. 2C) is read (in this example, a landscape image). In accordance with the read image classification, the facial expression of the person is changed in steps S18, S23, and S24, that is, an image having a transition effect is generated by the facial expression switching image processing unit 4, for example, FIG. ) Is displayed.
ステップＳ１５において次の画像分類結果を読み出すと、この画像が人物画像であるか否かの判定を行う（Ｓ１６）。この判定の結果、次の画像が人物画像であった場合には、現在表示している画像が人物画像であるか否かの判定を行う（Ｓ１７）。この判定の結果、現在表示の画像が人物画像であった場合には、次の人物の方向に視線を動かす（Ｓ１８）。 When the next image classification result is read in step S15, it is determined whether or not this image is a person image (S16). If the result of this determination is that the next image is a person image, it is determined whether or not the currently displayed image is a person image (S17). If the result of this determination is that the currently displayed image is a person image, the line of sight is moved in the direction of the next person (S18).
ステップＳ１６からステップＳ１８の状況は、図６において説明した状況と同様である。すなわち、次の画像（図６（ｃ））は人物２７の画像であり、現在の画像（図６（ａ））は人物２６の画像であることから、人物２６の視線を矢印２８のように、人物２７のいる方向に向けて動かす。これにより、スライドショーの鑑賞者は、次の画像は、矢印２８の方向に主要被写体がいることが分かり、自然と次の画像の人物に注目が集まる。 The situation from step S16 to step S18 is the same as the situation described in FIG. That is, since the next image (FIG. 6C) is an image of the person 27 and the current image (FIG. 6A) is an image of the person 26, the line of sight of the person 26 is indicated by an arrow 28. , Move toward the direction of the person 27. As a result, the viewer of the slide show knows that the next image has a main subject in the direction of the arrow 28, and the person in the next image naturally gets attention.
ステップＳ１７における判定の結果、現在表示の画像が人物画像でなかった場合には、ステップＳ１９に進み、表情変化の画像処理を行わない。すなわち、次の画像は人物であるが、現在表示の画像は風景画像等の人物画像以外の画像であり、人物画像の表情変化を行うには不適であるからである。 If the result of determination in step S17 is that the currently displayed image is not a person image, processing proceeds to step S19 and image processing for facial expression change is not performed. That is, the next image is a person, but the currently displayed image is an image other than a person image, such as a landscape image, and is unsuitable for changing the facial expression of the person image.
ステップＳ１６における判定の結果、次の画像が人物画像でなかった場合、すなわち、風景画像またはその他の画像であった場合には、現在表示の画像が人物画像であるか否かの判定を行う（Ｓ２１）。この判定の結果、現在表示画像が人物画像でなかった場合には、ステップＳ１９に進み、表情変化の画像処理を行わない。現在も次回も風景画像が続くことからである。 If the result of determination in step S16 is that the next image is not a person image, that is, a landscape image or other image, it is determined whether or not the currently displayed image is a person image ( S21). If the result of this determination is that the currently displayed image is not a person image, the process proceeds to step S19, and facial expression change image processing is not performed. This is because the landscape image continues next and now.
ステップＳ２１における判定の結果、現在表示の画像が人物画像であった場合には、次は風景画像であるか否かの判定を行う（Ｓ２２）。この判定の結果、次が風景であった場合には、眼と口を少し開くように表情変化の画像処理を行う（Ｓ２４）。一方、判定の結果、風景でなかった場合（その他の画像）、眼をしだいに大きくする表情変化の画像処理を行う（Ｓ２３）。 If the result of determination in step S21 is that the currently displayed image is a person image, it is next determined whether or not it is a landscape image (S22). If the result of this determination is landscape, the facial expression change image processing is performed so that the eyes and mouth are slightly opened (S24). On the other hand, if the result of determination is that the scene is not a landscape (other images), facial expression change image processing that gradually enlarges the eyes is performed (S23).
ステップＳ１８において視線を動かす処理を行うと、またはステップＳ１７若しくはステップＳ２１においてＮｏの判定がなされた場合には、スライドショーが終了か否かの判定を行う（Ｓ１９）。このステップでは、カメラ１０の操作部材によって終了操作がなされたか否かを判定する。 When the process of moving the line of sight is performed in step S18, or if No is determined in step S17 or step S21, it is determined whether or not the slide show is ended (S19). In this step, it is determined whether or not an end operation has been performed by the operation member of the camera 10.
ステップＳ１９において終了でないと判定された場合、またはステップＳ２３およびステップＳ２４において表情変化の処理を行うと、次の画像を表示する（Ｓ２５）。次の画像を表示すると、ステップＳ１５に戻り、前述の動作を繰り返す。すなわち、現在表示の画像が人物画像である場合には、次の画像の画像分類に応じて現在表示の人物画像が表情変化するように画像処理を施した画像を表示した後、次の画像を再生する。 If it is determined in step S19 that the process has not ended, or if facial expression change processing is performed in steps S23 and S24, the next image is displayed (S25). When the next image is displayed, the process returns to step S15 and the above-described operation is repeated. That is, if the currently displayed image is a person image, an image that has undergone image processing so that the expression of the currently displayed person image changes according to the image classification of the next image is displayed, and then the next image is displayed. Reproduce.
ステップＳ１９における判定の結果、終了であった場合には、リターンし、ステップＳ１から再び、実行する。 If the result of determination in step S <b> 19 is end, the process returns and executes again from step S <b> 1.
このように、本発明の第１実施形態においては、スライドショーが選択された場合には、ステップＳ１５以下において、人物画像の顔の表情を変化させている。鑑賞者は、人物の顔の変化には敏感に反応するので、何が起こるかを期待して、次の画像を待つことになる。したがって、単なるスライドショーではなくなり、ワクワク感などの効果が出る。 Thus, in the first embodiment of the present invention, when a slide show is selected, the facial expression of the person image is changed in step S15 and subsequent steps. The viewer reacts sensitively to changes in the person's face and waits for the next image in anticipation of what will happen. Therefore, it is no longer just a slide show, but an effect such as an excitement is produced.
なお、本実施形態においては、人物の表情変化は、スライドショーが選択された場合のみ表示され、表情変化した人物画像をプリントアウトすることはできない。撮影対象となった人物にとって、意図しない画像となる場合もあることから、本実施形態においては表情変化した画像のプリントアウトは禁止している。 In the present embodiment, the change in the facial expression of the person is displayed only when the slide show is selected, and the person image with the changed facial expression cannot be printed out. In some cases, an image whose facial expression is changed is prohibited in the present embodiment because an unintended image may be obtained for a person who is a subject of photographing.
また、本実施形態においては、人物の表情変化は、ステップＳ１８、Ｓ２３、Ｓ２４における３パターンだけであるが、これに限らず、例えば、口元や眼の周りを変化させ笑い画像の表情としたり、眉を動かし、眉をひそめた表情等、眼や口以外の顔パーツを動かし、種々の表情変化を採用するようにしても良い。 In the present embodiment, the change in facial expression of the person is only three patterns in steps S18, S23, and S24. However, the present invention is not limited to this. For example, the facial expression of a laughing image can be changed by changing the mouth and the surroundings of the eyes. Various facial expression changes may be adopted by moving the eyebrows, moving facial parts other than the eyes and mouth, such as facial expressions with frowns.
表情の変化としては、その他にも、例えば、口の形を順次切替えて、あたかも話しかけてくるような演出を行ってもよい。この場合、「キレイ」とか、「ステキ」とか、「スゴイ」といった単純な単語であれば、数パターンの口画像を作るだけで表現可能である。 In addition to the change in facial expression, for example, the mouth shape may be sequentially switched to produce an effect as if talking. In this case, a simple word such as “clean”, “smooth”, or “great” can be expressed simply by creating several patterns of mouth images.
また、近年、セキュリティの分野では、顔の向きで、顔の認証ができない場合を想定し、頭部の形状を顔写真から予測して、顔の向きが変わった時の顔画像を予測するような技術が発達している。このような画像処理を利用し、眼の動きのみならず、顔の向きまでを変化させて、人物がどこかを見るような演出にしてもよい。人物が複数いる場合は、顔を見合わせてから、オリジナル画像を表示するといった演出も可能である。 In recent years, in the field of security, assuming that the face cannot be authenticated by the orientation of the face, the shape of the head is predicted from the face photograph, and the face image when the orientation of the face changes is predicted. Technology has been developed. Such an image processing may be used to produce not only the movement of the eye but also the direction of the face so that the person can see where the person is. When there are a plurality of persons, it is possible to produce an effect such as displaying the original image after looking up at the face.
さらに、本実施形態においては、次の画像が表示される前にワクワク感が出るように、人物の表情を変化させていたが、人物の表情を変化させることは、単に次の画像の表示の際だけでなく、例えば、前の画像の余韻を味あうような演出効果を出す際等、別のタイミングにも利用できる。 Further, in the present embodiment, the facial expression of the person is changed so as to give an excitement before the next image is displayed. However, changing the facial expression of the person simply means that the next image is displayed. For example, it can be used for other timings, such as when producing an effect that tastes the reverberation of the previous image.
例えば、風景写真を表示した後、人物の画像が表示される場合に、まず、風景を見るような表情の眼の形を人物の画像に合成しておき、それを次の瞬間に、合成なしのオリジナルの顔画像表示に切替えれば、風景画像に眼をこらしていた人が、ふと我に返るような演出の画像切換が可能となる。つまり、現在表示中の風景画像を消去した後、次の顔画像を表示し、この顔画像の顔パーツが変形した状態から、元の画像に戻るようにしている。 For example, if a person's image is displayed after a landscape photo is displayed, first the eye shape with a facial expression that looks like a landscape is combined with the person's image, and then it is not combined at the next moment. By switching to the original face image display, it is possible to switch the image so that a person who has focused on the landscape image returns to me suddenly. That is, after the currently displayed landscape image is erased, the next face image is displayed, and the face part of the face image is returned to the original image from the deformed state.
この場合、人物画像の前の風景画像を表示した際に、次に表示されるのが人物画像だと判定されると、風景画像の表示中に人物画像の表情変化のための画像処理を準備し（具体的には、テンプレートマッチングや、変化のさせ方を決める）、風景画像の表示が終わるとともに、画像処理を施した人物画像を表示すればよい。 In this case, when the landscape image before the person image is displayed and it is determined that the next image to be displayed is a person image, image processing for changing the facial expression of the person image is prepared while the landscape image is displayed. (Specifically, template matching and how to change the image are determined), and the display of the landscape image is completed, and the person image subjected to image processing may be displayed.
この処理後画像を、前述のように元画像に戻していけば、あたかも表情が切り替わったように見せることができる。この変化のステップは、合成後のものと合成前のものを表示するといった、２段階でもよいし、その間に中間的な画像を挟んで滑らかな表示ができるようにしても良い。 If this processed image is returned to the original image as described above, it can be seen as if the facial expression has been switched. This change step may be performed in two stages, such as displaying the post-combination and the pre-combination, or may allow smooth display with an intermediate image in between.
また、直前の画像、直後の画像のみならず、直前画像の前の画像によって、表情変化を切り換えたり、直後の画像の次の画像によって、表情変化を切替えてもよい。これによって、直前、直後の画像は、単に文字だけのタイトルであったり、模様であるようなスライドショーの編集方法も可能となる。直前や直後の画像より前や後ろに鮮やかな風景画像などがあった場合などは、鑑賞者にも、そちらの印象の方が強く、この鮮やかな風景画像等を有効に利用することができる。 Further, the expression change may be switched not only by the immediately preceding image and the immediately following image but also by the image before the immediately preceding image, or by the image next to the immediately following image. As a result, a slide show editing method is possible in which the immediately preceding and immediately following images are simply text-only titles or patterns. If there is a vivid landscape image in front of or behind the immediately preceding or immediately following image, the viewer has a stronger impression, and the vivid landscape image can be used effectively.
さらに、本実施形態においては、顔の有無情報等に基づいて画像分類を行い、顔の表情を変化させていたが、これに限らず、写真画像に付与されたデータを用いて、表情を変化させる度合いを変えるようにしても良い。例えば、遥か以前に撮影されたものであったり、ずっと遠方で撮影された写真画像であったりした場合、驚きの表情（眼の大きさや口の開き方）を大きくするといった応用が可能となる。また、撮影時の距離の情報や、照明の色温度や、画像のどこにどのような色があるかとか、撮影したものが何であるかを示す情報も付与される傾向にあるので、こうした補助データを用いてもよい。 Furthermore, in the present embodiment, the image classification is performed based on the presence / absence information of the face and the facial expression is changed. However, the present invention is not limited to this, and the facial expression is changed using data attached to the photographic image. You may make it change the degree to make. For example, in the case of a photograph taken long ago or a photographic image taken far away, it is possible to increase the surprised expression (the size of the eyes and how to open the mouth). In addition, there is a tendency to be given information such as distance information at the time of shooting, color temperature of illumination, what kind of color in the image, what information was taken, etc., so such auxiliary data May be used.
次に本発明の第２実施形態について、図７乃至図１０を用いて説明する。第１実施形態は、カメラで撮影した画像をスライドショー等により再生する場合に、人物画像に表情変化を施すようにしていたが、第２実施形態は、サーバー中の仮想空間において、展示されている人物画像を含む画像を鑑賞する際に表情変化を施すようにした例である。 Next, a second embodiment of the present invention will be described with reference to FIGS. In the first embodiment, when an image captured by a camera is reproduced by a slide show or the like, the facial expression is changed in the human image. However, the second embodiment is exhibited in a virtual space in the server. In this example, facial expressions are changed when an image including a person image is viewed.
近年、コンピュータグラフィック（ＣＧ）を駆使して、仮想空間でのコミュニティサービスなどが普及してきている。仮想空間は、ネットワークに接続されたサーバーが実行するもので、携帯電話やパーソナルコンピュータ（ＰＣ）の操作に応じて、自分の分身であるアバターを動かして楽しむことができ、アバターの行動やチャットを利用したコミュニケーションができる。 In recent years, community services in a virtual space have become widespread using computer graphics (CG). The virtual space is executed by a server connected to the network, and you can enjoy moving your avatar by moving your cell phone or personal computer (PC), as well as avatar actions and chats. Can use communication.
仮想空間では、現実世界に模した部屋などに写真を展示して、ユーザー同士のコミュニケーションを活性化することができるが、一般的には、携帯電話やＰＣのテンキーやキーボードによる文字入力などで会話がなされるので、制約も多い。入力と入力の間の「間」を埋める工夫が重要である。本実施形態においては、展示した画像内の人物が、会話などに反応して、表情を変えるようにしており、入力と入力の「間」を埋めて、コミュニケーションを補助することができる。 In a virtual space, photos can be displayed in rooms that resemble the real world, and communication between users can be activated. In general, conversations can be made by entering characters using a numeric keypad or keyboard of a mobile phone or PC. There are many restrictions. The idea of filling the “between” between inputs is important. In the present embodiment, the person in the displayed image changes the facial expression in response to conversation or the like, and communication between the input and the input can be assisted.
図７は、仮想空間内において、来客の分身であるアバター３５と展示画像の撮影者のアバター３６が、展示画像３１の前に立ち、会話をしている様子を示している。来客のアバター３５が展示画像３１を指差すと（図７（ａ））、展示画像３１中の人物画像はアバター３５の方向を見るとか微笑む等の表情変化を行い（図７（ｂ））、来客の行動に反応していることを明示し、会話を楽しくするようにしている。また、来客の質問や撮影者のコメント等に答えるような画像（図７（ｃ））を表示することにより、会話が円滑に進む。 FIG. 7 shows a state in which an avatar 35 as a part of a guest and an avatar 36 of a photographer of an exhibition image stand in front of the exhibition image 31 and have a conversation in the virtual space. When the visitor's avatar 35 points to the display image 31 (FIG. 7 (a)), the person image in the display image 31 changes its expression such as looking at the direction of the avatar 35 or smiling (FIG. 7 (b)). It clearly shows that it is responding to the visitor's behavior and makes the conversation fun. Further, by displaying an image (FIG. 7C) that answers a visitor's question, a photographer's comment, etc., the conversation proceeds smoothly.
次に、このような仮想空間でのサービスを行うためのサーバー５０の構成を図８に示す。サーバー５０は、通信部５１、操作判定部５２、仮想空間合成表示部５３、チャット表示部５４、内容分析部５５、仮想空間データ部５６、仮想空間と関連付け部５７、画像記録部５８、表情切換部５９から構成されている。このほか、図示しない制御部が設けられている。この制御部は、ＣＰＵ等を含みサーバー５０内の各部と接続され、記憶媒体に記憶された制御プログラムに従ってサーバー５０の全体を制御する。 Next, FIG. 8 shows a configuration of the server 50 for performing services in such a virtual space. The server 50 includes a communication unit 51, an operation determination unit 52, a virtual space composition display unit 53, a chat display unit 54, a content analysis unit 55, a virtual space data unit 56, a virtual space and association unit 57, an image recording unit 58, and a facial expression switching. Part 59. In addition, a control unit (not shown) is provided. The control unit includes a CPU and the like, is connected to each unit in the server 50, and controls the entire server 50 according to a control program stored in a storage medium.
通信部５１は、ネットワーク等を介して外部の機器と送受信通信を行う。ここでは、カメラ１０に通信機能を持たせ、そこから送信されてきた写真画像を通信部５１によって受信する。また、仮想空間合成表示部５３によって合成された仮想空間の３次元（３ｄ）画像をカメラ１０等に送信する。なお、写真画像は、カメラ１０に限らず、携帯電話やＰＣから送信するようにしても勿論かまわない。画像記録部５８は、通信部５１を介して受信した写真画像等の画像を記録する。 The communication unit 51 performs transmission / reception communication with an external device via a network or the like. Here, the camera 10 is provided with a communication function, and a photographic image transmitted from the camera 10 is received by the communication unit 51. In addition, a three-dimensional (3d) image of the virtual space synthesized by the virtual space synthesis display unit 53 is transmitted to the camera 10 or the like. Of course, the photographic image is not limited to the camera 10 and may be transmitted from a mobile phone or a PC. The image recording unit 58 records an image such as a photographic image received via the communication unit 51.
仮想空間データ部５６は、仮想空間で表示するための３Ｄのコンピュータグラフィックデータであり、写真画像の展示室を３Ｄで表示用のデータも格納されている。仮想空間と関連付け部５７は、画像記録部５８に記録された写真画像等を、展示室等のいずれの場所に合成表示するかを関連付け、その情報を記憶する。仮想空間合成表示部５３は、仮想空間と関連付け部５７で関連付けられた写真画像等の画像を、仮想空間データ部５６からのデータを用いて、仮想空間内に展示した状態の表示用の画像を合成する。 The virtual space data unit 56 is 3D computer graphic data for displaying in a virtual space, and also stores data for displaying a photo image exhibition room in 3D. The virtual space and associating unit 57 associates where the photographic image or the like recorded in the image recording unit 58 is to be combined and displayed in an exhibition room or the like, and stores the information. The virtual space composition display unit 53 uses the data from the virtual space data unit 56 to display an image for display in a state where images such as photographic images associated with the virtual space in the association unit 57 are displayed in the virtual space. Synthesize.
操作判定部５２は、通信部５１を介して受信したユーザーのテンキーやキーボード等の操作部の操作状態を判定する。チャット表示部５４は、操作判定部５２によって判定された文字等の情報からユーザーのチャット部分を抽出し、これを仮想空間内に文字を表示する。内容分析部５５は、チャットの内容を分析し、例えば、図７（ａ）の例では、「この人、誰」とのチャットに対して、この意味を分析する。 The operation determination unit 52 determines the operation state of the operation unit such as a user's numeric keypad or keyboard received via the communication unit 51. The chat display unit 54 extracts the chat portion of the user from information such as characters determined by the operation determination unit 52, and displays the characters in the virtual space. The content analysis unit 55 analyzes the content of the chat. For example, in the example of FIG. 7A, the content analysis unit 55 analyzes the meaning of the chat with “this person, who”.
内容分析部５５におけるチャットの分析結果は、表情切換部５９に送られる。表情切換部５９は、画像記録部５８に記録された写真画像等の画像中の人物画像に対して、第１実施形態における表情切換画像処理部４と同様に、顔の顔パーツに対して表情の変化を施した画像、若しくは画像記録部５８から読出したそのままの画像を、仮想空間と関連付け部５７を介して仮想空間合成表示部５３に送る。 The chat analysis result in the content analysis unit 55 is sent to the facial expression switching unit 59. The facial expression switching unit 59 applies facial expressions to human face parts in images such as photographic images recorded in the image recording unit 58, similar to the facial expression switching image processing unit 4 in the first embodiment. The image subjected to the above change or the image read as it is from the image recording unit 58 is sent to the virtual space composition display unit 53 via the virtual space and association unit 57.
本実施形態においては、仮想空間内に展示された展示画像３１について、アバター３５、３６が会話した場合には、そのチャットの内容を内容分析部５５において分析し、この分析結果に応じて、第１実施形態と同様に、顔パーツを変化させ、展示画像３１の表情を変化させている。また、表情切換部５９は、チャット内容によって人物の表情を変える以外にも、第１実施形態と同様に、次に表示させる画像の内容に応じて変化させる。 In the present embodiment, when the avatars 35 and 36 talk about the display image 31 displayed in the virtual space, the content of the chat is analyzed by the content analysis unit 55, and according to the analysis result, the first As in the first embodiment, the facial parts are changed and the expression of the display image 31 is changed. In addition to changing the facial expression of the person depending on the chat content, the facial expression switching unit 59 changes the facial expression according to the content of the image to be displayed next, as in the first embodiment.
この変化した展示画像３１は、仮想空間合成表示部５３において、仮想空間内の画像と合成され、この合成された３Ｄ画像は、通信部５１を介して、カメラ１０等の外部機器に送信される。これにより、図７で説明したようなコミュニティサービスを実行することができる。 The changed exhibition image 31 is synthesized with an image in the virtual space in the virtual space synthesis display unit 53, and the synthesized 3D image is transmitted to an external device such as the camera 10 via the communication unit 51. . Thereby, the community service as described with reference to FIG. 7 can be executed.
次に、サーバー５０における制御動作について、図９及び図１０を用いて説明する。サーバー制御のフローに入ると、画像取得か否かの判定を行う（Ｓ５１）。このステップでは、通信部５１、ネットワークを介して、カメラ１０等の外部機器から画像を取得するか否を判定する。この判定の結果、画像取得であれば、以下のステップで、画像を取得し、仮想空間内で展示に必要な作業を行う。 Next, the control operation in the server 50 will be described with reference to FIGS. If the server control flow is entered, it is determined whether or not an image is acquired (S51). In this step, it is determined whether an image is acquired from an external device such as the camera 10 via the communication unit 51 and the network. As a result of this determination, if the image is acquired, the image is acquired and the work necessary for the exhibition is performed in the virtual space in the following steps.
ステップＳ５１における判定の結果、画像取得であった場合には、取得画像に指定場所が有るか否かの判定を行う（Ｓ５２）。すなわち、カメラ１０等のユーザーがサーバー５０に画像を送信するにあたって、仮想空間内における展示場所の指定を行っている場合があるので、このステップでは、指定されているか否かを判定している。 If the result of determination in step S51 is image acquisition, it is determined whether or not the acquired image has a designated location (S52). That is, when a user such as the camera 10 transmits an image to the server 50, there is a case where an exhibition place in the virtual space is designated. In this step, it is determined whether or not it is designated.
ステップＳ５２における判定の結果、指定場所が有った場合には、その指定場所に配置する（Ｓ５４）。一方、指定場所がない場合には、仮想空間内において空いている展示場所に配置する（Ｓ５３）。ステップＳ５３、Ｓ５４において展示場所に配置すると、仮想空間の場所と画像の対応付けを行う（Ｓ５５）。 If the result of determination in step S52 is that there is a designated location, the designated location is placed (S54). On the other hand, when there is no designated place, it arrange | positions in the vacant exhibition place in virtual space (S53). If it arrange | positions in an exhibition place in step S53, S54, the location of a virtual space and an image are matched (S55).
すなわち、画像記録部５８に記録された取得画像と仮想空間データ部５６に記憶されている仮想空間内での展示場所との関係を、仮想空間と関連付け部５７が対応付けて記憶する。この記憶結果に基づいて、仮想空間合成表示部５３は仮想空間の３Ｄを生成する。ステップＳ５５の対応付けを行うと、リターンし、ステップＳ５１から再び実行する。 That is, the virtual space and the associating unit 57 store the relationship between the acquired image recorded in the image recording unit 58 and the exhibition place in the virtual space stored in the virtual space data unit 56 in association with each other. Based on the storage result, the virtual space composition display unit 53 generates 3D of the virtual space. When the association in step S55 is performed, the process returns, and the process is executed again from step S51.
ステップＳ５１における判定の結果、画像取得でなかった場合には、仮想空間散策か否かを判定する（Ｓ６１）。このステップでは、ユーザーが仮想空間内を散策するためにサーバー５０にアクセスしてきたか否かを判定する。この判定の結果、仮想空間散策であった場合には、基準場所にユーザーのアバターを表示する（Ｓ６２）。すなわち、仮想空間内で最初に散策を開始する基準場所に、ユーザーアバター３５が立っているような３Ｄの画像データを、仮想空間合成表示部５３は生成し、これをユーザーに送る。 If the result of determination in step S51 is that the image has not been acquired, it is determined whether or not it is a virtual space walk (S61). In this step, it is determined whether or not the user has accessed the server 50 to take a walk in the virtual space. If the result of this determination is a virtual space walk, the user's avatar is displayed at the reference location (S62). That is, the virtual space composition display unit 53 generates 3D image data in which the user avatar 35 stands at the reference place where the first walk is started in the virtual space, and sends this to the user.
続いて、ユーザー移動操作がなされたか否かの判定を行う（Ｓ６３）。このステップでは、サーバー５０にアクセスしてきたユーザーがアバター３５を仮想空間内で移動させるような移動操作を行ったかを操作判定部５２に判定する。この判定の結果、移動操作がなされていた場合には、操作に沿って風景の切換を行う（Ｓ６４）。このステップＳ６４では、操作判定部５２で判定したユーザーの操作にしたがって、アバター３５が移動しているように風景を順次切り換えていく。 Subsequently, it is determined whether or not a user movement operation has been performed (S63). In this step, the operation determining unit 52 determines whether the user who has accessed the server 50 has performed a moving operation to move the avatar 35 in the virtual space. If the result of this determination is that a moving operation has been performed, the scenery is switched along the operation (S64). In this step S64, according to the user operation determined by the operation determination unit 52, the scenery is sequentially switched so that the avatar 35 is moving.
ステップＳ６４における風景の切換を行うと、またはステップＳ６３における判定の結果、ユーザーが移動操作をしていなかった場合には、仮想空間散策が終了か否かの判定を行う（Ｓ６５）。このステップでは、ユーザーから仮想空間散策終了の指示がなされたか否かを操作判定部５２によって行う。この判定の結果、終了でなかった場合には、ステップＳ６３に戻り、一方、終了であった場合には、リターンし、ステップＳ５１から再び実行する。 When the landscape is switched in step S64, or if the result of determination in step S63 is that the user has not performed a moving operation, it is determined whether or not the virtual space walk has ended (S65). In this step, the operation determination unit 52 determines whether or not the user has instructed the end of the virtual space walk. If the result of this determination is not end, the process returns to step S63. On the other hand, if it ends, the process returns and executes again from step S51.
ステップＳ６１における判定の結果、仮想空間散策でなかった場合には、チャットか否かの判定を行う（Ｓ７１）。このステップでは、展示画像３１の近くでチャットがなされてか否かを操作判定部５２等で判定するものである。例えば、図７（ａ）に示すような状況で、ユーザーアバター３５が「この人誰？」と発言（実際にはテキストの入力）したか否かを判定する。なお、ステップＳ６１以下では、アバター３５の移動を行うものであったが、このステップＳ７１以下では、仮想空間内にいつでも待機しているアバター３６に対して話しかけられた場合のフローである。 If the result of determination in step S61 is not a virtual space walk, it is determined whether or not the chat is a chat (S71). In this step, it is determined by the operation determination unit 52 or the like whether or not the chat is performed near the exhibition image 31. For example, in the situation as shown in FIG. 7A, it is determined whether or not the user avatar 35 has remarked (who is this person?) (Actually text input). In step S61 and subsequent steps, the avatar 35 is moved. However, in step S71 and subsequent steps, the flow is when the avatar 36 is always waiting in the virtual space.
ステップＳ７１における判定の結果、チャットがなかった場合には、ステップＳ５１に戻る。一方、チャットがあった場合には、チャット入力内容の表示を行う（Ｓ７２）。このステップでは、入力されたチャット（図７（ａ）では、「この人誰？」）を、図７（ａ）のように、仮想空間の画面内に文字で表示する。この文字表示はチャット表示部５４、仮想空間データ部５６、仮想空間合成表示部５３によって行われる。 If the result of determination in step S71 is that there is no chat, processing returns to step S51. On the other hand, if there is a chat, the chat input content is displayed (S72). In this step, the input chat ("who is this person?" In FIG. 7A) is displayed in characters on the screen of the virtual space as shown in FIG. 7A. This character display is performed by the chat display unit 54, the virtual space data unit 56, and the virtual space composition display unit 53.
続いてコミュニケーションで画像切換を行う（Ｓ７４）。このサブルーチンでは、内容分析部５５がコミュニケーションの内容を分析し、コミュニケーションの内容に応じて、表情切換部５９が展示画像３１を展示画像３２に切り替えたりする。展示画像３１を切り替える場合には、第１実施形態と同様に、次の画像によって人物画像の顔の表情を変える。このサブルーチンについては、図１０を用いて詳述する。画像切換のサブルーチンを行うとステップＳ５１に戻り、ステップＳ５１から再び実行する。 Subsequently, image switching is performed by communication (S74). In this subroutine, the content analysis unit 55 analyzes the content of communication, and the facial expression switching unit 59 switches the display image 31 to the display image 32 according to the content of communication. When switching the display image 31, the facial expression of the person image is changed by the next image, as in the first embodiment. This subroutine will be described in detail with reference to FIG. When the image switching subroutine is performed, the process returns to step S51 and is executed again from step S51.
このように、ステップＳ７１〜Ｓ７４において、ユーザー同士がコミュニケーションを行い、チャット内容に応じて画像を切り換えるようにしている。また、その際、チャット内容や、次に表示する画像に応じて、表情変化等のトランジション効果を付することにより、賑やかで楽しい仮想空間のサービスを提供することができる。 As described above, in steps S71 to S74, the users communicate with each other, and the images are switched according to the chat contents. At that time, a lively and enjoyable virtual space service can be provided by applying a transition effect such as a facial expression change according to the chat contents and the image to be displayed next.
次に、ステップＳ７４（図９）におけるコミュニケーションで画像切換のサブルーチンを、図１０に示すフローチャートを用いて説明する。このサブルーチンに入ると、まず、アバターが近づいてきたか否かの判定を行う（Ｓ１５１）。このステップでは、仮想空間内の展示画像３１にユーザーのアバター３５が近づいた否かを判定する。 Next, a subroutine for image switching by communication in step S74 (FIG. 9) will be described using the flowchart shown in FIG. If this subroutine is entered, it is first determined whether or not an avatar is approaching (S151). In this step, it is determined whether or not the user's avatar 35 has approached the exhibition image 31 in the virtual space.
このステップＳ１５１における判定の結果、アバターが近づいていなかった場合には、アバターが指差したか否かを判定する（Ｓ１５２）。すなわち、このステップでは、アバター３５が、例えば、展示画像３１を指差す等の動きを判定する。この判定の結果、指差しも行っていなかった場合には、そのままリターンし元のフローに戻る。 If the result of determination in step S151 is that the avatar has not approached, it is determined whether or not the avatar has pointed (S152). That is, in this step, the avatar 35 determines a movement such as pointing at the display image 31. If the result of this determination is that pointing has not been performed, the process returns as it is and returns to the original flow.
ステップＳ１５１における判定の結果、アバター３５が近づいていた場合、またはステップＳ１５２における判定の結果、アバター３５が指差していた場合には、チャットキーワードの判定を行う（Ｓ１６１）。このステップでは、内容分析部５５がチャットとして入力したテキストから、キーワードの判定を行う。ここでのキーワードとしては、例えば、人に関係する言葉、場所に関係する言葉等であるかの判定を行う。 If the avatar 35 is approaching as a result of the determination in step S151, or if the avatar 35 is pointing as a result of the determination in step S152, the chat keyword is determined (S161). In this step, a keyword is determined from the text input by the content analysis unit 55 as a chat. For example, it is determined whether the keyword is a word related to a person or a word related to a place.
続いて、キーワードが人に関係していたかを判定する（Ｓ１６２）。この判定の結果、人に関係していた場合に、この場合、表示画像が人物か否かの判定を行う（Ｓ１７１）。図７に示す例では、表示画像、すなわち、展示画像３１が人物画像であることから、このステップは、Ｙｅｓで抜けることになる。ステップＳ１７１における判定の結果、表示画像が人物でなかった場合には、リターンし元のフローに戻る。 Subsequently, it is determined whether the keyword is related to a person (S162). If the result of this determination is related to a person, it is determined in this case whether the display image is a person (S171). In the example shown in FIG. 7, since the display image, that is, the exhibition image 31 is a person image, this step is skipped with Yes. If the result of determination in step S171 is that the display image is not a person, processing returns and returns to the original flow.
ステップＳ１７１における判定の結果、表示画像が人物であった場合には、同じ人の画像を検索する（Ｓ１７２）。このステップでは、画像記録部５８に記録されている画像の中から、同一人物が写っている画像を検索する。 If the result of determination in step S171 is that the display image is a person, an image of the same person is retrieved (S172). In this step, an image showing the same person is searched from the images recorded in the image recording unit 58.
続いて、表示人物の表情を変化させる（Ｓ１７３）。すなわち、ステップＳ１７２で同一人物の画像を検索し、この検索された画像を表示するにあたって、そのことを予告するような感じで、展示画像３１の人物の表情を変化させる。この人物の表情変化は、第１実施形態と同様な変化で行われ、表情切換部５９によって処理される。例えば、展示画像３１の人物の表情が、図７（ａ）から図７（ｂ）のように、口が開くなど変化する。 Subsequently, the facial expression of the displayed person is changed (S173). That is, in step S172, images of the same person are searched, and when the searched images are displayed, the facial expression of the person in the display image 31 is changed with a feeling of notifying that fact. The facial expression change of the person is performed in the same manner as in the first embodiment, and is processed by the facial expression switching unit 59. For example, the facial expression of the person in the display image 31 changes as the mouth opens, as shown in FIG. 7 (a) to FIG. 7 (b).
表示人物の表情変化を行うと、次に、画像の切換を行う（Ｓ１７４）。このステップでは、Ｓ１７２で検索された画像に表示を切り換え、例えば、展示画像３１を図７（ｃ）のように展示画像３２に切り換えて表示する。展示画像の切り換えを行うと、リターンし元のフローに戻る。 Once the displayed person's facial expression is changed, the image is then switched (S174). In this step, the display is switched to the image searched in S172. For example, the display image 31 is switched to the display image 32 and displayed as shown in FIG. When the display image is switched, the process returns to the original flow.
ステップＳ１６２における判定の結果、チャットキーワードが人に関係していなかった場合には、次に、チャットキーワードが場所に関係するか否かの判定を行う（Ｓ１６３）。この判定の結果、場所に関係していた場合には、同じイベント（例えば、運動会等の学校行事、旅行等）の風景の画像を検索する（Ｓ１６６）。このステップでは、画像記録部５８に記録されている画像の中から、展示画像と同一のイベントの画像を検索する。 If the result of determination in step S162 is that the chat keyword is not related to a person, it is next determined whether or not the chat keyword is related to location (S163). If the result of this determination is related to the location, a landscape image of the same event (for example, school events such as athletic meet, travel, etc.) is searched (S166). In this step, the image of the same event as the exhibition image is searched from the images recorded in the image recording unit 58.
ステップＳ１６３における判定の結果、チャットキーワードが場所に関係していなかった場合には、時系列画像を検索する（Ｓ１６５）。このステップでは、展示画像３１と同じ頃に同一撮影者によって撮影された撮影画像等を検索する。 If the result of determination in step S163 is that the chat keyword is not related to location, a time series image is searched (S165). In this step, a photographed image taken by the same photographer at the same time as the exhibition image 31 is searched.
ステップＳ１６５またはＳ１６６における検索を行うと、次に、現在の表示画像が人物か否かの判定を行う（Ｓ１６７）。図７（ａ）の例では展示画像３１が人物を撮影した撮影画像であることから、Ｙｅｓと判定される。この判定の結果、表示画像が人物でなかった場合には、リターンし、元のフローに戻る。 Once the search in step S165 or S166 is performed, it is next determined whether or not the current display image is a person (S167). In the example of FIG. 7A, since the exhibition image 31 is a captured image obtained by capturing a person, it is determined as Yes. If the result of this determination is that the display image is not a person, processing returns and returns to the original flow.
ステップＳ１６７における判定の結果、表示画像が人物であった場合には、表示人物の表情を変化させる（Ｓ１６８）。すなわち、ステップＳ１７３の場合と同様、次の表示される画像に応じて表情を変化させる。この表情変化のやり方は第１実施形態と同様である。展示画像３１の人物の表情を変化させると、続いて、画像の切換を行う（Ｓ１６９）。すなわち、ステップＳ１６５またはＳ１６６において検索された画像に切り換えて表示する。画像を切り換えると、元のフローに戻る。 If the result of determination in step S167 is that the display image is a person, the facial expression of the display person is changed (S168). That is, as in the case of step S173, the facial expression is changed according to the next displayed image. The way of changing the facial expression is the same as in the first embodiment. When the expression of the person in the display image 31 is changed, the image is subsequently switched (S169). That is, the display is switched to the image searched in step S165 or S166. When the image is switched, the original flow is restored.
このように、コミュニケーションで画像切換のサブルーチンにおいては、ステップＳ１６８、Ｓ１７３において、次の画像に応じて人物の表情変化を行うようにしている。この表情変化としては、視線を主被写体に向けて動かしたり、次の画像が風景であれば、眼を見開くとか、近距離の被写体なら、眼を細める等を行う。なお、次の画像のみならず、アバターの方向を見るような画像処理を合わせてもよい。 Thus, in the communication image switching subroutine, in steps S168 and S173, the facial expression of the person is changed according to the next image. As the expression change, the line of sight is moved toward the main subject, the eyes are opened if the next image is a landscape, or the eyes are narrowed if the subject is close. Note that not only the next image but also image processing for viewing the direction of the avatar may be combined.
第２実施形態においても、仮想空間において、画像を単に鑑賞するだけではなく、展示画像を切り換えて表示する際に、ユーザーは次の画像の表示をわくわくした気分で待つことができ、単調な画像の遷移とはならず、展示画像の鑑賞を楽しむことができる。 Also in the second embodiment, in the virtual space, not only simply viewing images, but when switching and displaying the display image, the user can wait for the display of the next image in an excited mood, and the monotonous image You can enjoy viewing the exhibition images.
また、本実施形態においては、チャット内容に応じて、展示画像３１を次の展示画像３２に切り換えて表示しており、仮想空間内に訪れるユーザーの好みに応じた画像を展示するようにしている。このため、効率的な展示を行うことができると共に、ユーザーも興味のある画像を楽しむことができる。また、このようなアバターの会話や動作に基づく画像変化によって、毎回、同じような機械的な画像切換ではなく、同じ画像を見るにしても、様々な変形表示を行うことが可能となり、画像鑑賞の楽しみが増加する。 In the present embodiment, the display image 31 is switched to the next display image 32 and displayed according to the chat contents, and an image according to the preference of the user visiting the virtual space is displayed. . Therefore, an efficient display can be performed and the user can also enjoy an image of interest. In addition, the image change based on the avatar's conversation and movement makes it possible to display various deformations even if the same image is viewed instead of the same mechanical image switching every time. The fun increases.
以上、説明したように本発明の各実施形態に係わる画像処理装置等によれば、順次表示における顔画像を含む画像の前後に表示される画像の態様に応じて、顔画像の態様を変化させるための画像処理を行うようにしている。このため、複数の画像を順次再生する場合であっても、単調な画像の遷移とはならず、楽しむことができる。 As described above, according to the image processing apparatus and the like according to each embodiment of the present invention, the aspect of the face image is changed according to the aspect of the image displayed before and after the image including the face image in the sequential display. Image processing is performed. For this reason, even when a plurality of images are sequentially reproduced, the image transition is not monotonous and can be enjoyed.
また、本発明の各実施形態においては、人物の顔パーツのみの変化を画像遷移のトランジション効果にだけ利用して、印刷などはできないようにしているので、ユーザーが不満を持つことなく、面白さのみを感じ、なおかつ、前後の画像の切り替え時の関連付け効果を奏したり、ユーザーの操作に反応したりして、単調な画像の遷移に、楽しさを付与することができる。 Further, in each embodiment of the present invention, since the change of only the face part of the person is used only for the transition effect of the image transition so that the printing cannot be performed, the user is not dissatisfied and the fun is not. It is possible to give enjoyment to monotonous image transitions by providing an association effect at the time of switching between the previous and next images and reacting to user operations.
さらに、本発明の各実施形態によれば、次に人物の画像が表示される際には、次の人物の方向に向けて視線を移動するようにしている。このため、次の人物の画像の中心位置の方向にユーザーの視線が移動し、ワクワク感を高めることができる。 Furthermore, according to each embodiment of the present invention, the next time an image of a person is displayed, the line of sight moves toward the next person. For this reason, a user's eyes | visual_axis moves to the direction of the center position of the image of the next person, and it can heighten excitement.
さらに、本発明の各実施形態によれば、次に人物の画像が表示されない場合には、口や眼を大きくするなど変化するようにしている。このため、次に再生される画像に対して、ユーザーのワクワク感を高めることができる。 Furthermore, according to each embodiment of the present invention, when a person image is not displayed next time, the mouth and eyes are enlarged, for example. For this reason, a user's excitement can be raised with respect to the image reproduced | regenerated next.
なお、本発明の各実施形態では、後続の画像を期待させるように顔の表情を変化させていたが、これに限らず、例えば、先に表示された画像の余韻を楽しむような効果を持たせることも可能である。つまり、先に表示された画像にしたがって、後から表示される顔画像の表情を変更するような応用である。この工夫によって、表示が終わった後も、先に表示されていた画像内容を次の顔画像の表情変化によって、補助的に説明するような効果を奏することができる。例えば、全体的に明るい、彩度の高い画像のあとでは、眼を見開いた人物を表示すれば、鑑賞者は、そういえば、さっきの画像は見事だったな、といった感情を追想することができる。 In each embodiment of the present invention, the facial expression is changed so as to expect a subsequent image. However, the present invention is not limited to this. For example, the effect of enjoying the reverberation of the previously displayed image is provided. It is also possible to That is, the application is such that the facial expression of the face image displayed later is changed according to the image displayed earlier. With this contrivance, even after the display is completed, it is possible to provide an effect that the image content that has been displayed previously is supplementarily explained by the expression change of the next face image. For example, after an image that is bright overall and highly saturated, if you display a person with wide open eyes, the viewer can recall the feeling that the image just mentioned was fine. .
また、このような表情や顔の向きや視線の変化は、トランジション効果として使われるだけである。このため画像をまじまじと鑑賞する際には、変化が終わり、オリジナル画像になるので、不自然さを緩和しつつ、デジタル画像ならではの自由度の高い、飽きの来ない、変化に富んだ画像処理効果を楽しむことが可能となる。 Also, such changes in facial expressions, face orientation, and line of sight are only used as transition effects. For this reason, when you really appreciate the image, the change will end and become the original image, so the unnaturalness will be alleviated and the degree of freedom unique to digital images will not be bored. It is possible to enjoy the effect.
さらに、本発明の各実施形態では、単に眼を見開くとか、口を開けるとか、単純な例で説明したが、これらを組み合わせたり、順次変化させたり（例えば、眼を見開いてから、口を開けるとか、その逆のパターンとか）して、より複雑な効果を与えてもよいことは言うまでもない。これの応用によって、例えば、たった２つの画像からだけでも、顔画像さえ含めば、２通りだけでなく、切換時に様々な表情変化のパターンを与えて、数多くの効果を与えることが可能となる。 Furthermore, in each embodiment of the present invention, simple examples such as simply opening the eyes or opening the mouth have been described, but these may be combined or sequentially changed (for example, after opening the eyes, the mouth is opened). Needless to say, a more complicated effect may be given. By applying this, for example, if only a face image is included only from two images, it is possible to give various effects by providing various facial expression change patterns at the time of switching as well as two ways.
さらに、本発明の各実施形態においては、複数の静止画の中から顔画像を検出していたが、顔画像以外は静止画である必要はなく、動画であっても構わない。例えば、静止画と動画とを組み合わせたスライドショーであっても、顔パーツの変形を行うようにしても良い。また、映画などのように、静止画でタイトルが表示され、その後動画が続くような場合に、そのタイトルに顔の画像がある場合にも本発明を適用することができる。 Furthermore, in each embodiment of the present invention, a face image is detected from a plurality of still images. However, other than the face image need not be a still image, and may be a moving image. For example, even for a slide show that combines still images and moving images, facial parts may be deformed. Further, the present invention can be applied to a case where a title is displayed as a still image and a moving image continues thereafter, such as a movie, and the title has a face image.
さらに、本発明の実施形態においては、再生表示装置としてカメラに適用した例を説明したが、再生装置としては、カメラに限らず、パーソナルコンピュータやテレビ等であっても良い。撮影装置を有さないパーソナルコンピュータ等の場合には、撮影装置で撮影した画像データを格納し、図３のステップＳ１１以下のプログラムによって再生すれば良い。 Furthermore, in the embodiment of the present invention, an example in which the playback display device is applied to a camera has been described. However, the playback device is not limited to a camera, and may be a personal computer, a television, or the like. In the case of a personal computer or the like that does not have a photographing device, image data photographed by the photographing device may be stored and reproduced by a program after step S11 in FIG.
さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。 Further, in the embodiment of the present invention, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and may be a mobile phone or a portable information terminal ( Of course, a camera built in PDA (Personal Digital Assist) or the like may be used.
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１・・・制御部、２・・・撮影部、３・・・画像記録部、４・・・表情切換画像処理部、５・・・画像分類部、６・・・時計部、７・・・顔及び顔パーツ検出部、８・・・表示部、１０・・・カメラ、２１・・・人物、２１ａ・・・眼、２１ｂ・・・口、２２・・・人物、２３・・・風景画像、２６・・・人物、２７・・・人物、２８・・・矢印、３１・・・展示画像、３２・・・展示画像、３５・・・アバター、３６・・・アバター、５０・・・サーバー、５１・・・通信部、５２・・・操作判定部、５３・・・仮想空間合成表示部、５４・・・チャット表示部、５５・・・内容分析部、５６・・・仮想空間データ部、５７・・・仮想空間と関連付け部、５８・・・画像記録部、５９・・・表情切換部 DESCRIPTION OF SYMBOLS 1 ... Control part, 2 ... Image pick-up part, 3 ... Image recording part, 4 ... Expression switching image processing part, 5 ... Image classification part, 6 ... Clock part, 7 ... -Face and face part detection unit, 8 ... display unit, 10 ... camera, 21 ... human, 21a ... eye, 21b ... mouth, 22 ... human, 23 ... landscape Image, 26 ... person, 27 ... person, 28 ... arrow, 31 ... exhibition image, 32 ... exhibition image, 35 ... avatar, 36 ... avatar, 50 ... Server, 51 ... Communication unit, 52 ... Operation determination unit, 53 ... Virtual space composition display unit, 54 ... Chat display unit, 55 ... Content analysis unit, 56 ... Virtual space data , 57... Virtual space and association unit, 58... Image recording unit, 59.
Claims (3)
上記複数の画像を記録する画像記録部と、
上記画像記録部から読み出され、現在表示中の上記顔画像の次に表示する画像の属する分類を判定する判定部と、
上記判定部での判定結果に応じて、顔の表情を変化させた顔画像を表示するための画像処理を行う画像処理部と、
を具備し、
上記画像処理部は、上記順次表示における現在表示中の画像が顔画像であり、次に表示する画像が顔を含まないときに、上記顔画像の中の顔パーツが次第に変形するような遷移効果を施した顔画像を表示させ、この遷移効果を施した顔画像を表示した後に、上記画像記録部に記録された次の画像の表示を行うことを特徴とする画像処理装置。 An image processing apparatus that performs predetermined image processing on a face image in the plurality of images when sequentially displaying a plurality of images,
An image recording unit for recording the plurality of images;
A determination unit that reads out the image recording unit and determines a classification to which an image to be displayed next to the currently displayed face image belongs;
An image processing unit that performs image processing for displaying a face image in which a facial expression is changed according to a determination result in the determination unit;
Comprising
The image processing unit has a transition effect in which the face part in the face image is gradually deformed when the currently displayed image in the sequential display is a face image and the next image to be displayed does not include a face. to display the face image subjected to, after displaying the face image subjected to the transition effect, images processor you and performs a display of the next image recorded on the image recording unit.
上記複数の画像を記録する画像記録部と、
上記画像記録部から読み出され、現在表示中の上記顔画像の次に表示する画像の属する分類を判定する判定部と、
上記判定部での判定結果に応じて、顔の表情を変化させた顔画像を表示するための画像処理を行う画像処理部と、
を具備し、
上記画像処理部は、上記順次表示における現在表示中の画像が顔を含まず、次に表示する画像が顔画像であるときに、上記現在表示中の画像を消去した後、次の顔画像を表示する際には、先に上記顔画像の中の顔パーツを変形させた画像を表示させ、この表示が終わると、上記顔画像を表示することを特徴とする画像処理装置。 An image processing apparatus that performs predetermined image processing on a face image in the plurality of images when sequentially displaying a plurality of images,
An image recording unit for recording the plurality of images;
A determination unit that reads out the image recording unit and determines a classification to which an image to be displayed next to the currently displayed face image belongs;
An image processing unit that performs image processing for displaying a face image in which a facial expression is changed according to a determination result in the determination unit;
Comprising
When the image currently displayed in the sequential display does not include a face and the next image to be displayed is a face image, the image processing unit deletes the currently displayed image and then displays the next face image. When displaying may display an image obtained by deforming the face parts in the previously described above face image, this display is finished, images processor you characterized by displaying the face image.
上記顔画像の次に表示される画像の属する分類を判定する判定部と、
上記判定部における上記画像の上記分類に応じて、上記顔画像の顔の表情を変化させた顔画像を表示させるための画像処理を行う画像処理部と、
この画像処理された上記顔画像を仮想空間画像に合成し、仮想空間内展示用画像を生成するための画像合成部と、
上記画像合成部によって生成された上記仮想空間内展示用画像を送信する送信部と、
を具備することを特徴とする画像処理サーバー。 A server capable of executing predetermined image processing on a face image in the plurality of images in order to sequentially display the plurality of images in response to an external access;
A determination unit for determining a classification to which an image displayed next to the face image belongs;
An image processing unit that performs image processing for displaying a face image in which the facial expression of the face image is changed according to the classification of the image in the determination unit;
An image synthesis unit for synthesizing the image-processed face image to a virtual space image and generating an image for display in the virtual space;
A transmission unit for transmitting the image for display in the virtual space generated by the image synthesis unit;
An image processing server comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008127926A JP5106240B2 (en) | 2008-05-15 | 2008-05-15 | Image processing apparatus and image processing server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008127926A JP5106240B2 (en) | 2008-05-15 | 2008-05-15 | Image processing apparatus and image processing server |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012219236A Division JP5509287B2 (en) | 2012-10-01 | 2012-10-01 | Reproduction display device, reproduction display program, reproduction display method, and image processing server |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2009278393A JP2009278393A (en) | 2009-11-26 |
| JP2009278393A5 JP2009278393A5 (en) | 2011-06-02 |
| JP5106240B2 true JP5106240B2 (en) | 2012-12-26 |
Family
ID=41443399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008127926A Expired - Fee Related JP5106240B2 (en) | 2008-05-15 | 2008-05-15 | Image processing apparatus and image processing server |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5106240B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003281563A (en) * | 2002-03-22 | 2003-10-03 | Minolta Co Ltd | Facial expression generating device, facial expression generating method and facial expression generating program |
| JP4779524B2 (en) * | 2005-09-14 | 2011-09-28 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP4911287B2 (en) * | 2006-03-17 | 2012-04-04 | カシオ計算機株式会社 | Image reproducing apparatus and program thereof |
| JP4730667B2 (en) * | 2006-07-25 | 2011-07-20 | 富士フイルム株式会社 | Automatic regeneration method and apparatus |
-
2008
- 2008-05-15 JP JP2008127926A patent/JP5106240B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009278393A (en) | 2009-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103957357B (en) | Camera | |
| JP5028225B2 (en) | Image composition apparatus, image composition method, and program | |
| CN103888676B (en) | The recording method of camera and image file | |
| US9389768B2 (en) | Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program | |
| CN112154658A (en) | Image processing apparatus, image processing method, and program | |
| JPH11219446A (en) | Video/sound reproducing system | |
| JP2009141516A (en) | Image display device, camera, image display method, program, image display system | |
| JP2007300562A (en) | Image processing apparatus and image processing method | |
| JP2010003201A (en) | Image processor, image processing method and program | |
| JP2020074041A (en) | Imaging device for gaming, image processing device, and image processing method | |
| KR20100017242A (en) | Method of creating and reproducing a panoramic sound image, and apparatus for reproducing such an image | |
| JP5043746B2 (en) | Image reproduction apparatus, image reproduction method, and image reproduction program | |
| JP5690080B2 (en) | Moving image data generation device and moving image data generation method | |
| JP5509287B2 (en) | Reproduction display device, reproduction display program, reproduction display method, and image processing server | |
| JP2009230635A (en) | Image data generating device, image data generating method and image data generating program | |
| JP5115799B2 (en) | Image processing apparatus and method, and program | |
| JP5106240B2 (en) | Image processing apparatus and image processing server | |
| JP5076911B2 (en) | Image photographing and editing apparatus and method, and program | |
| JP4168803B2 (en) | Image output device | |
| JP4823983B2 (en) | Image reproduction apparatus, image reproduction method, and image reproduction program | |
| JP6830634B1 (en) | Information processing method, information processing device and computer program | |
| JP5628992B2 (en) | CAMERA, CAMERA CONTROL METHOD, DISPLAY CONTROL DEVICE, AND DISPLAY CONTROL METHOD | |
| JP2012235481A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2010252156A (en) | Camera, display and electronic equipment | |
| JP2005119265A (en) | Print system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110415 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110415 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120614 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120911 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121002 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5106240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |