KR20170074742A - Image processing device, image processing method amd program - Google Patents

Image processing device, image processing method amd program Download PDF

Info

Publication number
KR20170074742A
KR20170074742A KR1020160138245A KR20160138245A KR20170074742A KR 20170074742 A KR20170074742 A KR 20170074742A KR 1020160138245 A KR1020160138245 A KR 1020160138245A KR 20160138245 A KR20160138245 A KR 20160138245A KR 20170074742 A KR20170074742 A KR 20170074742A
Authority
KR
South Korea
Prior art keywords
image
wide
angle
subject
processing
Prior art date
Application number
KR1020160138245A
Other languages
Korean (ko)
Inventor
요시히로 다카야마
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20170074742A publication Critical patent/KR20170074742A/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G06T3/0018—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N5/23216—
    • H04N5/23219—
    • H04N5/23293—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Human Computer Interaction (AREA)

Abstract

어안 화상과 그 어안 화상내에 비추어 있는 소정의 피사체의 대응 관계를 명확하게 하여, 유저에게 제공할 수 있도록 하기 위해, 본체 장치(20)의 제어부(21)는 촬상 장치(10)에 의해서 촬영된 광각 화상(어안 화상)내에 포함되어 있는 소정의 피사체(인물의 얼굴)를 인식하여 그 피사체 부분의 화상(인물의 얼굴 화상)의 왜곡을 보정하고, 광각 화상의 일부분의 화상과 보정한 피사체 부분의 화상을 관련짓는 처리로서, 예를 들면 광각 화상의 일부분의 화상과 보정한 피사체 부분의 화상을 재생 화면에 표시하는 처리를 실행한다.The control unit 21 of the main body apparatus 20 controls the control unit 21 of the main body apparatus 20 so that the correspondence relationship between the fisheye image and a predetermined subject illuminated in the fisheye image can be clarified and provided to the user, (Person's face) included in an image (a fish-eye image) and corrects the distortion of the image (person's face image) of the subject portion and corrects the image of a part of the wide- For example, a process of displaying an image of a part of a wide-angle image and an image of a corrected object part on a reproduction screen.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AMD PROGRAM}[0001] IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING METHOD [0002]

본 발명은 광각으로 촬영된 광각 화상에 대한 처리를 실행하는 화상 처리 장치, 화상 처리 방법 및 프로그램에 관한 것이다.The present invention relates to an image processing apparatus, an image processing method, and a program for executing processing for a wide-angle image photographed at a wide angle.

디지털 카메라 등의 촬상 장치에 채용되고 있는 어안 렌즈는 예를 들면, 화각이 대략 180˚와 같은 광범위한 촬영이 가능하지만, 투영 방식이 채용되어 있기 때문에 어안 렌즈로 촬영된 화상(어안 화상)은 그 중심부에서 단부(주변부)쪽을 향할수록, 크게 왜곡된 것으로 된다. 이러한 어안 렌즈를 이용해서 촬영된 어안 화상을 표시하는 기술로서는 예를 들면, 일본국 실용신안등록공보 제3066594호와 같이, 어안 화상내에서 소정 영역내의 화상을 잘라내고, 그 잘라낸 영역내의 화상에 대해 왜곡을 보정하는 처리를 실시하여 왜곡이 없는 화상(보정 화상)을 유저에 제공하도록 한 기술이 개시되어 있다. 또, 일본국 특허공개공보 제2015-19162호와 같이, 어안 렌즈를 이용하여 회의의 각 참가자의 얼굴을 포함하는 왜곡 원형 화상(어안 화상)이 촬영되면, 각 참가자의 얼굴을 인식하여 개개의 참가자의 발화 시간과 함께, 각 참가자의 화상을 잘라내어 표시하도록 한 기술이 개시되어 있다.A fisheye lens employed in an image pickup apparatus such as a digital camera is capable of taking a wide range of image angles, for example, approximately 180 degrees. However, since a projection system is adopted, an image (fisheye image) (Peripheral portion) toward the end portion (peripheral portion). As a technique for displaying a fish-eye image photographed by using such a fish-eye lens, for example, Japanese Utility Model Registration No. 3066594 discloses a technique of cutting out an image in a predetermined area in a fish-eye image, (Corrected image) is provided to the user by performing a process of correcting the distortion. Further, as in Japanese Patent Application Laid-Open No. 2015-19162, when a distorted circular image (fish-eye image) including the face of each participant in a conference is photographed using a fish-eye lens, the face of each participant is recognized, And the image of each participant is cut out and displayed.

상술한 각 특허문헌의 기술에 의하면, 어안 렌즈를 이용하여 광범위한 촬영을 실행한 경우에도 그 일부분에서 잘라낸 영역내의 화상에 대해서는 왜곡이 없는 화상을 얻는 것이 가능하게 되지만, 잘라낸 화상을 단지 표시하는 것만으로는 어떠한 장면에서 촬영된 인물인지 등, 어안 화상과의 대응 관계까지 유저가 확인하는 것은 곤란하였다.According to the techniques described in the above-mentioned respective patent documents, even when a wide-angle photographing is performed using a fish-eye lens, it is possible to obtain an image free from distortion for an image within a cut-out area in a part thereof. However, It is difficult for the user to confirm the correspondence relationship with the fisheye image, such as what kind of scene the person is photographed.

본 발명의 과제는 어안 화상과 그 어안 화상내에 비추고 있는 소정의 피사체의 대응 관계를 명확하게 하여, 유저에게 제공할 수 있도록 하는 것이다.An object of the present invention is to clarify the correspondence relationship between a fish-eye image and a predetermined object illuminated in the fish-eye image, and to provide the correspondence to the user.

본 발명의 하나의 양태는 광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하는 검출 수단과, 상기 피사체 부분의 화상의 왜곡을 보정하는 보정 수단과, 상기 광각 화상의 적어도 일부분의 화상과 상기 왜곡 보정된 피사체 부분의 화상을 관련짓는 처리를 실행하는 처리 수단을 구비하는 화상 처리 장치를 특징으로 한다.According to one aspect of the present invention, there is provided an image processing apparatus comprising detection means for recognizing a predetermined object included in a wide-angle image photographed at a wide angle and detecting an image of the object, correction means for correcting distortion of the image of the object portion, And processing means for performing processing for associating an image of at least a part of the wide-angle image with an image of the distortion-corrected object portion.

본 발명의 다른 양태는 화상 처리 장치에 있어서의 화상 처리 방법으로서, 광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하는 처리와, 상기 검출된 피사체 부분의 화상의 왜곡을 보정하는 처리와, 상기 광각 화상의 적어도 일부분의 화상과 상기 보정된 상기 피사체 부분의 화상을 관련짓는 처리를 포함하는 화상 처리 방법을 특징으로 한다.According to another aspect of the present invention, there is provided an image processing method in an image processing apparatus, comprising: processing for recognizing a predetermined subject included in a wide-angle image photographed at a wide angle and detecting an image of the subject portion; Processing for correcting image distortion and processing for associating at least part of the image of the wide-angle image with the image of the corrected object part.

또, 본 발명의 다른 양태는 화상 처리 장치의 컴퓨터에 대해, 광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하는 기능과, 상기 검출된 피사체 부분의 화상의 왜곡을 보정하는 기능과, 상기 광각 화상의 적어도 일부분의 화상과 상기 보정된 상기 피사체 부분의 화상을 관련짓는 기능을 실현시키기 위한 기억 매체에 기억되어 있는 프로그램을 특징으로 한다.According to another aspect of the present invention, there is provided a computer of an image processing apparatus, comprising: a function of recognizing a predetermined subject included in a wide-angle image photographed at a wide angle and detecting an image of the subject portion; And a program stored in a storage medium for realizing a function of correlating an image of at least a part of the wide-angle image with an image of the corrected object part.

본 발명에 따르면, 어안 화상과 그 어안 화상내에 비추어 있는 소정의 피사체의 대응 관계를 명확하게 하여, 유저에게 제공할 수 있다.According to the present invention, it is possible to clarify the correspondence relationship between a fish-eye image and a predetermined subject illuminated in the fish-eye image, and provide the user with the corresponding relationship.

이하의 상세한 기술이 이하의 도면과 아울러 고려되면, 본원의 더욱 깊은 이해가 얻어진다.
도 1의 (a)는 화상 처리 장치로서 적용한 디지털카메라를 구성하는 촬상 장치(10)와 본체 장치(20)를 일체적으로 조합한 상태를 나타내는 외관도, (b)는 촬상 장치(10)와 본체 장치(20)를 분리한 상태를 나타내는 외관도.
도 2의 (a)는 촬상 장치(10)의 구성을 나타내는 블럭도, (b)는 본체 장치(20)의 구성을 나타내는 블럭도.
도 3의 (a), (b)는 촬영시에 촬상 장치(10)의 각종 자세를 설명하기 위한 도면.
도 4의 (a), (b)는 어안 렌즈(16B)를 이용해서 촬영된 어안 화상의 표시예를 나타낸 도면.
도 5의 (a)∼(d)는 어안 화상(보존 종료 화상)을 재생하는 경우의 상태를 설명하기 위한 도면.
도 6은 본체 장치(20)측의 화상 관리 테이블(23C)을 설명하기 위한 도면.
도 7은 360°촬영을 실행하는 경우의 본체 장치(20)측의 동작(제 1 실시형태의 특징 부분의 동작)을 설명하기 위한 흐름도.
도 8은 어안 화상(보존 종료 화상)을 재생하는 경우의 본체 장치(20)측의 동작(제 1 실시형태의 특징 부분의 동작)을 나타낸 흐름도.
도 9는 도 8에 계속되는 동작을 나타낸 흐름도.
도 10은 어안 화상(보존 종료 화상)을 재생하는 경우의 본체 장치(20)측의 동작(제 2 실시형태의 특징 부분의 동작)을 나타낸 흐름도.
도 11의 (a)∼(e)는 제 2 실시형태에 있어서, 어안 화상(보존 종료 화상)을 재생하는 경우의 상태를 설명하기 위한 도면.
도 12는 어안 화상(보존 종료 화상)을 재생하는 경우의 본체 장치(20)측의 동작(제 3 실시형태의 특징 부분의 동작)을 나타낸 흐름도.
도 13의 (a)∼(c)는 제 3 실시형태에 있어서, 어안 화상(보존 종료 화상)을 재생하는 경우의 상태를 설명하기 위한 도면.
도 14의 (a)∼(c)는 제 3 실시형태에 있어서, 어안 화상(보존 종료 화상)을 재생하는 경우의 다른 상태를 설명하기 위한 도면.BRIEF DESCRIPTION OF THE DRAWINGS The following detailed description, taken in conjunction with the following drawings, provides a further appreciation of the present disclosure.
Fig. 1 (a) is an external view showing a state in which an imaging apparatus 10 and a main body apparatus 20 constituting a digital camera applied as an image processing apparatus are integrally combined, Fig. 1 (b) Fig. 8 is an external view showing a state in which the main body apparatus 20 is detached. Fig.
2 (a) is a block diagram showing the configuration of the image capturing apparatus 10, and Fig. 2 (b) is a block diagram showing the configuration of the main body apparatus 20. Fig.
3 (a) and 3 (b) are diagrams for explaining various postures of the image capturing apparatus 10 at the time of photographing.
Figs. 4A and 4B are diagrams showing examples of display of a fish-eye image photographed using the fish-eye lens 16B. Fig.
FIGS. 5A to 5D are diagrams for explaining states when a fish-eye image (preserved end image) is reproduced; FIG.
6 is a view for explaining the image management table 23C on the side of the main body apparatus 20. Fig.
Fig. 7 is a flowchart for explaining the operation of the main body apparatus 20 side (the operation of the characteristic portion of the first embodiment) in the case of performing the 360 degree photographing.
8 is a flowchart showing the operation (the operation of the characteristic portion of the first embodiment) on the main body apparatus 20 side in the case of playing back a fisheye image (preservation finished image).
Fig. 9 is a flowchart showing an operation subsequent to Fig. 8; Fig.
10 is a flowchart showing the operation (the operation of the feature portion of the second embodiment) on the main body apparatus 20 side in the case of playing back a fisheye image (preservation end image).
Figs. 11A to 11E are diagrams for explaining states when a fish-eye image (preserved image) is reproduced in the second embodiment; Fig.
12 is a flowchart showing the operation of the main body apparatus 20 side (the operation of the characteristic portion of the third embodiment) in the case of playing back a fisheye image (preservation finished image).
Figs. 13A to 13C are diagrams for explaining a state when a fish-eye image (preserved image) is reproduced in the third embodiment; Fig.
Figs. 14A to 14C are diagrams for explaining other states when a fish-eye image (preserved image) is reproduced in the third embodiment; Fig.

(제 1 실시형태)(First Embodiment)

이하, 도 1∼도 9를 참조하여 본 발명의 제 1 실시형태를 설명한다.Hereinafter, a first embodiment of the present invention will be described with reference to Figs. 1 to 9. Fig.

본 실시형태는 화상 처리 장치로서 디지털카메라에 적용한 경우를 예시한 것으로, 이 디지털카메라는 후술하는 촬상부를 구비하는 촬상 장치(10)와, 후술하는 표시부를 구비하는 본체 장치(20)로 분리 가능한 세퍼레이트형 디지털카메라이다.도 1의 (a)는 촬상 장치(10)와 본체 장치(20)를 일체적으로 조합한 상태를 나타내고, 도 1의 (b)는 촬상 장치(10)와 본체 장치(20)를 분리한 상태를 나타낸 도면이다. 이 세퍼레이트형 디지털카메라를 구성하는 촬상 장치(10)와 본체 장치(20)는 각각이 이용 가능한 무선 통신을 이용해서 페어링(무선 접속 인식)이 가능한 것으로, 무선 통신으로서는 무선 LAN(Wi-Fi) 또는 Bluetooth(등록상표)를 사용하고 있다. 본체 장치(20)측에서는 촬상 장치(10)측에서 촬영된 화상을 수신 취득하여, 이 촬영 화상(라이브 뷰 화상)을 표시하도록 하고 있다. 또한, 본 실시형태에 있어서 촬영 화상은 보존 종료 화상에 한정하지 않고, 라이브 뷰 화면에 표시되어 있는 화상(라이브 뷰 화상：보존 전의 화상)을 의미하고 있다.This embodiment exemplifies a case where the present invention is applied to a digital camera as an image processing apparatus. The digital camera includes an imaging apparatus 10 having an imaging section described later, a separate device 20 which is detachable to a main body apparatus 20 having a display section 1 (a) shows a state in which the image capturing apparatus 10 and the main body apparatus 20 are integrally combined. Fig. 1 (b) shows a state where the image capturing apparatus 10 and the main body apparatus 20 ) Are separated from each other. The image capturing apparatus 10 and the main body apparatus 20 constituting the separate digital camera are capable of pairing (wireless connection recognition) using available wireless communication. Wireless communication can be wireless LAN (Wi-Fi) Bluetooth (registered trademark) is used. On the side of the main body apparatus 20, an image photographed at the image capturing apparatus 10 side is received and acquired to display the photographed image (live view image). In the present embodiment, the photographed image is not limited to the preserved end image, but means an image (live view image: image before storage) displayed on the live view screen.

도 2의 (a)는 촬상 장치(10)의 구성을 나타내는 블럭도이고, 도 2의 (b)는 본체 장치(20)의 구성을 나타내는 블럭도이다.2 (a) is a block diagram showing the configuration of the image capturing apparatus 10, and Fig. 2 (b) is a block diagram showing the configuration of the main body apparatus 20. Fig.

도 2의 (a)에 있어서, 촬상 장치(10)는 제어부(11), 전원부(12), 기억부(13), 통신부(14), 조작부(15), 촬상부(16), 자세 검출부(17)를 구비하고 있다. 제어부(11)는 전원부(2차 전지)(12)로부터의 전력 공급에 의해서 동작하고, 기억부(13)내의 각종 프로그램에 따라 이 촬상 장치(10)의 전체 동작을 제어하는 것으로, 이 제어부(11)에는 도시하지 않은 CPU(중앙 연산 처리 장치)나 메모리 등이 마련되어 있다. 기억부(13)는 예를 들면, ROM, 플래시 메모리 등을 갖는 구성으로, 본 실시형태를 실현하기 위한 프로그램이나 각종 어플리케이션 등이 저장되어 있다. 통신부(14)는 촬영 화상을 본체 장치(20)측에 송신하거나, 본체 장치(20)로부터의 조작 지시 신호 등을 수신한다. 조작부(15)는 전원 스위치 등의 기본적인 조작 키(하드웨어 키)를 구비하고 있다.2 (a), the image capturing apparatus 10 includes a control section 11, a power source section 12, a storage section 13, a communication section 14, an operation section 15, an image capturing section 16, 17). The control unit 11 is operated by power supply from the power supply unit (secondary battery) 12 and controls the overall operation of the image pickup apparatus 10 in accordance with various programs in the storage unit 13, 11 are provided with a CPU (central processing unit) and a memory (not shown). The storage unit 13 has, for example, a ROM, a flash memory, and the like, and stores a program and various applications for realizing the present embodiment. The communication unit 14 transmits the photographed image to the main body apparatus 20 side or receives an operation instruction signal or the like from the main body apparatus 20. [ The operation unit 15 has a basic operation key (hardware key) such as a power switch.

촬상부(16)는 피사체를 고정밀로 촬영 가능한 카메라부를 구성하는 것으로, 이 촬상부(16)의 렌즈 유닛(16A)에는 어안 렌즈(16B), 촬상 소자(16C) 등이 마련되어 있다. 또한, 본 실시형태의 카메라는 통상의 촬상 렌즈(도시 생략)와 어안 렌즈(16B)가 교환 가능한 것으로, 도시한 예는 어안 렌즈(16B)를 장착한 상태를 나타내고 있다. 이 어안 렌즈(16B)는 예를 들면 3개 구성의 렌즈계로 이루어지고, 화각이 대략 180˚와 같은 광범위한 촬영이 가능한 원주 어안 렌즈(전체둘레 어안 렌즈)이며, 이 어안 렌즈(16B)에 의해서 촬영된 광각 화상(어안 화상)의 전체는 원형의 화상으로 된다. 이 경우, 투영 방식을 채용하고 있기 때문에, 어안 렌즈(16B)로 촬영된 광각 화상(어안 화상)은 그 중심에서 단부를 향할수록, 크게 왜곡된 것으로 된다.The image pickup section 16 constitutes a camera section capable of photographing a subject with high precision. A fisheye lens 16B, an image pickup device 16C, and the like are provided in the lens unit 16A of the image pickup section 16. [ In the camera of this embodiment, a normal imaging lens (not shown) and a fisheye lens 16B are interchangeable. In the illustrated example, the fisheye lens 16B is mounted. This fisheye lens 16B is a circumferential fisheye lens (entire circumference fisheye lens) which is composed of, for example, three lens systems and is capable of taking a wide range of angles of view of approximately 180 degrees. The entire wide-angle image (fish-eye image) becomes a circular image. In this case, since the projection system is employed, the wide-angle image (fish-eye image) photographed by the fish-eye lens 16B is greatly distorted from the center toward the end.

즉, 어안 렌즈(16B)는 그 화각이 대략 180˚와 같은 광범위한 촬영이 가능한 원주 어안 렌즈이기 때문에, 어안 화상의 전체는 원형의 화상으로 되고, 그 중심부에서 단부(주변부)쪽을 향할수록 크게 왜곡된 것으로 되는 동시에, 어안 화상의 중심부에 비해 그 주변부는 축소된 화상으로 되기 때문에, 유저가 그 주변부의 내용을 상세하게 육안 관찰하고자 해도 그 확인은 극히 곤란한 것으로 된다. 이러한 어안 렌즈(16B)에 의한 피사체상(광학상)이 촬상 소자(예를 들면, CMOS 또는 CCD)(16C)에 결상되면, 이 촬상 소자(16C)에 의해서 광전 변환된 화상 신호(아날로그값의 신호)는 도시 생략의 A/D 변환부에 의해서 디지털 신호로 변환되는 동시에, 소정의 화상 표시 처리가 실시된 후, 본체 장치(20)측에 송신되어 모니터 표시된다. 자세 검출부(17)는 촬상 장치(10)에 가해지는 가속도를 검출하는 3축 가속도 센서로, 촬상 장치(10)의 자세에 따라 검출된 X·Y·Z방향의 각 가속도 성분을 제어부(11)에 부여한다.That is, since the fisheye lens 16B is a circumferential fisheye lens having a wide angle of view such as the angle of view of approximately 180 degrees, the entire fisheye image is a circular image, and the fisheye lens 16B is greatly distorted At the same time, the peripheral portion of the fisheye image becomes a reduced image as compared with the center portion of the fisheye image. Therefore, even if the user tries to visually observe the contents of the peripheral portion in detail, it becomes extremely difficult to confirm. When a subject image (optical image) formed by such a fisheye lens 16B is imaged on an image pickup element (for example, CMOS or CCD) 16C, image signals photoelectrically converted by this image pickup element 16C Signal is converted into a digital signal by an A / D conversion unit (not shown), and after a predetermined image display process is performed, the image signal is transmitted to the main body apparatus 20 and displayed on a monitor. The posture detecting unit 17 is a three-axis acceleration sensor that detects the acceleration applied to the image capturing apparatus 10. The posture detecting unit 17 is a three-axis acceleration sensor that detects angular acceleration components in the X, Y, and Z directions detected in accordance with the posture of the image capturing apparatus 10, .

도 2의 (b)에 있어서, 본체 장치(20)는 어안 렌즈 등을 사용해서 촬영된 화상을 재생하는 재생 기능을 갖고, 제어부(21), 전원부(22), 기억부(23), 통신부(24), 조작부(25), 터치 표시부(26), 자세 검출부(27)를 구비하고 있다. 제어부(21)는 전원부(2차 전지)(22)로부터의 전력 공급에 의해서 동작하고, 기억부(23)내의 각종 프로그램에 따라 이 본체 장치(20)의 전체 동작을 제어하는 것으로, 이 제어부(21)에는 도시하지 않은 CPU(중앙 연산 처리 장치)나 메모리 등이 마련되어 있다. 기억부(23)는 예를 들면, ROM, 플래시 메모리 등을 갖는 구성으로, 본 실시형태를 실현하기 위한 프로그램이나 각종 어플리케이션 등이 저장되어 있는 프로그램 메모리(23A), 이 본체 장치(20)가 동작하기 위해 필요한 각종 정보(예를 들면, 플래그 등)를 일시적으로 기억하는 워크 메모리(23B)와, 후술하는 화상 관리 테이블(23C) 등을 갖고 있다.2 (b), the main body apparatus 20 has a reproducing function of reproducing an image photographed using a fish-eye lens or the like and has a control section 21, a power source section 22, a storage section 23, 24, an operation section 25, a touch display section 26, and a posture detection section 27. The control unit 21 operates by supplying power from a power supply unit (secondary battery) 22 and controls the overall operation of the main body unit 20 in accordance with various programs in the storage unit 23. The control unit 21 21 is provided with a CPU (central processing unit) and a memory (not shown). The storage unit 23 includes a program memory 23A having a ROM, a flash memory and the like and storing a program and various applications for realizing the present embodiment, A work memory 23B for temporarily storing various kinds of information (for example, flags and the like) necessary for making a print job, a later-described image management table 23C, and the like.

통신부(24)는 촬상 장치(10)와의 사이에서 각종 데이터의 송수신을 실행한다. 조작부(25)는 전원 버튼, 릴리즈 버튼, 노출이나 셔터 스피드 등의 촬영 조건을 설정하는 설정 버튼 등, 누름 버튼식의 각종 키를 구비한 것이고, 제어부(21)는 이 조작부(25)로부터의 입력 조작 신호에 따른 처리를 실행하거나, 입력 조작 신호를 촬상 장치(10)에 대해 송신한다. 터치 표시부(26)는 고정밀 액정 등의 디스플레이(26A)상에 터치 패널(26B)을 적층 배치한 구성으로, 그 표시 화면은 촬영된 화상(어안 화상)을 리얼타임으로 표시하는 모니터 화면(라이브 뷰 화면)으로 되거나, 촬영 종료 화상을 재생하는 재생 화면으로 된다. 자세 검출부(27)는 본체 장치(20)에 가해지는 가속도를 검출하는 3축 가속도 센서로, 본체 장치(20)의 자세에 따라 검출된 X·Y·Z방향의 각 가속도 성분을 제어부(21)에 부여한다.The communication unit 24 performs transmission and reception of various data with the image capturing apparatus 10. The control unit 21 includes various keys such as a power button, a release button, and a setting button for setting photographing conditions such as exposure and shutter speed. The control unit 21 has an input Performs processing according to the operation signal, or transmits the input operation signal to the image capturing apparatus 10. [ The touch display section 26 has a structure in which a touch panel 26B is stacked on a display 26A such as a high-precision liquid crystal display. The display screen displays a monitor screen (live view Screen), or a playback screen for playing back a shot end image. The posture detecting unit 27 is a three-axis acceleration sensor for detecting the acceleration applied to the main body apparatus 20. The posture detecting unit 27 detects an acceleration component in the X, Y, and Z directions detected in accordance with the attitude of the main body apparatus 20, .

본체 장치(20)측에 있어서 제어부(21)는 촬영을 지시하는 릴리즈 버튼이 조작되면, 어안 화상에 대해 현상 처리를 실행하여 촬영 화상을 생성하는 동시에, 화상 압축 처리를 실시하여 표준적인 파일 형식으로 변환한 후, 기억부(23)의 기록 미디어에 기록 보존시킨다. 이 경우, 제어부(21)는 어안 화상의 왜곡을 보정하는 처리를 실시하는 것에 의해서 보정 화상을 생성하고, 어안 화상에 대응지어 그 보정 화상을 기록 보존하도록 하고 있다. 이 경우, 가상 구면 모델상의 임의의 점에서 접하는 평면을 스크린으로 해서, 가상 구면 모델상의 점을 평면 스크린상의 점으로 좌표 변화하는 것에 의해 어안 화상의 왜곡을 보정하는 기술을 이용하고 있지만, 어안 화상의 왜곡을 보정하는 처리(어안 왜곡 보정 처리)는 화상 처리에 있어서 일반적으로 이용되고 있는 주지 기술을 이용하도록 하고 있기 때문에, 그 구체적인 설명에 대해서는 생략하는 것으로 한다.On the side of the main body apparatus 20, when the release button for instructing photographing is operated, the control unit 21 executes development processing on the fish-eye image to generate a photographed image and at the same time performs image compression processing After the conversion, the data is recorded and stored in the recording medium of the storage unit 23. In this case, the control unit 21 generates a corrected image by performing a process of correcting the distortion of the fisheye image, and records the corrected image in association with the fisheye image. In this case, although a technique of correcting distortion of a fisheye image by using a plane tangent to an arbitrary point on a virtual spherical model as a screen and changing the coordinates of a point on the virtual spherical model to a point on a flat screen is used, The process of correcting the distortion (fisheye distortion correction process) uses the well-known technique generally used in the image processing, and thus the detailed description thereof will be omitted.

도 3은 촬상 장치(10)의 자세를 설명하기 위한 도면이다.Fig. 3 is a view for explaining the posture of the imaging device 10. Fig.

촬상 장치(10)는 예를 들면, 그 전체가 상자형을 이루고, 그 정면 중앙부에 어안 렌즈(16B)를 배치한 구성으로 되어 있다. 도 3의 (a)는 어안 렌즈(16B)의 광축 방향이 중력 방향에 대해 대략 직교하는 상태, 즉, 카메라가 지면에 대해 대략 수직으로 되도록 해서 촬영한 경우(수직 촬영을 실행한 경우)를 나타내고, 또한, 도면 중, 파선으로 나타낸 반구는 화각이 대략 180˚와 같은 어안 렌즈(16B)의 촬영 범위를 나타내고 있다. 도 3의 (b)는 카메라의 정면 방향(어안 렌즈(16B)의 광축 방향)을 하늘을 향하게 한 상태, 즉, 어안 렌즈(16B)의 광축 방향이 중력 방향에 대해 대략 역방향으로 되도록 해서 촬영한 경우(수평 촬영을 실행한 경우)를 나타내고 있다.For example, the imaging device 10 has a box-like configuration, and a fisheye lens 16B is disposed at the front center portion thereof. 3 (a) shows a state in which the optical axis direction of the fisheye lens 16B is substantially orthogonal to the gravitational direction, that is, when the camera is photographed so as to be substantially perpendicular to the ground (when vertical photography is performed) , And the hemisphere indicated by the broken line in the drawing represents the photographing range of the fisheye lens 16B having the angle of view of approximately 180 degrees. 3B shows a state in which the front direction of the camera (the optical axis direction of the fisheye lens 16B) is directed toward the sky, that is, the fisheye lens 16B is photographed such that the optical axis direction is substantially opposite to the gravity direction (When horizontal shooting is performed).

도 4는 어안 렌즈(16B)를 이용해서 촬영된 광각 화상(어안 화상)을 예시한 도면으로, 본체 장치(20)측의 터치 표시부(26)의 재생 화면에 어안 화상이 표시된 상태를 나타내고 있다.4 is a diagram illustrating a wide-angle image (a fish-eye image) photographed using the fish-eye lens 16B, and shows a state in which a fish-eye image is displayed on the reproduction screen of the touch display section 26 on the side of the main body apparatus 20.

도시한 예는 도 3의 (a)에 나타낸 수직 촬영으로 촬영한 어안 화상을 나타내고, 도 4의 (a)는 촬영 범위로서 전방 180°을 수직 촬영한 경우의 어안 화상, 도 4의 (b)는 촬영 범위로서 후방 180°를 수직 촬영한 경우의 어안 화상이다. 이와 같이, 360°촬영을 실행하는 경우에는 전방 180°촬영과 후방 180°촬영으로 나누어 2회 촬영을 실행하도록 하고 있다. 또한, 도시한 예는 옥외에서 식탁을 둘러싸고 파티를 열고 있는 상태를 촬영한 것으로, 전방 180°를 촬영한 도 4의 (a)의 어안 화상내에는 1조의 엄마와 아이가 비추고 있고, 후방 180°를 촬영한 도 4의 (b)의 어안 화상내에도 1조의 엄마와 아이가 비추고 있는 경우를 나타내고 있다. 이와 같이 360°촬영된 각 어안 화상은 1조의 어안 화상군으로서 일괄해서 기억 보존된다.4 (a) shows a fish-eye image when a forward 180 ° is photographed vertically as a photographing range, FIG. 4 (b) shows a fish- Is a fisheye image when the backward 180 ° is photographed vertically as a photographing range. As described above, in the case of performing the 360 ° photographing, the photographing is performed twice by dividing the forward 180 ° photographing and the rearward 180 ° photographing. In the example shown in the drawing, a state in which a party is opened surrounding the dining table from the outside is shown. In the fisheye image of FIG. 4 (a) in which a forward 180 ° is photographed, one set of mother and child shines, (B) of FIG. 4 in which the mother and child of the first group shine in the fisheye image. Each of the fisheye images photographed by 360 ° is collectively stored and stored as a group of fisheye images.

본체 장치(20)의 제어부(21)는 촬상 장치(10)에 의해서 촬영된 어안 화상을 수신 취득하여 그 화상 전체의 왜곡을 보정하는 처리를 실행하는 동시에, 그 보정 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 그 피사체마다 검출한 후, 보정 화상의 일부분의 화상과, 검출된 각 피사체 부분의 화상을 관련짓는 처리를 실행하도록 하고 있다. 즉, 제어부(21)는 상술한 바와 같이 해서 360°촬영된 각 어안 화상에 대해 그 왜곡을 보정하는 처리를 실시하여 그 보정 화상을 생성하고, 어안 화상마다 그 보정 화상을 대응지어 기록 보존하도록 하고 있다. 또한, 보정 화상마다 그 화상을 해석하여 보정 화상내에 포함되어 있는 소정의 피사체(인물의 얼굴)를 모두 검출한다. 또한, 이 얼굴 검출 처리는 얼굴 파트를 검출하거나, 피부색을 검출하는 등, 카메라에 있어서 일반적으로 이용되고 있는 기술이며, 본 실시형태에서는 그 주지 기술을 이용하도록 하고 있기 때문에, 그 구체적인 설명에 대해서는 생략하는 것으로 한다.The control unit 21 of the main body apparatus 20 receives and acquires the fish-eye image photographed by the image-capturing device 10 and performs processing for correcting the distortion of the entire image, and at the same time, And performs processing for detecting an image of the subject portion for each subject and associating an image of a portion of the corrected image with an image of each detected subject portion. That is, the control unit 21 performs a process of correcting the distortion of each of the fisheye images photographed by 360 degrees as described above to generate the corrected image, records and stores the corrected images in association with each fisheye image have. Further, the image is analyzed for each of the corrected images to detect all the predetermined objects (face of the person) included in the corrected image. This face detection process is a technique generally used in a camera, such as detecting a face part or detecting a skin color. In the present embodiment, since the known technique is used, detailed description thereof is omitted .

이 얼굴 검출 처리의 결과, 보정 화상내에 포함되어 있는 모든 인물의 얼굴을 검출하면, 제어부(21)는 그 인물의 윤곽을 따라 인물마다 그 피사체 부분(얼굴 부분)을 잘라내어 얼굴 화상을 생성하고, 각 얼굴 화상을 그 어안 화상에 대응지어 기록 보존하도록 하고 있다. 또한, 얼굴 화상은 인물을 특정 가능하게 하기 위해 얼굴을 중심으로 한 화상이지만, 상반신(두부, 목, 어깨)을 포함하는 화상이어도 좋고, 또 얼굴에 한정되지 않고 화상내로부터 특징점을 검출하여, 해당 특징점에 의거한 특징 영역을 추출하도록 해도 좋다. 또, 제어부(21)는 각 얼굴 화상을 소정의 형상 및 사이즈로 정렬하는 화상 처리를 실행하고 나서 기록 보존하도록 하고 있다.As a result of the face detection processing, when detecting the faces of all the persons included in the corrected image, the control unit 21 cuts out the subject (facial portion) for each person along the outline of the person to generate a face image, The face image is recorded and saved in association with the fisheye image. Further, the face image is an image centered on the face in order to make it possible to specify a person, but it may be an image including an upper body (head, neck, shoulder) The feature region may be extracted based on the feature point. In addition, the control unit 21 executes image processing for aligning each face image to a predetermined shape and size, and then records and saves the image data.

도 5는 어안 화상(보존 종료 화상)을 재생하는 경우의 상태를 설명하기 위한 도면이다.Fig. 5 is a diagram for explaining a state when a fisheye image (saved image) is reproduced.

도 5의 (a)는 본체 장치(20)측의 터치 표시부(26)에 각종 어안 화상(보존 종료 화상)이 섬네일 표시된 일람 화면을 나타내고, 도면 중의 원형은 개개의 어안 화상을 나타내며, 3×3의 매트릭스형상으로 어안 화상이 섬네일 표시되어 있는 상태를 나타내고 있다. 여기서, 임의의 섬네일 화상의 위치가 터치되면, 제어부(21)는 터치된 섬네일 화상(어안 화상)을 재생 대상으로서 선택한다. 도 5의 (b)는 재생 대상으로서 선택된 어안 화상을 나타내고, 상술한 360°의 어안 화상 중, 전방 180°를 촬영한 어안 화상(도 4의 (a) 참조)을 선택한 경우이다.5A shows a list screen in which various fish-eye images (preserved images) are thumbnail-displayed on the touch display unit 26 on the side of the main body apparatus 20. The circles in the figure represent individual fish-eye images, And the fisheye image is displayed in the form of a thumbnail. Here, when the position of an arbitrary thumbnail image is touched, the control section 21 selects a touched thumbnail image (a fish-eye image) as a reproduction target. 5B shows a fish-eye image selected as an object to be reproduced, and a fish-eye image (see FIG. 4A) in which a forward 180 ° is photographed is selected from among the 360-degree fish-eye images described above.

도 5의 (c)는 재생 대상으로서 선택된 어안 화상에 대응지어 기록 보존되어 있는 보정 화상으로부터 잘라내어지는 소정 범위내의 화상을 나타내고 있다. 이 경우, 보정 화상내로부터 소정 범위(예를 들면, 장방형의 컷아웃 프레임)내의 화상이 잘라내어진다. 이 컷아웃 프레임(가상 프레임)은 보정 화상과 상사하는 것으로, 예를 들면 보정 화상의 1/4의 크기의 장방형 프레임이며, 어안 화상이 선택된 최초의 시점에서는 보정 화상상의 초기 위치(중앙부의 위치)에 설정되지만, 유저 조작에 의해서 보정 화상상의 임의의 위치로 이동 가능하게 되어 있다. 도시한 예에서는 파선으로 나타낸 장방형의 컷아웃 프레임내의 화상(엄마와 아이를 포함하는 화상)이 잘라내어지는 경우를 나타내고 있다.FIG. 5C shows an image within a predetermined range which is cut out from the corrected image recorded and saved in association with the selected fisheye image. In this case, an image within a predetermined range (for example, a rectangular cutout frame) is cut out from within the corrected image. This cut-out frame (virtual frame) is similar to the corrected image. For example, the cut-out frame is a rectangular frame having a size of 1/4 of the corrected image. In the first point of time when the fisheye image is selected, But it is possible to move to an arbitrary position on the corrected image by a user operation. In the illustrated example, an image (an image including a mother and a child) in a rectangular cutout frame indicated by a broken line is cut out.

도 5의 (d)는 재생 대상으로서 선택된 어안 화상의 재생 화면을 나타낸 도면이다. 이 재생 화면에는 상술한 바와 같이 보정 화상의 일부의 화상(컷아웃 프레임내의 화상)이 확대 표시되는 동시에, 어안 화상에 대응지어져 있는 각 인물의 얼굴 화상이 일람 표시된다. 이 경우, 터치 조작으로 선택된 어안 화상(예를 들면, 도 4의 (a)의 어안 화상)내에 포함되어 있는 각 인물의 얼굴 화상에 한정되지 않고, 이 어안 화상과 조를 이루고 있는 다른 어안 화상(예를 들면, 도 4의 (b)의 어안 화상)내에 포함되어 있는 각 인물의 얼굴 화상도 아울러 일람 표시된다. 그 때, 각 인물의 얼굴 화상은 어안 화상내의 각 인물의 배열 순서에 따라 그 순서대로 배열해서 일람 표시된다. 또한, 각 인물의 얼굴 화상은 도시한 바와 같이 재생 화면의 아래 부분에 직선상으로 배열해서 일람 표시된다. 이 경우, 도면 중, 좌측에 배열되는 엄마와 아이의 얼굴 화상은 도 4의 (a)의 어안 화상에 포함되어 있는 인물의 얼굴 화상이고, 우측에 배열되는 친자의 얼굴 화상은 도 4의 (b)의 어안 화상에 포함되어 있는 인물의 얼굴 화상이다.5 (d) is a view showing a reproduction screen of a fish-eye image selected as a reproduction object. As described above, a partial image (an image in the cutout frame) of the corrected image is displayed on the reproduction screen, and a face image of each person corresponding to the fish-eye image is displayed in a list. In this case, not only the face images of the persons included in the fish-eye image (for example, the fish-eye image of Fig. 4A) selected by the touch operation, but also the other fish- For example, the face images of the persons included in the fish-eye image of Fig. 4 (b) are also displayed in a list. At that time, the face images of the respective persons are arranged and displayed in the order of arrangement of the persons in the fisheye image. In addition, the face images of the respective persons are arranged in a line on the lower part of the reproduction screen and displayed as a list as shown in the figure. In this case, the face images of the mother and child arranged on the left side in the figure are the face images of the person included in the fish-eye image of Fig. 4 (a), and the face images of the parents arranged on the right side are Of the face image of the person.

또, 도면 중, 확대 표시의 화상(컷아웃 프레임내의 화상)의 주위에 붙인 파선의 화살표는 터치 조작에 의해서 이동 가능한 컷아웃 프레임의 이동 방향을 나타내고, 이 컷아웃 프레임은 터치 표시부(26)상에서의 터치 조작(슬라이드 조작)에 의해서 그 슬라이드 방향, 슬라이드량에 따라 이동된다. 이것에 의해서 재생 화면에 표시되는 컷아웃 프레임내의 화상(확대 표시의 화상)도 컷아웃 프레임의 이동에 따라 그 내용이 변화하게 된다. 또한, 컷아웃 프레임의 이동 방향은 상하 좌우의 4방향에 한정되지 않고, 경사 방향으로의 이동도 가능하게 해도 좋다. 이와 같이 재생 화면상에서는 상술한 슬라이드 조작 이외에, 연속된 2회의 탭 조작(더블 탭 조작)도 유효한 터치 조작으로 되고 있으며, 임의의 얼굴 화상상에서 더블 탭 조작이 실행되면, 제어부(21)는 보정 화상 중에서 그 얼굴 화상을 포함하는 위치를 검출하고, 그 검출 위치로 컷아웃 프레임을 이동(점프)시키는 것에 의해서, 재생 화면상의 확대 표시의 화상(컷아웃 프레임내의 화상)에 그 얼굴 화상을 포함시키도록 하고 있다.In the drawing, an arrow of a dotted line attached to the periphery of an enlarged display image (an image in a cutout frame) represents a moving direction of a cutout frame that can be moved by a touch operation. The cutout frame is displayed on the touch display section 26 By a touch operation (slide operation) of the slide member. As a result, the content of the image (enlarged display image) in the cutout frame displayed on the reproduction screen also changes in accordance with the movement of the cutout frame. In addition, the movement direction of the cutout frame is not limited to the four directions of the up, down, left, and right directions, and may be movable in the oblique direction. In this manner, in addition to the above-described slide manipulation, two consecutive tab operations (double-tap manipulation) are also effective touch operations on the playback screen. When the double-tap manipulation is performed on an arbitrary face image, The position including the face image is detected and the cut-out frame is moved (jumped) to the detected position, so that the face image is included in the enlarged display image (image in the cutout frame) on the reproduction screen have.

도 6은 본체 장치(20)측의 화상 관리 테이블(23C)을 설명하기 위한 도면이다.6 is a diagram for explaining the image management table 23C on the main body apparatus 20 side.

화상 관리 테이블(23C)은 어안 화상(보존 종료 화상)과 그것에 관련된 화상을 관리하기 위한 테이블로, 「어안 화상 ID」, 「촬영 종별」, 「링크 ID」, 「보정 화상 ID」, 「얼굴 화상 ID」, 「얼굴 화상 ID」,…의 각 항목을 갖고 있다. 「어안 화상 ID」는 어안 화상을 관리하기 위해, 그 어안 화상 파일(도시 생략)을 식별하는 정보(일련 번호 등)를 기억하는 항목으로, 도시한 예는 “A0001”, “A0002”,…를 기억한 경우를 나타내고 있다. 「촬영 종별」은 180°에서 촬영한 어안 화상인지, 360°에서 촬영한 어안 화상인지를 나타내는 촬영의 종류를 기억하는 항목으로, 도시한 예는 「어안 화상 ID」가 “A0002”, “A0003”의 각 화상은 360°촬영의 1조의 어안 화상군인 것을 나타내고 있다.The image management table 23C is a table for managing a fish-eye image (preserved end image) and an image related to the fish-eye image (a storage end image) ID ", " face image ID ", ... . "Fish eye image ID" is an item for storing information (serial number and the like) identifying the fish eye image file (not shown) for managing a fish eye image, and examples shown are "A0001", "A0002", ... As shown in Fig. Quot; photographing type " is an item for memorizing the type of photographing indicating whether it is a fisheye image photographed at 180 ° or a fisheye image photographed at 360 °. In the example shown in the figure, "fisheye image ID" is "A0002" Each of which is a group of a set of fisheye images of 360 degrees.

「링크 ID」는 「촬영 종별」이 360°촬영의 경우에 조로 되는 다른 어안 화상을 나타내는 「어안 화상 ID」가 기억되는 항목으로, 도시한 예에서는 「어안 화상 ID」가 “A0002”의 「링크 ID」에는 다른 어안 화상을 나타내는 「어안 화상 ID」로서 “A0003”가 기억되고, “A0003”의 「링크 ID」에는 다른 어안 화상을 나타내는 「어안 화상 ID」로서 “A0002”가 기억된다. 「보정 화상 ID」는 어안 화상에 대응해서 그 왜곡을 보정한 보정 화상을 관리하기 위해, 그 보정 화상 파일(도시 생략)을 식별하는 정보(일련 번호 등)를 기억하는 항목으로, 도시한 예는 “B0001”,“B0002”,…를 기억한 경우를 나타내고 있다. 「얼굴 화상 ID」는 어안 화상에 대응해서 그 어안 화상내에 포함되는 각 인물의 얼굴 화상을 관리하기 위해, 그 얼굴 화상 파일(도시 생략)을 식별하는 정보(일련 번호 등)를 기억하는 항목으로, 도시한 예에서는 “C0001”,“C0002”,…를 기억한 경우를 나타내고 있다.Quot; link ID " is an item for storing a " fish-eye image ID " representing another fish-eye image to be grouped in the case of " photographing type & A0003 "is stored as a" fish-eye image ID "representing another fish-eye image, and" A0002 "is stored as a fish-eye image ID representing another fish-eye image in the" link ID "of" A0003 ". The " corrected image ID " is an item for storing information (serial number or the like) identifying the corrected image file (not shown) for managing the corrected image in which the distortion is corrected in accordance with the fisheye image, "B0001", "B0002", ... As shown in Fig. The " face image ID " is an item for storing information (serial number and the like) identifying the face image file (not shown) for managing the face image of each person included in the fish-eye image corresponding to the fish- In the illustrated example, " C0001 ", " C0002 ", ... As shown in Fig.

다음에, 제 1 실시형태에 있어서의 화상 처리 장치(디지털카메라)의 동작 개념을 도 7∼도 9에 나타내는 흐름도를 참조해서 설명한다. 여기서, 이들 흐름도에 기술되어 있는 각 기능은 판독 가능한 프로그램 코드의 형태로 저장되어 있으며, 이 프로그램 코드에 따른 동작이 순차 실행된다. 또, 네트워크 등의 전송 매체를 통해 전송되어 온 상술한 프로그램 코드에 따른 동작을 순차 실행할 수도 있다. 즉, 기록 매체 이외에, 전송 매체를 통해 외부 공급된 프로그램/데이터를 이용해서 본 실시형태 특유의 동작을 실행할 수도 있다. 또한, 도 7∼도 9는 디지털카메라의 전체 동작 중, 제 1 실시형태의 특징 부분의 동작 개요를 나타낸 흐름도이며, 이 도 7∼도 9의 흐름에서 빠졌을 때에는 전체 동작의 메인 흐름(도시 생략)으로 되돌린다.Next, the operation concept of the image processing apparatus (digital camera) in the first embodiment will be described with reference to flowcharts shown in Figs. 7 to 9. Fig. Here, each of the functions described in these flowcharts is stored in the form of readable program code, and the operations according to the program code are sequentially executed. It is also possible to sequentially execute the operations according to the above-described program codes transmitted through a transmission medium such as a network. That is, in addition to the recording medium, it is also possible to execute the operation specific to the present embodiment by using the program / data supplied externally via the transmission medium. 7 to 9 are flow charts showing the outline of the operation of the characteristic portion of the first embodiment during the entire operation of the digital camera. When the flow is omitted from the flow of Figs. 7 to 9, the main flow (not shown) .

도 7은 360°촬영을 실행하는 경우에 있어서의 본체 장치(20)측의 동작(본 실시형태의 특징 부분의 동작)을 설명하기 위한 흐름도이다. 또한, 360°촬영은 각종 촬영 모드를 선택하는 메뉴 화면 중에서 유저 조작에 의해 임의로 선택된 메뉴 항목이며, 이 360°촬영의 메뉴 항목이 선택된 경우에, 도 7의 동작이 실행 개시된다.7 is a flowchart for explaining the operation of the main body apparatus 20 side (the operation of the characteristic portion of the present embodiment) in the case of performing the 360 degree photographing. Further, the 360 degree photographing is a menu item arbitrarily selected by the user's operation from the menu screen for selecting various photographing modes. When the menu item of this 360 degree photographing is selected, the operation of FIG. 7 starts to be executed.

우선, 본체 장치(20)측의 제어부(21)는 릴리즈 조작의 대기 상태에 있어서(스텝 A1), 릴리즈 조작이 실행되면(스텝 A1에서 YES), 촬상 장치(10)로부터 수신 취득한 어안 화상에 대해 현상 처리를 실행하여 촬영 화상을 생성하는 동시에, 화상 압축 처리를 실시하여 표준적인 파일 형식으로 변환한 후(스텝 A2), 기억부(23)의 기록 미디어에 기록 보존시킨다(스텝 A3). 이 경우, 360°촬영이 실행된 2개의 어안 화상을 1조의 화상으로서 기록 보존시키는 동시에, 새로운 「어안 화상 ID」로서, 예를 들면 “A0002”를 생성하고, 화상 관리 테이블(23C)에 추가 등록한다.First, when the release operation is performed (YES in step A1), the control unit 21 on the side of the main body apparatus 20 determines whether or not the fisheye image received and acquired from the image sensing apparatus 10 (Step A2), and records and saves the recording medium on the recording medium of the storage unit 23 (Step A3). In this case, two fisheye images subjected to 360 ° photographing are recorded and saved as a set of images, and a new "fisheye image ID", for example, "A0002" is generated, and additionally registered in the image management table 23C do.

그리고, 제어부(21)는 이 새로운 「어안 화상 ID」에 대응하는 「촬영 종별」로서“360°촬영”을 화상 관리 테이블(23C)에 등록하는 동시에, 대응하는 「링크 ID」를 등록하는 처리를 실행하지만(스텝 A4), 이 「링크 ID」의 등록은 360°촬영의 2회째의 촬영시에 실행된다. 다음에, 제어부(21)는 그 어안 화상에 대해 왜곡을 보정하는 처리를 실시하여 그 보정 화상을 생성하고(스텝 A5), 그 보정 화상을 기억부(23)의 기록 미디어에 기록 보존시키지만, 그 때, 새로운 「보정 화상 ID」로서, 예를 들면 “B0002”를 생성하고, 「어안 화상 ID」의“A0002”에 대응 지어 화상 관리 테이블(23C)에 등록한다(스텝 A6).Then, the control unit 21 registers the " 360 degree photographing " as the " photographing type " corresponding to the new " fish eye image ID " in the image management table 23C, (Step A4), the registration of this " link ID " is executed at the time of the second photographing of the 360 degree photographing. Next, the control unit 21 performs processing for correcting the distortion of the fisheye image to generate the corrected image (step A5), and records the corrected image on the recording medium of the storage unit 23, B0002 "as a new" corrected image ID ", and registers it in the image management table 23C in association with" A0002 "of the" fish-eye image ID "(step A6).

또한, 제어부(21)는 이 보정 화상의 전체를 해석하는 것에 의해서 인물의 얼굴을 검출한다(스텝 A7). 그 결과, 인물의 얼굴을 검출할 수 있었는지를 조사하고(스텝 A8), 인물의 얼굴을 검출할 수 없으면(스텝 A8에서 NO), 스텝 A11로 이동하고, 360°촬영이 종료했는지를 조사한다. 현재, 360°촬영의 1회째의 촬영이 끝난 경우이기 때문에(스텝 A11에서 NO), 상술한 스텝 A1로 되돌리고, 360°촬영의 2회째의 촬영을 지시하는 릴리즈가 조작될 때까지 대기 상태로 된다.Further, the control section 21 analyzes the entirety of the corrected image to detect the face of the person (step A7). As a result, it is checked whether or not the face of the person has been detected (step A8). If the face of the person can not be detected (NO in step A8), the process goes to step A11 to check whether the 360 . Since it is the case that the first photographing of the 360 photographing is completed (NO in step A11), the process returns to the above-mentioned step A1 and the photographing apparatus is put in a waiting state until the release instruction for the second photographing of the 360 photographing is operated .

지금, 보정 화상내의 인물의 얼굴을 검출한 경우에는(스텝 A8에서 YES), 그 인물의 윤곽을 따라 인물마다 잘라내어 그 얼굴 화상을 생성한다(스텝 A9). 이 경우, 보정 화상내에 포함되어 있는 모든 인물에 대해 그 얼굴 화상을 생성하도록 하고 있지만, 어안 화상의 주변부에 위치하고 있는 인물과 같이 얼굴의 왜곡이 너무 커서, 그 왜곡 보정을 실시해도 인물의 얼굴을 정밀도 좋게 검출할 수 없던 경우에도, 인물의 가능성이 있으면, 그 얼굴 화상을 생성하도록 해도 좋다. 이와 같이, 인물마다 잘라내어 생성한 각 얼굴 화상을 소정의 형상 및 사이즈로 구비한 후, 그 어안 화상에 대응지어 기억부(23)의 기록 미디어에 기록 보존시키지만, 이 경우, 「얼굴 화상 ID」로서, 예를 들면 “C0004”, “C0005”를 생성하고, 「어안 화상 ID」의“A0002”에 대응지어 화상 관리 테이블(23C)에 등록한다(스텝 A10). 그리고, 360°촬영이 종료할 때까지 상술한 동작(스텝 A1∼A11)을 반복하지만, 360°촬영이 종료하면(스텝 A 11에서 YES), 도 7의 흐름에서 빠진다.If the face of the person in the corrected image is detected (YES in step A8), the face image is cut out along the outline of the person to generate the face image (step A9). In this case, the face image is generated for all the persons included in the corrected image. However, even if the distortion of the face is too large like a person located at the periphery of the fisheye image, even if the distortion correction is performed, The face image may be generated if there is a possibility of a person even if it can not be detected satisfactorily. In this manner, each of the face images generated by cutting out each character is provided in a predetermined shape and size, and then recorded and stored in the recording medium of the storage unit 23 in association with the fisheye image. In this case, For example, "C0004" and "C0005", and registers them in the image management table 23C in association with "A0002" of the "fish-eye image ID" (step A10). Then, the above-described operations (steps A1 to A11) are repeated until the 360-degree shooting ends, but when the 360-degree shooting ends (YES in step A11), the flowchart is omitted from the flow of FIG.

도 8 및 도 9는 어안 화상(보존 종료 화상)을 재생하는 경우의 본체 장치(20)측의 동작(본 실시형태의 특징 부분의 동작)을 나타낸 흐름도이다.Figs. 8 and 9 are flowcharts showing the operation of the main body apparatus 20 side (the operation of the characteristic portion of the present embodiment) in the case of playing back a fisheye image (saved end image).

우선, 제어부(21)는 유저 조작에 의해서 어안 화상(보존 종료 화상)의 재생이 지시되면, 기억부(23)의 기록 미디어에 기록 보존되어 있는 복수의 어안 화상(보존 종료 화상)을 읽어내고(스텝 B1), 섬네일 화상으로 변환하여 일람 표시시킨다(스텝 B2). 이 상태에 있어서, 이 일람 화면 중에서 임의의 섬네일 화상을 재생 대상으로서 지정하는 터치 조작이 실행되었는지를 조사하고(스텝 B3), 터치 조작이 실행되지 않으면(스텝 B3에서 NO), 조작부(25)의 소정 키로서, 재생 종료를 지시하는 키가 조작되었는지를 조사한다(스텝 B4). 여기서, 재생 종료가 지시되지 않으면(스텝 B4에서 NO), 상술한 스텝 B3으로 되돌리지만, 재생 종료가 지시된 경우에는(스텝 B4에서 YES), 도 8 및 도 9의 흐름에서 빠진다.First, the control unit 21 reads out a plurality of fish-eye images (preservation end images) recorded and stored in the recording medium of the storage unit 23 when instructed to reproduce a fish-eye image (preservation end image) by a user operation Step B1), the image is converted into a thumbnail image and displayed in a list (step B2). (Step B3). If the touch operation is not performed (NO in step B3), it is checked whether or not a touch operation for designating an arbitrary thumbnail image in the list screen is performed As a predetermined key, it is checked whether or not a key for instructing termination of reproduction is operated (step B4). Here, if the reproduction end is not instructed (NO in step B4), the process returns to step B3. However, if the reproduction end is instructed (YES in step B4), the process is omitted from the flow of Figs.

지금, 복수의 어안 화상이 매트릭스형상으로 섬네일 화상으로서 일람 표시되어 있는 상태에 있어서, 그 중에서 임의의 섬네일 화상의 위치가 터치되면(스텝 B3에서 YES), 제어부(21)는 그 어안 화상을 재생 대상으로서 선택 지정한다(스텝 B5). 그리고, 이 지정 화상(어안 화상)에 대응하여 보존되어 있는 보정 화상을 읽어내고(스텝 B6), 이 보정 화상으로부터 장방형의 영역(컷아웃 프레임)내의 화상을 잘라낸다(스텝 B7). 이 경우, 어안 화상이 선택된 최초의 시점에서는 컷아웃 프레임이 보정 화상상의 초기 위치(중앙부의 위치)에 설정되어 있으므로, 보정 화상의 중앙 부분의 화상이 잘라내어진다. 그리고, 잘라낸 화상을 소정의 사이즈로 확대하여, 재생 화면의 중앙 부분에 표시시킨다(스텝 B8).When a plurality of fisheye images are displayed as a thumbnail image in the form of a matrix and the position of an arbitrary thumbnail image among them is touched (YES in step B3), the control section 21 displays the fisheye image as a reproduction target (Step B5). Then, the corrected image stored corresponding to the designated image (fish-eye image) is read (step B6), and the image within the rectangular area (cut-out frame) is cut out from the corrected image (step B7). In this case, since the cut-out frame is set at the initial position (center position) on the corrected image at the first time point when the fisheye image is selected, the image at the center of the corrected image is cut out. Then, the cut-out image is enlarged to a predetermined size and displayed on the central part of the reproduction screen (step B8).

다음에, 상술한 지정 화상(어안 화상)에 대응하여 보존되어 있는 각 얼굴 화상을 읽어내고(스텝 B9), 이 각 얼굴 화상을 재생 화면에 일람 표시시킨다(스텝 B10). 이 경우, 도 5의 (d)에 나타내는 바와 같이, 각 얼굴 화상을 재생 화면의 하부에 가로 일렬로 배열해서 일람 표시시키지만, 그 배열순은 상술한 바와 같이 어안 화상내의 각 인물의 배열순으로 되어 있다. 그리고, 상술한 지정 화상(어안 화상)과 조를 이루고 있는 다른 어안 화상, 360° 이외의 어안 화상은 미지정인지를 조사하고(스텝 B11), 미지정의 어안 화상이 남아 있으면(스텝 B11에서 YES), 그 미지정의 어안 화상을 재생 대상으로서 지정(스텝 B12)한 후, 상술한 스텝 B9로 되돌리며, 이 새로운 지정 화상(어안 화상)에 대응해서 보존되어 있는 각 얼굴 화상을 읽어내고, 이 각 얼굴 화상을 재생 화면에 일람 표시시킨다(스텝 B10). 이것에 의해서 360°촬영의 각 어안 화상을 모두 지정하고 다 지정한 경우에는(스텝 B11에서 NO), 도 9의 흐름으로 이동한다.Next, each facial image stored corresponding to the above-mentioned designated image (fish-eye image) is read out (step B9), and each of these facial images is displayed on the reproduction screen in a list (step B10). In this case, as shown in Fig. 5 (d), the face images are arranged in a row in the lower portion of the playback screen and displayed in a list, and the arrangement order is in the order of arrangement of the figures in the fisheye image . Then, it is checked whether or not the other fisheye image cooperating with the above-mentioned designated image (fisheye image) and the other fisheye image other than 360 degrees is unspecified (step B11), and if an unfixed fisheye image remains (YES in step B11) The undefined fisheye image is designated as a reproduction object (step B12), and then the process returns to step B9 described above. Each facial image stored corresponding to this new designated image (fish-eye image) is read out, On the reproduction screen (step B10). When all of the 360 ° photographing images are specified and designated (NO in step B11), the process proceeds to the flow of FIG.

이러한 재생 화면이 터치 표시부(26)상에 표시되어 있는 상태에 있어서, 재생 화면상에서 터치 조작이 실행되면(스텝 B13에서 YES), 그 터치 조작은 일람 표시되어 있는 얼굴 화상에의 더블 탭 조작인지(스텝 B14), 확대 표시되어 있는 보정 화상(컷아웃 프레임내의 화상) 부근에서의 슬라이드 조작인지를 조사한다(스텝 B15). 지금, 얼굴 화상에의 더블 탭 조작이 실행된 경우에는(스텝 B14에서 YES), 그 보정 화상내로부터 그 얼굴을 포함하는 위치를 특정하고, 그 검출 위치로 컷아웃 프레임을 이동시킨다(스텝 B16). 예를 들면, 도 5의 (d)에 나타내는 바와 같이 여자 아이의 얼굴 화상상에서 더블 탭 조작이 실행된 경우에는 보정 화상 중에서 그 여자 아이의 얼굴 화상을 특정하고, 그 얼굴 화상이 컷아웃 프레임의 중심 위치로 되도록 컷아웃 프레임을 이동시킨다. 그리고, 이 컷아웃 프레임내의 화상을 잘라내어 재생 화면에 확대 표시시킨다(스텝 B17). 그 후, 스텝 B13으로 되돌린다.When the touch operation is performed on the reproduction screen (YES in step B13) while the reproduction screen is displayed on the touch display section 26, the touch operation is a double tap operation on the displayed face image Step B14), and it is checked whether the slide operation is performed in the vicinity of the enlargedly displayed corrected image (image in the cutout frame) (step B15). If the double-tap operation on the face image has been executed (YES in step B14), the position containing the face is specified from the corrected image, and the cut-out frame is moved to the detected position (step B16) . For example, as shown in FIG. 5 (d), when a double-tap operation is performed on the face image of the energetic child, the face image of the enabler eye is specified from the corrected image, Position of the cutout frame. Then, the image in this cutout frame is cut out and enlarged on the reproduction screen (step B17). Thereafter, the process returns to step B13.

또, 재생 화면상에서의 터치 조작이 확대 표시되어 있는 보정 화상(컷아웃 프레임내의 화상) 부근에서의 슬라이드 조작이면(스텝 B15에서 YES), 그 슬라이드 방향 및 슬라이드량을 검출하고(스텝 B18), 이 슬라이드 방향 및 슬라이드량에 따라 컷아웃 프레임을 보정 화상상에서 이동시킨다(스텝 B19). 그리고, 이 보정 화상에서 잘라냄 범위내의 화상을 잘라내어 재생 화면에 확대 표시(스텝 B17)시킨 후, 상술한 스텝 B13으로 되돌린다.If the touch operation on the playback screen is a slide operation in the vicinity of the corrected image (an image in the cutout frame) (YES in step B15), the slide direction and slide amount are detected (step B18) The cutout frame is moved on the corrected image in accordance with the slide direction and the slide amount (step B19). Then, in the corrected image, an image within the cut-out range is cut out and displayed on the reproduction screen in an enlarged manner (step B17), and then the process returns to step B13 described above.

한편, 재생 화면상에서의 터치 조작이 아니고(스텝 B13에서 NO), 예를 들면, 조작부(25)의 소정 키로서, 360°촬영의 다른 어안 화상으로의 전환을 지시하는 키가 조작된 경우에는(스텝 B20에서 YES), 360°촬영이 실행된 2개의 어안 화상 중에서 다른 어안 화상을 재생 대상으로서 지정(스텝 B21)한 후, 그 지정 화상에 대응해서 보존되어 있는 보정 화상을 읽어내고(스텝 B22), 이 보정 화상으로부터 잘라냄 범위내의 화상을 잘라내고(스텝 B23), 이 잘라낸 화상을 재생 화면에 확대 표시시킨다(스텝 B24). 그 후, 스텝 B13으로 되돌린다. 그리고, 예를 들면, 조작부(25)의 소정 키로서, 재생 종료를 지시하는 키가 조작된 경우에는(스텝 B25에서 YES), 도 7 및 도 8의 흐름에서 빠진다.On the other hand, when the key for instructing the switching to the other fisheye image of the 360 ° photographing is operated as the predetermined key of the operation unit 25 (for example, if the key is not operated on the reproduction screen (NO in step B13) (YES in step B20), another fisheye image is selected as the reproduction object from among the two fisheye images in which the 360 degree photographing has been performed (step B21), and the corrected image stored corresponding to the designated image is read (step B22) , Cuts out the image within the cut-out range from the corrected image (step B23), and enlarges the cut-out image on the reproduction screen (step B24). Thereafter, the process returns to step B13. When the key for instructing the end of reproduction is operated as a predetermined key of the operation unit 25 (YES in step B25), the process is exited from the flow of Figs. 7 and 8.

이상과 같이, 제 1 실시형태에 있어서는 본체 장치(20)의 제어부(21)는 촬상 장치(10)에 의해서 촬영된 광각 화상(어안 화상)내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상의 왜곡을 보정하고, 광각 화상의 일부분의 화상과 보정한 피사체 부분의 화상을 관련짓는 처리를 실행하도록 했으므로, 어안 화상과 그 어안 화상내에 비추고 있는 소정의 피사체의 대응 관계를 명확하게 하여, 유저에게 제공할 수 있다.As described above, in the first embodiment, the control unit 21 of the main body apparatus 20 recognizes a predetermined subject included in the wide-angle image (fish-eye image) photographed by the imaging device 10, Since the processing of correcting the distortion of the image and relating the image of the part of the wide-angle image to the image of the corrected object part is performed, the correspondence relationship between the fisheye image and the predetermined object illuminated in the fisheye image is clarified, .

제어부(21)는 촬상 장치(10)에 의해서 촬영된 광각 화상(어안 화상)의 왜곡을 보정하는 동시에, 그 보정 화상내에 포함되어 있는 소정의 피사체(인물의 얼굴)를 인식하여 그 피사체 부분의 화상(얼굴 화상)을 그 피사체(인물)마다 검출하고, 보정 화상의 일부분의 화상과, 검출한 각 피사체 부분의 화상(얼굴 화상)을 관련짓는 처리를 실행하도록 했으므로, 소정의 피사체를 광각으로 촬영한 광각 화상을 소정의 피사체가 보기 쉬워지는 바와 같은 형태로 변환할 수 있다. 예를 들면, 화상의 표시시에, 왜곡이 큰 광각 화상을 그대로 표시하는 것보다도 그 왜곡을 보정한 화상과, 각 인물의 얼굴 화상을 대응지어 표시하도록 하면, 광각 화상을 보기 쉬운 형태로 변환해서 표시시킬 수 있고, 유저에 있어서는 그 인물을 용이하게 확인하는 것이 가능하게 된다.The control unit 21 corrects the distortion of the wide-angle image (fish-eye image) captured by the image capturing apparatus 10 and recognizes a predetermined subject (face of the person) included in the corrected image and displays the image of the subject (Face image) is detected for each of the objects (persons), and a process of associating an image of a part of the corrected image with an image (face image) of each detected object part is performed. The wide-angle image can be converted into a form in which a predetermined subject can be easily seen. For example, when an image is displayed, a distortion-corrected image and a face image of each person are displayed in association with each other, rather than a distorted wide-angle image is displayed as it is. So that the user can easily confirm the person.

제어부(21)는 보정 화상의 소정 범위(컷아웃 프레임)내의 화상을 확대 표시시키는 동시에, 검출한 각 피사체 부분의 화상(얼굴 화상)을 일람 표시시키도록 했으므로, 화상의 재생시에, 왜곡이 큰 광각 화상의 전체를 표시하는 것보다 보정 화상의 일부분을 표시하면, 광각 화상을 보기 쉬운 형태로 표시시킬 수 있다. 즉, 유저에 있어서는 광각으로 촬영된 보정 화상의 일부분으로 좁혀 피사체를 확인할 수 있고, 또, 보정 화상의 일부에 표시되어 있지 않은 인물도 포함시켜 광각으로 촬영된 화상내에 포함되어 있는 모든 인물을 확인할 수 있다.The control unit 21 enlarges and displays the image within a predetermined range (cutout frame) of the corrected image and simultaneously displays the images (facial images) of the detected object parts. Therefore, at the time of image reproduction, If a part of the corrected image is displayed rather than displaying the entire image, the wide-angle image can be displayed in a form that is easy to see. That is, the user can confirm the subject by narrowing it to a part of the corrected image photographed at the wide angle, and also can recognize all the persons included in the image photographed at the wide angle including the person not displayed in a part of the corrected image have.

제어부(21)는 검출한 각 피사체 부분의 화상(얼굴 화상)을 일람 표시시킬 때에, 광각 화상상의 각 피사체(인물)의 배열순에 따라 그 순서대로 배열해서 일람 표시시키도록 했으므로, 어디에 누가 있었는지 등을 얼굴 화상의 일람 표시를 보는 것만으로 용이하게 확인할 수 있다.Since the control unit 21 arranges and displays the images (facial images) of the detected subject portions in the order in accordance with the arrangement order of the objects (characters) on the wide-angle image in the list display, Can be easily confirmed simply by looking at the list display of the face images.

제어부(21)는 소정 범위(컷아웃 프레임)를 유저 조작(슬라이드 조작)에 의해서 임의로 이동시키는 동시에, 그 컷아웃 프레임의 이동에 따라 컷오프 화상을 확대 표시시키도록 했으므로, 유저에 있어서 보정 화상 중에서 원하는 부분의 화상을 그 세부까지 용이하게 확인하는 것이 가능하게 된다.Since the control unit 21 arbitrarily moves the predetermined range (cutout frame) by a user operation (slide operation) and enlarges and displays the cut-off image in accordance with the movement of the cutout frame, It is possible to easily confirm the image of the portion up to its details.

제어부(21)는 촬영 방향을 바꾸어 촬영된 복수의 광각 화상을 조로 하는 광각 화상군 중에 포함되어 있는 모든 소정의 피사체(인물의 얼굴)를 인식하여 그 피사체 부분의 화상(얼굴 화상)을 그 피사체마다 검출하도록 했으므로, 예를 들면 전방 180°촬영과 후방 180°촬영의 2회로 나누어 360°촬영을 실행했다고 해도 그 주위에 있는 모든 인물의 얼굴을 검출할 수 있다.The control unit 21 recognizes all the predetermined subjects (person's faces) included in the wide-angle image group obtained by grouping a plurality of photographed wide-angle images by changing the photographing direction and outputs an image (face image) of the subject portion to each subject It is possible to detect the faces of all persons in the vicinity thereof even if 360 ° photographing is performed by dividing the photograph into, for example, the forward 180 ° photographing and the backward 180 ° photographing.

제어부(21)는 촬영 방향을 바꾸어 촬영된 복수의 광각 화상을 조로 하는 광각 화상군 중에서 표시 대상의 광각 화상이 지정된 경우에, 그 지정된 광각 화상의 보정 화상과, 광각 화상군 중에서 검출된 모든 피사체 부분의 화상(인물의 얼굴)을 대응지어 표시시키도록 했으므로, 유저에 있어서는 복수의 화상(보정 화상)의 전환 표시에 의해서 그 복수의 화상을 볼 수 있다.When a wide angle image to be displayed is designated from a wide angle image group in which a plurality of photographed wide angle images are grouped by changing the photographing direction, the control unit 21 calculates a corrected image of the specified wide angle image, (A face of a person) is displayed in association with each other, the user can view the plurality of images by switching display of a plurality of images (corrected images).

제어부(21)는 촬영 방향을 바꾸어 촬영된 광각 화상군 중에서 유저 조작에 의해서 임의로 선택된 광각 화상을 표시 대상으로서 지정하도록 했으므로, 유저에 있어서는 촬영 방향을 바꾸어 촬영된 복수의 화상(보정 화상) 중에서 원하는 화상으로 임의로 전환 지정하여 그 화상의 확대 표시를 볼 수 있다.Since the control unit 21 changes the photographing direction to designate the wide angle image arbitrarily selected by the user operation from the photographed wide angle image groups as the display object, the user can select a desired image among a plurality of images (corrected images) And enlarged display of the image can be seen.

제어부(21)는 광각 화상(어안 화상)이 섬네일 화상으로서 일람 표시되어 있는 상태에 있어서, 그 섬네일 화상 중에서 임의의 광각 화상이 유저 조작에 의해서 선택되면, 그 선택된 광각 화상의 보정 화상을 확대 표시시키는 동시에, 검출한 각 피사체 부분의 화상(얼굴 화상)을 일람 표시시키도록 했으므로, 유저에 있어서는 많은 어안 화상 중에서 원하는 어안 화상을 임의로 선택하여 그 화상을 보기 쉬운 형태로 확인하는 것이 가능하게 된다.When a wide-angle image (fish-eye image) is displayed as a thumbnail image and the arbitrary wide-angle image in the thumbnail image is selected by a user operation, the control unit 21 enlarges and displays the corrected image of the selected wide-angle image At the same time, since the images (facial images) of the detected subject portions are displayed at the same time, the user can arbitrarily select desired fish-eye images from among many fish-eye images and confirm the images in a form that is easy to see.

제어부(21)는 보정 화상과 각 피사체 부분의 화상(얼굴 화상)을 대응지어 기록 보존하도록 했으므로, 화상 재생을 실행할 때마다 광각 화상의 왜곡 보정을 실행하거나, 보정 화상으로부터 얼굴 화상을 잘라내는 처리가 불필요하게 된다.The control unit 21 records and stores the corrected image and the image of each subject portion (face image) in association with each other. Therefore, the distortion correction of the wide-angle image is performed every time image reproduction is performed, or the process of cutting out the face image from the corrected image is executed It becomes unnecessary.

(변형예 1)(Modified Example 1)

상술한 제 1 실시형태에 있어서는 촬영 방향을 바꾸어 촬영된 1조의 어안 화상군 중에서 유저 조작에 의해서 임의로 선택된 어안 화상을 표시 대상으로서 지정하도록 했지만, 일정한 타이밍마다 미리 정해져 있는 순서에 따라 각 어안 화상을 1개씩 순차 선택하여 그 보정 화상을 전환 표시하도록 해도 좋다. 이것에 의해서 유저는 각 어안 화상(보정 화상)을 소정의 순서로 볼 수 있다. 이 경우, 360°촬영에 있어서, 표시 중의 어안 화상(보정 화상)내에 포함되어 있는 인물의 얼굴 화상과, 비표시의 어안 화상(보정 화상)내에 포함되어 있는 인물의 얼굴 화상을 식별해서 일람 표시하도록 해도 좋다. 이것에 의해서, 어안 화상(보정 화상)과 인물의 얼굴 화상의 대응 관계를 용이하게 확인할 수 있다.In the first embodiment described above, a fisheye image arbitrarily selected by a user operation is designated as a display target from among a group of fisheye images picked up by changing the photographing direction, but it is also possible to designate each fisheye image as 1 And the corrected image may be switched and displayed. Thus, the user can view each of the fisheye images (corrected images) in a predetermined order. In this case, in the 360 ° photographing, the face image of the person included in the fisheye image (corrected image) being displayed and the face image of the person included in the non-displayed fisheye image (corrected image) are identified and displayed Maybe. This makes it possible to easily confirm the correspondence between the fisheye image (corrected image) and the face image of the person.

(변형예 2)(Modified example 2)

상술한 제 1 실시형태에 있어서는 촬영 방향을 바꾸어 촬영된 1조의 어안 화상군내에 포함되어 있는 모든 인물의 얼굴 화상을 일람 표시하도록 했지만, 특정의 얼굴 화상을 식별해서 표시하도록 해도 좋다. 예를 들면, 확대 표시 중의 보정 화상의 일부에 포함되어 있는 인물을 특정하고, 이 인물의 얼굴 화상만을 식별 표시(예를 들면, 분류 표시, 확대 표시)하도록 해도 좋다. 이것에 의해서, 확대 표시 중의 보정 화상의 일부에 포함되어 있는 인물과, 보정 화상내의 비표시 부분에 포함되어 있는 인물을 식별해서 표시할 수 있다. 여기서, 비표시 부분에 포함되어 있는 인물을 확대 표시에 의해서 확인하는 경우에는 그 인물이 잘라내어지도록 컷아웃 프레임을 이동시키면 좋다.In the first embodiment described above, the face images of all the persons included in the group of one set of fish-eye images photographed by changing the photographing direction are displayed in a list. However, a specific face image may be identified and displayed. For example, a person included in a part of the corrected image in enlarged display may be specified, and only the face image of the person may be identified (e.g., classified display, enlarged display). This makes it possible to identify and display the person included in a part of the corrected image in the enlarged display and the person included in the non-displayed part in the corrected image. Here, in the case of confirming the person included in the non-display portion by enlarged display, the cutout frame may be moved so that the person is cut out.

(변형예 3)(Modification 3)

상술한 제 1 실시형태에 있어서는 어안 렌즈(16B)로서 원주 어안 렌즈(전체둘레 어안 렌즈)를 예시했지만, 대각 어안 렌즈를 사용해도 좋다. 또, 상술한 실시형태에 있어서는 1개의 어안 렌즈(16B)를 이용하여, 전방 180°촬영과 후방 180°촬영의 2회로 나누어 360°촬영을 실행하도록 했지만, 2개의 어안 렌즈(16B)를 구비하도록 하면, 예를 들면 카메라 케이스의 표리 양면에 각각 어안 렌즈를 구비하면, 360°촬영의 지시에 따라 전방 180°촬영과 후방 180°촬영을 동시에 실행할 수 있다. 또, 초광각 렌즈를 사용해서 복수회의 촬영을 실행하여 360°촬영을 실행하도록 해도 좋다.In the above-described first embodiment, the circular fisheye lens (entire peripheral fisheye lens) is exemplified as the fish-eye lens 16B, but a diagonal fisheye lens may be used. Further, in the above-described embodiment, although one fisheye lens 16B is used to perform 360 ° photographing divided into two steps of a forward 180 ° photographing and a backward 180 ° photographing, two fisheye lenses 16B are provided For example, if the fisheye lens is provided on both the front and back surfaces of the camera case, it is possible to simultaneously perform the forward 180 ° photographing and the rearward 180 ° photographing in accordance with the 360 ° photographing instruction. Alternatively, a plurality of photographing operations may be performed using an ultra-wide angle lens to perform 360-degree photographing.

(변형예 4)(Variation 4)

상술한 제 1 실시형태에 있어서, 본체 장치(20)의 제어부(21)는 촬상 장치(10)에 의해서 촬영된 어안 화상을 수신 취득하여 그 화상 전체의 왜곡을 보정하는 처리를 실행하는 동시에, 그 보정 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 그 피사체마다 검출한 후, 보정 화상의 일부분의 화상과, 검출한 각 피사체 부분의 화상을 관련짓는 처리를 실행하도록 하고 있지만, 그것에 한정되지 않고, 본체 장치(20)의 제어부(21)는 촬상 장치(10)에 의해서 촬영된 어안 화상을 수신 취득하면, 어안 화상의 왜곡을 보정하는 일 없이, 그 어안 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 그 피사체마다 검출한 후, 어안 화상의 일부분의 화상과, 검출한 각 피사체 부분의 화상을 관련짓는 처리를 실행하도록 해도 좋다.In the first embodiment described above, the control unit 21 of the main body apparatus 20 executes processing for receiving and acquiring a fish-eye image photographed by the image-capturing apparatus 10 and correcting distortion of the whole image, A process of recognizing a predetermined subject included in the corrected image and detecting an image of the subject portion for each subject and associating an image of a part of the corrected image with an image of each detected subject portion is executed. The control unit 21 of the main body apparatus 20 is not limited to this and the control unit 21 of the main body apparatus 20 may be configured to receive the fisheye image photographed by the image pickup apparatus 10 and to correct the distortion of the fisheye image, And performs a process of associating an image of a part of the fisheye image with an image of each detected subject part after detecting an image of the subject part for each of the subjects Maybe.

이 경우, 검출한 각 피사체 부분의 화상은 왜곡이 여전히 남게 되므로, 소정의 타이밍, 예를 들면 상술한 관련짓는 처리를 실행함과 동시, 또는 그 전후의 타이밍이나 인물마다 피사체 부분을 잘라냄과 동시, 또는 그 전후의 타이밍 등에서 각 피사체 부분의 화상에 대해 왜곡 보정을 실행하도록 해도 좋다. 이와 같이, 왜곡을 그대로 남긴 어안 화상의 일부분의 화상과, 보정한 피사체 부분의 화상을 관련짓는 처리로서, 예를 들면 어안 화상의 일부분의 화상을 재생 화면에 표시시키는 동시에, 보정한 피사체 부분의 화상을 재생 화면에 일람 표시시키는 처리를 실행하도록 하면, 상술한 실시형태와 마찬가지로, 어안 화상과 그 어안 화상내에 비추고 있는 소정의 피사체의 대응 관계를 명확하게 하여, 유저에게 제공할 수 있다.In this case, since the distorted image remains in the detected images of the subject portions, the subject portion is cut out at a predetermined timing, for example, at the timing of performing the above-described association process, , Or the timing before or after that, the distortion correction may be performed on the image of each subject portion. As described above, as a process for associating an image of a part of a fisheye image with a distortion and an image of a corrected object part, for example, an image of a part of a fisheye image is displayed on a reproduction screen and an image of a corrected object part Is displayed on the playback screen, the corresponding relationship between the fish-eye image and a predetermined subject illuminated in the fish-eye image can be made clear to the user, similarly to the above-described embodiment.

(변형예 5)(Modified Example 5)

상술한 제 1 실시형태에 있어서는 재생 대상으로서 선택된 어안 화상에 대응지어 기록 보존되어 있는 보정 화상으로부터 잘라내어지는 소정 범위내의 화상을 표시하도록 했지만, 그것에 한정되지 않고, 재생 대상으로서 선택된 어안 화상 그 자체를 표시해도 좋다. 즉, 왜곡이 남아 있는 어안 화상과, 검출한 각 피사체 부분의 화상(얼굴 화상)을 일람 표시시키도록 해도 좋다. 이 경우에 있어서도 상술한 실시형태와 마찬가지로, 어안 화상과 그 어안 화상내에 비추고 있는 소정의 피사체의 대응 관계를 명확하게 하여, 유저에게 제공할 수 있다.In the above-described first embodiment, an image within a predetermined range that is cut out from the corrected image recorded and saved in association with the selected fisheye image is displayed. However, the fisheye image itself selected as the reproduction object is displayed It is also good. That is, a fisheye image in which distortions remain and an image (facial image) of each detected subject portion may be displayed in a list. In this case as well, the correspondence relationship between the fish-eye image and the predetermined object illuminated in the fish-eye image can be clarified and provided to the user, as in the above-described embodiment.

(변형예 6)(Modified Example 6)

상술한 제 1 실시형태에 있어서는 촬영 방향을 바꾸어 촬영된 복수의 광각 화상을 조로 하는 광각 화상군 중에서 표시 대상의 광각 화상이 유저 조작에 의해 지정된 경우에, 그 지정된 광각 화상의 보정 화상과, 광각 화상군 중에서 검출된 모든 피사체 부분의 화상(인물의 얼굴)을 대응지어 표시하도록 했지만, 광각 화상군 중에서 표시 대상의 광각 화상이 유저 조작에 의해서 지정된 경우에, 그 지정된 광각 화상(왜곡이 남아 있는 화상)과, 광각 화상군 중에서 검출된 모든 피사체 부분의 화상(인물의 얼굴)을 대응지어 표시하도록 해도 좋다. 이것에 의해서, 유저에 있어서는 복수의 광각 화상의 전환 표시에 의해서 그 복수의 광각 화상을 볼 수 있다.In the first embodiment described above, when a wide-angle image to be displayed is designated by a user operation among a wide-angle image group in which a plurality of photographed wide angle images are grouped by changing the photographing direction, the corrected image of the specified wide- (The face of the person) is displayed in association with all of the detected object portions in the group. However, when the wide angle image to be displayed is specified by the user operation among the wide angle image groups, (The face of the person) of all the object portions detected in the wide-angle image group may be displayed in association with each other. As a result, the user can view the plurality of wide-angle images by switching display of the plurality of wide-angle images.

또한, 상술한 제 1 실시형태에 있어서는 보정 화상의 소정 범위(컷아웃 프레임)내의 화상을 확대 표시시키는 동시에, 검출한 각 피사체 부분의 화상(얼굴 화상)을 일람 표시시키는 구성으로 했지만, 그것에 한정되지 않고, 재생 대상으로서 선택된 어안 화상에 대응지어 기록 보존되어 있는 보정 화상의 전체와, 검출한 각 피사체 부분의 화상(얼굴 화상)을 일람 표시시켜도 좋다.In the above-described first embodiment, the image in the predetermined range (cut-out frame) of the corrected image is enlarged and displayed and the images (facial images) of the detected subject portions are displayed in a list. However, Alternatively, the entire correction image recorded and saved in association with the selected fisheye image may be displayed together with the images (facial images) of the detected subject portions.

상술한 제 1 실시형태에 있어서는 어안 화상, 보정 화상, 각 인물의 얼굴 화상을 대응지어 기록 보존하도록 했지만, 어안 화상, 보정 화상, 각 인물의 얼굴 화상을 예를 들면, SD카드, USB 메모리 등의 착탈 자유로운 가반형(휴대가능형) 메모리(기록 미디어), 또는 통신 수단을 통해 외부에 출력하여, 외부 기기에서 보정 화상과 각 인물의 얼굴 화상을 대응지어 표시하도록 해도 좋다.In the first embodiment described above, the fisheye image, the corrected image, and the face images of the respective persons are stored in association with each other. However, the fisheye image, the corrected image, and the face image of each person may be stored in the SD card, (Removable) memory (recording medium) or a communication means, so that the external device can display the corrected image and the face image of each person in association with each other.

상술한 제 1 실시형태에 있어서는 어안 화상을 왜곡 보정한 보정 화상의 일부분(컷아웃 프레임내의 화상)을 확대하여 재생 화면에 표시하도록 했지만, 보정 화상의 전체를 재생 화면에 표시하도록 해도 좋다.In the above-described first embodiment, a part of the corrected image obtained by distortion-correcting the fisheye image (an image in the cutout frame) is enlarged and displayed on the reproduction screen, but the entire correction image may be displayed on the reproduction screen.

상술한 제 1 실시형태에 있어서는 전방 180°촬영과 후방 180°촬영의 2회로 나누어 360°촬영을 실행하여 그 복수의 어안 화상을 조로 하도록 했지만, 어안 렌즈(16B)를 이용해서 촬영하는 범위는 180°촬영에 한정되지 않고, 임의이다. 또, 360°촬영에 한정되지 않고, 180°의 범위에서 촬영한 촬영 화상에 있어서도 적응할 수 있는 것은 물론이다.In the above-described first embodiment, the 360 ° photographing is performed by dividing the forward 180 ° photographing and the backward 180 ° photographing into a plurality of the fish-eye images, but the range of photographing using the fish-eye lens 16B is 180 Is not limited to photographing, and is arbitrary. It is needless to say that the present invention is not limited to 360 ° photographing but can be applied to a photograph taken in a range of 180 °.

상술한 실시형태에서는 임의의 얼굴 화상상에서 더블 탭 조작이 실행되면, 제어부(21)는 보정 화상 중에서 그 얼굴 화상을 포함하는 위치를 검출하고, 그 검출 위치로 컷아웃 프레임을 이동(점프)시키는 것에 의해서, 재생 화면상의 확대 표시의 화상(컷아웃 프레임내의 화상)에 그 얼굴 화상을 포함시키도록 하고 있지만, 그 이외에도, 임의의 얼굴 화상상을 슬라이드 조작함으로써, 그 슬라이드량에 의거하여, 임의의 얼굴 화상으로서 표시되어 있던 화상을 변화시켜도 좋다. 즉, 그 슬라이드량에 의거하여, 보정 화상의 그 임의의 얼굴 화상을 포함하는 위치를 이동시켜, 보정 화상의 그 이동처의 위치에 있어서의 화상을 임의의 얼굴 화상 대신 표시시키는 바와 같은 구성으로 해도 좋다. 그 경우, 임의의 얼굴 화상 대신에 표시된 이동지 화상상에서 더블 탭 조작이 실행되면, 제어부(21)는 보정 화상 중에서 그 이동지 화상을 포함하는 위치를 검출하고, 그 검출 위치로 컷아웃 프레임을 이동시키는 것에 의해서, 재생 화면상의 확대 표시의 화상에 그 이동지 화상을 포함시키도록 한다.In the embodiment described above, when a double-tap operation is performed on an arbitrary face image, the control unit 21 detects a position including the face image in the corrected image and moves (jumps) the cut-out frame to the detected position (An image in the cutout frame) on the reproduction screen, the facial image is included in the enlarged display image. However, in addition to the above, by sliding the arbitrary facial image on the reproduction screen, The image displayed as an image may be changed. That is, even if the position of the corrected image is included in the corrected image and the image at the position of the moved image is displayed instead of the arbitrary face image on the basis of the slide amount good. In this case, when the double-tap operation is performed on the displayed moving destination image instead of the arbitrary face image, the control unit 21 detects the position including the moving destination image in the corrected image and moves the cutout frame to the detected position So that the image of the enlarged display on the reproduction screen is included in the moving destination image.

(제 2 실시형태)(Second Embodiment)

이하, 본 발명의 제 2 실시형태에 있어서 도 10 및 도 11을 참조해서 설명한다.Hereinafter, a second embodiment of the present invention will be described with reference to Figs. 10 and 11. Fig.

또한, 상술한 제 1 실시형태에 있어서는 어안 화상(보존 종료 화상)을 재생하는 경우에, 복수의 어안 화상을 섬네일 일람 화면에 표시하고 있는 상태에 있어서, 그 중에서 임의의 섬네일 화상의 표시 위치가 터치되면, 그 어안 화상에 대응지어져 있는 보정 화상의 일부의 화상(컷아웃 프레임내의 화상)을 전환 표시하도록 했지만, 이 제 2 실시형태에 있어서는 어안 화상(섬네일 화상)이 터치되면, 그 어안 화상에 대응지어져 있는 각 인물의 얼굴 화상의 일람 화면에 전환 표시하도록 한 것이다.In the above-described first embodiment, when a plurality of fish-eye images are displayed on the thumbnail list screen in the case of playing back a fish-eye image (preserved image), the display position of an arbitrary thumbnail image among the plurality of fish- (Cut-out frame image) of the corrected image corresponding to the fish-eye image is switched and displayed. In this second embodiment, when a fish-eye image (thumbnail image) is touched, the fish- The face image of each person is displayed in a switching manner on the list screen.

또한, 제 1 실시형태에서는 보정 화상과 함께 표시되어 있는 얼굴 화상이 터치되면, 보정 화상 중에서 그 얼굴 화상을 포함하는 위치를 검출하고, 그 검출한 위치로 컷아웃 프레임을 이동시키는 것에 의해서, 컷아웃 프레임내의 화상에 그 얼굴 화상을 포함시키도록 제어하도록 했지만, 이 제 2 실시형태에서는 얼굴 화상의 일람 화면 중에서 임의의 얼굴 화상이 터치되면, 그 얼굴 화상을 포함하는 어안 화상(섬네일 일람 화면에서 선택된 해당 어안 화상)에 대응지어져 있는 보정 화상으로 전환 표시하도록 한 것이다. 여기서, 양 실시형태에 있어서 기본적 혹은 명칭적으로 동일한 것은 동일 부호를 붙여 나타내고, 그 설명을 생략하는 동시에, 이하, 제 2 실시형태의 특징 부분을 중심으로 설명하는 것으로 한다.In the first embodiment, when the face image displayed together with the corrected image is touched, the position containing the face image is detected from the corrected image, and the cut-out frame is moved to the detected position, In the second embodiment, when an arbitrary face image is touched in the list screen of the face images, the control unit controls the fiducial image including the face image (the corresponding one selected in the thumbnail list screen) A fisheye image) is displayed in a switched manner. Here, in both embodiments, the same or similar elements are denoted by the same reference numerals, and a description thereof will be omitted, and the following description will be focused on the characteristic portions of the second embodiment.

이 제 2 실시형태에 있어서의 촬영시의 동작은 상술한 제 1 실시형태와 마찬가지이며, 촬영된 어안 화상에 대해 현상 처리를 실행하여 기억부(23)의 기록 미디어에 기록 보존하는 경우에, 이 어안 화상에 대해 왜곡을 보정하는 처리를 실시하여 그 보정 화상을 생성하고, 이 보정 화상을 그 어안 화상에 대응지어 기록 보존하도록 하고 있다. 또한, 이 보정 화상내에 포함되어 있는 각 인물의 얼굴을 검출하고, 인물마다 그 얼굴 부분을 잘라내어 얼굴 화상(보정 종료 화상)을 생성하고, 그 어안 화상에 대응지어 기록 보존하도록 하고 있다.The operation at the time of photographing according to the second embodiment is the same as that of the first embodiment described above. In the case where the development processing is executed for the photographed fisheye image and the image is recorded and stored in the recording medium of the storage section 23, A process of correcting the distortion of the fisheye image is performed to generate the corrected image, and the corrected image is stored in association with the fisheye image. Further, the face of each person included in the corrected image is detected, and the face portion is cut out for each person to generate a face image (corrected end image), and the image is recorded in association with the fisheye image.

도 10은 어안 화상(보존 종료 화상)을 재생하는 경우의 본체 장치(20)측의 동작(제 2 실시형태의 특징 부분의 동작)을 나타낸 흐름도이다.Fig. 10 is a flowchart showing the operation of the main body apparatus 20 side (the operation of the characteristic portion of the second embodiment) in the case of playing back a fisheye image (saved end image).

우선, 제어부(21)는 유저 조작에 의해서 어안 화상(보존 종료 화상)의 재생이 지시되면, 기억부(23)의 기록 미디어에 기록 보존되어 있는 복수의 어안 화상(보존 종료 화상)을 읽어내고(스텝 C1), 이 어안 화상을 섬네일 화상으로 변환해서 일람 표시시킨다(스텝 C2). 도 11의 (a)는 어안 화상의 섬네일 일람 화면을 나타내며, 도면 중, 3×3의 매트릭스형상으로 배치한 원형은 어안 화상의 섬네일 화상을 나타내고 있다. 도 11의 (b)는 이 섬네일 일람 화면의 일부를 확대해서 나타낸 도면이다.First, the control unit 21 reads out a plurality of fish-eye images (preservation end images) recorded and stored in the recording medium of the storage unit 23 when instructed to reproduce a fish-eye image (preservation end image) by a user operation Step C1), the fisheye image is converted into a thumbnail image and displayed in a list (step C2). 11A shows a thumbnail list screen of a fish-eye image. In the figure, a circle arranged in a 3x3 matrix form represents a thumbnail image of a fish-eye image. 11B is an enlarged view of a part of the thumbnail list screen.

이러한 섬네일 일람 화면을 표시하고 있는 상태에 있어서, 임의의 섬네일 화상의 표시 위치에 대해 소정의 터치 조작(예를 들면, 더블 탭 조작)이 실행되었는지를 조사한다(스텝 C5). 지금, 섬네일 화상상에서 2회 계속해서 두드리는 더블 탭 조작이 실행되지 않으면(스텝 C3에서 NO), 스텝 C9로 이동하지만, 섬네일 화상상에서 더블 탭 조작이 실행되면(스텝 C3에서 YES), 더블 탭 조작된 어안 화상에 대응지어 기록 보존되어 있는 각 인물의 얼굴 화상(보정 종료 화상)을 읽어내고(스텝 C4), 각 얼굴 화상을 확대해서 재생 화면으로 전환 표시시킨다(스텝 C5). 도 11의 (c)는 각 인물의 얼굴 화상을 일람 표시한 화면을 나타내고, 예를 들면, 구형으로 펀칭된 얼굴 화상은 예를 들면 상술한 제 1 실시형태와 마찬가지의 배열순으로 배치 표시된다.In a state in which such a thumbnail list screen is being displayed, it is checked whether a predetermined touch operation (e.g., double tap operation) has been performed on the display position of an arbitrary thumbnail image (step C5). If the double tap operation for tapping twice on the thumbnail image is not performed (NO in step C3), the process proceeds to step C9. However, if the double tap operation is performed on the thumbnail image (YES in step C3) (Corrected end image) of each person recorded and saved in association with the fisheye image (step C4). Then, each face image is enlarged and displayed as a playback screen (step C5). 11C shows a screen displaying a list of face images of each person. For example, a face image punched out in a spherical shape is displayed in the same arrangement order as in the above-described first embodiment, for example.

이와 같이 얼굴 화상의 일람 화면이 표시되어 있는 상태에 있어서, 임의의 얼굴 화상의 표시 위치에 대해 소정의 터치 조작(예를 들면, 더블 탭 조작)이 실행되었는지를 조사한다(스텝 C6). 지금, 얼굴 화상상에서 더블 탭 조작이 실행되지 않으면(스텝 C6에서 NO), 스텝 C9로 이동하지만, 더블 탭 조작이 실행되면(스텝 C6에서 YES), 더블 탭 조작된 얼굴 화상을 포함한 어안 화상에 대응지어 기록 보존되어 있는 보정 화상을 읽어내고(스텝 C7), 그 보정 화상으로 전환 표시(전체면 표시)시킨다(스텝 C8).In the state in which the face image list screen is displayed as described above, it is checked whether a predetermined touch operation (e.g., double tap operation) has been performed on the display position of the arbitrary face image (step C6). If the double tap operation is not performed on the face image (NO in step C6), the process proceeds to step C9. However, if the double tap operation is performed (YES in step C6) (Step C7), and displays the converted image (display on the entire surface) with the corrected image (step C8).

이 경우, 터치 지정된 얼굴 화상을 포함하는 어안 화상으로서, 섬네일 일람 화면에서 선택된 해당 어안 화상을 특정하고, 이 어안 화상에 대응지어져 있는 보정 화상을 읽어내어 전환 표시시키지만, 그 때, 터치 지정된 얼굴 화상이 중앙에 위치하도록 보정 화상으로부터 그 얼굴 화상을 중심으로 잘라낸 화상을 확대하여 전환 표시(전체면 표시)시키도록 하고 있다. 도 11의 (d)는 도 11의 (c)에 나타낸 바와 같이 여자 아이의 얼굴 화상이 더블 탭된 경우에, 그 얼굴 화상이 포함되어 있는 어안 화상에 대응지어져 있는 보정 화상의 일부를 잘라내어 확대 표시한 경우를 예시한 도면으로, 여자 아이의 얼굴을 중심으로 한 확대 화상이 전환 표시된 경우이다.In this case, as the fisheye image including the touched face image, the corresponding fisheye image selected on the thumbnail list screen is specified, and the correction image corresponding to the fisheye image is read out and displayed in a switching manner. At this time, The image cut out from the corrected image centered on the face image is enlarged so as to be positioned at the center, and displayed in a switching manner (displayed on the entire surface). 11 (d) shows a case where, as shown in Fig. 11 (c), when a face image of an eye of a girl is double-tapped, a part of the corrected image corresponding to a fisheye image containing the face image is cut out and displayed In which the enlarged image centering on the face of the female child is switched and displayed.

도 11의 (e)는 도 11의 (d)의 표시예와는 다른 별도의 표시예를 설명하기 위한 도면이다. 도 11의 (d)의 경우에는 터치 지정된 얼굴 화상을 포함하는 어안 화상으로서, 섬네일 일람 화면에서 선택된 해당 어안 화상을 특정하도록 했지만, 도 11의 (e)에서는 해당 어안 화상 이외에서 그 얼굴 화상을 포함하는 다른 어안 화상을 특정하고, 그 어안 화상에 대응지어져 있는 보정 화상으로부터 그 일부분의 화상을 잘라내어 확대 표시시킨 경우이다. 이 경우에 있어서도, 터치 지정된 얼굴 화상이 중앙에 위치하도록 보정 화상으로부터 그 얼굴 화상을 중심으로 해서 잘라낸 화상을 확대하여 전환 표시(전체면 표시)시키도록 하고 있다.11 (e) is a diagram for explaining a display example different from the display example of FIG. 11 (d). 11 (d), the corresponding fisheye image selected on the thumbnail list screen is specified as a fisheye image including the touched face image, but in (e) of Fig. 11, the fisheye image other than the corresponding fisheye image is included And a part of the image is cut out from the corrected image corresponding to the fisheye image and enlarged. In this case as well, the image cut out from the corrected image centered on the face image is enlarged so that the touch-designated face image is positioned at the center, and the display is switched (displayed on the entire surface).

또한, 터치 지정된 얼굴 화상을 포함하는 어안 화상으로서, 섬네일 일람 화면에서 선택된 해당 어안 화상을 우선적으로 특정하도록 하고 있지만, 해당 어안 화상, 또는 해당 어안 화상 이외에 터치 지정된 얼굴 화상을 포함하는 다른 어안 화상의 어느 하나를 우선적으로 특정할지를 유저 조작에 의해서 미리 설정해 두어도 좋다. 또, 터치 지정된 얼굴 화상을 포함하는 어안 화상으로서, 해당 어안 화상과 다른 어안 화상을 유저 조작에 의해서 전환하거나, 일정시간 후에 자동적으로 전환해도 좋다. 또한, 다른 어안 화상이 복수개 보존되어 있으면, 그 복수의 어안 화상을 전환 조작에 의해서 순차 특정하고, 그 특정한 어안 화상에 대응지어져 있는 보정 화상을 읽어내어 전환 표시시키도록 해도 좋다.In addition, although the corresponding fisheye image selected on the thumbnail list screen is preferentially specified as the fisheye image including the touched face image, the fisheye image selected on the thumbnail list screen may be preferentially specified, but any of the other fisheye images including the touch- It may be set in advance by a user operation whether to specify one preferentially. Alternatively, as the fish-eye image including the touch-specified face image, the fish-eye image and the other fish-eye image may be switched by a user operation or automatically switched after a predetermined period of time. If a plurality of other fisheye images are stored, the plurality of fisheye images may be sequentially specified by the switching operation, and a corrected image corresponding to the specific fisheye image may be read out and displayed in a switching manner.

이와 같이 보정 화상이 전환 표시되어 있는 상태에 있어서, 되돌림 지시 조작이 실행되었는지를 조사하고(스텝 C9), 되돌림 지시 조작이 실행되지 않으면(스텝 C9에서 NO), 그 밖의 지시 조작이 실행되었는지를 조사한다(스텝 C10). 여기서, 그 밖의 지시 조작(예를 들면, 화상 편집을 지시하는 조작)이 실행된 경우에는(스텝 C10에서 YES), 그 밖의 지시에 따른 처리로 이동하지만, 되돌림 지시 조작이 실행된 경우에는(스텝 C9에서 YES), 상술한 스텝 C3으로 되돌린다.In the state where the corrected image is switched and displayed, it is checked whether or not the return instruction operation has been executed (step C9). If the return instruction operation is not executed (NO in step C9) (Step C10). If another instruction operation (for example, an operation for instructing image editing) is executed (YES in step C10), the process proceeds to another instruction, but if a return instruction operation has been executed YES in C9), the process returns to step C3 described above.

이상과 같이 제 2 실시형태에 있어서는 광각 화상을 섬네일 화상으로서 일람 표시하고 있는 상태에 있어서, 그 중에서 임의의 광각 화상이 유저 조작에 의해서 선택되면, 그 광각 화상내에 포함되어 있는 소정의 피사체 부분의 화상을 일람 표시하도록 했으므로, 화상 전체가 왜곡되어 있는 광각 화상을 그대로의 상태에서 섬네일 표시했다고 해도, 유저는 그 피사체를 용이하게 육안 관찰하는 것이 가능하게 된다. 즉, 광각 화상(어안 화상)은 화상 전체가 크게 왜곡되어 있기 때문에, 그 섬네일 화상을 봐도 누가 비추어 있는 것인지를 정확하게 파악하는 것은 어렵고, 또, 임의의 섬네일 화상을 유저 조작에 의해서 지정하면서 확대 표시시켜 그 화상내에 비추어 있는 얼굴을 1명씩 확인하는 것은 수고를 요하며, 유저에게 부담을 주어 버리지만, 임의의 섬네일 화상(어안 화상)이 선택된 경우에, 그 어안 화상내에 포함되어 있는 각 인물의 얼굴 화상이 일람 표시되므로, 유저에 있어서는 섬네일 표시의 어안 화상에 의해서 촬영 전역을 파악하면서 임장감이 있는 화상을 볼 수 있는 동시에, 인물의 얼굴 화상에 의해 누가 비추어 있는 것인지를 용이하게 육안 관찰하는 것이 가능하게 된다.As described above, in the second embodiment, when a wide-angle image is displayed in a list as a thumbnail image, if an arbitrary wide-angle image is selected by a user operation, an image of a predetermined subject portion included in the wide- The user can easily observe the subject with naked eyes even if the wide angle image in which the entire image is distorted is displayed as it is in the thumbnail display state. That is, since the entire wide-angle image (a fish-eye image) is greatly distorted, it is difficult to precisely grasp who looks at the thumbnail image, and an arbitrary thumbnail image is enlarged and displayed It is troublesome for the user to check each of the faces illuminated in the image. However, when an arbitrary thumbnail image (fish-eye image) is selected, the face images of the persons included in the fish- It is possible for the user to view an image having a sense of urgency while grasping the entire image taken by a fisheye image with a thumbnail display and to visually observe who is lit by the face image of the person .

또한, 상술한 얼굴 화상이 일람 표시되어 있는 상태에 있어서, 그 중에서 임의의 얼굴 화상이 유저 조작에 의해서 선택되면, 그 얼굴 화상에 포함되어 있는 광각 화상의 왜곡을 보정한 보정 화상을 표시하도록 했으므로, 유저에 있어서는 왜곡이 없는 광범위한 화상을 볼 수 있다.Further, when a face image is selected and displayed by a user operation in a state in which the above-mentioned face images are displayed in a list, a corrected image obtained by correcting the distortion of the wide-angle image included in the face image is displayed. The user can see a wide range of images without distortion.

또한, 상술한 제 2 실시형태에 있어서는 촬영된 어안 화상의 왜곡을 보정하는 처리를 실행하여 보정 화상을 생성하는 동시에, 그 보정 화상으로부터 잘라낸 각 인물의 얼굴 화상을 생성하고, 어안 화상에 대응지어 보정 화상 및 각 인물의 얼굴 화상을 기록 보존하고, 각 어안 화상의 재생시에, 어안 화상에 대응지어져 있는 각 인물의 얼굴 화상을 읽어내어 일람 표시하도록 했지만, 보정 화상 및 각 인물의 얼굴 화상은 어안 화상의 재생시에 생성하도록 해도 좋다. 즉, 어안 화상의 섬네일 표시시에, 임의로 선택된 어안 화상에 대해 그 왜곡을 보정하는 처리를 실행하여 보정 화상을 생성한 후, 그 보정 화상으로부터 잘라낸 각 인물의 얼굴 화상을 생성하도록 해도 좋다. 또, 보정 화상을 생성하고 나서 각 인물의 얼굴 부분을 잘라내는 경우에 한정되지 않고, 어안 화상으로부터 각 인물의 얼굴 화상을 잘라내고 그 왜곡을 보정하는 것에 의해 얼굴 화상을 생성하도록 해도 좋다.In the above-described second embodiment, a process of correcting the distortion of the captured fish-eye image is performed to generate a corrected image, a face image of each person cut out from the corrected image is generated, The face image of each person corresponding to the fish-eye image is read and displayed in a list at the time of reproduction of each fish-eye image. However, the corrected image and the face image of each person It may be generated at the time of reproduction. That is, at the time of thumbnail display of a fish-eye image, a process of correcting distortion of an arbitrarily selected fish-eye image may be executed to generate a corrected image, and then a face image of each person cut out from the corrected image may be generated. The face image may be generated by cutting out the face image of each person from the fisheye image and correcting the distortion thereof, not limited to the case where the face portion of each person is cut after the generation of the corrected image.

상술한 제 2 실시형태에 있어서는 어안 화상을 섬네일 표시하는 경우를 나타냈지만, 이 어안 화상에 대해 그 왜곡을 보정한 보정 화상을 섬네일 표시하도록 해도 좋다. 이 경우에 있어서도 섬네일 화상(보정 화상)이 유저 조작에 의해서 선택되면, 그 화상내에 포함되어 있는 각 인물의 얼굴 화상을 일람 표시하는 화면으로 전환되는 것은 제 2 실시형태와 마찬가지이다.In the above-described second embodiment, the case where the fisheye image is displayed as thumbnails is shown, but the corrected image whose distortion is corrected for the fisheye image may be displayed as thumbnails. In this case, when the thumbnail image (corrected image) is selected by the user operation, the face image of each person included in the image is switched to the screen for displaying the list in the same manner as in the second embodiment.

또한, 상술한 제 2 실시형태에 있어서는 전방 180°촬영과 후방 180°촬영의 2회로 나누어 360°촬영을 실행하여 그 복수의 어안 화상을 조로 하도록 해도 좋고, 360°촬영에 한정되지 않으며, 180°의 범위에서 촬영(180°촬영)한 촬영 화상에 적응해도 좋은 것은 물론이다.In the above-described second embodiment, a 360 ° photographing operation may be performed in two steps of a forward 180 ° photographing and a backward 180 ° photographing so as to combine the plurality of fish-eye images. It is not limited to 360 ° photographing, Of course, be adapted to a photographed image photographed (180 ° photographed).

상술한 실시형태에서는 임의의 얼굴 화상상에서 더블 탭 조작이 실행되면, 제어부(21)는 보정 화상 중에서 그 얼굴 화상을 포함하는 위치를 검출하고, 그 검출 위치로 컷아웃 프레임을 이동(점프)시키는 것에 의해서, 재생 화면상의 확대 표시의 화상(컷아웃 프레임내의 화상)에 그 얼굴 화상을 포함시키도록 하고 있지만, 그 이외에도, 임의의 얼굴 화상상을 슬라이드 조작함으로써, 그 슬라이드량에 의거하여, 임의의 얼굴 화상으로서 표시되어 있던 화상을 변화시켜도 좋다. 즉, 그 슬라이드량에 의거하여, 보정 화상의 그 임의의 얼굴 화상을 포함하는 위치를 이동시켜, 보정 화상의 그 이동지의 위치에 있어서의 화상을 임의의 얼굴 화상 대신에 표시시키는 바와 같은 구성으로 해도 좋다. 그 경우, 임의의 얼굴 화상 대신에 표시된 이동지 화상상에서 더블 탭 조작이 실행되면, 제어부(21)는 보정 화상 중에서 그 이동지 화상을 포함하는 위치를 검출하고, 그 검출 위치로 컷아웃 프레임을 이동시키는 것에 의해서, 재생 화면상의 확대 표시의 화상에 그 이동지 화상을 포함시키도록 한다.　In the embodiment described above, when a double-tap operation is performed on an arbitrary face image, the control unit 21 detects a position including the face image in the corrected image and moves (jumps) the cut-out frame to the detected position (An image in the cutout frame) on the reproduction screen, the facial image is included in the enlarged display image. However, in addition to the above, by sliding the arbitrary facial image on the reproduction screen, The image displayed as an image may be changed. That is, even if the position of the corrected image is included in the corrected image and the image at the position of the moved image is displayed instead of the arbitrary face image on the basis of the slide amount good. In this case, when the double-tap operation is performed on the displayed moving destination image instead of the arbitrary face image, the control unit 21 detects the position including the moving destination image in the corrected image and moves the cutout frame to the detected position So that the image of the enlarged display on the reproduction screen is included in the moving destination image.

(제 3 실시형태)(Third Embodiment)

이하, 본 발명의 제3 실시형태에 대해 도 12∼도 14를 참조해서 설명한다.Hereinafter, a third embodiment of the present invention will be described with reference to Figs. 12 to 14. Fig.

이 제3 실시형태에 있어서는 복수의 어안 화상을 섬네일 화상으로 변환하여 일람 표시할 때에, 각 섬네일 화상의 부근에 그 어안 화상에 대응해서 보존되어 있는 각 인물의 얼굴 화상을 일람 표시하도록 한 것이다. 즉, 섬네일 화상의 주변에 그 화상에 관련된 각 인물의 얼굴 화상을 아울러 표시하도록 한 것이다. 여기서, 양 실시형태에 있어서 기본적 혹은 명칭적으로 동일한 것은 동일 부호를 붙여 나타내고, 그 설명을 생략하는 동시에, 이하, 제 3 실시형태의 특징 부분을 중심으로 설명하는 것으로 한다. 또한, 이 제 3 실시형태에 있어서도, 예를 들면, 도 4의 (a)에서 나타낸 바와 같이 전방 180°를 수직 촬영한 경우의 어안 화상과, 도 4의 (b)에서 나타낸 바와 같이 후방 180°를 수직 촬영한 경우의 어안 화상, 즉, 전방 180°촬영과 후방 180°촬영으로 나누어 2회 촬영(360°촬영)한 2개의 어안 화상은 1조의 화상으로서 기록 보존하도록 하고 있다.In this third embodiment, when a plurality of fisheye images are converted into thumbnail images and displayed in a list, a list of face images of each person stored in the vicinity of the thumbnail images in association with the fisheye images is displayed. That is, the face image of each person related to the image is displayed together with the periphery of the thumbnail image. Here, in both embodiments, the same or similar elements are denoted by the same reference numerals, and a description thereof will be omitted, and the following description will be focused on the characteristic portions of the third embodiment. Also in this third embodiment, for example, as shown in Fig. 4 (a), a fisheye image obtained by vertically photographing a front 180 ° and a fisheye image obtained by photographing a backward 180 ° Two fisheye images obtained by dividing the fisheye image in the case of vertical photographing, that is, the forward 180 ° photographing and the backward 180 ° photographing, twice (360 ° photographing) are recorded and saved as one set of images.

도 12는 어안 화상(보존 종료 화상)을 재생하는 경우의 본체 장치(20)측의 동작(제 3 실시형태의 특징 부분의 동작)을 나타낸 흐름도이다.Fig. 12 is a flowchart showing the operation of the main body apparatus 20 side (the operation of the characteristic portion of the third embodiment) in the case of playing back a fisheye image (saved end image).

우선, 제어부(21)는 유저 조작에 의해서 어안 화상의 재생이 지시되면, 기록 보존되어 있는 복수의 어안 화상을 읽어내고(스텝 D1), 이 어안 화상을 섬네일 화상으로 변환하여 일람 표시시킨다(스텝 D2). 그리고, 각 어안 화상에 대응지어 기록 보존되어 있는 각 인물의 얼굴 화상을 어안 화상마다 읽어내고(스텝 D3), 그 어안 화상(섬네일 화상)의 부근(주변)에, 대응하는 각 얼굴 화상을 배치 표시시킨다(스텝 D4).First, when the reproduction of a fish-eye image is instructed by a user operation, the control unit 21 reads a plurality of fish-eye images recorded and saved (step D1), converts the fish-eye image into a thumbnail image, ). Then, the face images of the persons recorded and saved in association with the respective fisheye images are read for each fisheye image (step D3), and the corresponding respective face images are arranged and displayed in the vicinity of the fisheye image (Step D4).

도 13의 (a)는 어안 화상의 섬네일 일람 화면의 일예를 나타낸 도면으로, 도면 중, 3×3의 매트릭스형상으로 배치한 원형은 어안 화상의 섬네일 화상을 나타내고, 이 어안 화상(섬네일 화상)의 주변에 배치한 세로로 긴 작은 원(타원)은 그 어안 화상에 대응하는 각 인물의 얼굴 화상을 나타내고 있다. 도 13의 (b)는 이 섬네일 일람 화면의 일부를 확대한 도면으로, 도시한 예는 360°촬영이 아닌 경우, 즉, 180°촬영을 실행한 경우의 어안 화상을 섬네일 표시한 상태를 나타내고, 그 어안 화상내에 포함되어 있는 각 인물의 얼굴 화상이 해당 섬네일 화상의 주변에 일람 표시된다.13A is a diagram showing an example of a thumbnail list screen of a fish-eye image. In the figure, a circle arranged in a 3x3 matrix form represents a thumbnail image of a fish-eye image, And a vertically long small circle (oval) arranged in the periphery indicates a face image of each person corresponding to the fish-eye image. Fig. 13B is an enlarged view of a part of the thumbnail list screen. In the example shown in Fig. 13B, a case where the 360 ° photographing is not performed, that is, a case where the 180 ° photographing is executed, A face image of each person included in the fisheye image is displayed around the thumbnail image.

도 14의 (a)는 어안 화상의 섬네일 일람 화면의 다른 예를 나타낸 도면으로, 도면 중, 어안 화상 A는 도 4의 (a)에서 나타낸 바와 같이 전방 180°를 수직 촬영한 경우의 어안 화상을 나타내고, 어안 화상 B는 도 4의 (b)에서 나타낸 바와 같이 후방 180°를 수직 촬영한 경우의 어안 화상을 나타내고 있다. 이와 같이, 전방 180°촬영과 후방 180°촬영으로 나누어 2회 촬영(360°촬영)한 1조의 어안 화상의 경우, 그 각 섬네일 화상의 주변에는 자기의 어안 화상내에 포함되어 있는 인물의 얼굴 화상 이외에, 조를 이루는 다른 어안 화상내에 포함되어 있는 인물의 얼굴 화상도 배치 표시된다.Fig. 14A is a diagram showing another example of the thumbnail list screen of a fish-eye image. In Fig. 14A, a fish-eye image A is a fish-eye image obtained by vertically photographing a forward 180 DEG as shown in Fig. And the fish-eye image B shows a fish-eye image when the backward 180 ° is photographed vertically as shown in FIG. 4 (b). As described above, in the case of a pair of fish-eye images divided into a forward 180 ° photograph and a backward 180 ° photograph and shot twice (360 ° photograph), in addition to the face image of the person contained in the own fish- , And the face image of the person included in the other fisheye image forming the group is also displayed in a batch.

도 14의 (b)는 이 섬네일 일람 화면의 일부를 확대해서 나타낸 도면으로, 어안 화상 A의 섬네일 표시를 나타내고 있다. 이 경우, 그 섬네일 화상의 주변에는 어안 화상 A내에 비추어 있는 엄마와 아이의 얼굴 화상 이외에, 이 어안 화상 A와 조를 이루는 다른 어안 화상 B내에 비추어 있는 엄마와 아이의 얼굴 화상도 아울러 일람 표시된다. 또, 이 어안 화상 B를 섬네일 표시한 경우도 마찬가지이며, 도시 생략했지만, 그 섬네일 화상의 주변에는 어안 화상 B내에 비추어 있는 엄마와 아이의 얼굴 화상 이외에, 이 어안 화상 B와 조를 이루는 다른 어안 화상 A내에 비추어 있는 엄마와 아이의 얼굴 화상도 아울러 일람 표시된다.Fig. 14 (b) is an enlarged view of a part of the thumbnail list screen, which shows thumbnail display of the fisheye image A. Fig. In this case, besides the face image of the mother and the child illuminated in the fish-eye image A, the face image of the mother and the child illuminated in the other fish-eye image B forming the group with the fish-eye image A is displayed together with the periphery of the thumbnail image. Although not shown, in the vicinity of the thumbnail image, in addition to the face image of the mother and the child illuminated in the fish-eye image B, other fish-eye images B forming the fish-eye image B A face image of the mother and child illuminated in A is also displayed in a list.

또한, 섬네일 화상의 주변에 얼굴 화상을 배치 표시하는 경우에는 도 13의 (b), 도 14의 (b)에 나타낸 바와 같이 각 얼굴 화상의 사이즈를 구비하여 등간격으로 밸런스 좋게 배치하도록 하고 있다. 이 섬네일 일람 화면이 표시되어 있는 상태에 있어서, 그 일람 화면내의 얼굴 화상의 표시 위치가 터치(더블 탭)되었는지를 조사한다(스텝 D5). 지금, 얼굴 화상의 표시 위치가 더블 탭되지 않으면(스텝 D5에서 NO), 스텝 D8로 이동하지만, 더블 탭되면(스텝 D5에서 YES), 더블 탭된 얼굴 화상으로부터 대응하는 어안 화상을 특정하고, 이 어안 화상에 대응지어 기록 보존되어 있는 보정 화상을 읽어내고(스텝 D6), 그 보정 화상을 섬네일 일람 화면으로 전환하여 표시시킨다(스텝 D7). 이 경우에 있어서도 상술한 제 2 실시형태와 마찬가지로, 섬네일 일람 화면에서 선택된 해당 어안 화상, 또는 해당 어안 화상 이외에서 터치 지정된 얼굴 화상을 포함하는 다른 어안 화상을 특정하고, 그 특정한 어안 화상에 대응지어져 있는 보정 화상을 읽어내어 전환 표시시키도록 하고 있다.When a face image is arranged around the thumbnail image, the size of each face image is provided as shown in Figs. 13 (b) and 14 (b) so as to be equally balanced. In a state in which the thumbnail list screen is displayed, it is checked whether the display position of the face image in the list screen is touched (double tap) (step D5). If the display position of the face image is not double-tapped (NO in step D5), the process proceeds to step D8. If the display position is double-tapped (YES in step D5), the corresponding fisheye image is specified from the double- (Step D6). The corrected image is switched to the thumbnail list screen to display the corrected image (step D7). In this case as well, as in the second embodiment described above, other fish-eye images including a corresponding fish-eye image selected on the thumbnail list screen or a touch-specified face image other than the fish-eye image are specified, The corrected image is read out and displayed in a switching manner.

도 13의 (c)는 도 13의 (b)에 나타낸 바와 같이 아이의 얼굴 화상이 더블 탭된 경우에, 그 얼굴 화상이 포함되어 있는 보정 화상을 확대 표시시킨 경우를 나타내고 있다. 도 14의 (c)도 마찬가지로 더블 탭된 아이의 얼굴 화상이 포함되어 있는 보정 화상을 확대 표시시킨 경우를 나타내고 있지만, 도 13의 (c)의 경우에는 섬네일 표시되어 있는 화상의 보정 화상이지만, 도 14의 (c)의 경우에는 섬네일 표시되어 있는 화상 A와 조를 이루는 화상 B의 보정 화상이 표시된다.FIG. 13C shows a case in which, when the face image of the eye is double-tapped as shown in FIG. 13B, the corrected image including the face image is enlarged and displayed. 14C shows a case in which the corrected image including the face image of the double-tapped eye is enlarged. In the case of FIG. 13C, the corrected image is a corrected image of the thumbnail displayed image. (C), the corrected image of the image B forming the image with the thumbnail-displayed image A is displayed.

이와 같이 보정 화상이 전환 표시되어 있는 상태에 있어서, 되돌림 지시 조작이 실행되었는지를 조사하고(스텝 D8), 되돌림 지시 조작이 실행되지 않으면(스텝 D8에서 NO), 그 밖의 지시 조작이 실행되었는지를 조사한다(스텝 D9). 여기서, 그 밖의 지시 조작(예를 들면, 화상 편집을 지시하는 조작)이 실행된 경우에는(스텝 D9에서 YES), 그 밖의 지시에 따른 처리로 이동하지만, 되돌림 지시 조작이 실행된 경우에는(스텝 D8에서 YES ), 상술한 스텝 D2로 되돌리고, 섬네일 일람 화면을 표시시킨다.(Step D8). When the return instruction operation is not executed (NO in step D8), it is checked whether or not any other instruction operation has been executed (Step D9). If another instruction operation (for example, operation for instructing image editing) is executed (YES in step D9), the process proceeds to the process according to the other instructions. However, if the return instruction operation has been executed YES in D8), the process returns to the above-mentioned step D2 to display the thumbnail list screen.

이상과 같이, 제 3 실시형태에 있어서는 광각 화상을 섬네일 화상으로서 일람 표시하는 동시에, 광각 화상으로부터 잘라내어 생성한 피사체 부분의 화상을 그 섬네일 화상에 대응지어 표시하도록 했으므로, 화상 전체가 왜곡되어 있는 광각 화상을 그대로의 상태에서 섬네일 표시했다고 해도, 유저는 그 피사체를 용이하게 육안 관찰하는 것이 가능하게 된다As described above, in the third embodiment, the wide angle image is displayed as a thumbnail image, and the image of the subject portion generated by cutting out from the wide angle image is displayed in association with the thumbnail image. The user can easily observe the subject with naked eyes even if the thumbnail is displayed in the state as it is

또, 제어부(21)는 촬영 방향을 바꾸어 촬영된 복수의 광각 화상을 조로 하는 광각 화상군 중의 어느 하나의 광각 화상을 섬네일 표시시키고 있는 경우에, 그 광각 화상군에 포함되어 있는 모든 피사체 부분의 화상을 섬네일 화상에 대응지어 표시시키도록 했으므로, 유저에 있어서는 광각 화상군 중의 어느 하나의 광각 화상의 섬네일 표시를 확인하는 것만으로 그 광각 화상군에 포함되어 있는 모든 피사체 부분의 화상을 확인할 수 있다. 예를 들면, 전방 180°촬영과 후방 180°촬영의 2회로 나누어 360°촬영이 실행된 경우에, 그 전방 180°촬영의 섬네일 화상(어안 화상)에는 그 어안 화상에 포함되어 있는 인물의 얼굴 화상과 함께, 후방 180°촬영의 어안 화상에 포함되어 있는 인물의 얼굴 화상도 함께 표시되므로, 후방 180°촬영의 어안 화상의 섬네일 표시를 확인하지 않아도 그 어안 화상에 포함되어 있는 인물의 얼굴 화상을 확인할 수 있다.When the control unit 21 displays thumbnail images of any of the wide-angle images in the group of wide-angle images obtained by changing the shooting direction and grouping the plurality of photographed wide-angle images, images of all the object parts included in the wide- Is displayed in association with the thumbnail image, the user can confirm images of all the subject portions included in the wide-angle image group by confirming thumbnail display of any one of the wide-angle images in the wide-angle image group. For example, in a case where 360 ° photographing is performed by dividing a forward 180 ° photographing and a backward 180 ° photographing into 360 ° photographs, a thumbnail image (fish-eye image) of the forward 180 ° photographing includes a face image of a person The face image of the person included in the fisheye image of the backward 180 ° photograph is also displayed together with the face image of the person included in the fisheye image of the back fisheye image without confirming the thumbnail display of the fisheye image of the backward 180 ° photograph .

또한, 상술한 제 3 실시형태에 있어서는 촬영된 어안 화상의 왜곡을 보정하는 처리를 실행하여 보정 화상을 생성하는 동시에, 그 보정 화상으로부터 잘라낸 각 인물의 얼굴 화상을 생성하고, 어안 화상에 대응지어 보정 화상 및 각 인물의 얼굴 화상을 기록 보존하며, 각 어안 화상의 섬네일 표시시에, 어안 화상에 대응지어져 있는 각 인물의 얼굴 화상을 읽어내어 일람 표시하고, 이 일람 표시 중에서 임의의 얼굴 화상이 유저 지정된 경우에는 그 얼굴 화상을 포함하는 보정 화상을 읽어내어 표시하도록 했지만, 보정 화상 및 각 인물의 얼굴 화상은 어안 화상의 섬네일 표시시에 생성시키도록 해도 좋다. 즉, 어안 화상의 섬네일 표시시에 어안 화상의 왜곡을 보정하는 처리를 실행하여 보정 화상을 생성하는 동시에, 그 보정 화상으로부터 잘라낸 각 인물의 얼굴 화상을 생성하도록 해도 좋다. 또, 보정 화상을 생성하고 나서 그 보정 화상으로부터 각 인물의 얼굴 부분을 잘라내는 경우에 한정되지 않고, 어안 화상으로부터 각 인물의 얼굴 화상을 잘라내어 그 왜곡을 보정하는 것에 의해 얼굴 화상을 생성하도록 해도 좋다.In the above-described third embodiment, a process of correcting the distortion of the captured fish-eye image is performed to generate a corrected image, a face image of each person cut out from the corrected image is generated, A face image of each person corresponding to a fish-eye image is read out and displayed in a list when thumbnails of each fish-eye image are displayed, and an arbitrary face image is displayed The corrected image including the face image is read and displayed. However, the corrected image and the face image of each person may be generated at the time of thumbnail display of the fisheye image. That is, a process of correcting distortion of a fisheye image at the time of thumbnail display of a fisheye image may be performed to generate a corrected image, and a face image of each person cut out from the corrected image may be generated. The face image may be generated by cutting out the face image of each person from the fisheye image and correcting the distortion thereof, not limited to the case where the corrected image is generated and the face portion of each person is cut off from the corrected image .

상술한 제 3 실시형태에 있어서는 1개의 어안 렌즈(16B)를 이용하여, 전방 180°촬영과 후방 180°촬영의 2회로 나누어 360°촬영을 실행하도록 했지만, 2개의 어안 렌즈(16B)를 구비하도록 하면, 예를 들면 카메라 케이스의 표리 양면에 각각 어안 렌즈를 구비하면, 360°촬영의 지시에 따라 전방 180°촬영과 후방 180°촬영을 동시에 실행할 수 있다. 또, 초광각 렌즈를 사용해서 복수회의 촬영을 실행하여 360°촬영을 실행하도록 해도 좋다.In the above-described third embodiment, although one fisheye lens 16B is used to perform 360 ° photographing divided into two steps of forward 180 ° photographing and backward 180 ° photographing, two fisheye lenses 16B are provided For example, if the fisheye lens is provided on both the front and back surfaces of the camera case, it is possible to simultaneously perform the forward 180 ° photographing and the rearward 180 ° photographing in accordance with the 360 ° photographing instruction. Alternatively, a plurality of photographing operations may be performed using an ultra-wide angle lens to perform 360-degree photographing.

상술한 실시형태에서는 임의의 얼굴 화상상에서 더블 탭 조작이 실행되면, 제어부(21)는 보정 화상 중에서 그 얼굴 화상을 포함하는 위치를 검출하고, 그 검출 위치로 컷아웃 프레임을 이동(점프)시키는 것에 의해서, 재생 화면상의 확대 표시의 화상(컷아웃 프레임내의 화상)에 그 얼굴 화상을 포함시키도록 하고 있지만, 그 이외에도, 임의의 얼굴 화상상을 슬라이드 조작함으로써, 그 슬라이드량에 의거하여, 임의의 얼굴 화상으로서 표시되어 있던 화상을 변화시켜도 좋다. 즉, 그 슬라이드량에 의거하여, 보정 화상의 그 임의의 얼굴 화상을 포함하는 위치를 이동시켜, 보정 화상의 그 이동지의 위치에 있어서의 화상을 임의의 얼굴 화상 대신에 표시시키는 바와 같은 구성으로 해도 좋다. 그 경우, 임의의 얼굴 화상 대신에 표시된 이동지 화상상에서 더블 탭 조작이 실행되면, 제어부(21)는 보정 화상 중에서 그 이동지 화상을 포함하는 위치를 검출하고, 그 검출 위치로 컷아웃 프레임을 이동시키는 것에 의해서, 재생 화면상의 확대 표시의 화상에 그 이동지 화상을 포함시키도록 한다.　In the embodiment described above, when a double-tap operation is performed on an arbitrary face image, the control unit 21 detects a position including the face image in the corrected image and moves (jumps) the cut-out frame to the detected position (An image in the cutout frame) on the reproduction screen, the facial image is included in the enlarged display image. However, in addition to the above, by sliding the arbitrary facial image on the reproduction screen, The image displayed as an image may be changed. That is, even if the position of the corrected image is included in the corrected image and the image at the position of the moved image is displayed instead of the arbitrary face image on the basis of the slide amount good. In this case, when the double-tap operation is performed on the displayed moving destination image instead of the arbitrary face image, the control unit 21 detects the position including the moving destination image in the corrected image and moves the cutout frame to the detected position So that the image of the enlarged display on the reproduction screen is included in the moving destination image.

상술한 각 실시형태에 있어서는 화상 처리 장치로서 디지털카메라에 적용한 경우를 나타냈지만, 이것에 한정되지 않고, 예를 들면 퍼스널 컴퓨터, PDA(개인용 휴대형 정보 통신 기기), 태블릿 단말장치, 스마트 폰 등의 휴대 전화기, 전자 게임, 음악 플레이어 등이어도 좋다.The present invention is not limited to this. For example, the image processing apparatus may be a portable computer such as a personal computer, a personal digital assistant (PDA), a tablet terminal device, a smart phone, or the like A telephone, an electronic game, or a music player.

또, 상술한 각 실시형태에 있어서 나타낸 “장치”나“부”는 기능별로 복수의 케이스로 분리되어 있어도 좋으며, 단일의 케이스에 한정되지 않는다. 또, 상술한 흐름도에서 기술한 각 스텝은 시계열적인 처리에 한정되지 않고, 복수의 스텝을 병렬적으로 처리하거나, 별개 독립적으로 처리하도록 해도 좋다.It should be noted that the "device" and the "part" shown in each of the above-described embodiments may be divided into a plurality of cases for each function and are not limited to a single case. The steps described in the above-described flowcharts are not limited to time-series processing, and a plurality of steps may be processed in parallel or independently.

또, 상술한 각 실시형태에 있어서는 섬네일 화상으로서 어안 화상 또는 광각 화상을 표시하도록 했지만, 예를 들면, 어안 화상이나 광각 화상의 소정 범위의 왜곡을 보정한 화상 등, 이들 어안 화상이나 광각 화상에 대응지어져 있는 화상을 섬네일 화상으로서 표시하도록 해도 좋다.In the above-described embodiments, a fish-eye image or a wide-angle image is displayed as a thumbnail image. For example, a fish-eye image or an image obtained by correcting a distortion in a predetermined range of a wide- An image that is prepared may be displayed as a thumbnail image.

이상, 본 발명의 실시형태에 대해 설명했지만, 본 발명은 이것에 한정되는 것이 아니고, 청구범위에 기재된 발명과 그 균등의 범위를 포함하는 것이다.Although the embodiment of the present invention has been described above, the present invention is not limited to the above, but includes the scope of the invention described in the appended claims and their equivalents.

10; 촬상 장치 11; 제어부
12; 전원부 13; 기억부
14; 통신부 15; 조작부
16; 촬상부 16A, 16B; 어안 렌즈
16C; 촬상 소자 17; 자세 검출부
20; 본체 장치 21; 제어부
22; 전원부 23; 기억부
24; 통신부 25; 조작부
26; 터치 표시부 26A; 디스플레이
26B; 터치 패널 27; 자세 검출부10; An imaging device 11; The control unit
12; A power supply unit 13; The storage unit
14; A communication unit 15; Control unit
16; Imaging sections 16A and 16B; Fisheye lens
16C; An imaging device 17; [0035]
20; A main body device 21; The control unit
22; A power supply unit 23; The storage unit
24; A communication unit 25; Control unit
26; Touch display section 26A; display
26B; A touch panel 27; [0035]

Claims (22)

광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하는 검출 수단과,
상기 피사체 부분의 화상의 왜곡을 보정하는 보정 수단과,
상기 광각 화상의 적어도 일부분의 화상과 상기 왜곡 보정된 피사체 부분의 화상을 관련짓는 처리를 실행하는 처리 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.Detecting means for recognizing a predetermined subject included in a wide-angle image photographed at a wide angle and detecting an image of the subject portion;
Correction means for correcting distortion of the image of the subject portion;
And processing means for performing processing of associating an image of at least a part of the wide-angle image with an image of the distortion-corrected object portion. 제 1 항에 있어서,
상기 보정 수단은 상기 광각 화상의 왜곡을 더 보정하고,
상기 처리 수단은 상기 왜곡 보정된 광각 화상의 적어도 일부분의 화상과 상기 왜곡 보정된 피사체 부분의 화상을 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.The method according to claim 1,
The correction means further corrects the distortion of the wide-angle image,
Wherein the processing means executes a process of relating an image of at least a part of the distortion-corrected wide-angle image to an image of the distortion-corrected object portion. 제 1 항에 있어서,
상기 처리 수단은 왜곡을 갖는 상기 광각 화상의 적어도 일부분의 화상과 상기 왜곡 보정된 피사체 부분의 화상을 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.The method according to claim 1,
Wherein the processing means executes a process of relating an image of at least a part of the wide-angle image with distortion to an image of the distortion-corrected object portion. 제 1 항에 있어서,
표시 수단을 더 구비하고,
상기 처리 수단은 상기 광각 화상의 적어도 일부분의 화상을 상기 표시 수단에 표시시키고, 상기 왜곡 보정된 피사체 부분의 화상을 상기 표시 수단에 표시함으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.The method according to claim 1,
Further comprising display means,
Wherein the processing means displays the image of at least a part of the wide angle image on the display means and displays the image of the distortion-corrected object portion on the display means to execute the association processing. 제 4 항에 있어서,
상기 처리 수단은 상기 광각 화상의 적어도 일부분의 화상과, 상기 왜곡 보정된 상기 피사체 부분의 화상을 상기 표시 수단에 동시에 표시함으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.5. The method of claim 4,
Wherein the processing means executes the associating processing by simultaneously displaying an image of at least a part of the wide angle image and an image of the distortion corrected object portion on the display means. 제 4 항에 있어서,
상기 광각 화상의 일부분으로서 소정 범위내의 화상을 취득하는 취득 수단을 더 구비하고,
상기 처리 수단은 상기 취득 수단에 의해서 취득된 소정 범위내의 화상을 상기 표시 수단에 표시시키고, 상기 왜곡 보정된 피사체 부분의 화상을 상기 표시 수단에 표시시킴으로써, 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.5. The method of claim 4,
Further comprising acquisition means for acquiring an image within a predetermined range as a part of the wide-angle image,
Characterized in that the processing means displays the image within the predetermined range acquired by the acquisition means on the display means and displays the image of the distortion-corrected subject portion on the display means so as to carry out the association processing Image processing apparatus. 제 4 항에 있어서,
상기 검출 수단은 광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하고,
상기 처리 수단은 상기 광각 화상의 적어도 일부의 화상을 상기 표시 수단에 표시시키고, 상기 검출 수단에 의해서 검출된 피사체 부분의 화상을 상기 표시 수단에 일람 표시시킴으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.5. The method of claim 4,
The detecting means recognizes a predetermined subject included in the wide angle image photographed at a wide angle, detects an image of the subject portion,
Wherein the processing means displays the at least a part of the image of the wide angle image on the display means and displays the image of the object portion detected by the detecting means on the display means, Image processing apparatus. 제 7 항에 있어서,
상기 표시 수단에 상기 피사체 부분의 화상이 일람 표시되고 있는 상태에 있어서, 그 피사체 부분 중에서 임의의 피사체 부분의 화상을 유저 조작에 따라 선택하는 제 2 선택 수단을 더 구비하고,
상기 처리 수단은 상기 제 2 선택 수단에 의해서 임의의 피사체 부분의 화상이 선택되었을 때에, 상기 제 2 선택 수단에 의해서 선택된 상기 피사체 부분에 대응하고, 상기 광각 화상의 적어도 일부의 화상을 상기 표시 수단에 표시함으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.8. The method of claim 7,
Further comprising second selecting means for selecting an image of an arbitrary subject portion among the subject portions in accordance with a user operation while the display means displays a list of images of the subject portion,
Wherein the processing means corresponds to the subject portion selected by the second selecting means when an image of an arbitrary subject portion is selected by the second selecting means and at least a part of the image of the wide- And said display control means executes said association processing by displaying said image data. 제 8 항에 있어서,
상기 보정 수단은 상기 제 2 선택 수단에 의해서 선택된 피사체 부분의 화상을 포함하는 상기 광각 화상의 소정 범위의 왜곡을 더 보정하고,
상기 처리 수단은 상기 제 2 선택 수단에 의해서 임의의 피사체 부분의 화상이 선택되었을 때에, 상기 보정 수단에 의해서 보정된 소정 범위의 광각 화상의 보정 화상을 상기 표시 수단에 표시함으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.9. The method of claim 8,
Wherein said correcting means further corrects a distortion of a predetermined range of the wide-angle image including an image of a subject portion selected by said second selecting means,
When the image of an arbitrary subject portion is selected by the second selection means, the processing means displays the corrected image of the wide-angle image in the predetermined range corrected by the correction means on the display means to execute the association processing The image processing apparatus comprising: 제 7 항 내지 제 9 항 중의 어느 한 항에 있어서,
상기 처리 수단은 상기 피사체 부분의 화상이 일람 표시되어 있는 상태로부터, 상기 광각 화상의 적어도 일부의 화상이 표시되어 있는 상태가 되도록 상기 표시 수단의 표시를 전환함으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.10. The method according to any one of claims 7 to 9,
The processing means executes the association processing by switching the display of the display means so that at least a part of the image of the wide angle image is displayed from the state in which the image of the subject portion is displayed on the list To the image processing apparatus. 제 8 항 또는 제 9 항에 있어서,
상기 처리 수단은 상기 피사체 부분의 화상이 상기 표시 수단에 일람 표시되어 있는 상태로부터, 상기 제 2 선택 수단에 의해서 선택된 상기 피사체 부분에 대응하고, 상기 광각 화상의 적어도 일부의 화상이 상기 표시 수단에 표시되어 있는 상태가 되도록 상기 표시 수단의 표시를 전환함으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.10. The method according to claim 8 or 9,
Wherein the processing means corresponds to the subject portion selected by the second selection means from a state in which the image of the subject portion is displayed on the display means and at least a part of the image of the wide- Wherein said display control means switches the display of said display means so as to be in a state that said display means is in a state in which said display means is in a standby state. 제 7 항에 있어서,
상기 검출 수단은 광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 복수 인식하여 그 피사체 부분의 화상을 그 피사체마다 검출하고,
상기 처리 수단은 상기 검출 수단에 의해서 검출된 각 피사체 부분의 화상을 상기 표시 수단에 일람 표시시킬 때에, 상기 광각 화상상의 각 피사체의 배열 순서에 따라 그 순서대로 배열해서 일람 표시시키는 것을 특징으로 하는 화상 처리 장치.8. The method of claim 7,
Wherein the detection means recognizes a plurality of predetermined subjects included in the wide angle image photographed at a wide angle and detects an image of the subject portion for each of the subjects,
Wherein the processing means arranges and displays the images of the subject portions detected by the detection means in the order of arrangement of the subjects on the wide angle image when the images of the subject portions are displayed on the display means. Processing device. 제 6 항에 있어서,
상기 소정 범위를 유저 조작에 의해서 임의로 이동시키는 이동 지시 수단을 더 구비하고,
상기 취득 수단은 상기 이동 지시 수단에 의해서 이동되는 소정 범위내의 화상을 취득하는 것을 특징으로 하는 화상 처리 장치.The method according to claim 6,
Further comprising movement instruction means for arbitrarily moving the predetermined range by a user operation,
Wherein said acquisition means acquires an image within a predetermined range which is moved by said movement instruction means. 제 4 항에 있어서,
상기 표시 수단에 상기 광각 화상 또는 상기 광각 화상에 대응하는 대응 화상이 섬네일 화상으로서 일람 표시되어 있는 상태에 있어서 그 섬네일 화상 중에서 임의의 광각 화상 또는 대응 화상을 유저 조작에 따라 선택하는 제 1 선택 수단을 더 구비하고,
상기 검출 수단은 상기 제 1 선택 수단에 의해서 선택된 광각 화상 또는 대응 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하고,
상기 처리 수단은 상기 제 1 선택 수단에 의해서 임의의 광각 화상 또는 대응 화상이 선택되었을 때에, 상기 검출 수단에 의해서 검출된 피사체 부분의 화상으로서, 상기 보정 수단에 의해 보정된 화상을 상기 표시 수단에 일람 표시하는 것을 특징으로 하는 화상 처리 장치.5. The method of claim 4,
A first selection means for selecting an arbitrary wide-angle image or a corresponding image among the thumbnail images in a state where the display means displays a list of the wide-angle images or corresponding images corresponding to the wide-angle images as a thumbnail image in accordance with a user operation Further,
The detection means recognizes a predetermined subject included in the wide-angle image or the corresponding image selected by the first selection means, detects an image of the subject portion,
Wherein the processing means is configured to cause the display means to display an image corrected by the correction means as an image of the subject portion detected by the detection means when an arbitrary wide angle image or a corresponding image is selected by the first selection means And displays the image. 제 4 항에 있어서,
상기 광각 화상 또는 상기 광각 화상에 대응하는 대응 화상이 섬네일 화상으로서 일람 표시되어 있는 상태에 있어서 그 섬네일 화상 중에서 임의의 광각 화상 또는 대응 화상을 유저 조작에 따라 선택하는 제 1 선택 수단을 더 구비하고,
상기 처리 수단은 상기 제 1 선택 수단에 의해서 임의의 광각 화상 또는 대응 화상이 선택되었을 때에, 그 광각 화상 또는 대응하는 광각 화상과 상기 왜곡 보정된 피사체 부분의 화상을 상기 표시 수단에 동시에 표시시킴으로써 상기 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.5. The method of claim 4,
Further comprising first selecting means for selecting an arbitrary wide-angle image or a corresponding image from among the thumbnail images in a state in which the corresponding image corresponding to the wide-angle image or the wide-angle image is displayed as a thumbnail image according to a user operation,
When the arbitrary wide-angle image or the corresponding image is selected by the first selection means, the image of the wide-angle image or the corresponding wide-angle image and the distortion-corrected object portion are simultaneously displayed on the display means, The image processing apparatus comprising: 제 4 항에 있어서,
상기 검출 수단은 촬영 방향을 바꾸어 촬영된 복수의 광각 화상을 조로 하는 광각 화상군 중에 포함되어 있는 모든 소정의 피사체를 인식하여 그 피사체 부분의 화상을 그 피사체마다 검출하고,
상기 처리 수단은 상기 광각 화상군 중의 어느 하나의 광각 화상이 섬네일 표시되어 있는 경우에, 상기 검출 수단에 의해서 검출된 해당 광각 화상군내에 포함되어 있는 모든 피사체 부분의 화상으로서 상기 보정 수단에 의해 보정된 화상을 상기 섬네일 표시되어 있는 광각 화상에 대응지어 표시시키는 것을 특징으로 하는 화상 처리 장치.5. The method of claim 4,
The detecting means recognizes all the predetermined subjects included in the wide-angle image group that sets the plurality of photographed wide-angle images by changing the photographing direction, detects an image of the subject portion for each of the subjects,
Wherein the processing means corrects the image of all of the subject portions included in the corresponding wide-angle image group detected by the detection means, when any one of the wide-angle images in the wide-angle image group is thumbnail- And displays the image in association with the wide-angle image displayed with the thumbnail. 제 1 항에 있어서,
상기 검출 수단은 촬영 방향을 바꾸어 촬영된 복수의 광각 화상을 조로 하는 광각 화상군 중에 포함되어 있는 모든 소정의 피사체를 인식하여 그 피사체 부분의 화상을 그 피사체마다 검출하는 것을 특징으로 하는 화상 처리 장치.The method according to claim 1,
Wherein the detecting means recognizes all the predetermined subjects included in the wide angle image group which groups the plurality of photographed wide angle images by changing the photographing direction and detects an image of the subject portion for each of the subjects. 제 17 항에 있어서,
촬영 방향을 바꾸어 촬영된 복수의 광각 화상을 조로 하는 광각 화상군 중에서 하나의 광각 화상을 지정하는 지정 수단을 더 구비하고,
상기 처리 수단은 상기 지정 수단에 의해서 지정된 광각 화상과, 상기 검출 수단에 의해서 광각 화상군 중에서 검출된 모든 피사체 부분의 화상을 관련짓는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.18. The method of claim 17,
Further comprising designation means for designating one wide-angle image among a wide-angle image group in which a plurality of photographed wide-angle images are grouped by changing a photographing direction,
Wherein said processing means executes processing for associating a wide-angle image designated by said designating means with an image of all the object portions detected by said detecting means in the wide-angle image group. 제 1 항에 있어서,　
상기 처리 수단은 상기 광각 화상과 상기 검출 수단에 의해서 검출된 상기 피사체 부분의 화상을 대응지어 기록 보존하는 처리를 실행하는 것을 특징으로 하는 화상 처리 장치.The method according to claim 1,
Wherein the processing means executes processing of recording and saving the wide-angle image and the image of the object portion detected by the detecting means in association with each other. 제 1 항에 있어서,
상기 광각 화상은 어안 렌즈를 사용해서 촬영된 어안 화상인 것을 특징으로 하는 화상 처리 장치.The method according to claim 1,
Wherein the wide-angle image is a fisheye image photographed using a fisheye lens. 화상 처리 장치에 있어서의 화상 처리 방법으로서,
광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하는 처리와,
상기 검출된 피사체 부분의 화상의 왜곡을 보정하는 처리와,
상기 광각 화상의 적어도 일부분의 화상과 상기 보정된 상기 피사체 부분의 화상을 관련짓는 처리를 포함하는 것을 특징으로 하는 화상 처리 방법.An image processing method in an image processing apparatus,
A process of recognizing a predetermined subject included in a wide-angle image photographed at a wide angle and detecting an image of the subject,
A process of correcting the distortion of the image of the detected subject portion,
And associating at least part of the image of the wide-angle image with the image of the corrected part of the object. 화상 처리 장치의 컴퓨터에 대해,
광각으로 촬영된 광각 화상내에 포함되어 있는 소정의 피사체를 인식하여 그 피사체 부분의 화상을 검출하는 기능과,
상기 검출된 피사체 부분의 화상의 왜곡을 보정하는 기능과,
상기 광각 화상의 적어도 일부분의 화상과 상기 보정된 상기 피사체 부분의 화상을 관련짓는 기능을 실현시키기 위한 기억 매체에 기억되어 있는 프로그램.
For a computer of an image processing apparatus,
A function of recognizing a predetermined subject included in a wide-angle image photographed at a wide angle and detecting an image of the subject,
A function of correcting distortion of the image of the detected subject,
And a function of associating an image of at least a part of the wide-angle image with an image of the corrected object part.
KR1020160138245A 2015-12-22 2016-10-24 Image processing device, image processing method amd program KR20170074742A (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015249410 2015-12-22
JPJP-P-2015-249410 2015-12-22
JP2016052641A JP6723512B2 (en) 2015-12-22 2016-03-16 Image processing apparatus, image processing method and program
JPJP-P-2016-052641 2016-03-16

Publications (1)

Publication Number Publication Date
KR20170074742A true KR20170074742A (en) 2017-06-30

Family

ID=59235032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160138245A KR20170074742A (en) 2015-12-22 2016-10-24 Image processing device, image processing method amd program

Country Status (3)

Country Link
JP (1) JP6723512B2 (en)
KR (1) KR20170074742A (en)
CN (1) CN107018316B (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6787394B2 (en) 2016-03-31 2020-11-18 ソニー株式会社 Information processing equipment, information processing methods, programs
JP7086552B2 (en) * 2017-09-22 2022-06-20 キヤノン株式会社 Information processing equipment, imaging equipment, information processing methods and programs
JP6688277B2 (en) * 2017-12-27 2020-04-28 本田技研工業株式会社 Program, learning processing method, learning model, data structure, learning device, and object recognition device
WO2020070801A1 (en) 2018-10-02 2020-04-09 マクセル株式会社 Information processing device
JP7267764B2 (en) * 2019-02-08 2023-05-02 キヤノン株式会社 ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP7419723B2 (en) 2019-09-25 2024-01-23 株式会社リコー Image processing system, image processing device and method
CN110611749A (en) * 2019-09-30 2019-12-24 深圳市大拿科技有限公司 Image processing method and device
CN110572578A (en) * 2019-09-30 2019-12-13 联想(北京)有限公司 Image processing method, apparatus, computing device, and medium
CN113496458A (en) * 2020-03-18 2021-10-12 杭州海康威视数字技术股份有限公司 Image processing method, device, equipment and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4674471B2 (en) * 2005-01-18 2011-04-20 株式会社ニコン Digital camera
JP4268206B2 (en) * 2007-09-21 2009-05-27 富士通株式会社 Fisheye lens camera device and image distortion correction method thereof
JP4539729B2 (en) * 2008-02-15 2010-09-08 ソニー株式会社 Image processing apparatus, camera apparatus, image processing method, and program
JP2012029180A (en) * 2010-07-27 2012-02-09 Nippon Seiki Co Ltd Peripheral image display device and display method thereof
CN103247031B (en) * 2013-04-19 2016-03-09 华为技术有限公司 A kind of method of distorted image correction, terminal and system
JP6270111B2 (en) * 2013-10-17 2018-01-31 株式会社熊平製作所 Mobile object display system and mobile object display program
CN105141827B (en) * 2015-06-30 2017-04-26 广东欧珀移动通信有限公司 Distortion correction method and terminal
CN104994281B (en) * 2015-06-30 2017-09-19 广东欧珀移动通信有限公司 A kind of method and terminal of face distortion correction

Also Published As

Publication number Publication date
CN107018316A (en) 2017-08-04
JP6723512B2 (en) 2020-07-15
CN107018316B (en) 2021-02-05
JP2017118472A (en) 2017-06-29

Similar Documents

Publication Publication Date Title
KR20170074742A (en) Image processing device, image processing method amd program
US10440307B2 (en) Image processing device, image processing method and medium
JP6627352B2 (en) Image display device, image display method, and program
US10237495B2 (en) Image processing apparatus, image processing method and storage medium
KR102235231B1 (en) Imaging control apparatus and control method therefor
JP5149939B2 (en) Information processing program, information processing apparatus, information processing system, and information processing method
CN107911621A (en) A kind of image pickup method of panoramic picture, terminal device and storage medium
JP2001169174A (en) Digital image pickup device, image processing-system provided therewith, image processor, digital image pickup method and recording medium
JP6677900B2 (en) Image processing apparatus, image processing method, and program
JP5880135B2 (en) Detection apparatus, detection method, and program
JP2013207344A (en) Detection device, imaging device, and program
JP2017059927A (en) User terminal, color correction system, and color correction method
EP4072121A1 (en) Photographing method and apparatus, storage medium, and electronic device
JP2017188787A (en) Imaging apparatus, image synthesizing method, and image synthesizing program
JP6257260B2 (en) Imaging apparatus and control method thereof
JP6450604B2 (en) Image acquisition apparatus and image acquisition method
CN104243807B (en) Image processing apparatus and image processing method
JP2021129293A (en) Image processing apparatus, image processing system, image processing method, and program
JP2020188358A (en) Electronic device, control method of the same, program, and storage medium
JP2015019215A (en) Imaging apparatus and imaging method
JP2013246189A (en) Imaging device and imaging processing method, and program
US20230351632A1 (en) Method for providing visual content, host, and computer readable storage medium
JP2017058801A (en) Image display apparatus, image display method and program
JP7054437B2 (en) Image processing equipment, image processing methods and programs
CN115914821A (en) Image processing method, device, equipment and medium for photographing multiple persons