WO2015075770A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- WO2015075770A1 WO2015075770A1 PCT/JP2013/081136 JP2013081136W WO2015075770A1 WO 2015075770 A1 WO2015075770 A1 WO 2015075770A1 JP 2013081136 W JP2013081136 W JP 2013081136W WO 2015075770 A1 WO2015075770 A1 WO 2015075770A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- processing apparatus
- person
- protection
- image data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Definitions
- the present invention relates to an image processing apparatus having a personal information protection function.
- a digital camera that converts an object image into an electrical signal by an electronic device such as a CCD (Charge Coupled Device) and records it on a memory medium is remarkable. Recently, it has become common to install this digital camera function in information terminal devices such as mobile phones, smart phones, and tablet terminals. Furthermore, with the spread of the Internet, there are increasing opportunities to publish and publish images taken with the digital camera or the like on personally created homepages.
- CCD Charge Coupled Device
- Patent Document 1 An example of a digital camera that realizes the protection processing is described in Patent Document 1 below.
- Patent Document 1 personal information detecting means for detecting personal information such as a person's face and characters from a photographed image and coordinates of an area where the personal information exists;
- the storage control means for storing the storage image in which the additional information including the coordinates of the personal information is added to the photographed image is stored in the storage means, and the personal information is protected when the stored image read from the storage means is reproduced and displayed on the display means.
- Personal information protection selection means that makes it possible to select whether or not to perform protection processing, and the coordinates of the personal information are acquired from the additional information when the protection processing is selected, so that the personal information cannot be identified Image processing means for generating a protected image by performing image processing, and the storage control means stores the protected image in the storage means as an image different from the stored image ”technology is described
- Patent Document 1 does not describe a function for realizing the above-described protection processing.
- An object of the present invention is to provide an image processing apparatus that realizes protection of personal information according to a person to be viewed in consideration of the above problems.
- the present invention is an image processing apparatus that processes image data, and registers a protection information storage unit that stores protection information unique to a user of the image processing apparatus, and image data of a specific person.
- a person authentication unit for determining whether or not both persons match based on the data and the image data of the person registered in the person image registration unit; and the person for the image data input from the image input unit
- a protection processing unit that performs protection processing on at least a face area of a person detected by the detection unit, an image output unit that outputs image data protected by the protection processing unit, and a control that controls the operation of the image processing apparatus Part
- the control unit controls the protection processing unit to perform protection processing on the image data with reference to the protection information stored in the protection information storage unit based on the determination in the person authentication unit. It is a feature.
- the present invention also relates to an image processing method in an image processing apparatus that processes image data, a protection information storing step for storing protection information unique to a user of the image processing apparatus, and registration of image data of a specific person.
- a person image registration step for storing, an image input step for inputting image data, a person detection step for detecting a person from the image data input in the image input step, and an image of the person detected in the person detection step
- a person authentication step for determining whether or not both persons match based on the data and the image data of the person registered in the person image registration step; and the person for the image data input from the image input step
- a protection processing step for performing protection processing on at least the face area of the person detected in the detection step, and protection processing in the protection processing step
- An image output step for outputting the image data, and a control step for controlling the operation of the image processing apparatus.
- the control step includes the step of storing the protection information based on the determination in the person authentication step. Control is performed so as to perform protection processing on
- the present invention is also an image processing program in an image processing apparatus that has a storage medium for storing information and processes image data, and is written in the storage medium included in the image processing apparatus in response to an instruction from the image processing apparatus.
- a person authentication step for determining whether or not, a protection processing step for protecting at least a face area of a person detected in the person detection step with respect to the image data captured in the image capturing step, and the protection processing step
- An image output step for outputting the image data protected by the image processing, and a control step for controlling the operation of the image processing device.
- the control step is based on the determination in the person authentication step. Control is performed so that the image data is protected with reference to the protection information stored in the protection information storage step.
- FIG. 3 is a software configuration diagram of the image processing apparatus according to the embodiment.
- 1 is a configuration diagram of a communication system including an image processing apparatus according to an embodiment.
- 1 is a first external view of an image processing apparatus according to an embodiment.
- FIG. 3 is a second external view of the image processing apparatus according to the embodiment.
- FIG. 3 is a sketch diagram illustrating a basic screen of the image processing apparatus according to the first exemplary embodiment.
- FIG. 3 is a sketch diagram illustrating a camera function selection menu screen of the image processing apparatus according to the first embodiment.
- FIG. 3 is a sketch diagram illustrating a password setting screen of the image processing apparatus according to the first embodiment.
- FIG. 3 is a sketch diagram illustrating a person image registration screen of the image processing apparatus according to the first embodiment. 6 is a flowchart illustrating protection / recording processing of a captured image of the image processing apparatus according to the first exemplary embodiment.
- FIG. 3 is a sketch diagram illustrating a live view display screen of the image processing apparatus according to the first embodiment.
- FIG. 2 is a conceptual diagram illustrating person detection processing of the image processing apparatus according to the first embodiment.
- FIG. 3 is a sketch diagram illustrating a preview screen of the image processing apparatus according to the first exemplary embodiment.
- FIG. 3 is a conceptual diagram illustrating an image that has been subjected to protection processing of the image processing apparatus according to the first embodiment.
- FIG. 3 is a conceptual diagram illustrating an image that is not subjected to the protective processing of the image processing apparatus according to the first embodiment.
- FIG. 3 is a conceptual diagram illustrating a configuration of an image data file of the image processing apparatus according to the first embodiment.
- FIG. 3 is a sketch diagram illustrating a browsing menu screen of the image processing apparatus according to the first embodiment.
- FIG. 3 is a sketch diagram illustrating a browsing password setting screen of the image processing apparatus according to the first embodiment.
- 3 is a flowchart illustrating image browsing processing of the image processing apparatus according to the first exemplary embodiment.
- FIG. 3 is a first conceptual diagram illustrating image browsing processing of the image processing apparatus according to the first embodiment.
- FIG. 3 is a second conceptual diagram illustrating image browsing processing of the image processing apparatus according to the first embodiment.
- FIG. 4 is a third conceptual diagram illustrating image browsing processing of the image processing apparatus according to the first embodiment.
- FIG. 4 is a fourth conceptual diagram illustrating image browsing processing of the image processing apparatus according to the first embodiment.
- FIG. 3 is a conceptual diagram illustrating an image that has been subjected to protection processing of the image processing apparatus according to the first embodiment.
- FIG. 9 is a sketch diagram illustrating a camera function selection menu screen of the image processing apparatus according to the second embodiment.
- FIG. 10 is a sketch diagram illustrating a password setting screen of the image processing apparatus according to the second embodiment.
- 9 is a flowchart illustrating a captured image protection / recording process of the image processing apparatus according to the second exemplary embodiment.
- FIG. 10 is a first conceptual diagram illustrating an image that has been subjected to a protection processing of the image processing apparatus according to the second embodiment.
- FIG. 9 is a second conceptual diagram illustrating an image that has been subjected to the protection processing of the image processing apparatus according to the second embodiment.
- FIG. 9 is a third conceptual diagram illustrating an image that has been subjected to the protection processing of the image processing apparatus according to the second embodiment.
- FIG. 10 is a first conceptual diagram illustrating image browsing processing of the image processing apparatus according to the second embodiment.
- FIG. 9 is a second conceptual diagram illustrating image browsing processing of the image processing apparatus according to the second embodiment.
- FIG. 9 is a third conceptual diagram illustrating image browsing processing of the image processing apparatus according to the second embodiment.
- FIG. 10 is a fourth conceptual diagram illustrating image browsing processing of the image processing apparatus according to the second embodiment.
- FIG. 10 is a fifth conceptual diagram illustrating image browsing processing of the image processing apparatus according to the second embodiment.
- FIG. 10 is a block diagram of an image data server according to a third embodiment. 9 is a flowchart illustrating protection / recording processing of a captured image of the image processing apparatus according to the third exemplary embodiment.
- FIG. 10 is a sketch diagram illustrating a camera function selection menu screen of the image processing apparatus according to the third embodiment.
- FIG. 1A is a block diagram of the image processing apparatus of the present embodiment.
- the image processing apparatus 100 includes a main control unit 101, a system bus 102, a ROM 103, a RAM 104, a storage unit 110, an image processing unit 120, an audio processing unit 130, an operation unit 140, a communication processing unit 150, a sensor unit 160, and an expansion interface unit. 170.
- FIG. 1B is a software configuration diagram of the image processing apparatus 100 according to the present exemplary embodiment, and illustrates a software configuration in the ROM 103, the RAM 104, and the storage unit 110. Details will be described later.
- FIG. 2 is a configuration diagram of a communication system including the image processing apparatus 100 of the present embodiment.
- the communication system includes an image processing apparatus 100, a wide area public network 201 such as the Internet and an access point 202 for wireless communication, a base station 203 of a mobile telephone communication network, an application server 211, an image data server 212, and mobile telephone communication.
- a server 213, a router device 221, and a PC (Personal Computer) 222 are included.
- the image processing apparatus 100 may be a mobile phone, a smart phone, a tablet terminal or the like having a camera function in addition to a digital still camera. Further, it may be a PDA (Personal Digital Assistant) or a notebook PC. Further, it may be a video camera capable of shooting a video, a portable game machine, or other portable digital devices.
- PDA Personal Digital Assistant
- notebook PC Portable Computer System
- the main control unit 101 is a microprocessor unit that controls the entire image processing apparatus 100 according to a predetermined program.
- a system bus 102 is a data communication path for transmitting and receiving data between the main control unit 101 and each unit in the image processing apparatus 100.
- a ROM (Read Only Memory) 103 is a memory in which a basic operation program such as an operating system and other application programs are stored.
- a basic operation program such as an operating system and other application programs
- a rewritable ROM such as an EEPROM (Electrically Erasable Programmable ROM) or a flash ROM is used.
- EEPROM Electrically Erasable Programmable ROM
- flash ROM flash ROM
- RAM (Random Access Memory) 104 is a work area for executing basic operation programs and other application programs.
- the basic operation program 103a stored in the ROM 103 is expanded in the RAM 104, and the main control unit 101 executes the expanded basic operation program, thereby configuring the basic operation execution unit 104a.
- the basic operation execution unit 104a performs processing for controlling each unit by expanding the basic operation program 103a stored in the ROM 103 into the RAM 104 and executing the basic operation program 103a. It is described as performing control. Note that the same description is applied to other application programs.
- the ROM 103 and the RAM 104 may be integrated with the main control unit 101. Further, the ROM 103 may use a partial storage area in the storage unit 110 without using the independent configuration as shown in FIG.
- the RAM 104 includes a temporary storage area that temporarily holds data as necessary when various application programs are executed.
- the storage unit 110 stores operation setting values of the image processing apparatus 100, user information of the image processing apparatus 100, and the like.
- the storage unit 110 can also store still image data, moving image data, and the like captured by the image processing apparatus 100.
- the image processing apparatus 100 can be expanded in function by downloading a new application program from the application server 211 via the Internet 201 and the wireless communication access point 202 or the base station 203 of the mobile telephone communication network. It shall be. At this time, the downloaded new application program is stored in the storage unit 110.
- the main control unit 101 expands the new application program stored in the storage unit 110 to the RAM 104, and further executes the expanded new application program, whereby the image processing apparatus 100 can realize various new functions. Shall.
- the whole or part of the functions of the ROM 103 may be replaced by a partial area of the storage unit 110.
- the storage unit 110 needs to retain stored information even when power is not supplied to the image processing apparatus 100. Therefore, for example, devices such as flash ROM, SSD (Solid State Drive), HDD (Hard Disc Drive) and the like are used.
- the image processing unit 120 includes a display unit 121, an image signal processing unit 122, a first image input unit 123, and a second image input unit 124.
- the display unit 121 is a display device such as a liquid crystal panel, for example, and provides the image data processed by the image signal processing unit 122 to the user of the image processing apparatus 100.
- an image output unit that outputs the image data to a display device provided outside the image processing apparatus 100 may be provided.
- the image signal processing unit 122 includes a video RAM (not shown), and the display unit 121 is driven based on the image data input to the video RAM.
- the image signal processing unit 122 has a function of performing format conversion, a menu or other OSD (On Screen Display) signal superimposing processing, if necessary.
- OSD On Screen Display
- the first image input unit 123 and the second image input unit 124 convert the light input from the lens into an electrical signal by using an electronic device such as a CCD or a CMOS (Complementary Metal Oxide Semiconductor) sensor, and the like.
- an electronic device such as a CCD or a CMOS (Complementary Metal Oxide Semiconductor) sensor, and the like.
- This is a camera unit for inputting image data of an object.
- FIG. 3A and 3B are first and second external views of the image processing apparatus 100 of the present embodiment.
- the external view is an example when the image processing apparatus 100 is an information terminal device such as a smartphone.
- FIG. 3A is a front view of the image processing apparatus 100
- FIG. 3B is a back surface (back surface) of the image processing apparatus 100.
- FIG. The illustration of the left and right side surfaces and the ceiling is omitted.
- the first image input unit 123 is located on the same surface (front surface) as the display unit 121
- the second image input unit 124 is the opposite surface (back surface) of the display unit 121.
- the first image input unit 123 positioned on the same plane as the display unit 121 may be referred to as “in camera”, and the second image input unit 124 positioned on the opposite side of the display unit 121 may be referred to as “out camera”.
- the position of the second image input unit 124 may not be the back surface as long as it is not flush with the display unit 121.
- the second image input unit 124 may be separate from the image processing apparatus 100 and may be connected to the image processing apparatus 100 by wired communication or wireless communication. Further, only one of the camera units may be provided. Further, when the image processing apparatus 100 is a digital still camera, it may have a shape different from that in FIG.
- the audio processing unit 130 includes an audio output unit 131, an audio signal processing unit 132, and an audio input unit 133.
- the audio output unit 131 is a speaker, and provides the audio signal processed by the audio signal processing unit 132 to the user of the image processing apparatus 100.
- the voice input unit 133 is a microphone, which converts a user's voice and the like into voice data and inputs the voice data. Note that the audio input unit 133 is separate from the image processing apparatus 100 and may be connected to the image processing apparatus 100 by wired communication or wireless communication.
- the operation unit 140 is an instruction input unit that inputs an operation instruction to the image processing apparatus 100.
- the operation key 140k (140k1, 140k2) includes a touch panel 140t and a button switch arranged on the display unit 121. ). Either one may be sufficient. You may operate the image processing apparatus 100 using the keyboard etc. which were connected to the below-mentioned expansion interface part 170.
- FIG. The image processing apparatus 100 may be operated using a separate information terminal device connected by wired communication or wireless communication.
- the touch panel function may be provided in the display unit 121.
- the communication processing unit 150 includes a LAN (Local Area Network) communication unit 151, a mobile telephone network communication unit 152, and a proximity wireless communication unit 153.
- the LAN communication unit 151 transmits and receives data by connecting to the wireless communication access point 202 of the Internet 201 by wireless communication.
- the mobile telephone network communication unit 152 performs telephone communication (call) and data transmission / reception by wireless communication with the base station 203 of the mobile telephone communication network.
- the close proximity wireless communication unit 153 performs wireless communication when close to the corresponding reader / writer.
- the LAN communication unit 151, the mobile telephone network communication unit 152, and the close proximity wireless communication unit 153 are each provided with a coding circuit, a decoding circuit, an antenna, and the like. You may further provide other communication parts, such as an infrared communication part.
- the sensor unit 160 is a group of sensors for detecting the state of the image processing apparatus 100.
- the GPS (Global Positioning System) receiving unit 161 the acceleration sensor 162, the gyro sensor 163, the geomagnetic sensor 164, the illuminance sensor 165 and a proximity sensor 166.
- these sensor groups it is possible to detect the position, movement, tilt, direction, brightness of the image processing apparatus 100, proximity of surrounding objects, and the like.
- Other sensors such as an atmospheric pressure sensor may be further provided.
- the extension interface unit 170 is an interface group for extending the functions of the image processing apparatus 100.
- the extension interface unit 170 includes an image / audio interface, a USB (Universal Serial Bus) interface, a memory interface, and the like.
- the image / audio interface performs input of image signals / audio signals from external image / audio output devices, output of image signals / audio signals to external image / audio input devices, and the like.
- the USB interface is connected to a PC to send and receive data, and to connect a keyboard and other USB devices.
- the memory interface is connected to a memory card or other memory medium to transmit / receive data.
- the configuration example of the image processing apparatus 100 illustrated in FIG. 1 includes a number of configurations that are not essential to the present embodiment, such as the communication processing unit 150 and the sensor unit 160, but these are not included. However, the effect of the present embodiment is not impaired. In addition, a configuration not shown in the figure, such as a digital television broadcast receiving function and an electronic money settlement function, may be further added.
- the operation of the image processing apparatus 100 of the present embodiment mainly includes a camera function execution unit 104b, a face detection / authentication execution unit 104c, a protection processing execution unit 104d, an image browsing execution unit 104e, and a basic function. It is controlled by the operation execution unit 104a. These are configured by the camera function program 110b, the face detection / authentication program 110c, the protection processing program 110d, and the image browsing program 110e stored in the storage unit 110 being expanded in the RAM 104 and executed by the main control unit 101. ing.
- each hardware block that realizes the same operation as that of the camera function execution unit 104b, the face detection / authentication execution unit 104c, the protection processing execution unit 104d, and the image browsing execution unit 104e described above is performed by image processing according to this embodiment.
- the apparatus 100 further includes a camera function execution unit 104b, a face detection / authentication execution unit 104c, a protection processing execution unit 104d, and an image browsing execution unit 104e.
- the hardware blocks control the operation of the image processing apparatus 100. It may be what you do.
- a protection information storage area 110f stores passwords (password, PIN (Personal Identification Number), key image, etc.) used at the time of user authentication of the image processing apparatus 100 and protection processing such as mask processing at the protection processing execution unit 104d.
- the person registration area 110g stores the face image of the user of the image processing apparatus 100 and the acquaintances and friends of the user.
- the image data storage area 110h stores image data files of still image data and moving image data captured by the image processing apparatus 100.
- FIG. 4 is a sketch diagram illustrating a basic screen 121a displayed on the display unit 121 of the image processing apparatus 100 according to the first embodiment.
- the basic screen 121a is displayed when the power of the image processing apparatus 100 is turned on by pressing the power key 140k1, or when the home key 140k2 is pressed during execution of an arbitrary application program.
- the icon group displayed in the area 121a1 of the basic screen 121a is a collection of icons associated with each application program that can be executed by the image processing apparatus 100. By selecting any icon, a predetermined application program associated with the selected icon is executed.
- the selection of the icon may be performed by tapping a predetermined area on the touch panel 140t corresponding to the position on the display unit 121 where the target icon is displayed.
- the operation may be performed by operating operation keys such as a cross cursor key and an enter key (not shown).
- the user's line of sight of the image processing apparatus 100 may be detected using the first image input unit 123, and the icon may be selected based on the detected line-of-sight information.
- the icon 121a2 displayed on the basic screen 121a is an icon associated with the camera function program 110b, which is a feature of the image processing apparatus 100 of the present embodiment.
- the basic operation execution unit 104a is a camera function execution unit.
- 104b is activated and the control subject is delegated to the camera function execution unit 104b.
- the camera function execution unit 104b displays a camera function selection menu screen 121b as shown in FIG.
- FIG. 5 is a sketch diagram illustrating the camera function selection menu screen 121b of the image processing apparatus 100 according to the first embodiment.
- the camera function selection menu screen 121b includes a “shoot” icon 121b1, a “register password” icon 121b2, a “register face image” icon 121b3, and an “end” icon 121b4.
- the camera function execution unit 104b monitors which icon constituting the camera function selection menu screen 121b is selected by the user of the image processing apparatus 100.
- the camera function execution unit 104b When the camera function selection menu screen 121b detects that the user of the image processing apparatus 100 has selected the “end” icon 121b4, the camera function execution unit 104b returns the control subject to the basic operation execution unit 104a, The operation of the execution unit 104b ends. Further, the basic operation execution unit 104a displays the basic screen 121a shown in FIG.
- the camera function execution unit 104b displays a password setting screen as shown in FIG. 121c is displayed on the display unit 121.
- FIG. 6 is a sketch showing the password setting screen 121c of the image processing apparatus 100 according to the first embodiment.
- the password setting screen 121c includes a protection password setting box 121c1 and a “return” icon 121c2.
- the camera function execution unit 104b displays a pop-up screen for character input (not shown) on the display unit 121, and provides the user with a protection password. Prompt for When it is detected that the user of the image processing apparatus 100 selects the “return” icon 121c2, the camera function execution unit 104b stores the protection password input in the protection password setting box 121c1 in the protection information storage area 110f, and stores the password. The setting screen 121c is terminated and the camera function selection menu screen 121b shown in FIG. 5 is displayed.
- the camera function execution unit 104b displays a person image as shown in FIG. A registration screen 121d is displayed on the display unit 121.
- FIG. 7 is a sketch diagram showing a person image registration screen 121d of the image processing apparatus 100 according to the first embodiment.
- the person image registration screen 121d includes a camera unit selection tab 121d1, a live view window 121d2, an “image read” icon 121d3, a reference marker 121d4, a “face image registration” icon 121d5, and a “return” icon 121d6.
- the camera unit selection tab 121d1 is a tab for selecting a camera unit to be used when shooting a subject.
- the camera function execution unit 104b activates the first image input unit 123, and the subject from the first image input unit 123 Input an image.
- the camera function execution unit 104 b activates the second image input unit 124 and the second image input unit 124.
- the subject image is input from.
- the live view window 121d2 displays the image data input by the first image input unit 123 or the second image input unit 124 as it is.
- the user of the image processing apparatus 100 can adjust the composition of the subject to be photographed while confirming the display of the live view window 121d2.
- the zoom-in of the first image input unit 123 or the second image input unit 124 is performed by performing an operation such as pinch out / in on the touch panel 140t corresponding to the position on the display unit 121 where the live view window 121d2 is displayed. Assume that control of / out is possible.
- the camera function execution unit 104b displays an image data file selection pop-up screen (not shown) on the display unit 121. Further, the image data file selected on the image data file selection pop-up screen is read from the image data storage area 110h or a memory medium connected to the expansion interface 170, and the image data is displayed on the live view window 121d2.
- the reference marker 121d4 serves as a position reference when extracting a face image or the like registered in the image processing apparatus 100 from the image data displayed in the live view window 121d2.
- the reference marker 121d4 is moved by a drag operation or the like to select a person to be registered.
- the face detection / authentication execution unit 104c is displayed on the live view window 121d2 based on the control of the camera function execution unit 104b.
- the face image of the person selected by the reference marker 121d4 is extracted from the existing image data. Further, the camera function execution unit 104b registers the extracted face image as a registered face image in the person registration area 110g.
- the face image extracted from the image data displayed in the live view window 121d2 may be registered as it is in the person registration area 110g in the RAW format, or may be registered in a compression format subjected to a predetermined image compression process. .
- reversible compression processing may be employed in consideration of data reproducibility, or irreversible compression processing is employed to reduce the amount of data during storage. May be.
- only facial feature data may be extracted from the extracted face image and registered in the person registration area 110g. Note that there may be one registered face image or a plurality of registered face images that can be registered in the person registration area 110g.
- a process of registering a person's bust-up image or whole body image as a registered person image in the person registration area 110g is performed. Also good. That is, the image registered in the person registration area 110g may be any image as long as the person can be identified in the person authentication process described later.
- the camera function execution unit 104b ends the person image registration screen 121d and displays the camera function selection menu screen 121b shown in FIG. indicate.
- the camera function execution unit 104b executes protection / recording processing of the shot image.
- FIG. 8 is a flowchart showing the captured image protection / recording process of the image processing apparatus 100 according to the first embodiment.
- the captured image protection / recording operation which is a feature of the image processing apparatus 100 of this embodiment, will be described with reference to the flowchart shown in FIG.
- the camera function execution unit 104b displays the first video input unit 123 or the second video input unit 124.
- the validation is started to start inputting image data, and the input image data is displayed on the live view display screen 121e of FIG. 9 (S101).
- FIG. 9 is a sketch diagram illustrating the live view display screen 121e of the image processing apparatus 100 according to the first embodiment.
- the live view display screen 121e includes a camera unit selection tab 121e1, a live view window 121e2, a “shutter” icon 121e3, and an “end” icon 121e4.
- the camera unit selection tab 121e1 and the live view window 121e2 have the same functions as the camera unit selection tab 121d1 and the live view window 121d2 on the person image registration screen 121d, and a description thereof will be omitted.
- the camera function execution unit 104b determines whether the user of the image processing apparatus 100 selects the “end” icon 121e4 during the display of the live view display screen 121e (S102) and whether to select the “shutter” icon 121e3. Whether or not (S103) is monitored.
- the camera function execution unit 104b returns the control subject to the basic operation execution unit 104a, and the camera function execution unit 104b End the operation. Further, the basic operation execution unit 104a displays a basic screen 121a. If it is detected in S103 that the user of the image processing apparatus 100 has selected the “shutter” icon 121e3, the camera function execution unit 104b starts a recording sequence (S104).
- a recording sequence may be started in S104 using a process of pressing a shutter button (not shown) as a trigger.
- the recording sequence may be started in S104 with a voice recognition process for a command voice issued by the user of the image processing apparatus 100 as a trigger.
- the recording sequence may be started in S104 with a shutter command received from a separate information terminal device connected by wired communication or wireless communication as a trigger.
- the camera function execution unit 104b controls the focusing, exposure, and the like, and further converts the output of an electronic device such as a CCD / CMOS sensor into digital image data.
- Image data is input from the first image input unit 123 or the second image input unit 124.
- the camera function execution unit 104b performs signal processing such as gamma correction and noise removal on the input image data, and stores the image data subjected to each processing in a temporary storage area of the RAM 104 (S105).
- the face detection / authentication execution unit 104c executes person detection processing on the image data stored in the temporary storage area of the RAM 104 based on the control of the camera function execution unit 104b (S106).
- FIG. 10 is a conceptual diagram illustrating person detection processing of the image processing apparatus 100 according to the first embodiment.
- the person detection process of S106 a process of detecting the face positions of all displayed persons is performed on the image data stored in the temporary storage area of the RAM 104. That is, when the image data stored in the temporary storage area of the RAM 104 is the image data 310a shown in FIG. 10, the face detection / authentication execution unit 104c performs the face position 310a4 of the person 310a1, the face position 310a5 of the person 310a2, and the person The face position 310a6 of 310a3 is detected, and the detected face position information is stored in the temporary storage area of the RAM 104.
- a known technique may be applied to the face position detection algorithm in the person detection process, and detailed description thereof is omitted. In the person detection process, not only the face position of the person but also the body position including the face of the person may be detected.
- the storage of the face position information may be performed by storing upper left and lower right coordinate data of a broken line rectangle indicating the face position. Processing different from that described above may be performed, such as storing the upper left coordinate data of the broken line rectangle indicating the face position and values indicating the width and height of the broken line rectangle.
- the face detection / authentication execution unit 104c based on the control of the camera function execution unit 104b, extracts each of the image data extracted from the image data stored in the temporary storage area of the RAM 104 based on the face position information detected in S106.
- a person authentication process for comparing the face image of a person with the registered face image stored in the person registration area 110g is performed (S107), and the result of the person authentication process is displayed as a preview screen 121f as shown in FIG. Displayed on the display unit 121.
- FIG. 11 is a sketch showing the preview screen 121f of the image processing apparatus 100 according to the first embodiment.
- the preview screen 121f includes a preview window 121f1, a non-protection target marker 121f2, a protection target marker 121f3, a “record with protection” icon 121f4, and a “record without protection” icon 121f5.
- the preview window 121f1 is input by the first image input unit 123 or the second image input unit 124 in the recording sequence started in S104, stored in the temporary storage area of the RAM 104 after various processes, and subjected to the person authentication process in S107.
- the image data thus displayed is displayed.
- the non-protection target marker 121f2 is determined to match the person in the registered face image stored in the person registration area 110g in the person authentication process in S107 out of the face positions of each person detected in the person detection process in S106. It is a marker which shows the face position of a person's face image.
- the protection target marker 121f3 is determined not to match the person in the registered face image stored in the person registration area 110g in the person authentication process in S107 out of the face positions of each person detected in the person detection process in S106. It is a marker which shows the face position of the face image of the person who was made.
- the non-protection target marker 121f2 and the protection target marker 121f3 are selected by selecting the respective marker positions by a tap operation or the like, so that the non-protection target marker 121f2 becomes the protection target marker 121f3 or the protection target marker 121f3 becomes the non-protection target. It is assumed that the marker 121f2 can be changed (S108). In other words, the above-described processing allows the user of the image processing apparatus 100 to correct the erroneous authentication even when there is an erroneous authentication in the person authentication processing in S107.
- the camera function execution unit 104b monitors whether the user of the image processing apparatus 100 selects the “Protect and record” icon 121f4 or the “Record without protection” icon 121f5 while the preview screen 121f is displayed ( S109). It should be noted that a “do not record” icon may be further provided on the preview screen 121f.
- the protection processing execution unit 104d When it is detected on the preview screen 121f that the user of the image processing apparatus 100 selects the “Protect and record” icon 121f4, the protection processing execution unit 104d temporarily stores the data in the RAM 104 based on the control of the camera function execution unit 104b. Protection processing is performed on the area specified by the face position information detected in S106 of the person specified by the protection target marker 121f3 in the image data stored in the area (S110).
- the face images of the person 310a1 and the person 310a2 are stored in the person registration area 110g in advance, and the face image of the person 310a3 is not stored in the person registration area 110g.
- the protection processing is performed on the area specified by the face position 310a6 of the person 310a3 confirmed not to match the person of the registered face image, and as a result, the image data 310b shown in FIG. 12A is obtained. .
- FIG. 12A is a conceptual diagram illustrating an image 310b that has been subjected to the protection processing of the image processing apparatus 100 according to the first embodiment.
- the protection processing a process of applying a mosaic to the area is performed. It may be a blurring process or a painting process with a predetermined color. Note that the protection processing can be canceled using the protection password.
- the camera function execution unit 104b adds extension data (to be described later) to the image data 310b subjected to the protection processing to form an image data file, stores it in the image data storage area 110h, and ends the recording sequence (S111). Further, the camera function execution unit 104b determines whether or not the user of the image processing apparatus 100 selects the “end” icon 121e4 (S102) and the “shutter” icon 121e3 (S103). Transition to the monitoring state.
- FIG. 12B is a conceptual diagram illustrating an image 310c that is not subjected to the protective processing of the image processing apparatus 100 according to the first embodiment.
- the camera function execution unit 104b When it is detected on the preview screen 121f that the user of the image processing apparatus 100 selects the “record without protection” icon 121f5, the camera function execution unit 104b does not execute the process of S110, but only executes the process of S111. To do.
- the image data storage area 110h stores an image data file in which extension data is added to the image data 310c that has not been subjected to the protective processing as shown in FIG. 12B.
- the image data file may be output to a memory medium connected to the expansion interface 170 instead of being stored in the image data storage area 110h.
- it may be output from the communication processing unit 150 and uploaded to the image data server 212.
- the image data may be temporarily stored in the image data storage area 110h and then output to another image processing apparatus or PC via the communication processing unit 150 by a method of attaching a file to an e-mail or the like later.
- the image data file stored in the image data storage area 110h has a file configuration as shown in FIG.
- FIG. 13 is a conceptual diagram illustrating the configuration of the image data file 300 of the image processing apparatus 100 according to the first embodiment.
- the image data file 300 of the present embodiment includes image data 310 and extended data 320.
- the extended data 320 includes shooting date / time, shutter speed, aperture, etc. of the image data 310, and GPS information of the shooting location.
- the image data includes shooting condition information 321 indicating shooting conditions, face position information detected in the process of S106, and protection processing information 322 indicating the presence / absence of protection processing. That is, by referring to the extension data of the image data file, it is possible to know which area of the image data is subjected to the protection processing.
- the icon 121a3 displayed on the basic screen 121a shown in FIG. 4 is an icon associated with the image browsing program 110e that is a feature of the image processing apparatus 100 of the present embodiment.
- the image processing apparatus 100 that operates based on the control of the basic operation execution unit 104a, when the user of the image processing apparatus 100 selects the icon 121a3 on the basic screen 121a by a tap operation or the like, the basic operation execution unit 104a 104e is started and the control subject is transferred to the image browsing execution unit 104e.
- the image browsing execution unit 104e displays a browsing menu screen 121g on the display unit 121 as shown in FIG.
- FIG. 14 is a sketch diagram showing the browsing menu screen 121g of the image processing apparatus 100 according to the first embodiment.
- the browse menu screen 121g includes a “browse image” icon 121g1, a “register password” icon 121g2, and an “end” icon 121g3.
- the image browsing execution unit 104e monitors which icon constituting the browsing menu screen 121g is selected by the user of the image processing apparatus 100.
- the image browsing execution unit 104e When it is detected on the browsing menu screen 121g that the user of the image processing apparatus 100 has selected the “end” icon 121g3, the image browsing execution unit 104e returns the control subject to the basic operation execution unit 104a, and the image browsing execution unit The operation of 104e is finished. Further, the basic operation execution unit 104a displays a basic screen 121a.
- the image browsing execution unit 104e displays a browsing password setting screen 121h as shown in FIG. Is displayed on the display unit 121.
- FIG. 15 is a sketch diagram showing a browsing password setting screen 121h of the image processing apparatus 100 according to the first embodiment.
- the browsing password setting screen 121h includes a browsing password 1 setting box 121h1, a browsing password 2 setting box 121h2, a browsing password 3 setting box 121h3, and a “return” icon 121h4.
- the image browsing execution unit 104e When it is detected that the user of the image processing apparatus 100 has selected any one of the browsing password 1 setting box 121h1, the browsing password 2 setting box 121h2, and the browsing password 3 setting box 121h3, the image browsing execution unit 104e omits the illustration.
- the character input pop-up screen is displayed on the display unit 121 to prompt the user to input the browsing password 1, the browsing password 2, the browsing password 3, and the like.
- the image browsing execution unit 104e inputs the browsing password 1 setting box 121h1, the browsing password 2 setting box 121h2, and the browsing password 3 setting box 121h3.
- the browse password 1, browse password 2, and browse password 3 are stored in the protection information storage area 110f, the browse password setting screen 121h is terminated, and the browse menu screen 121g is displayed.
- three sets of character strings can be set as the browsing password.
- the number of browsing passwords that can be set is not limited to three and may be arbitrary.
- the image browsing execution unit 104e displays a pop-up screen for selecting an image data file (not shown). 121 is displayed. Further, the image data file selected on the image data file selection pop-up screen is read out from the image data storage area 110h, a memory medium connected to the expansion interface 170, a predetermined folder on the image data server 212, etc. Is executed on the display unit 121.
- FIG. 16 is a flowchart illustrating the image browsing process of the image processing apparatus 100 according to the first embodiment.
- the image browsing operation which is a feature of the image processing apparatus 100 of the present embodiment, will be described using the flowchart shown in FIG.
- the image browsing execution unit 104e reads the image data file designated on the image data file selection pop-up screen from the predetermined location into the temporary storage area on the RAM 104 (S201). Further, the image browsing execution unit 104e reads each password of the protection password and the browsing password stored in the protection information storage area 110f (S202).
- the image browsing execution unit 104e refers to the extended data of the image data file read into the temporary storage area on the RAM 104 in S201, and further, the protection processing execution unit 104d is based on the control of the image browsing execution unit 104e. It is checked whether or not the protection processing applied to the image data of the image data file can be canceled with any of the passwords (S203).
- the protection processing execution unit 104d performs the above-described control based on the control of the image browsing execution unit 104e.
- the protection processing applied to the image data is canceled (S204).
- the image browsing execution unit 104e displays the image data on which the protection processing has been canceled on the display unit 121 (S205).
- FIGS. 17A and 17B are first and second conceptual diagrams illustrating image browsing processing of the image processing apparatus 100 according to the first embodiment.
- FIG. 18A and 18B are conceptual diagrams showing third and fourth image browsing processes of the image processing apparatus 100 according to the first embodiment.
- the protection processing performed on the image data 310d with the protection password stored in the image processing apparatus 100b. Cannot be released. Therefore, the image processing apparatus 100b displays the image data 310f that has been subjected to the protection processing as shown in FIG. 18A.
- the user of the image processing apparatus 100a notifies the user of the image processing apparatus 100b of the protection password stored in the image processing apparatus 100a by means of e-mail or the like, and the user of the image processing apparatus 100b receives the contact.
- the image processing apparatus 100b can cancel the protection processing performed on the image data 310d with the browsing password. Therefore, the image processing apparatus 100b can display the image data 310g for which the protection processing is canceled as shown in FIG. 18B.
- the PC 222 When the image browsing process is executed by the PC 222 capable of operating the image browsing program 110e, the PC 222 is set on the image data 310d by appropriately setting a browsing password, as in the image processing apparatus 100b described above. It is possible to cancel the protection processing and browse.
- the user can grasp details about the person permitted to browse by the photographer, and only limited browsing for other third parties. Therefore, it is possible to realize protection of personal information according to the person to be browsed.
- the person authentication is performed by comparing the person face images in the person authentication process.
- the person authentication is performed using the person's bust-up image or the whole body image. Processing may be performed.
- a person who does not match the registered face image stored in the person registration area 110g is a protection target, and a person who matches the registration face image is a non-protection target.
- the protection processing may be performed in S110 with a person that matches the registered face image stored in the person registration area 110g as a protection target and a person that does not match the registration face image as a non-protection target. . In this way, it is possible to obtain the image data 310h shown in FIG. 19 as a result of the protective processing.
- FIG. 19 is a conceptual diagram illustrating an image that has been subjected to the protective processing of the image processing apparatus 100 according to the first embodiment. Contrary to the case of FIG. 12A where the protection processing is performed, the protection processing is performed on the area specified by the face position of the person confirmed to match the person of the registered face image.
- a camera function selection menu screen 121i shown in FIG. 20 is displayed.
- FIG. 20 is a sketch showing the camera function selection menu screen 121i of the image processing apparatus 100 according to the second embodiment.
- the camera function selection menu screen 121i includes a "shooting (protection level 1)" icon 121i1, a “shooting (protection level 2)" icon 121i2, a “shooting (no protection)” icon 121i3, a "register password” icon 121i4, and a "face It has an “register image” icon 121i5 and an “end” icon 121i6. That is, compared to the camera function selection menu screen 121b shown in FIG. 5 in the first embodiment, the number of icons related to “shooting” is increased. It is assumed that protection level 1 requires a higher level of personal information protection than protection level 2.
- the camera function execution unit 104b monitors which icon constituting the camera function selection menu screen 121i is selected by the user of the image processing apparatus 100.
- the camera function execution unit 104b When it is detected on the camera function selection menu screen 121i that the user of the image processing apparatus 100 has selected the “end” icon 121i6 or the “register face image” icon 121i5, the camera function execution unit 104b performs the above-described first embodiment. The same operation is performed.
- the camera function execution unit 104b displays a password setting screen as shown in FIG. 121j is displayed on the display unit 121.
- FIG. 21 is a sketch diagram showing the password setting screen 121j of the image processing apparatus 100 according to the second embodiment.
- the password setting screen 121j has a level 1 password setting box 121j1, a level 2 password setting box 121j2, and a “return” icon 121j3. That is, compared to the password setting screen 121c shown in FIG. 6 in the first embodiment, the password setting box is increased in accordance with the fact that there are a plurality of protection levels.
- the camera function executing unit 104b When detecting that the user of the image processing apparatus 100 has selected the level 1 password setting box 121j1 or the level 2 password setting box 121j2, the camera function executing unit 104b displays a pop-up screen for character input (not shown) on the display unit 121. And prompts the user to enter a level 1 or level 2 password.
- the camera function execution unit 104b receives the level 1 password and level input in the level 1 password setting box 121j1 and the level 2 password setting box 121j2. 2
- the password is stored in the protection information storage area 110f, the password setting screen 121j is terminated, and the camera function selection menu screen 121i is displayed.
- the user of the image processing apparatus 100 manages a level 1 password, which is required at a high level of personal information protection, for example by himself and keeps it secret for others, or informs only those close to him. Also, the level 2 password is notified to an acquaintance in a relatively wide range, for example. In this way, information management according to the level of personal information protection is performed.
- the user of the image processing apparatus 100 selects any one of the “shooting (protection level 1)” icon 121i1, the “shooting (protection level 2)” icon 121i2, and the “shooting (no protection)” icon 121i3.
- the camera function execution unit 104b executes protection / recording processing of the captured image.
- FIG. 22 is a flowchart for explaining the photographed image protection / recording process according to the second embodiment.
- the protection / recording operation of the captured image according to the present embodiment will be described.
- the user of the image processing apparatus 100 selects any one of the “shooting (protection level 1)” icon 121i1, the “shooting (protection level 2)” icon 121i2, and the “shooting (no protection)” icon 121i3.
- the camera function execution unit 104b performs the same processing as in steps S101 to S106 of FIG. 8 in the first embodiment in steps S301 to S306.
- the camera function execution unit 104b confirms the protection level of the protection processing performed on the captured image (S307).
- the user of the image processing apparatus 100 selects the “shooting (protection level 2)” icon 121i1, the “shooting (protection level 2)” icon 121i2, and the “shooting (protection level)”. None) ”and confirming which of the icons 121i3 has been selected.
- the protection level confirmation processing in S307 is performed by referring to the setting contents of the setting menu.
- the face detection / authentication execution unit 104c extracts based on the face position information detected in S306 from the image data stored in the temporary storage area of the RAM 104 based on the control of the camera function execution unit 104b.
- a person authentication process is performed to compare the face image of each person and the registered face image stored in the person registration area 110g (S310).
- the protection processing execution unit 104d controls the camera function execution unit 104b for the face image that is determined not to match the registered face image stored in the person registration area 110g by the person authentication process in S310.
- a protection process using the level 1 password is performed on the area specified by the face position information detected in S306 (S311). It is assumed that the above-described protection processing can be canceled by the level 1 password.
- FIGS. 23A to 23C are first to third conceptual diagrams illustrating images that have been subjected to the protective processing of the image processing apparatus 100 according to the second embodiment.
- the image data stored in the temporary storage area of the RAM 104 is subjected to protection processing, and becomes image data 310i shown in FIG. 23A. That is, when the result of the confirmation processing in S307 is “protection level 1”, the protection processing is performed regardless of whether or not the person in the captured image is a person stored in the person registration area 110g. However, when browsing the captured image as will be described later, the operation for canceling the protection processing differs depending on whether or not the person in the image is a person stored in the person registration area 110g. .
- the camera function execution unit 104b adds the extension data to the image data 310i subjected to the protection processing to form an image data file, stores it in the image data storage area 110h, and ends the recording sequence (S312).
- the camera The function execution unit 104b does not execute the processes of S308 to S309, but executes only the processes of S310 to S312.
- the image data storage area 110h stores an image data file in which extension data is added to the image data 310j subjected to the protection processing as shown in FIG. 23B. That is, when the person in the captured image is not a person stored in the person registration area 110g, the protection process is performed.
- the camera function is executed.
- the unit 104b does not execute the processes of S308 to S311 but executes only the process of S312.
- the image data storage area 110h stores an image data file in which extension data is added to the image data 310k that has not been subjected to the protective processing as shown in FIG. 23C.
- FIGS. 24A and 24B are first and second conceptual diagrams illustrating image browsing processing of the image processing apparatus 100c according to the second embodiment.
- the image processing apparatus 100c of the present embodiment is used to browse the image data 310m that has been subjected to the protection processing at the protection level 1 by the image processing apparatus 100c itself. In this case, it is possible to cancel all of the protection processing by the level 1 password stored in the protection information storage area 110f. Therefore, the image processing apparatus 100c can display the image data 310n from which all the protection processing is canceled as shown in FIG. 24B.
- 25A to 25C are third to fifth conceptual diagrams illustrating image browsing processing of the image processing apparatus 100d according to the second embodiment.
- the image processing apparatus 100d displays the image data 310p that has been subjected to all the protective processing as shown in FIG. 25A.
- the user of the image processing apparatus 100c notifies the user of the image processing apparatus 100d of the level 2 password stored in the image processing apparatus 100c by means of e-mail or the like, and the user of the image processing apparatus 100d receives the notification.
- the image processing apparatus 100d can cancel a part of the protection processing performed on the image data 310m by the browsing password. Therefore, the image processing apparatus 100d can display the image data 310q from which a part of the protection processing is canceled as shown in FIG. 25B.
- the image processing apparatus 100d When the password for the user of the image processing apparatus 100c to contact the user of the image processing apparatus 100d is the level 1 password stored in the image processing apparatus 100c, the image processing apparatus 100d performs the protection applied to the image data 310m. All processing can be canceled. Therefore, the image processing apparatus 100d can display the image data 310r from which all the protection processing is canceled as shown in FIG. 25C.
- the PC 222 When the image browsing process is executed by the PC 222 capable of operating the image browsing program 110e, the PC 222 is set on the image data 310m by appropriately setting a browsing password, as in the image processing apparatus 100d described above. It is possible to cancel the protection processing and browse.
- the user can grasp details about the person permitted to browse by the photographer, and only limited browsing for other third parties. Therefore, it is possible to realize protection of personal information according to the person to be browsed.
- the person authentication process for determining whether or not to perform the protection process on the image data stored in the temporary storage area of the RAM 104 is performed using the face image of each person extracted based on the face position information.
- the registered face image downloaded from the image data server 212 is used.
- FIG. 26 is a block diagram of the image data server 212 of the third embodiment.
- the image data server 212 includes a main control unit 251, a system bus 252, a RAM 253, a storage unit 260, an image processing unit 270, an operation unit 280, and a LAN communication unit 290.
- the storage unit 260 also stores a person registration area 260g for storing a face image and the like for use in determining whether or not to apply the protective processing, and still image data and moving image data uploaded from the image processing apparatus 100.
- An image data storage area 260h for storing the image data file.
- FIG. 27 is a flowchart illustrating protection / recording processing of a captured image of the image processing apparatus 100 according to the third embodiment.
- FIG. 28 is a sketch diagram illustrating a camera function selection menu screen of the image processing apparatus 100 according to the third embodiment.
- the camera function selection menu screen 121k shown in FIG. 28 is displayed. .
- the camera function When it is detected on the camera function selection menu screen 121k that the user of the image processing apparatus 100 has selected the “end” icon 121k5, the “register face image” icon 121k4, or the “register password” icon 121k3, the camera function is executed.
- the unit 104b performs the same operation as in the first embodiment.
- the camera function execution unit 104b When it is detected on the camera function selection menu screen 121k that the user of the image processing apparatus 100 has selected the “shooting (with protection)” icon 121k1 or the “shooting (without protection)” icon 121k2, the camera function execution unit 104b In steps S401 to S406 in FIG. 27, processing similar to that in steps S101 to S106 in FIG. Next, the camera function execution unit 104b confirms the presence / absence of a protection process performed on the captured image (S407).
- the camera function is executed.
- the unit 104b refers to the registered face image stored in the person registration area 260g of the image data server 212 via the Internet 201 (S408).
- each person extracted by the face detection / authentication execution unit 104c based on the face position information detected in S406 from the image data stored in the temporary storage area of the RAM 104 based on the control of the camera function execution unit 104b A person authentication process is performed to compare the face image and the registered face image referenced in S408 (S409).
- the protection processing execution unit 104d detects the face image detected in S406 based on the control of the camera function execution unit 104b with respect to the face image determined to match the referenced registered face image by the person authentication process in S409. A protection process using the protection password is performed on the area specified by the face position information (S410). Subsequently, the camera function execution unit 104b adds the extension data to the image data subjected to the protection processing to form an image data file, uploads it to the image data storage area 260h of the image data server 212, and ends the recording sequence. (S411).
- the camera function is executed.
- the unit 104b does not execute the processes of S408 to S410, but executes only the process of S411.
- the image data storage area 260h of the image data server 212 uploads an image data file in which extension data is added to the image data that has not been subjected to the protection processing.
- the storage area of the registered face image can be transferred from the storage unit 110 of the image processing apparatus 100 to the storage unit 260 of the image data server 212. For this reason, the memory capacity of the image processing apparatus 100 can be reduced. Also, a plurality of users can share information registered in the person registration area 260g of the image data server 212.
- the person detection process performed in S406 not only the face position of the person but also the face position of the mascot character used in the theme park or the like can be detected, while the face image of the mascot character is stored in the image data server 212. You may make it register beforehand in the person registration area 260g. By doing as described above, it becomes possible to avoid rights problems that occur when image data that includes various mascot characters having copyrights, portrait rights, etc. are mistakenly disclosed on a homepage or the like. .
- each face image displayed in the image data is masked using an image pattern having a predetermined pattern (such as a checker pattern). You may make it replace with the image pattern of the arbitrary characters (dog, cat, etc.) memorize
- a predetermined pattern such as a checker pattern
- the functions and the like of the present invention described above may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
- the microprocessor unit or the like may be realized by software by interpreting and executing a program that realizes each function or the like. Hardware and software may be used together.
- the functions of the present invention are realized mainly by executing the four programs of the camera function program 110b, the face detection / authentication program 110c, the protection processing program 110d, and the image browsing program 110e.
- Each program may be stored in advance in the ROM 103 or the storage unit 110 of the image processing apparatus 100 at the time of product shipment. It may be acquired from the application server 211 on the Internet 201 via the LAN communication unit 151 or the mobile telephone network communication unit 152 after product shipment. Further, the program stored in a memory card, an optical disk, or the like may be acquired via the extension interface unit 170.
- control lines and information lines shown in the figure are those that are considered necessary for the explanation, and not all control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
- Image processing device 101 Main control unit 102: System bus 103: ROM 104: RAM 104a: Basic operation execution unit 104b: Camera function execution unit 104c: Face detection / authentication execution unit 104d: Protection processing execution unit, 104e: Image browsing execution unit, 110: Storage unit, 110f: Protection information storage region, 110g: Person registration region, 110h: Image data storage region, 120: Image processing unit, 121: Display unit, 122: Image signal processing unit 123: first image input unit 124: second image input unit 130: audio processing unit 140: operation unit 150: communication processing unit 160: sensor unit 170: expansion interface unit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
閲覧する人物に応じた個人情報保護を行う画像処理装置を提供する。前記画像処理装置のユーザに固有なパスワードを記憶し、特定の人物の画像データを登録し、撮像された画像データから人物を検出し、検出された人物の画像データと登録された特定の人物の画像データとが一致するか否かを判定し、判定結果に基づいて前記パスワードを参照して検出された人物のうち少なくも顔における画像データを保護加工して出力する。ユーザが操作し入力した情報が前記パスワードと一致する場合には、前記保護加工を解除して画像データを出力する。
Description
本発明は、個人情報保護機能を有する画像処理装置に関する。
被写体像をCCD(Charge Coupled Device)等の電子デバイスにより電気信号に変換してメモリ媒体に記録するデジタルカメラの普及が著しい。また、最近では、このデジタルカメラ機能が携帯電話やスマートホン、タブレット端末等の情報端末機器に搭載されることも一般的となった。更に、インターネットの普及に伴い、前記デジタルカメラ等で撮影した画像を個人で作成したホームページ等に掲載して公開する機会も増えている。
個人で撮影した画像を公開する場合、自他のプライバシーに対する配慮が望まれる。即ち、画像内容から個人情報を特定できないようにする保護処理を、撮影した画像に対して施すことが重要である。前記保護処理を実現するデジタルカメラの一例が下記特許文献1に記載されている。
下記特許文献1には、段落[0008]にあるように、『撮影画像から人物の顔、及び文字等の個人情報と、この個人情報が存在する領域の座標とを検出する個人情報検出手段と、撮影画像に個人情報の座標を含む付加情報を付加した記憶画像を記憶手段に記憶させる記憶制御手段と、記憶手段から読み出した記憶画像を表示手段に再生表示させる際に、個人情報を保護する保護処理を行うか否かを選択可能にする個人情報保護選択手段と、保護処理を行うことが選択されたときに付加情報から個人情報の座標を取得し、個人情報が識別できないように記憶画像に画像処理を施して保護済み画像を生成する画像処理手段と、を備え、記憶制御手段は、保護済み画像を記憶画像とは別の画像として記憶手段に記憶させる』技術が記載されている。
保護処理を行った撮影画像をホームページに掲載して公開した場合、言うまでもなく、前記ホームページを閲覧する人物は前記撮影画像の詳細を把握することができない。しかしながら、ホームページを閲覧する人物が前記撮影画像の撮影者の知人である場合等、過度の個人情報保護が不要であると判断される人物に対しては、前記保護処理を行わない撮影画像の閲覧を許容したい場合がある。保護処理を行っていない撮影画像を掲載するホームページと保護処理を行った撮影画像を掲載するホームページを別個に作成し、一方を知人に対して、他方をその他の第三者に対して公開することも考えられるが、効率的な手法とは言えない。
即ち、撮影者により閲覧を許容された人物は詳細を把握可能であり、その他の第三者は限定的閲覧のみが可能な保護処理を施された撮影画像を用意し、前記撮影画像をホームページに掲載して公開することが望ましい。また、前述の保護処理を実現する機能を有したデジタルカメラであれば使い勝手が良い。しかしながら、前記特許文献1には、前述の保護処理を実現する機能に関する記載はされていない。
本発明の目的は、前記課題を考慮し、閲覧する人物に応じた個人情報保護を実現する画像処理装置を提供することである。
前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。
例を挙げるならば、本発明は画像データを処理する画像処理装置であって、該画像処理装置のユーザに固有な保護情報を記憶する保護情報記憶部と、特定の人物の画像データを登録し記憶する人物画像登録部と、画像データが入力される画像入力部と、該画像入力部から入力された画像データから人物を検出する人物検出部と、該人物検出部で検出された人物の画像データと前記人物画像登録部に登録された人物の画像データとに基づき双方の人物が一致するか否かを判定する人物認証部と、前記画像入力部から入力された画像データに対して前記人物検出部で検出した人物の少なくも顔領域に保護加工を行う保護加工部と、該保護加工部で保護加工された画像データを出力する画像出力部と、前記画像処理装置の動作を制御する制御部を有し、該制御部は、前記人物認証部における判定に基づいて前記保護加工部が前記保護情報記憶部に記憶された保護情報を参照して前記画像データに保護加工を行うように制御することを特徴としている。
また本発明は、画像データを処理する画像処理装置における画像処理方法であって、前記画像処理装置のユーザに固有な保護情報を記憶する保護情報記憶ステップと、特定の人物の画像データを登録し記憶する人物画像登録ステップと、画像データが入力される画像入力ステップと、該画像入力ステップで入力された画像データから人物を検出する人物検出ステップと、該人物検出ステップで検出された人物の画像データと前記人物画像登録ステップで登録された人物の画像データとに基づき双方の人物が一致するか否かを判定する人物認証ステップと、前記画像入力ステップから入力された画像データに対して前記人物検出ステップで検出した人物の少なくも顔領域に保護加工を行う保護加工ステップと、該保護加工ステップで保護加工された画像データを出力する画像出力ステップと、前記画像処理装置の動作を制御する制御ステップを有し、該制御ステップは、前記人物認証ステップにおける判定に基づいて前記保護加工ステップが前記保護情報記憶ステップで記憶された保護情報を参照して前記画像データに保護加工を行うように制御することを特徴としている。
また本発明は、情報を記憶する記憶媒体を有し画像データを処理する画像処理装置における画像処理プログラムであって、前記画像処理装置の指示に応じて前記画像処理装置が有する記憶媒体に書き込まれ該記憶媒体から読み出されて前記画像処理装置を動作させ、前記画像処理装置のユーザに固有な保護情報を前記記憶媒体に記憶する保護情報記憶ステップと、特定の人物の画像データを登録し前記記憶媒体に記憶する人物画像登録ステップと、入力された画像データを取込む画像取込みステップと、該画像取込みステップで取込まれた画像データから人物を検出する人物検出ステップと、該人物検出ステップで検出された人物の画像データと前記人物画像登録ステップで登録された人物の画像データとに基づき双方の人物が一致するか否かを判定する人物認証ステップと、前記画像取込みステップで取込まれた画像データに対して前記人物検出ステップで検出した人物の少なくも顔領域に保護加工を行う保護加工ステップと、該保護加工ステップで保護加工された画像データを出力する画像出力ステップと、前記画像処理装置の動作を制御する制御ステップを有し、該制御ステップは、前記人物認証ステップにおける判定に基づいて前記保護加工ステップが前記保護情報記憶ステップで記憶された保護情報を参照して前記画像データに保護加工を行うように制御することを特徴としている。
本発明の技術を用いることにより、閲覧する人物に応じた個人情報保護を実現する画像処理装置を提供することができる。
以下、本発明の実施形態の例を、図面を用いて説明する。
図1Aは、本実施例の画像処理装置のブロック図である。画像処理装置100は、主制御部101、システムバス102、ROM103、RAM104、ストレージ部110、画像処理部120、音声処理部130、操作部140、通信処理部150、センサ部160、及び拡張インタフェース部170を有する。
図1Bは、本実施例の画像処理装置100のソフトウェア構成図であり、ROM103、RAM104、及びストレージ部110におけるソフトウェア構成を示す。詳細は後述する。
図2は、本実施例の画像処理装置100を含む通信システムの構成図である。前記通信システムは、画像処理装置100と、インターネット等の広域公衆ネットワーク201及びその無線通信用アクセスポイント202、移動体電話通信網の基地局203、アプリケーションサーバ211、画像データサーバ212、移動体電話通信サーバ213、ルータ装置221、及びPC(Personal Computer)222を有する。
画像処理装置100は、デジタルスチルカメラの他、カメラ機能を備えた携帯電話やスマートホン、タブレット端末等であっても良い。また、PDA(Personal Digital Assistants)やノート型PCであっても良い。また、動画撮影可能なビデオカメラや携帯型ゲーム機等、またはその他の携帯用デジタル機器であっても良い。
主制御部101は、所定のプログラムに従って画像処理装置100全体を制御するマイクロプロセッサユニットである。システムバス102は主制御部101と画像処理装置100内の各部との間でデータ送受信を行うためのデータ通信路である。
ROM(Read Only Memory)103は、オペレーティングシステムなどの基本動作プログラムやその他のアプリケーションプログラムが格納されたメモリであり、例えばEEPROM(Electrically Erasable Programmable ROM)やフラッシュROMのような書き換え可能なROMが用いられる。ROM103に格納されたプログラムを更新することにより、基本動作プログラムやその他のアプリケーションプログラムのバージョンアップや機能拡張が可能であるものとする。
RAM(Random Access Memory)104は基本動作プログラムやその他のアプリケーションプログラム実行時のワークエリアとなる。具体的には、例えばROM103に格納された基本動作プログラム103aはRAM104に展開され、更に主制御部101が前記展開された基本動作プログラムを実行することにより、基本動作実行部104aを構成する。以下では、説明を簡単にするために、主制御部101がROM103に格納された基本動作プログラム103aをRAM104に展開して実行することにより各部の制御を行う処理を、基本動作実行部104aが各部の制御を行うものとして記述する。なお、その他のアプリケーションプログラムに関しても同様の記述を行うものとする。
ROM103及びRAM104は主制御部101と一体構成であっても良い。また、ROM103は、図1に示したような独立構成とはせず、ストレージ部110内の一部記憶領域を使用しても良い。また、RAM104は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域を備えるものとする。
ストレージ部110は、画像処理装置100の各動作設定値や画像処理装置100のユーザの情報等を記憶する。また、画像処理装置100で撮影した静止画像データや動画像データ等も、ストレージ部110は、記憶可能であるものとする。また、画像処理装置100は、アプリケーションサーバ211から、インターネット201及び無線通信用アクセスポイント202若しくは移動体電話通信網の基地局203を介して、新規アプリケーションプログラムをダウンロードすることにより、機能拡張が可能であるものとする。この際、ダウンロードした前記新規アプリケーションプログラムは、ストレージ部110に記憶される。主制御部101が、ストレージ部110に記憶された前記新規アプリケーションプログラムをRAM104に展開し、更に前記展開した新規アプリケーションプログラムを実行することにより、画像処理装置100は多種の新規機能を実現可能であるものとする。
ストレージ部110の一部領域を以ってROM103の機能の全部または一部を代替しても良い。また、ストレージ部110は、画像処理装置100に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュROMやSSD(Solid State Drive)、HDD(Hard Disc Drive)等のデバイスが用いられる。
画像処理部120は、表示部121、画像信号処理部122、第一画像入力部123、及び第二画像入力部124を有する。表示部121は、例えば液晶パネル等の表示デバイスであり、画像信号処理部122で処理した画像データを画像処理装置100のユーザに提供する。もちろん、前記画像データを画像処理装置100の外部に設けられた表示デバイスに出力する画像出力部を有しても良い。画像信号処理部122は図示を省略したビデオRAMを備え、前記ビデオRAMに入力された画像データに基づいて表示部121が駆動される。また、画像信号処理部122は、必要に応じてフォーマット変換、メニューやその他のOSD(On Screen Display)信号の重畳処理等を行う機能を有するものとする。第一画像入力部123及び第二画像入力部124は、CCDやCMOS(Complementary Metal Oxide Semiconductor)センサ等の電子デバイスを用いてレンズから入力された光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラユニットである。
図3A及び図3Bは、本実施例の画像処理装置100の第1及び第2の外観図である。なお、前記外観図は、画像処理装置100がスマートホン等の情報端末機器である場合の例であり、図3Aは画像処理装置100の表面図、図3Bは画像処理装置100の背面(裏面)図である。左右側面及び天地面等に関しては図示を省略する。同図に示したように、本実施例においては、第一画像入力部123は表示部121と同一面(表面)に位置し、第二画像入力部124は表示部121の反対面(背面)に位置するものとする。以下では、表示部121と同一面に位置する第一画像入力部123を『インカメラ』、表示部121と反対面に位置する第二画像入力部124を『アウトカメラ』と称する場合がある。
なお、第二画像入力部124の位置は、表示部121と同一面でなければ背面でなくとも良い。また、第二画像入力部124は画像処理装置100と別体であり、有線通信または無線通信により画像処理装置100と接続されるものであっても良い。また、何れか一方のカメラユニットのみが備えられた構成であっても良い。また、画像処理装置100がデジタルスチルカメラである場合等、図3と異なる形状を有していても良い。
音声処理部130は、音声出力部131、音声信号処理部132、及び音声入力部133を有する。音声出力部131はスピーカであり、音声信号処理部132で処理した音声信号を画像処理装置100のユーザに提供する。音声入力部133はマイクであり、ユーザの声などを音声データに変換して入力する。なお、音声入力部133は画像処理装置100と別体であり、有線通信または無線通信により画像処理装置100と接続されるものであっても良い。
操作部140は、画像処理装置100に対する操作指示の入力を行う指示入力部であり、本実施例では、表示部121に重ねて配置したタッチパネル140t及びボタンスイッチを並べた操作キー140k(140k1、140k2)を有するものとする。何れか一方のみであっても良い。後述の拡張インタフェース部170に接続されたキーボード等を用いて画像処理装置100の操作を行っても良い。有線通信または無線通信により接続された別体の情報端末機器を用いて画像処理装置100の操作を行っても良い。また、前記タッチパネル機能は表示部121が備え持っているものであっても良い。
図1に戻って説明を続ける。
通信処理部150は、LAN(Local Area Network)通信部151、移動体電話網通信部152、近接無線通信部153を有する。LAN通信部151はインターネット201の無線通信用アクセスポイント202と無線通信により接続してデータの送受信を行う。移動体電話網通信部152は移動体電話通信網の基地局203との無線通信により、電話通信(通話)及びデータの送受信を行う。近接無線通信部153は対応するリーダ/ライタとの近接時に無線通信を行う。LAN通信部151、移動体電話網通信部152、近接無線通信部153は、それぞれ符号回路や復号回路、アンテナ等を備えるものとする。赤外線通信部等、他の通信部を更に備えていても良い。
センサ部160は、画像処理装置100の状態を検出するためのセンサ群であり、本実施例では、GPS(Global Positioning System)受信部161、加速度センサ162、ジャイロセンサ163、地磁気センサ164、照度センサ165、及び近接センサ166を有する。これらのセンサ群により、画像処理装置100の位置、動き、傾き、方角、及び周囲の明るさ、周囲物の近接状況、等を検出することが可能となる。気圧センサ等、他のセンサを更に備えていても良い。
拡張インタフェース部170は、画像処理装置100の機能を拡張するためのインタフェース群であり、本実施例では、画像/音声インタフェース、USB(Universal Serial Bus)インタフェース、メモリインタフェース等を有するものとする。画像/音声インタフェースは、外部画像/音声出力機器からの画像信号/音声信号の入力、外部画像/音声入力機器への画像信号/音声信号の出力、等を行う。USBインタフェースは、PCと接続してデータの送受信を行い、また、キーボードやその他のUSB機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体が接続されてデータの送受信を行う。
なお、図1に示した画像処理装置100の構成例は、通信処理部150やセンサ部160等、本実施例に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施例の効果を損なうことはない。また、デジタルテレビ放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
以下では、本実施例の画像処理装置100の動作に関して説明する。但し、合焦や露光等のカメラ装置としての一般的な動作/操作に関しては、公知であるものとして、説明を極力省略する。
本実施例の画像処理装置100の動作は、図1Bに示したように、主として、カメラ機能実行部104b、顔検出/認証実行部104c、保護加工実行部104d、画像閲覧実行部104e、及び基本動作実行部104aによって制御される。これらは、ストレージ部110に記憶されたカメラ機能プログラム110b、顔検出/認証プログラム110c、保護加工プログラム110d、画像閲覧プログラム110eがRAM104に展開されて、主制御部101により実行されることによって構成されている。
或いは、前述のカメラ機能実行部104b、顔検出/認証実行部104c、保護加工実行部104d、画像閲覧実行部104eと同等の動作をハードウェアで実現する各ハードウェアブロックを本実施例の画像処理装置100が更に備え、カメラ機能実行部104b、顔検出/認証実行部104c、保護加工実行部104d、画像閲覧実行部104eに代替して、前記各ハードウェアブロックが画像処理装置100の動作を制御するものであっても良い。
また、ストレージ部110の各種情報/データ記憶領域内には、保護情報記憶領域110fと人物登録領域110gと画像データ記憶領域110hが用意される。保護情報記憶領域110fは、画像処理装置100のユーザ認証時や保護加工実行部104dにおけるマスク処理等の保護加工処理時に使用するパスワード類(パスワード、PIN(Personal Identification Number)、キー画像、等)を記憶する。人物登録領域110gは、画像処理装置100のユーザ及びその知人や友人の顔画像等を記憶する。画像データ記憶領域110hは、画像処理装置100で撮影した静止画像データ及び動画像データの画像データファイルを記憶する。
図4は、実施例1の画像処理装置100の表示部121に表示される基本画面121aを示す見取図である。基本画面121aは、電源キー140k1の押下により画像処理装置100の電源がオンされた際に、若しくは、任意のアプリケーションプログラムの実行中にホームキー140k2が押下された際に表示される。基本画面121aの領域121a1に表示されるアイコン群は、画像処理装置100で実行可能な各アプリケーションプログラムに関連付けられたアイコンの集まりである。何れかのアイコンを選択することにより、選択されたアイコンに関連付けられた所定のアプリケーションプログラムが実行される。
なお、前記アイコンの選択は、目的のアイコンが表示された表示部121上の位置に対応するタッチパネル140t上の所定の領域をタップ操作する、等により行えば良い。或いは、図示を省略した十字カーソルキー及び決定キー等の操作キーを操作して行っても良い。第一画像入力部123を用いて画像処理装置100のユーザの視線を検知し、前記検知した視線情報に基づいて前記アイコンの選択を実行しても良い。
先ず、本実施例の画像処理装置100を用いて、被写体画像の撮影及び記録を行う際の動作に関して説明する。
基本画面121aで表示されるアイコン121a2は、本実施例の画像処理装置100の特徴であるカメラ機能プログラム110bに関連付けられたアイコンである。基本動作実行部104aの制御に基づいて動作する画像処理装置100において、画像処理装置100のユーザが基本画面121a上のアイコン121a2をタップ操作等により選択すると、基本動作実行部104aはカメラ機能実行部104bを起動し、制御主体をカメラ機能実行部104bに委譲する。次に、カメラ機能実行部104bは、図5に一例を示すような、カメラ機能選択メニュー画面121bを表示部121に表示する。
図5は、実施例1の画像処理装置100のカメラ機能選択メニュー画面121bを示す見取図である。カメラ機能選択メニュー画面121bは、『撮影』アイコン121b1、『パスワードを登録』アイコン121b2、『顔画像を登録』アイコン121b3、及び『終了』アイコン121b4を有する。カメラ機能選択メニュー画面121bの表示中、カメラ機能実行部104bは、画像処理装置100のユーザがカメラ機能選択メニュー画面121bを構成する何れのアイコンを選択するかを監視する。
カメラ機能選択メニュー画面121bにおいて、画像処理装置100のユーザが『終了』アイコン121b4を選択したことを検知した場合、カメラ機能実行部104bは制御主体を基本動作実行部104aに返却して、カメラ機能実行部104bの動作を終了する。更に、基本動作実行部104aが図4で示した基本画面121aを表示する。
カメラ機能選択メニュー画面121bにおいて、画像処理装置100のユーザが『パスワードを登録』アイコン121b2を選択したことを検知した場合、カメラ機能実行部104bは、図6に一例を示すような、パスワード設定画面121cを表示部121に表示する。
図6は、実施例1の画像処理装置100のパスワード設定画面121cを示す見取図である。パスワード設定画面121cは、保護パスワード設定ボックス121c1及び『戻る』アイコン121c2で構成される。
画像処理装置100のユーザが保護パスワード設定ボックス121c1を選択したことを検知した場合、カメラ機能実行部104bは、図示を省略した文字入力用ポップアップ画面を表示部121に表示し、前記ユーザに保護パスワードの入力を促す。画像処理装置100のユーザが『戻る』アイコン121c2を選択したことを検知した場合、カメラ機能実行部104bは、保護パスワード設定ボックス121c1に入力された保護パスワードを保護情報記憶領域110fに記憶し、パスワード設定画面121cを終了して、図5で示したカメラ機能選択メニュー画面121bを表示する。
カメラ機能選択メニュー画面121bにおいて、画像処理装置100のユーザが『顔画像を登録』アイコン121b3を選択したことを検知した場合、カメラ機能実行部104bは、図7に一例を示すような、人物画像登録画面121dを表示部121に表示する。
図7は、実施例1の画像処理装置100の人物画像登録画面121dを示す見取図である。人物画像登録画面121dは、カメラユニット選択タブ121d1、ライブビューウィンドウ121d2、『画像読込』アイコン121d3、基準マーカ121d4、『顔画像登録』アイコン121d5、及び『戻る』アイコン121d6を有する。
カメラユニット選択タブ121d1は、被写体の撮影を行う際に使用するカメラユニットを選択するためのタブである。画像処理装置100のユーザが『インカメラ』と表示されたタブを選択したことを検知した場合、カメラ機能実行部104bは、第一画像入力部123を有効化し、第一画像入力部123から被写体画像の入力を行う。一方、画像処理装置100のユーザが『アウトカメラ』と表示されたタブを選択したことを検知した場合、カメラ機能実行部104bは、第二画像入力部124を有効化し、第二画像入力部124から被写体画像の入力を行う。
ライブビューウィンドウ121d2は、第一画像入力部123若しくは第二画像入力部124が入力した画像データをそのまま表示する。画像処理装置100のユーザは、ライブビューウィンドウ121d2の表示を確認しながら、撮影を行おうとする被写体の構図等を調整することが可能である。なお、ライブビューウィンドウ121d2が表示された表示部121上の位置に対応するタッチパネル140t上でピンチアウト/イン等の操作を行うことにより、第一画像入力部123若しくは第二画像入力部124のズームイン/アウトの制御が可能であるものとする。
画像処理装置100のユーザが『画像読込』アイコン121d3を選択したことを検知した場合、カメラ機能実行部104bは、図示を省略した画像データファイル選択用ポップアップ画面を表示部121に表示する。更に、前記画像データファイル選択用ポップアップ画面で選択した画像データファイルを画像データ記憶領域110h或いは拡張インタフェース170に接続されたメモリ媒体等から読出し、その画像データをライブビューウィンドウ121d2に表示する。
基準マーカ121d4は、画像処理装置100に登録する顔画像等をライブビューウィンドウ121d2に表示されている画像データから抽出する際の位置基準となる。ライブビューウィンドウ121d2に表示されている画像データに複数の人物が表示されている場合は、基準マーカ121d4をドラッグ操作等により移動させて、登録したい人物を選択するようにする。
画像処理装置100のユーザが『顔画像登録』アイコン121d5を選択したことを検知した場合、顔検出/認証実行部104cが、カメラ機能実行部104bの制御に基づき、ライブビューウィンドウ121d2に表示されている画像データの、基準マーカ121d4で選択されている人物の顔画像を抽出する。更に、カメラ機能実行部104bが、前記抽出した顔画像を登録顔画像として人物登録領域110gに登録する。
ライブビューウィンドウ121d2に表示されている画像データから抽出した顔画像は、そのままRAW形式で人物登録領域110gに登録しても良いし、所定の画像圧縮処理を施した圧縮形式で登録しても良い。また、画像圧縮処理を施す際には、データの再現性に配慮して可逆方式の圧縮処理を採用しても良いし、保存時のデータ量を削減するために不可逆方式の圧縮処理を採用しても良い。また、前記抽出した顔画像から顔特徴データのみを抽出して人物登録領域110gに登録するようにしても良い。なお、人物登録領域110gに登録可能な登録顔画像は一つであっても良いし、複数であっても良い。
また、前述の人物の顔画像を登録顔画像として人物登録領域110gに登録する処理に代替して、人物のバストアップ画像や全身画像を登録人物画像として人物登録領域110gに登録する処理を行っても良い。即ち、人物登録領域110gに登録する画像は、後述の人物認証処理において、人物の判別が可能となる画像であればどのような画像であっても良い。
画像処理装置100のユーザが『戻る』アイコン121d6を選択したことを検知した場合、カメラ機能実行部104bは、人物画像登録画面121dを終了して、図5で示したカメラ機能選択メニュー画面121bを表示する。
カメラ機能選択メニュー画面121bにおいて、画像処理装置100のユーザが『撮影』アイコン121b1を選択したことを検知した場合、カメラ機能実行部104bは、撮影画像の保護/記録処理を実行する。
図8は、実施例1の画像処理装置100の撮影画像の保護/記録処理を示すフローチャートである。以下、図8に示したフローチャートを用いて、本実施例の画像処理装置100の特徴である撮影画像の保護/記録動作に関して説明する。
カメラ機能選択メニュー画面121bにおいて、画像処理装置100のユーザが『撮影』アイコン121b1を選択したことを検知した場合、カメラ機能実行部104bは、第一映像入力部123または第二映像入力部124を有効化して画像データの入力を開始するとともに、前記入力した画像データを図9のライブビュー表示画面121eに表示する(S101)。
図9は、実施例1の画像処理装置100のライブビュー表示画面121eを示す見取図である。ライブビュー表示画面121eは、カメラユニット選択タブ121e1、ライブビューウィンドウ121e2、『シャッタ』アイコン121e3、及び『終了』アイコン121e4を有する。
カメラユニット選択タブ121e1及びライブビューウィンドウ121e2は、人物画像登録画面121dにおけるカメラユニット選択タブ121d1及びライブビューウィンドウ121d2と同様の機能を有するものであり、説明を省略する。
また、カメラ機能実行部104bは、ライブビュー表示画面121eの表示中、画像処理装置100のユーザが『終了』アイコン121e4を選択するか否か(S102)、及び『シャッタ』アイコン121e3を選択するか否か(S103)を監視する。
S102において、画像処理装置100のユーザが『終了』アイコン121e4を選択したことを検知した場合、カメラ機能実行部104bは、制御主体を基本動作実行部104aに返却して、カメラ機能実行部104bの動作を終了する。更に、基本動作実行部104aが基本画面121aを表示する。また、S103において、画像処理装置100のユーザが『シャッタ』アイコン121e3を選択したことを検知した場合、カメラ機能実行部104bは記録シーケンスを開始する(S104)。
なお、S103における画像処理装置100のユーザによる『シャッタ』アイコン121e3の選択処理に代替して、図示を省略したシャッタボタンへの押下処理をトリガとして、S104で記録シーケンスを開始するようにしても良い。画像処理装置100のユーザの発した命令音声に対する音声認識処理をトリガとして、S104で記録シーケンスを開始するようにしても良い。有線通信または無線通信により接続された別体の情報端末機器から受信したシャッタ命令をトリガとして、S104で記録シーケンスを開始するようにしても良い。
S104で記録シーケンスを開始すると、先ず、カメラ機能実行部104bが、前記合焦、露光等の制御を行い、更に、CCD/CMOSセンサ等の電子デバイスの出力をデジタル画像データに変換することにより、第一画像入力部123若しくは第二画像入力部124から画像データの入力を行う。また、カメラ機能実行部104bは、前記入力された画像データに対するガンマ補正、ノイズ除去、等の信号処理を行い、前記各処理を施した画像データをRAM104の一時記憶領域に記憶する(S105)。更に、顔検出/認証実行部104cが、カメラ機能実行部104bの制御に基づき、RAM104の一時記憶領域に記憶された前記画像データに対して人物検出処理を実行する(S106)。
図10は、実施例1の画像処理装置100の人物検出処理を示す概念図である。S106の人物検出処理では、RAM104の一時記憶領域に記憶した前記画像データに対して、表示されている全ての人物の顔位置を検出する処理を行う。即ち、RAM104の一時記憶領域に記憶した画像データが図10に示した画像データ310aである場合、顔検出/認証実行部104cは、人物310a1の顔位置310a4、人物310a2の顔位置310a5、及び人物310a3の顔位置310a6をそれぞれ検出し、前記検出した各顔位置情報をRAM104の一時記憶領域に記憶する。なお、前記人物検出処理における顔位置検出のアルゴリズムは公知の技術を適用すれば良く、詳細な説明を省略する。また、前記人物検出処理の際には、人物の顔位置のみを検出するのではなく、人物の顔を含む身***置を検出するようにしても良い。
また、前記顔位置情報の記憶は、顔位置を示す破線矩形の左上と右下の座標データを記憶することにより行えば良い。顔位置を示す破線矩形の左上の座標データと、破線矩形の幅及び高さを示す値を記憶する等、前述と異なる処理であっても良い。
次に、顔検出/認証実行部104cは、カメラ機能実行部104bの制御に基づき、S106で検出した前記顔位置情報に基づいてRAM104の一時記憶領域に記憶された前記画像データから抽出した前記各人物の顔画像と、人物登録領域110gに記憶されている前記登録顔画像とを比較する人物認証処理を行い(S107)、前記人物認証処理の結果を図11で示すようなプレビュー画面121fとして、表示部121に表示する。
図11は、実施例1の画像処理装置100のプレビュー画面121fを示す見取図である。プレビュー画面121fは、プレビューウィンドウ121f1、非保護対象マーカ121f2、保護対象マーカ121f3、『保護して記録』アイコン121f4、『保護なしで記録』アイコン121f5を有する。
プレビューウィンドウ121f1は、S104で開始した記録シーケンスにおいて、第一画像入力部123若しくは第二画像入力部124が入力し、各種処理の後にRAM104の一時記憶領域に記憶され、S107の人物認証処理を施された前記画像データを表示する。
非保護対象マーカ121f2は、S106の人物検出処理で検出した各人物の顔位置のうち、S107の人物認証処理で人物登録領域110gに記憶されている前記登録顔画像の人物と一致すると判断された人物の顔画像の顔位置を示すマーカである。一方、保護対象マーカ121f3は、S106の人物検出処理で検出した各人物の顔位置のうち、S107の人物認証処理で人物登録領域110gに記憶されている前記登録顔画像の人物と一致しないと判断された人物の顔画像の顔位置を示すマーカである。
なお、非保護対象マーカ121f2及び保護対象マーカ121f3は、それぞれのマーカ位置をタップ操作等で選択することにより、非保護対象マーカ121f2を保護対象マーカ121f3に、または、保護対象マーカ121f3を非保護対象マーカ121f2に、それぞれ変更することができるものとする(S108)。即ち、前述の処理により、S107の人物認証処理において誤認証が有った場合でも、画像処理装置100のユーザが前記誤認証を修正することが可能となる。
また、カメラ機能実行部104bは、プレビュー画面121fの表示中、画像処理装置100のユーザが『保護して記録』アイコン121f4及び『保護なしで記録』アイコン121f5の何れを選択するかを監視する(S109)。なお、プレビュー画面121fに、更に、『記録しない』アイコンが用意されていても良い。
プレビュー画面121fにおいて、画像処理装置100のユーザが『保護して記録』アイコン121f4を選択したことを検知した場合、保護加工実行部104dが、カメラ機能実行部104bの制御に基づき、RAM104の一時記憶領域に記憶した前記画像データの中の保護対象マーカ121f3で指定される人物の、S106で検出した前記顔位置情報で指定される領域に対して保護加工処理を実施する(S110)。
例えば、前述の図10に示した例において、人物310a1及び人物310a2の顔画像は予め人物登録領域110gに記憶済みであり、人物310a3の顔画像は人物登録領域110gに記憶されていないものとする。この場合、前記登録顔画像の人物と一致しないことが確認された人物310a3の顔位置310a6で指定される領域に保護加工処理が施され、その結果、図12Aに示す画像データ310bのようになる。
図12Aは、実施例1の画像処理装置100の保護加工処理を施された画像310bを示す概念図である。本実施例においては、前記保護加工処理として、前記領域にモザイクをかける処理を行う。ぼかし処理や、所定の色による塗りつぶし処理であっても良い。なお、前記保護加工処理は、前記保護パスワードを用いて解除が可能であるものとする。
カメラ機能実行部104bは、前記保護加工処理を施した画像データ310bに後述する拡張データを付加して画像データファイルとし、画像データ記憶領域110hに記憶して、記録シーケンスを終了する(S111)。更に、カメラ機能実行部104bは、処理ステップを画像処理装置100のユーザが『終了』アイコン121e4を選択するか否か(S102)、及び『シャッタ』アイコン121e3を選択するか否か(S103)の監視状態に移行する。
図12Bは、実施例1の画像処理装置100の保護加工処理を施されない画像310cを示す概念図である。プレビュー画面121fにおいて、画像処理装置100のユーザが『保護なしで記録』アイコン121f5を選択したことを検知した場合、カメラ機能実行部104bは、S110の処理を実行せず、S111の処理のみを実行する。その結果、画像データ記憶領域110hには、図12Bに示すような前記保護加工処理の施されていない画像データ310cに拡張データを付加した画像データファイルが記憶される。
なお、S111の処理において、前記画像データファイルを、画像データ記憶領域110hに記憶するのではなく、拡張インタフェース170に接続されたメモリ媒体に対して出力するようにしても良い。或いは、通信処理部150から出力して画像データサーバ212にアップロードするようにしても良い。一旦画像データ記憶領域110hに記憶し、後に電子メール等にファイル添付する等の方法で、他の画像処理装置やPCに通信処理部150を介して出力するようにしても良い。
また、画像データ記憶領域110hに記憶する画像データファイルは、図13に示すようなファイル構成を有するものとする。
図13は、実施例1の画像処理装置100の画像データファイル300の構成を示す概念図である。本実施例の画像データファイル300は、画像データ310と拡張データ320を含み、特に、前記拡張データ320は、前記画像データ310の撮影日時やシャッタ速度、絞り等、また撮影場所のGPS情報等の撮影条件を示す撮影条件情報321と、S106の処理で検出した顔位置情報及び保護加工処理の有無などを示す保護処理情報322で構成されるものとする。即ち、前記画像データファイルの拡張データを参照することにより、前記画像データのどの領域に対して保護加工処理が施されているか、を知ることが可能となる。
次に、本実施例の画像処理装置100で記録した画像データファイルを閲覧する際の動作に関して説明する。
図4に示した基本画面121aで表示されるアイコン121a3は、本実施例の画像処理装置100の特徴である画像閲覧プログラム110eに関連付けられたアイコンである。基本動作実行部104aの制御に基づいて動作する画像処理装置100において、画像処理装置100のユーザが基本画面121a上のアイコン121a3をタップ操作等により選択すると、基本動作実行部104aは画像閲覧実行部104eを起動し、制御主体を画像閲覧実行部104eに委譲する。次に、画像閲覧実行部104eは、図14に一例を示すような、閲覧メニュー画面121gを表示部121に表示する。
図14は、実施例1の画像処理装置100の閲覧メニュー画面121gを示す見取図である。閲覧メニュー画面121gは、『画像を閲覧』アイコン121g1、『パスワードを登録』アイコン121g2、及び『終了』アイコン121g3を有する。閲覧メニュー画面121gの表示中、画像閲覧実行部104eは、画像処理装置100のユーザが閲覧メニュー画面121gを構成する何れのアイコンを選択するかを監視する。
閲覧メニュー画面121gにおいて、画像処理装置100のユーザが『終了』アイコン121g3を選択したことを検知した場合、画像閲覧実行部104eは制御主体を基本動作実行部104aに返却して、画像閲覧実行部104eの動作を終了する。更に、基本動作実行部104aが基本画面121aを表示する。
閲覧メニュー画面121gにおいて、画像処理装置100のユーザが『パスワードを登録』アイコン121g2を選択したことを検知した場合、画像閲覧実行部104eは、図15に一例を示すような、閲覧パスワード設定画面121hを表示部121に表示する。
図15は、実施例1の画像処理装置100の閲覧パスワード設定画面121hを示す見取図である。閲覧パスワード設定画面121hは、閲覧パスワード1設定ボックス121h1、閲覧パスワード2設定ボックス121h2、閲覧パスワード3設定ボックス121h3、及び『戻る』アイコン121h4を有する。
画像処理装置100のユーザが閲覧パスワード1設定ボックス121h1、閲覧パスワード2設定ボックス121h2、閲覧パスワード3設定ボックス121h3、の何れかを選択したことを検知した場合、画像閲覧実行部104eは、図示を省略した文字入力用ポップアップ画面を表示部121に表示し、前記ユーザに閲覧パスワード1、閲覧パスワード2、閲覧パスワード3、等の入力を促す。画像処理装置100のユーザが『戻る』アイコン121h4を選択したことを検知した場合、画像閲覧実行部104eは、閲覧パスワード1設定ボックス121h1と閲覧パスワード2設定ボックス121h2と閲覧パスワード3設定ボックス121h3に入力された閲覧パスワード1と閲覧パスワード2と閲覧パスワード3を保護情報記憶領域110fに記憶し、閲覧パスワード設定画面121hを終了して閲覧メニュー画面121gを表示する。
なお、本実施例では、前記閲覧パスワードとして三組の文字列を設定できるものとしたが、設定できる閲覧パスワードの数は三組に限らずに任意として良い。
閲覧メニュー画面121gにおいて、画像処理装置100のユーザが『画像を閲覧』アイコン121g1を選択したことを検知した場合、画像閲覧実行部104eは、図示を省略した画像データファイル選択用ポップアップ画面を表示部121に表示する。更に、前記画像データファイル選択用ポップアップ画面で選択した画像データファイルを画像データ記憶領域110h、拡張インタフェース170に接続されたメモリ媒体、画像データサーバ212上の所定のフォルダ、等から読出し、その画像データを表示部121に表示する画像閲覧処理を実行する。
図16は、実施例1の画像処理装置100の画像閲覧処理を示すフローチャートである。以下、図16に示したフローチャートを用いて、本実施例の画像処理装置100の特徴である画像閲覧動作に関して説明する。
閲覧メニュー画面121gにおいて、画像処理装置100のユーザが『画像を閲覧』アイコン121g1を選択し、更に、画像データファイル選択用ポップアップ画面で所定の場所に記憶された任意の画像データファイルを選択すると、画像閲覧実行部104eが、先ず、前記画像データファイル選択用ポップアップ画面で指定された画像データファイルを前記所定の場所からRAM104上の一時記憶領域に読み込む(S201)。また、画像閲覧実行部104eは、保護情報記憶領域110fに記憶された保護パスワード、閲覧パスワード、の各パスワードを読み込む(S202)。
次に、S201でRAM104上の一時記憶領域に読み込んだ前記画像データファイルの拡張データを画像閲覧実行部104eが参照し、更に、保護加工実行部104dが、画像閲覧実行部104eの制御に基づき、前記画像データファイルの画像データに施された保護加工処理が前記各パスワードの何れかで解除可能か否かを確認する(S203)。
S203において、前記画像データに施された保護加工処理が前記各パスワードの何れかで解除可能であることが確認された場合、保護加工実行部104dが、画像閲覧実行部104eの制御に基づき、前記画像データに施された保護加工処理の解除を行う(S204)。更に、画像閲覧実行部104eが前記保護加工処理の解除を行った前記画像データを表示部121に表示する(S205)。
一方、S203において、前記画像データに施された保護加工処理が前記各パスワードの何れによっても解除できないことが確認された場合、前記画像データをそのまま(即ち、前記保護加工処理が施されたまま)表示部121に表示する(S205)。
図17A及び図17Bは、実施例1の画像処理装置100の画像閲覧処理を示す第1及び第2の概念図である。前述の画像閲覧処理を行うことにより、図17Aに示すように、本実施例の画像処理装置100aを用いて、保護加工処理を行った画像データ310dを、画像処理装置100a自身で閲覧する場合、保護情報記憶領域110fに記憶されている保護パスワードにより前記保護加工処理を解除することが可能である。したがって、画像処理装置100aは、図17Bに示すような、保護加工処理が解除された画像データ310eを表示可能である。
図18A及び図18Bは、実施例1の画像処理装置100の第3及び第4の画像閲覧処理を示す概念図である。一方、画像処理装置100aとは異なる画像処理装置100bで画像データ310dを閲覧する場合、図18Aに示すように、画像処理装置100bが記憶する保護パスワードでは画像データ310dに施された前記保護加工処理は解除できない。したがって、画像処理装置100bは、図18Aに示したような、保護加工処理がされたままの画像データ310fを表示する。
但し、画像処理装置100aのユーザが画像処理装置100bのユーザに、画像処理装置100aが記憶する保護パスワードを電子メール等の手段により連絡し、更に画像処理装置100bのユーザが前記連絡を受けた保護パスワードを閲覧パスワードとして画像処理装置100bに記憶させた場合、画像処理装置100bは、前記閲覧パスワードにより、画像データ310dに施された前記保護加工処理を解除可能となる。したがって、画像処理装置100bは、図18Bに示すような、保護加工処理の解除がされた画像データ310gを表示できる。
なお、前記画像閲覧処理を画像閲覧プログラム110eが動作可能なPC222で実行する場合、前述の画像処理装置100bと同様に、閲覧パスワードを適宜設定することによって、PC222は画像データ310dに施された前記保護加工処理を解除して閲覧することが可能である。
以上説明したように、本実施例の画像処理装置100によればユーザは、撮影者により閲覧を許容された人物については詳細を把握でき、その他の第三者については限定的閲覧のみとするように保護加工処理を施された状態で把握でき、したがって、閲覧する人物に応じた個人情報保護を実現すること可能となる。
なお、前述の実施例では、保護加工処理の際に用いる保護情報としてパスワードを用いる例を記述したが、これはあくまでも一例であり、例えば、PINやキー画像等を使用しても良いことは言うまでもない。また、前述の実施例では、人物認証処理において、人物の顔画像の比較により人物の認証を行っているが、これもあくまでも一例であり、人物のバストアップ画像や全身画像を用いて前記人物認証処理を行っても良い。
また、前述の例では、人物登録領域110gに記憶されている登録顔画像と一致しない人物を保護対象とし、前記登録顔画像と一致する人物を非保護対象として、S110で保護加工処理を行っている。逆に、人物登録領域110gに記憶されている登録顔画像と一致する人物を保護対象とし、前記登録顔画像と一致しない人物を非保護対象として、S110で保護加工処理を行うようにしても良い。このようにすれば、前記保護加工処理の結果、図19に示す画像データ310hを得ることが可能となる。
図19は、実施例1の画像処理装置100の保護加工処理を施された画像を示す概念図である。保護加工処理を施された図12Aの場合とは反対に、前記登録顔画像の人物と一致することが確認された人物の顔位置で指定される領域に保護加工処理が施されている。
以下では、本発明の実施例2に関して説明する。なお、本実施例における構成及び効果等は特に断りのない限り実施例1と同様であるものとする。このため、以下では、本実施例と実施例1との相違点を主に説明し、共通する点については重複を避けるため極力説明を省略する。
本実施例においては、画像処理装置100のユーザが図4で示した基本画面121a上のアイコン121a2をタップ操作等により選択した場合、図20に示すカメラ機能選択メニュー画面121iが表示される。
図20は、実施例2の画像処理装置100のカメラ機能選択メニュー画面121iを示す見取図である。カメラ機能選択メニュー画面121iは、『撮影(保護レベル1)』アイコン121i1、『撮影(保護レベル2)』アイコン121i2、『撮影(保護なし)』アイコン121i3、『パスワードを登録』アイコン121i4、『顔画像を登録』アイコン121i5、及び『終了』アイコン121i6を有する。即ち、先の実施例1において図5で示したカメラ機能選択メニュー画面121bと比較し、『撮影』に係るアイコンの数が増加されている。なお、保護レベル1においては保護レベル2よりも、個人情報保護が高いレベルで要求されるものとする。カメラ機能選択メニュー画面121iの表示中、カメラ機能実行部104bは、画像処理装置100のユーザがカメラ機能選択メニュー画面121iを構成する何れのアイコンを選択するかを監視する。
カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『終了』アイコン121i6または『顔画像を登録』アイコン121i5を選択したことを検知した場合、カメラ機能実行部104bは、前述の実施例1と同様の動作を行う。
カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『パスワードを登録』アイコン121i4を選択したことを検知した場合、カメラ機能実行部104bは、図21に一例を示すような、パスワード設定画面121jを表示部121に表示する。
図21は、実施例2の画像処理装置100のパスワード設定画面121jを示す見取図である。パスワード設定画面121jは、レベル1パスワード設定ボックス121j1、レベル2パスワード設定ボックス121j2、及び『戻る』アイコン121j3を有する。即ち、先の実施例1において図6で示したパスワード設定画面121cと比較し、保護レベルが複数となったことに応じて、パスワード設定ボックスが増加されている。
画像処理装置100のユーザがレベル1パスワード設定ボックス121j1またはレベル2パスワード設定ボックス121j2を選択したことを検知した場合、カメラ機能実行部104bは、図示を省略した文字入力用ポップアップ画面を表示部121に表示し、前記ユーザにレベル1パスワードまたはレベル2パスワードの入力を促す。画像処理装置100のユーザが『戻る』アイコン121j3を選択したことを検知した場合、カメラ機能実行部104bは、レベル1パスワード設定ボックス121j1及びレベル2パスワード設定ボックス121j2に入力されたレベル1パスワード及びレベル2パスワードを保護情報記憶領域110fに記憶し、パスワード設定画面121jを終了してカメラ機能選択メニュー画面121iを表示する。
なお、画像処理装置100のユーザは、個人情報保護が高いレベルで要求されるレベル1のパスワードを、例えば自分一人で管理して他人には秘し、或いはごく身近な者にのみ知らせる。また、レベル2のパスワードを、例えば比較的広い範囲で知人に知らせる。このようにすることで、個人情報保護のレベルに応じた情報管理が行われる。
カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『撮影(保護レベル1)』アイコン121i1、『撮影(保護レベル2)』アイコン121i2、『撮影(保護なし)』アイコン121i3、の何れかを選択したことを検知した場合、カメラ機能実行部104bは、撮影画像の保護/記録処理を実行する。
図22は、実施例2の撮影画像の保護/記録処理を説明するフローチャートである。以下、図22に示したフローチャートを用いて、本実施例の撮影画像の保護/記録動作に関して説明する。
カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『撮影(保護レベル1)』アイコン121i1、『撮影(保護レベル2)』アイコン121i2、『撮影(保護なし)』アイコン121i3、の何れかを選択したことを検知した場合、カメラ機能実行部104bは、S301~S306のステップで実施例1における図8のS101~S106と同様の処理を行う。
次に、カメラ機能実行部104bは、撮影画像に対して実施する保護加工処理の保護レベルを確認する(S307)。前記処理は、本実施例では、カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『撮影(保護レベル1)』アイコン121i1、『撮影(保護レベル2)』アイコン121i2、『撮影(保護なし)』アイコン121i3、の何れを選択したかを確認することと同意である。
なお、カメラ機能選択メニュー画面121iにおける『撮影(保護レベル1)』アイコン121i1と『撮影(保護レベル2)』アイコン121i2と『撮影(保護なし)』アイコン121i3の三つのアイコンに代替して、ただ一つの『撮影』アイコンと前記保護レベルを選択するための設定メニューを別途用意するようにしても良い。この場合、S307における前記保護レベルの確認処理は、前記設定メニューの設定内容を参照することにより行うようにする。
S307の確認処理の結果が『保護レベル1』の場合、(即ち、カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『撮影(保護レベル1)』アイコン121i1を選択した場合、)顔検出/認証実行部104cが、カメラ機能実行部104bの制御に基づき、RAM104の一時記憶領域に記憶した前記画像データからS306で検出した前記顔位置情報に基づいて抽出した前記各人物の顔画像と、人物登録領域110gに記憶されている前記登録顔画像とを比較する人物認証処理を行う(S308)。更に、S308の人物認証処理により、人物登録領域110gに記憶されている前記登録顔画像と一致すると判断された前記顔画像に対しては、保護加工実行部104dが、カメラ機能実行部104bの制御に基づき、S306で検出した前記顔位置情報で指定される領域に、前記レベル1パスワード及び前記レベル2パスワードの双方のパスワードを用いた保護加工処理を施す(S309)。なお、前述の保護加工処理は前記レベル1パスワードまたは前記レベル2パスワードのいずれかのパスワードにより解除が可能であるものとする。
S309の処理の後、顔検出/認証実行部104cは、カメラ機能実行部104bの制御に基づき、RAM104の一時記憶領域に記憶した前記画像データからS306で検出された前記顔位置情報に基づいて抽出した前記各人物の顔画像と、人物登録領域110gに記憶されている前記登録顔画像とを比較する人物認証処理を行う(S310)。更に、S310の人物認証処理により、人物登録領域110gに記憶されている前記登録顔画像と一致しないと判断された前記顔画像に対して、保護加工実行部104dが、カメラ機能実行部104bの制御に基づき、S306で検出した前記顔位置情報で指定される領域に、前記レベル1パスワードを用いた保護加工処理を施す(S311)。なお、前述の保護加工処理は前記レベル1パスワードにより解除が可能であるものとする。
図23A乃至図23Cは、実施例2の画像処理装置100の保護加工処理を施された画像を示す第1乃至第3の概念図である。
S308~S311の処理により、RAM104の一時記憶領域に記憶した前記画像データは保護加工処理を施され、図23Aに示す画像データ310iのようになる。即ち、S307の確認処理の結果が『保護レベル1』の場合、撮像した画像における人物が人物登録領域110gに記憶されている人物であるか否かに係りなく、保護加工処理が施される。但し、後記するように撮像した画像を閲覧する際に、該画像における人物が人物登録領域110gに記憶されている人物であるか否かによって、保護加工処理を解除する際の動作が異なっている。
カメラ機能実行部104bは、前記保護加工処理の施された画像データ310iに拡張データを付加して画像データファイルとし、画像データ記憶領域110hに記憶して記録シーケンスを終了する(S312)。
S307の確認処理の結果が『保護レベル2』の場合、(即ち、カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『撮影(保護レベル2)』アイコン121i2を選択した場合、)カメラ機能実行部104bは、S308~S309の処理を実行せず、S310~S312の処理のみを実行する。その結果、画像データ記憶領域110hには、図23Bに示すような前記保護加工処理の施された画像データ310jに拡張データを付加した画像データファイルが記憶される。即ち、撮像した画像における人物が人物登録領域110gに記憶されている人物ではない場合に、保護加工処理が施される。
S307の確認処理の結果が『保護なし』の場合、(即ち、カメラ機能選択メニュー画面121iにおいて、画像処理装置100のユーザが『撮影(保護なし)』アイコン121i3を選択した場合、)カメラ機能実行部104bは、S308~S311の処理を実行せず、S312の処理のみを実行する。その結果、画像データ記憶領域110hには、図23Cに示すような前記保護加工処理の施されていない画像データ310kに拡張データを付加した画像データファイルが記憶される。
次に、本実施例の画像処理装置100で記録した画像データファイルを閲覧する際の動作に関して説明する。
図24A及び図24Bは、実施例2の画像処理装置100cの画像閲覧処理を示す第1の及び第2の概念図である。
本実施例の画像閲覧処理では、図24Aに示すように、本実施例の画像処理装置100cを用いて、保護レベル1で保護加工処理を行った画像データ310mを、画像処理装置100c自身で閲覧する場合、保護情報記憶領域110fに記憶されているレベル1パスワードにより前記保護加工処理の全てを解除することが可能である。したがって、画像処理装置100cは、図24Bに示すような、全ての保護加工処理が解除された画像データ310nを表示可能である。
図25A乃至図25Cは、実施例2の画像処理装置100dの画像閲覧処理を示す第3乃至第5の概念図である。
一方、画像処理装置100cとは異なる画像処理装置100dで画像データ310mを閲覧する場合、図25Aに示すように、画像処理装置100dが記憶するレベル1パスワードとレベル2パスワードの何れにおいても画像データ310mに施された前記保護加工処理は解除できない。したがって、画像処理装置100dは、図25Aに示したような、全ての保護加工処理がされたままの画像データ310pを表示する。
但し、画像処理装置100cのユーザが画像処理装置100dのユーザに、画像処理装置100cが記憶するレベル2パスワードを電子メール等の手段により連絡し、更に画像処理装置100dのユーザが前記連絡を受けたレベル2パスワードを閲覧パスワードとして画像処理装置100dに記憶させた場合、画像処理装置100dは、前記閲覧パスワードにより、画像データ310mに施された前記保護加工処理の一部を解除できる。したがって、画像処理装置100dは、図25Bに示すような、一部の保護加工処理が解除された画像データ310qを表示できる。
また、画像処理装置100cのユーザが画像処理装置100dのユーザに連絡するパスワードが、画像処理装置100cが記憶する前記レベル1パスワードである場合、画像処理装置100dは画像データ310mに施された前記保護加工処理の全てを解除できる。したがって、画像処理装置100dは、図25Cに示すような、全ての保護加工処理が解除された画像データ310rを表示可能できる。
なお、前記画像閲覧処理を画像閲覧プログラム110eが動作可能なPC222で実行する場合、前述の画像処理装置100dと同様に、閲覧パスワードを適宜設定することによって、PC222は画像データ310mに施された前記保護加工処理を解除して閲覧することが可能である。
以上説明したように、本実施例の画像処理装置100によればユーザは、撮影者により閲覧を許容された人物については詳細を把握でき、その他の第三者については限定的閲覧のみとするように保護加工処理を施された状態で把握でき、したがって、閲覧する人物に応じた個人情報保護を実現すること可能となる。
以下では、本発明の実施例3に関して説明する。なお、本実施例における構成及び効果等も特に断りのない限り実施例1と同様であるものとする。このため、以下では、本実施例と実施例1との相違点を主に説明し、共通する点については重複を避けるため極力説明を省略する。
本実施例では、RAM104の一時記憶領域に記憶した画像データに対して保護加工処理を行うか否かを判断するための人物認証処理を、顔位置情報に基づいて抽出した各人物の顔画像と、画像データサーバ212からダウンロードした登録顔画像とで行うようにする。
図26は、実施例3の画像データサーバ212のブロック図である。画像データサーバ212は、主制御部251、システムバス252、RAM253、ストレージ部260、画像処理部270、操作部280、及びLAN通信部290を有する。また、ストレージ部260は、保護加工処理の適用可否の判断に使用するための顔画像等を予め記憶させておく人物登録領域260gと、画像処理装置100からアップロードされた静止画像データ及び動画像データの画像データファイルを蓄積する画像データ記憶領域260hとを備える。
図27は、実施例3の画像処理装置100の撮影画像の保護/記録処理を示すフローチャートである。
図28は、実施例3の画像処理装置100のカメラ機能選択メニュー画面を示す見取図である。
本実施例においては、画像処理装置100のユーザが先に図4で示した基本画面121a上のアイコン121a2をタップ操作等により選択した場合、図28に示すカメラ機能選択メニュー画面121kが表示される。
カメラ機能選択メニュー画面121kにおいて、画像処理装置100のユーザが『終了』アイコン121k5、『顔画像を登録』アイコン121k4、または『パスワードを登録』アイコン121k3を選択したことを検知した場合、カメラ機能実行部104bは、前述の実施例1と同様の動作を行う。
カメラ機能選択メニュー画面121kにおいて、画像処理装置100のユーザが『撮影(保護あり)』アイコン121k1若しくは『撮影(保護なし)』アイコン121k2を選択したことを検知した場合、カメラ機能実行部104bは、図27におけるS401~S406のステップで実施例1における図8のS101~S106と同様の処理を行う。次に、カメラ機能実行部104bは、撮影画像に対して実施する保護加工処理の有無を確認する(S407)。
S407の確認処理の結果が『保護あり』の場合、(即ち、カメラ機能選択メニュー画面121kにおいて、画像処理装置100のユーザが『撮影(保護あり)』アイコン121k1を選択した場合、)カメラ機能実行部104bが、インターネット201を介して、画像データサーバ212の人物登録領域260gに記憶されている登録顔画像を参照する(S408)。次に、顔検出/認証実行部104cが、カメラ機能実行部104bの制御に基づき、RAM104の一時記憶領域に記憶した前記画像データからS406で検出した前記顔位置情報に基づいて抽出した前記各人物の顔画像と、S408で参照した登録顔画像とを比較する人物認証処理を行う(S409)。
更に、S409の人物認証処理により、前記参照した登録顔画像と一致すると判断された前記顔画像に対して、保護加工実行部104dが、カメラ機能実行部104bの制御に基づき、S406で検出した前記顔位置情報で指定される領域に、前記保護パスワードを用いた保護加工処理を施す(S410)。続いて、カメラ機能実行部104bは、前記保護加工処理の施された画像データに拡張データを付加して画像データファイルとし、画像データサーバ212の画像データ記憶領域260hにアップロードして記録シーケンスを終了する(S411)。
S407の確認処理の結果が『保護なし』の場合、(即ち、カメラ機能選択メニュー画面121kにおいて、画像処理装置100のユーザが『撮影(保護なし)』アイコン121k2を選択した場合、)カメラ機能実行部104bは、S408~S410の処理を実行せず、S411の処理のみを実行する。その結果、画像データサーバ212の画像データ記憶領域260hには、前記保護加工処理の施されていない画像データに拡張データを付加した画像データファイルがアップロードされる。
以上、説明した本実施例の撮影画像の保護/記録処理によれば、登録顔画像の記憶領域を画像処理装置100のストレージ部110から画像データサーバ212のストレージ部260に移転することができる。このため、画像処理装置100のメモリ容量を削減することが可能となる。また、複数のユーザが、画像データサーバ212の人物登録領域260gに登録された情報を共用することが可能となる。
更に、S406で行う人物検出処理において、人物の顔位置のみではなく、テーマパーク等で使用されるマスコットキャラクターの顔位置も検出できるようにし、一方、前記マスコットキャラクターの顔画像を画像データサーバ212の人物登録領域260gに予め登録するようにしても良い。前述のようにすることにより、著作権や肖像権等を有する各種マスコットキャラクターの写り込んだ画像データを誤ってホームページ等に公開してしまうことにより発生する権利問題等を回避することが可能となる。
なお、前述の保護加工処理では、画像データに表示されている各顔画像を、予め定めた所定の紋様(チェッカーパターン等)の画像パターンを用いてマスクするようにしているが、ストレージ部110に予め記憶させた任意のキャラクタ(犬や猫等)の画像パターンと置き換えるようにしても良い。
以上、本発明の実施形態の例を実施例1~3を用いて説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。
なお、前述の実施例においては、本発明の機能等を、主として、カメラ機能プログラム110bと顔検出/認証プログラム110cと保護加工プログラム110dと画像閲覧プログラム110eの四つのプログラムを実行することにより実現するものとして記述しているが、前記四つのプログラムの各機能と同一の機能のただ一つのプログラムを実行することにより、本発明の機能を実現するように構成しても良い。前記各プログラムは、製品出荷の時点で、予め画像処理装置100のROM103若しくはストレージ部110等に格納された状態であっても良い。製品出荷後に、インターネット201上のアプリケーションサーバ211等からLAN通信部151若しくは移動体電話網通信部152を介して取得するものであっても良い。また、メモリカードや光ディスク等に格納された前記プログラムを、拡張インタフェース部170を介して取得しても良い。
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
100:画像処理装置、101:主制御部、102:システムバス、103:ROM、104:RAM、104a:基本動作実行部、104b:カメラ機能実行部、104c:顔検出/認証実行部、104d:保護加工実行部、104e:画像閲覧実行部、110:ストレージ部、110f:保護情報記憶領域、110g:人物登録領域、110h:画像データ記憶領域、120:画像処理部、121:表示部、122:画像信号処理部、123:第一画像入力部、124:第二画像入力部、130:音声処理部、140:操作部、150:通信処理部、160:センサ部、170:拡張インタフェース部。
Claims (13)
- 画像データを処理する画像処理装置であって、
該画像処理装置のユーザに固有な保護情報を記憶する保護情報記憶部と、
特定の人物の画像データを登録し記憶する人物画像登録部と、
画像データが入力される画像入力部と、
該画像入力部から入力された画像データから人物を検出する人物検出部と、
該人物検出部で検出された人物の画像データと前記人物画像登録部に登録された人物の画像データとに基づき双方の人物が一致するか否かを判定する人物認証部と、
前記画像入力部から入力された画像データに対して前記人物検出部で検出した人物の少なくも顔領域に保護加工を行う保護加工部と、
該保護加工部で保護加工された画像データを出力する画像出力部と、
前記画像処理装置の動作を制御する制御部
を有し、
該制御部は、
前記人物認証部における判定に基づいて前記保護加工部が前記保護情報記憶部に記憶された保護情報を参照して前記画像データに保護加工を行うように制御する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記保護加工部で保護加工が施された画像データを、接続されたメモリ媒体に記憶するように出力するためのメモリインタフェース
を有することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記保護加工部で保護加工が施された画像データを記憶するための画像記憶部
を有することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
該画像処理装置のユーザが情報を入力するための操作部を有し、
前記制御部は、
前記操作部から入力された情報と前記保護情報記憶部に記憶された保護情報が一致する場合には、前記保護加工部は前記保護加工を解除して前記画像データを前記画像出力部に供給するように制御する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記保護加工部は、
前記人物認証部において前記双方の人物が一致すると判定された人物の画像データに対して前記保護加工を行う
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記保護加工部は、
前記人物認証部において前記双方の人物が一致しないと判定された人物の画像データに対して前記保護加工を行う
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記画像処理装置のユーザが情報を入力するための操作部を有し、
前記保護情報記憶部は、前記保護情報として第1の保護情報と該第1の保護情報とは異なる第2の保護情報とを記憶し、
前記保護加工部は、前記人物抽出部が抽出した人物の画像データのうち、
前記人物認証部において前記双方の人物が一致すると判断された人物の画像データに対して、前記第1の保護情報と前記第2の保護情報のうちのいずれかが前記操作部から入力された場合に解除可能な保護加工を施し、
前記人物認証部において前記双方の人物が一致しないと判断された人物の画像データに対して、前記第1の保護情報が前記操作部から入力された場合に解除可能な前記保護加工処理を施す
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
該画像処理装置は、
前記画像データを一枚の静止画を単位として記録するデジタルスチルカメラである
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
該画像処理装置は、
外部機器との通話を行う電話網通信部を備えたカメラ機能付き携帯電話である
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
該画像処理装置は、
外部機器との無線通信を介した情報送受信を行う無線通信部を備えたカメラ機能付き携帯情報端末である
ことを特徴とする画像処理装置。 - 画像データを処理する画像処理装置における画像処理方法であって、
前記画像処理装置のユーザに固有な保護情報を記憶する保護情報記憶ステップと、
特定の人物の画像データを登録し記憶する人物画像登録ステップと、
画像データが入力される画像入力ステップと、
該画像入力ステップで入力された画像データから人物を検出する人物検出ステップと、
該人物検出ステップで検出された人物の画像データと前記人物画像登録ステップで登録された人物の画像データとに基づき双方の人物が一致するか否かを判定する人物認証ステップと、
前記画像入力ステップから入力された画像データに対して前記人物検出ステップで検出した人物の少なくも顔領域に保護加工を行う保護加工ステップと、
該保護加工ステップで保護加工された画像データを出力する画像出力ステップと、
前記画像処理装置の動作を制御する制御ステップ
を有し、
該制御ステップは、
前記人物認証ステップにおける判定に基づいて前記保護加工ステップが前記保護情報記憶ステップで記憶された保護情報を参照して前記画像データに保護加工を行うように制御する
ことを特徴とする画像処理方法。 - 請求項11に記載の画像処理方法において、
前記画像処理装置のユーザが情報を入力する操作ステップを有し、
前記制御ステップは、
前記操作ステップで入力された情報と前記保護情報記憶ステップで記憶された保護情報が一致する場合には、前記保護加工ステップは前記保護加工を解除して前記画像データを前記画像出力ステップに供給するように制御する
ことを特徴とする画像処理方法。 - 情報を記憶する記憶媒体を有し画像データを処理する画像処理装置における画像処理プログラムであって、
前記画像処理装置の指示に応じて前記画像処理装置が有する記憶媒体に書き込まれ該記憶媒体から読み出されて前記画像処理装置を動作させ、
前記画像処理装置のユーザに固有な保護情報を前記記憶媒体に記憶する保護情報記憶ステップと、
特定の人物の画像データを登録し前記記憶媒体に記憶する人物画像登録ステップと、
入力された画像データを取込む画像取込みステップと、
該画像取込みステップで取込まれた画像データから人物を検出する人物検出ステップと、
該人物検出ステップで検出された人物の画像データと前記人物画像登録ステップで登録された人物の画像データとに基づき双方の人物が一致するか否かを判定する人物認証ステップと、
前記画像取込みステップで取込まれた画像データに対して前記人物検出ステップで検出した人物の少なくも顔領域に保護加工を行う保護加工ステップと、
該保護加工ステップで保護加工された画像データを出力する画像出力ステップと、
前記画像処理装置の動作を制御する制御ステップ
を有し、
該制御ステップは、
前記人物認証ステップにおける判定に基づいて前記保護加工ステップが前記保護情報記憶ステップで記憶された保護情報を参照して前記画像データに保護加工を行うように制御する
ことを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/081136 WO2015075770A1 (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/081136 WO2015075770A1 (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015075770A1 true WO2015075770A1 (ja) | 2015-05-28 |
Family
ID=53179080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/081136 WO2015075770A1 (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2015075770A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005049939A (ja) * | 2003-07-29 | 2005-02-24 | Casio Comput Co Ltd | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム |
JP2006155109A (ja) * | 2004-11-26 | 2006-06-15 | Yec Co Ltd | 映像処理装置 |
JP2011108108A (ja) * | 2009-11-19 | 2011-06-02 | Funai Electric Co Ltd | デジタルビデオシステム |
-
2013
- 2013-11-19 WO PCT/JP2013/081136 patent/WO2015075770A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005049939A (ja) * | 2003-07-29 | 2005-02-24 | Casio Comput Co Ltd | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム |
JP2006155109A (ja) * | 2004-11-26 | 2006-06-15 | Yec Co Ltd | 映像処理装置 |
JP2011108108A (ja) * | 2009-11-19 | 2011-06-02 | Funai Electric Co Ltd | デジタルビデオシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102610013B1 (ko) | 프라이버시 보호를 제공하는 단말 장치 및 그 동작 방법 | |
JP5401962B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5268595B2 (ja) | 画像処理装置、画像表示方法及び画像表示プログラム | |
JP4735995B2 (ja) | 画像処理装置、画像表示方法および画像表示プログラム | |
US20060104483A1 (en) | Wireless digital image capture device with biometric readers | |
EP2840558B1 (en) | Electronic device communicating with external cameras | |
KR20160011612A (ko) | 파일 잠금방법, 장치, 프로그램 및 기록매체 | |
CN109151338B (zh) | 图像处理方法及相关产品 | |
JP7187395B2 (ja) | 通信端末、通信端末の制御方法および通信システム | |
CN104303146A (zh) | 移动设备中的图像相关应用的入口点 | |
CN104778416A (zh) | 一种信息隐藏方法及终端 | |
US20050185063A1 (en) | Digital camera | |
CN104732158A (zh) | 一种加密拍照方法、***及装置 | |
JP6428152B2 (ja) | 肖像権保護プログラム、情報通信装置及び肖像権保護方法 | |
JP5500639B2 (ja) | 端末装置、認証システム及びプログラム | |
US11270407B2 (en) | Electronic device, control method, and non-transitory computer readable medium | |
KR102138835B1 (ko) | 정보 노출 방지 영상 제공 장치 및 방법 | |
WO2015075770A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6413500B2 (ja) | 撮像装置 | |
KR20040083177A (ko) | 디지탈 카메라의 이미지 정보 숨김 방법 및, 이미지 정보숨김이 가능한 디지탈 카메라 | |
WO2018034002A1 (ja) | 画像表示装置、画像表示制御装置、画像表示制御プログラム、及び画像表示制御方法 | |
WO2017071284A1 (zh) | 拍照处理方法、装置和设备 | |
JP5402998B2 (ja) | 撮影装置、撮影装置の制御方法、プログラム、及びプログラムを記録した記録媒体 | |
JP7439000B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6845604B2 (ja) | プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13897927 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13897927 Country of ref document: EP Kind code of ref document: A1 |