WO2019234877A1 - 携帯情報端末 - Google Patents
携帯情報端末 Download PDFInfo
- Publication number
- WO2019234877A1 WO2019234877A1 PCT/JP2018/021811 JP2018021811W WO2019234877A1 WO 2019234877 A1 WO2019234877 A1 WO 2019234877A1 JP 2018021811 W JP2018021811 W JP 2018021811W WO 2019234877 A1 WO2019234877 A1 WO 2019234877A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information terminal
- user
- portable information
- angle
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 129
- 238000012545 processing Methods 0.000 claims description 151
- 238000012937 correction Methods 0.000 claims description 85
- 238000000034 method Methods 0.000 claims description 73
- 230000008569 process Effects 0.000 claims description 61
- 238000012790 confirmation Methods 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 151
- 238000003384 imaging method Methods 0.000 description 56
- 238000001514 detection method Methods 0.000 description 41
- 238000009966 trimming Methods 0.000 description 30
- 230000004048 modification Effects 0.000 description 29
- 238000012986 modification Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 21
- 210000003128 head Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 16
- 210000000887 face Anatomy 0.000 description 11
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 10
- 230000004075 alteration Effects 0.000 description 8
- 238000003702 image correction Methods 0.000 description 7
- 101000955962 Homo sapiens Vacuolar protein sorting-associated protein 51 homolog Proteins 0.000 description 6
- 108010086600 N(2),N(2)-dimethylguanosine-26-methyltransferase Proteins 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 102100034541 tRNA (guanine(26)-N(2))-dimethyltransferase Human genes 0.000 description 6
- 102100034594 Angiopoietin-1 Human genes 0.000 description 4
- 102100033402 Angiopoietin-4 Human genes 0.000 description 4
- 101000924552 Homo sapiens Angiopoietin-1 Proteins 0.000 description 4
- 101001056901 Homo sapiens Delta(14)-sterol reductase TM7SF2 Proteins 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 102100034608 Angiopoietin-2 Human genes 0.000 description 3
- 101000924533 Homo sapiens Angiopoietin-2 Proteins 0.000 description 3
- 101000693093 Homo sapiens Angiopoietin-related protein 1 Proteins 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 101100332287 Dictyostelium discoideum dst2 gene Proteins 0.000 description 2
- 101100264226 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) XRN1 gene Proteins 0.000 description 2
- 206010048669 Terminal state Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 101150090341 dst1 gene Proteins 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101100343585 Arabidopsis thaliana LNG1 gene Proteins 0.000 description 1
- 101100108860 Homo sapiens ANGPT4 gene Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101100216078 Mus musculus Ang4 gene Proteins 0.000 description 1
- 101150110861 TRM2 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Definitions
- the present invention relates to a technology of a portable information terminal such as a smartphone, and particularly relates to a videophone function.
- the portable information terminal has a digital camera function provided on the front surface of the main surface of the housing on the side where the display screen is located (also called an in-camera) or on the back surface on the opposite side of the front surface. There may be a camera (also called an out camera).
- the front in-camera on the side where the user can be photographed is used.
- the portable information terminal displays the image of the other party received from the other party's terminal on the display screen, and transmits the user's own image captured by the in-camera to the other party's terminal.
- the user usually holds the front surface of the portable information terminal held in one hand, for example, at a position facing the front of his / her face and line of sight, for example, close to a state where the casing stands vertically. It is necessary to keep it. In this case, the user cannot have both hands free.
- Patent Document 1 describes that as a mobile phone, the visibility of a user when placed on a desk is improved, and that a hand-free videophone can be handled by changing the shape of the main body.
- Patent Document 2 as a mobile terminal device, information on a user's face is acquired based on an image captured by a camera of the main body, and a relative positional relationship between the orientation of the face and the main body is grasped. It describes that the direction of information to be displayed on the display screen is determined.
- a hands-free state in which both hands are free for example, a face is faced to a case placed flat on a horizontal surface such as a desk. It is necessary to take an unreasonable posture so as to be in a positional relationship, and it is not easy to use.
- it can be realized by using a fixing device on a horizontal surface such as a desk so that the casing is inclined, but it requires a fixing device, and thus lacks convenience.
- a similar state can be realized by using a portable information terminal having a structure that can be deformed, such as a folding type or a separated type, but in the case of a portable information terminal having a single substantially flat-shaped casing Not applicable to
- the object of the present invention relates to the technology of a portable information terminal having a videophone function, on the premise of a configuration that has a substantially flat housing and does not have a deformable special structure. It is to provide a technology that can be realized with suitable usability.
- a typical embodiment of the present invention is a portable information terminal having the following configuration.
- a portable information terminal according to an embodiment is a portable information terminal having a videophone function, and includes a first camera including a wide-angle lens at a predetermined position on a front surface having a display screen in a flat-plate-shaped housing, When the first user makes a videophone call with the second user of the other party using the videophone function, the casing is placed flat on the first surface of the object, and the first image of the first camera is displayed.
- a first state in which the first user's face is included in a range of corners, and the first state includes the first user's face from a wide-angle image captured by the first camera in the first state. Detecting a region, trimming a first image corresponding to the first region, and creating a transmission image for transmission to a counterpart terminal which is the portable information terminal of the second user based on the first image; The transmission image is transmitted to the counterpart terminal.
- a hands-free videophone can be realized with more convenient usability.
- FIG. 3 is a diagram showing a positional relationship between a user and a terminal and a terminal arrangement state in a hands-free videophone on the portable information terminal of the first embodiment.
- 3 is a diagram illustrating a configuration of a portable information terminal according to Embodiment 1.
- FIG. 3 is a diagram illustrating a software configuration in the portable information terminal according to the first embodiment.
- 3 is a diagram illustrating a configuration of a camera unit in the portable information terminal of Embodiment 1.
- FIG. FIG. 10 is a diagram showing a processing flow in the portable information terminal of the first embodiment.
- FIG. 6 is a diagram illustrating an example of a display screen in the portable information terminal of Embodiment 1.
- FIG. 6 is a diagram illustrating an example of an image obtained by photographing a face from a normal camera from the front by the portable information terminal of Embodiment 1.
- FIG. 6 is a diagram illustrating an example of a wide-angle image and face detection by an in-camera in the portable information terminal of Embodiment 1.
- FIG. 6 is a diagram illustrating an example of trimming from a wide-angle image in the portable information terminal of Embodiment 1.
- FIG. 6 is a diagram illustrating an example of a trimmed image (in the case of a rectangle) in the portable information terminal of Embodiment 1.
- FIG. 6 is a diagram illustrating an example of a trimmed image in the portable information terminal of Embodiment 1.
- FIG. 3 is a diagram illustrating an example of a model and a coordinate system using a wide-angle lens in the portable information terminal according to Embodiment 1.
- FIG. 6 is a diagram showing normal image conversion in the portable information terminal of Embodiment 1.
- FIG. 6 is a diagram illustrating trapezoidal correction in the portable information terminal of Embodiment 1.
- FIG. It is a figure which shows the 1st example of another utilization state in the portable information terminal of Embodiment 1.
- FIG. It is a figure which shows the 2nd example of another utilization state in the portable information terminal of Embodiment 1.
- FIG. 10 is a diagram illustrating a positional relationship and the like between a user and a terminal in the portable information terminal according to the second embodiment. It is a figure which shows an imaging
- the X direction, the Y direction, and the Z direction are used as directions for explanation.
- the X direction and the Y direction are two orthogonal directions constituting a horizontal plane, and the Z direction is a vertical direction.
- the X direction is the left-right direction, particularly when viewed from the user, and the Y direction is the front-back direction, particularly when viewed from the user.
- FIG. 26 shows an example of a usage state when a hands-free state is to be realized using a conventional portable information terminal with a videophone function as a comparative example.
- A shows a first example
- B shows a second example.
- the user A puts the casing of the portable information terminal 260 flat on a horizontal surface s0 such as a desk.
- a display screen and an in-camera 261 are provided on the front surface of the housing.
- the lens of the in camera 261 is disposed at the position of the point p2.
- the in-camera 261 is a normal camera having a normal angle of view.
- a representative point of the face and eyes of the user A is indicated by a point p1.
- the line of sight from the point p1 is vertically downward.
- User A takes a posture in which his / her face and eyes (point p ⁇ b> 1) are bent so that his / her face and point (point p ⁇ b> 1) face the display screen on the front surface of the housing and the in-camera 261. In this state, the user A can make a videophone call with both hands free. However, the posture is unreasonable, so the body is burdened and the usability is not good.
- the user A places the casing of the portable information terminal 260 fixed on the horizontal plane s0 such as a desk using the fixing device 262 so that the front surface is inclined. ing.
- the direction of the line of sight from user A's face and eyes (point p1) is diagonally downward.
- the direction of the optical axis from the in-camera 261 is obliquely upward (for example, an elevation angle of about 45 degrees).
- the user A can make a videophone call with both hands free.
- the fixing device 262 such as a stand is used, and the user A has to possess the fixing device 262 and lacks versatility and convenience.
- a portable information terminal having a structure whose posture can be changed is used instead of the fixing device 262, the same state can be realized.
- the camera and the display screen can be arranged so as to face the user's face by changing the shape of the folding portable information terminal.
- the portable information terminal 261 having a single substantially flat housing such a technique cannot be applied because it does not have a structure itself that can be moved for deformation.
- Embodiment 1 A portable information terminal according to Embodiment 1 of the present invention will be described with reference to FIGS.
- the portable information terminal of the first embodiment as shown in FIG. 2 described later, when the user makes a videophone call using the portable information terminal (sometimes simply referred to as a terminal), the user's handheld case It becomes a hands-free state without requiring holding. Further, when the user wants to make a videophone in a hands-free state, it is not necessary to consider and labor to arrange the portable information terminal so that the casing (front surface) of the portable information terminal faces the user's face.
- the portable information terminal according to Embodiment 1 has a configuration such as a camera as follows, the positional relationship between the user's face and the terminal, the terminal Define the placement status.
- the portable information terminal of Embodiment 1 has a wide-angle camera having a wide angle of view as an in-camera (first camera) provided on the front surface of the housing.
- This in-camera has an optical axis perpendicular to the front surface of the housing, and a predetermined wide field angle of, for example, about 180 degrees (at least an angle range from 30 degrees to 150 degrees) in a cross section formed by the front surface and the optical axis.
- the horizontal angle of view is 360 degrees).
- the user When using a videophone in a hands-free state, the user puts a substantially flat casing on a roughly horizontal surface such as a desk so that the in-camera on the front faces upward. And it is set as the positional relationship which has a user's face in the direction of the elevation angle on the upper side seeing from the position of the in-camera of the terminal.
- the display screen of the housing and the in-camera When viewed from the user's eyes, there is a positional relationship in which the display screen of the housing and the in-camera are located at a position in the direction of looking down diagonally.
- the shooting direction of the face from the in-camera and the direction of viewing the display screen from the user's eyes are generally the same or sufficiently close. For example, these directions are about 45 degrees in elevation with respect to the horizontal plane (for example, an angle within an angle range of 30 degrees to 60 degrees).
- the face of the user is shown in a part of the area (for example, an area within an angle range from 0 degrees to 90 degrees) in the in-camera image (wide-angle image).
- the portable information terminal can capture an area including the user's face using the wide-angle image.
- the portable information terminal detects and trims (cuts out) an area including the user's face from the wide-angle image.
- the portable information terminal of Embodiment 1 obtains a planarized image in which distortion is eliminated or reduced by performing distortion correction processing on the region including the face of the wide-angle image. This makes it possible to obtain a suitable transmission image that is easier to see visually.
- the mobile information terminal 1 creates a transmission image to be transmitted to the other terminal of the videophone from the image including the face of the user A after the distortion correction, and transmits the transmission image to the other terminal.
- the user can make a videophone call in a hands-free state, which is convenient.
- FIG. 1 shows the overall configuration of a communication system and a videophone system including the portable information terminal 1 of the first embodiment.
- a mobile information terminal 1 of a first user (user A) and a mobile information terminal 2 of a second user (user B) are connected via a mobile communication network 101 and the Internet 102. It is connected.
- Videophone communication is performed between the mobile information terminal 1 of the first user and the mobile information terminal 2 of the second user.
- the base station 103 is a radio base station that constitutes the mobile communication network 101.
- the portable information terminals 1 and 2 are connected to the mobile communication network 101 through the base station 103.
- the access point 104 is an access point device for wireless communication in a wireless LAN or the like.
- the portable information terminals 1 and 2 are connected to the Internet 102 including a wireless LAN through the access point 104.
- the portable information terminals 1 and 2 are devices such as smartphones, both of which have a videophone function.
- the first user's portable information terminal 1 is the portable information terminal of the first embodiment, and has a specific function related to a videophone.
- User A is the first user of one of the callers who make a videophone call
- user B is the second user of the other party as seen from the other caller who makes a videophone call, user A.
- the 1st user's portable information terminal 1 is mainly demonstrated.
- User B uses, for example, a conventional portable information terminal 2 with a videophone function.
- the second user's portable information terminal 2 may have a unique videophone function.
- a server for providing a service related to the videophone function may be interposed on the mobile communication network 101 or the Internet 102 during the videophone communication.
- FIG. 2 is a schematic diagram showing an outline, a situation, and a method of use of the portable information terminal 1 by the user A at the time of a videophone call between the user A and the user B in FIG.
- FIG. 2 shows the positional relationship between the face of the user A and the portable information terminal 1 and the terminal arrangement state when the user A makes a hands-free videophone.
- the outline of the use of the videophone is as follows.
- the flat casing of the portable information terminal 1 is placed on the horizontal plane s0 (XY plane, XY) of an arbitrary object such as a desk.
- the in-camera C1 on the front surface s1 is placed flat with the vertical direction upward.
- the back surface s2 of the housing is in contact with the horizontal surface s0 and is hidden.
- the portable information terminal 1 is mainly provided with a rectangular display screen DP on the front surface s1 of a vertically long casing, and a camera, operation buttons, a microphone, a speaker, and the like are provided in a frame area on the outer periphery of the display screen DP. It has been.
- an in-camera C1 (particularly, a wide-angle lens unit) is disposed at a position PC1 on the upper side of the frame area.
- the user A places the casing so that the in-camera C1 (position PC1) on the front surface s1 is positioned in the far side direction Y1 in the Y direction when viewed from the user A, in particular.
- the display screen DP (point PD) of the portable information terminal 1 is arranged at a position obliquely below as viewed from the eyes of the user A (point P1).
- a representative point associated with the user A's head, face, eyes, or the like is defined as a point P1.
- An image of the other party (user B) is displayed on the display screen DP (FIG. 7).
- User A looks at the face image of the other party in the display screen DP.
- a direction J1 indicates a viewing direction in which the terminal's display screen DP (point PD) is viewed from the user A's eye (point P1).
- the angle ⁇ 1 indicates an elevation angle (0 degree with respect to the horizontal plane s0) corresponding to the direction J1.
- the angle ⁇ 1 is an angle within a range from 30 degrees to 60 degrees, for example, about 45 degrees.
- the optical axis of the in-camera C1 is a direction (vertically upward) perpendicular to the front surface s1, and is indicated as a direction J2.
- the angle of view AV1 of the in-camera C1 has a wide angle range with the optical axis as the center, the horizontal angle of view is 360 degrees, and the angle of view in the YZ section is about 180 degrees, particularly from the first angle ANG1 to the second angle. It has an angle range up to ANG2.
- the first angle ANG1 is 30 degrees or less
- the second angle ANG2 is 150 degrees or more.
- the in-camera C1 can capture the face of the user A with the wide angle of view AV1. That is, in this state, the angle of view AV2 (face shooting angle of view) corresponding to the range of shooting the face of the user A within the angle of view AV1 of the in-camera C1, particularly within the angle range from the first angle ANG1 to 90 degrees. )It is included.
- the face of the user A is shown in a partial area in the wide-angle image of the in-camera C1.
- a direction in which the face (point P1) of the user A is captured from the in-camera C1 (point PC1) is indicated by a direction J3.
- the elevation angle corresponding to the direction J3 is indicated by an angle ⁇ 3.
- the angle ⁇ 3 is an angle slightly smaller than 45 degrees, for example.
- the direction J1 of the user A's line of sight and the direction J3 of photographing the face from the in-camera C1 are sufficiently close, and the angle difference AD1 between the angle ⁇ 1 and the angle ⁇ 3 is sufficiently small. Therefore, the in-camera C1 can photograph the face of the user A in the direction J3 and the angle of view AV2 in which the user A's line of sight can be confirmed. It is more preferable that the direction difference and the angle difference are as small as possible because the state of the line of sight in the image becomes more natural.
- the portable information terminal 1 since the wide-angle image of the in-camera C1 is used, the face of the user A can be captured like the angle of view AV2 even in the positional relationship as shown in FIG.
- the user A can make a videophone call while looking at the other party's image (FIG. 7) displayed on the display screen DP of the portable information terminal 1.
- the portable information terminal 1 outputs the sound received from the partner portable information terminal 2 from the speaker.
- the portable information terminal 1 transmits the voice of the user A input with the microphone to the other party's portable information terminal 2.
- the portable information terminal 1 detects and trims a region including the face of the user A from the wide-angle image obtained by the in-camera C1.
- the portable information terminal 1 creates a transmission image for transmission to the counterpart portable information terminal 2 using the trimmed image.
- the wide-angle image photographed by the in-camera C1 has distortion depending on the wide-angle lens including the face of the user A.
- the portable information terminal 1 performs a distortion correction process on the trimmed image so that the distortion is eliminated or reduced.
- the portable information terminal 1 creates a transmission image for transmission to the partner portable information terminal 2 and a monitor image for confirming the state of the user A's own face corresponding to the transmission image from the image after distortion correction. To do.
- the portable information terminal 1 displays a monitor image corresponding to the transmission image in the display screen DP (FIG. 7). In the monitor image (and transmission image), the direction of the line of sight of the user A is generally facing the front.
- the user A can check the image of the other party (user B) and the monitor image of the user A himself / herself in the display screen DP of the portable information terminal 1.
- the user A can also refuse transmission of the transmission image corresponding to the monitor image as necessary.
- the portable information terminal 1 transmits videophone data including the voice of the user A input by the microphone and the transmission image to the partner portable information terminal 2.
- the other party's portable information terminal 2 outputs an image and sound related to the user A based on the received data, and the user B can make a videophone call with the user A.
- FIG. 3 shows the configuration of the portable information terminal 1 according to the first embodiment.
- the portable information terminal 1 includes a controller 10, a camera unit 11, a ROM 14, a RAM 15, an external memory 16, a microphone 17, a speaker 18, a bus 19, a display unit (touch panel) 21, a LAN communication unit 22, a mobile network communication unit 23, and an acceleration sensor. 31 and sensors 30 such as a gyro sensor 32 are provided.
- the controller 10 controls the entire portable information terminal 1 and gives instructions to each unit.
- the controller 10 implements a videophone function 100 based on the videophone application.
- the controller 10 of the portable information terminal 1 controls the videophone function 100 using each unit and each function.
- the controller 10 is composed of a microprocessor unit (MPU) or the like, and controls the entire portable information terminal 1 according to a program stored in the ROM 14.
- MPU microprocessor unit
- Each unit such as the controller 10 transmits / receives data to / from each unit in the portable information terminal 1 via a bus 19 (including a system bus).
- the camera unit 11 includes an in-camera C1, a normal camera (out-camera) C2, a photographing processing unit 12, and a memory 13.
- the in-camera C1 is provided on the front surface s1 of the housing
- the normal camera C2 is provided on the back surface s2 of the housing.
- the in-camera C1 includes known elements such as a wide-angle lens, a camera sensor (imaging device), and a drive circuit.
- the camera sensor is composed of, for example, a CCD or CMOS sensor.
- the normal camera C2 includes known elements such as a normal lens, a camera sensor, and a drive circuit.
- the normal camera C2 has a normal angle of view, and the normal angle of view is smaller than the angle of view AV1 of the wide-angle lens of the in-camera C1.
- the optical axis of the normal camera C2 is opposite to the optical axis of the in camera C1. In the videophone function in the first embodiment, the normal camera C2 is not used.
- the photographing processing unit 12 is a part that performs photographing processing and image processing using a camera based on the control of the controller 10.
- the imaging processing unit 12 is mounted with a circuit such as an LSI as a part different from the controller 10.
- a part or all of the imaging processing unit 12 may be integrally mounted by program processing of the controller 10 or the like. All or some of the functions such as the face detection function 201 may be implemented by software program processing, or may be implemented by a hardware circuit or the like for speeding up.
- the memory 13 is a memory for storing image data and the like related to the photographing process.
- the photographing processing unit 12 includes an autofocus function, an enlargement / reduction function, a codec unit, an image quality improvement processing unit, an angle / rotation correction unit, and the like as known functions and processing units.
- the autofocus function is a function for automatically focusing the camera on the object to be photographed.
- the enlargement / reduction function is a function for enlarging or reducing an object of an image.
- the codec unit is a processing unit that compresses and decompresses captured images and moving images.
- the image quality improvement processing unit is a processing unit that improves the image quality of a captured image, such as noise removal.
- the angle / rotation correction unit is a processing unit that performs angle correction and rotation correction from a captured image.
- the microphone 17 collects voice around the terminal including the voice of the user A to obtain voice data.
- the speaker 18 outputs audio including videophone audio from the portable information terminal 2 of the other party (user B).
- the display unit 21 is provided with the display screen DP of FIG. 2 and is a touch panel such as a liquid crystal touch panel, and a touch input operation by the user is possible. On the display screen DP, a captured image and other various information are displayed.
- the LAN communication unit 22 performs communication processing corresponding to communication on the Internet 102 including wireless LAN communication with the access point 104 in FIG.
- the mobile network communication unit 23 performs communication processing corresponding to communication on the mobile network 101 including wireless communication with the base station 103 of FIG.
- Sensors 30 include known sensor devices such as an acceleration sensor 31, a gyro sensor 32, a GPS receiver (not shown), a proximity sensor, an illuminance sensor, and a temperature sensor.
- the controller 10 detects the orientation and movement of the portable information terminal 1 using the detection information of the sensors 30. Using the sensors 30, the controller 10 can grasp the state of whether the portable information terminal 1 is held by the user A and whether it is placed flat on the horizontal plane s 0 as shown in FIG. is there.
- the photographing processing unit 12 has a face detection function 201, a trimming function 202, and a distortion correction function 203 as functions realized by a program, a circuit, and the like.
- An outline of the photographing process and functions of the photographing processing unit 12 is as follows.
- the photographing processing unit 12 inputs a wide-angle image that is an image photographed by the in-camera C1 in the camera mode for photographing using the in-camera C1.
- the in-camera C1 can shoot a moving image (a plurality of time-series image frames), and the shooting processing unit 11 processes the moving image. Not limited to this, a still image at a predetermined timing may be handled as an image of the in-camera C1.
- the imaging processing unit 12 uses the face detection function 201 to detect an area including the face of the user A from the wide-angle image.
- the imaging processing unit 12 uses the trimming function 202 to trim an area including the face of the user A from the wide-angle image.
- the imaging processing unit 12 performs distortion correction processing on the trimmed image using the distortion correction function 203.
- the imaging processing unit 12 stores the image after distortion correction in the memory 13.
- the imaging processing unit 12 (or the controller 10) creates a transmission image for transmission to the other mobile information terminal 2 and a monitor image for self-confirmation from the corrected image.
- the controller 10 (videophone function 100) of the portable information terminal 1 creates videophone data in which the transmission images of the user A are collected together with the voice data of the user A input from the microphone 17.
- the controller 10 transmits the data to the counterpart personal digital assistant 2 using the LAN communication unit 22 or the mobile network communication unit 23 or the like.
- the other party's portable information terminal 2 receives the data, displays the transmission image on the display screen, and outputs sound.
- the controller 10 receives videophone data (including the other party image and voice) from the other party's portable information terminal 2 through the LAN communication unit 22 or the mobile network communication unit 23.
- the controller 10 displays the partner image of the received data in the display screen DP and also displays the monitor image of the user A.
- the controller 10 outputs the other party's voice from the speaker 18.
- FIG. 4 shows a software configuration of the portable information terminal 1.
- the ROM 14 stores a basic operation program 14a such as an OS and middleware, and other application programs.
- a basic operation program 14a such as an OS and middleware, and other application programs.
- a rewritable ROM such as an EEPROM or a flash ROM is used.
- the program in the ROM 14 can be updated as appropriate, and version upgrades, function expansions, and the like are possible.
- the ROM 14 and the like may be integrated with the controller 10.
- the RAM 15 is used as a work area when executing the basic operation program 14a, the videophone application program 16b, and the like.
- the RAM 15 also has a temporary storage area 15c that temporarily holds data and information as necessary when various programs are executed.
- the controller 10 MPU
- the basic operation executing unit 15a is configured in the RAM 15.
- a videophone processing execution unit 15b is configured in the RAM 15 in accordance with the processing of the videophone application program 16b.
- the temporary storage area 15c stores processing data related to the videophone function 100, and stores information such as the position and posture of the portable information terminal 1, for example.
- the external memory 16 stores programs such as a shooting program 16a and a videophone application program 16b, and stores images shot by the shooting processing unit 12 and data and information related to various processes. It also has a data storage area 16c.
- the external memory 16 is a non-volatile storage device that retains data even when power is not supplied. For example, a flash ROM or SSD is used. In the data storage area 16c, for example, setting values of functions and operations of the portable information terminal 1 are also stored.
- Various programs may be stored in the ROM 14 or other nonvolatile storage devices.
- the portable information terminal 1 may acquire a program and information from an external server device or the like.
- the photographing program 16a realizes photographing control processing for the photographing processing unit 12 of the camera unit 11.
- This shooting control process includes a general camera shooting control process that is not limited to a videophone, and a shooting control process for a videophone.
- the photographing program 16a is expanded in the RAM 15 or the photographing processing unit 12, and constitutes an execution unit.
- the controller 10 instructs the photographing processing unit 12 to perform camera mode, start and end of photographing of a moving image by the camera, photographing detail setting (for example, focus, exposure), and the like.
- the camera mode indicates which of a plurality of cameras is used for shooting.
- the videophone processing execution unit 15b based on the videophone application program 16b performs processing corresponding to the videophone function 100.
- the controller 10 MPU performs control processing for each function of the imaging processing unit 12 and control processing for each related unit.
- FIG. 5 shows a detailed configuration of the camera unit 11, the imaging processing unit 12 and the memory 13.
- the face detection function 201 of the imaging processing unit 12 includes a personal recognition function 201B.
- the distortion correction function 203 performs normal image conversion processing 203A, trapezoid correction processing 203B, aberration correction processing 203C, and the like as processing.
- the memory 13 stores data such as a registered image D10, a corrected image D11, a transmission image D12, and a monitor image D13.
- the memory 13 temporarily stores captured image data and is also used as a work area related to processing of each function.
- the processing outline of the imaging processing unit 12 is as follows.
- a wide-angle image (data D1) photographed through the in-camera C1 is input to the face detection function 201 of the photographing processing unit 12.
- the face detection function 201 performs processing for detecting an area including the face of the user A from the wide-angle image data D1 based on image processing.
- the face detection function 201 extracts, for example, a feature point group from a wide-angle image, detects eyes, ears, nose, mouth, and the like, and also outlines the face and head based on the difference in pixel color and brightness. Is detected. Thereby, the face area B1 and the like can be detected as shown in FIG.
- the face detection function 201 outputs a wide-angle image and detection result data D2.
- the personal recognition function 201B recognizes whether or not the face is a specific user A personal face from the face image.
- the imaging processing unit 12 applies subsequent processing only when, for example, a face of a specific user A is detected.
- the trimming function 202 performs a process of trimming a trimming area corresponding to the area including the detected face to obtain a trimmed image based on the wide-angle image data D2.
- the trimming function 202 outputs data D3 such as a trimmed image.
- a trimming method for example, a region having a predetermined shape and size is trimmed with reference to the center point (point P1) in the detected face region.
- the trimming area may be only the face area, the head area, or the area including the head and its periphery.
- the type and size of the trimming area can be changed using a user setting function.
- the distortion correction function 203 performs a process of correcting the distortion caused by the wide-angle lens in the trimmed image so as to become a plane having a normal image without distortion based on the data D3.
- the distortion correction function 203 performs normal image conversion processing 203A (FIG. 14) on the trimmed image. Thereby, a flattened image (flattened image) having a normal image without distortion is obtained, and data D4 including the flattened image is output.
- the distortion correction function 203 performs a trapezoid correction process 203B (FIG. 15) on the flattened image data D4.
- a trapezoid correction process 203B FIG. 15
- an image in which the trapezoidal image content is changed to a rectangular image content is obtained, and the data D5 is output.
- the trapezoidal conversion makes the image content look more suitable.
- the distortion correction function 203 performs a known process for correcting various aberrations caused by the characteristics of the lens system, other than wide-angle distortion, on the data D5. Thereby, a corrected image D11 is obtained.
- the lens system correction parameter D14 is stored in the memory 13, for example, at the time of product shipment.
- the lens system correction parameter D14 is setting information for aberration correction, an initial value, and the like, and may be set variable.
- the aberration correction process 203C refers to the lens system correction parameter D14.
- the state of the image after the normal image conversion processing 203A is normally set to a state in which the state of the face of the user A is not sufficiently uncomfortable (at least usable for a videophone). Therefore, the trapezoid conversion process 203B and the aberration correction process 203C may be omitted. Further, the processing performed by the distortion correction function 203 is not necessarily performed in this order, and the processing may be performed in an arbitrary order. Further, depending on conditions, control may be performed so as not to perform specific processing.
- the image D11 after correction by the distortion correction function 203 is stored in the memory 13.
- the corrected image D11 distortion and lens aberration caused by the wide-angle image are eliminated or reduced, and the image is at a level at which the user can recognize the face and the like with less discomfort.
- the imaging processing unit 12 or the controller 10 uses the corrected image D11 to create a transmission image D12 for transmission to the other party (user B) and a monitor image D13 for self-confirmation.
- the controller 10 creates videophone data using the transmission image D12 and the voice input from the microphone 17.
- the transmission image D12 is, for example, an image that has been appropriately cut or enlarged / reduced so as to match the image size (display screen size or the like) requested by the other mobile information terminal 2.
- the monitor image D13 is an image that has been appropriately cut or enlarged / reduced so as to match the size of the monitor image display region (region R2 in FIG. 7) in the display screen DP.
- the controller 10 displays the monitor image D13 in an area in the display screen DP.
- the controller 10 transmits data including the transmission image D12 to the other mobile information terminal 2 via the communication unit.
- a transmission image D12 is created using the registered image D10.
- the registered image D10 includes the face image of the user A.
- the imaging processing unit 12 repeats the above process in the same manner for each captured image at a predetermined time interval. At that time, if the face of the user A cannot be captured from an image at a certain point in time, an alternative transmission image D12 can be created using the image detected last in the past or the face image of the registered image D10. Good.
- FIG. 6 shows a processing flow of the videophone function 100 in the portable information terminal 1.
- the flow in FIG. 6 includes steps S1 to S13. Hereinafter, it demonstrates in order of a step.
- S1 First, in S1, when the user A makes a videophone call (when making a call to himself / herself or receiving a call from the other party), the controller 10 (videophone function 100) of the portable information terminal 1 The control state of the machine is shifted to the videophone mode. Specifically, for example, when the user A wants to make a videophone call with the other party (user B), the user A makes a call to the other party's telephone number. Accordingly, the videophone application program 16b (videophone process execution unit 15b) is started. The controller 10 controls, in the videophone mode, the photographing of the in-camera C1, the sound input of the microphone 17, the sound output of the speaker 18, the display of the display unit 21, various communications, and the like simultaneously.
- the portable information terminal 1 shifts to the videophone mode in response to an operation of selecting a voice call (non-videophone) or a videophone by the user A. For example, the portable information terminal 1 displays a selection button for voice call or videophone on the display screen DP, and shifts to a corresponding mode according to the selection operation. Further, since the portable information terminal 1 uses the in-camera C1 in the videophone mode, the camera mode of the camera unit 11 is set to a mode using the in-camera C1.
- the normal mode is the first mode corresponding to the state as shown in FIG.
- the hands-free mode is a second mode corresponding to the state shown in FIG.
- the portable information terminal 1 selects from these modes according to a predetermined instruction operation by the user A or automatic terminal state grasping using the sensors 30.
- the portable information terminal 1 may display a selection button for the normal mode and the hands-free mode on the display screen DP, and shift to a corresponding mode according to the selection operation.
- the portable information terminal 1 grasps the state such as whether the user A is holding the casing or is placed flat on the horizontal plane s0 from the detection information of the acceleration sensor 31 and the like, and automatically according to the state.
- the mode may be determined automatically.
- user A makes a videophone call in a hands-free state (corresponding hands-free mode) as shown in FIG.
- the user A places the casing of the portable information terminal 1 as shown in FIG. 2, and the portable information terminal 1 selects the hands-free mode.
- the two types of modes need not be distinguished.
- the portable information terminal 1 starts photographing by grasping the terminal state and setting the camera unit 11 to the mode using the in-camera C1 (in-camera mode) in the videophone mode.
- the imaging processing unit 12 inputs a moving image from the in-camera C1.
- the photographing processing unit 12 of the portable information terminal 1 detects an area including the face of the user A (for example, the area B1 in FIG. 9) from the wide-angle image of the in-camera C1 by the face detection function 201.
- the imaging processing unit 12 trims a predetermined area including the face as a trimming area (for example, the trimming area TRM1 in FIG. 10) with respect to the area detected in S3 by using the trimming function 202, and a trimmed image (for example, FIG. 12). Image GT1).
- a trimming area for example, the trimming area TRM1 in FIG. 10
- a trimmed image for example, FIG. 12
- the imaging processing unit 12 performs distortion correction processing (normal image conversion processing 203A) on the trimmed image obtained in S4 by the distortion correction function 203.
- the distortion correction function 203 performs the trapezoidal correction process 203B and the aberration correction process 203C described above. Thereby, the corrected image D11 (for example, the image GP1 in FIG. 12) is obtained.
- the imaging processing unit 12 (or the controller 10) creates a transmission image D12 and a monitor image D13 (for example, images GP11 and GP12 in FIG. 12) using the image D11 after correction in S5.
- the controller 10 displays the image received from the portable information terminal 2 of the other party (user B) in an area in the display screen DP (area R1 in FIG. 7). Further, the controller 10 displays the monitor image D13 of the user A in an area in the display screen DP (area R2 in FIG. 7).
- the controller 10 confirms with the user A whether or not the corresponding transmission image D12 may be used in the face state of the monitor image D13 (may be described as transmission confirmation). For example, transmission confirmation information (for example, “Can I send an image?”) Or operation buttons (for example, a transmission permission button or a transmission rejection button) may be displayed in the display screen DP.
- Transmission confirmation information for example, “Can I send an image?”
- operation buttons for example, a transmission permission button or a transmission rejection button
- User A looks at monitor image D13 and the like, and determines whether or not the image content may be transmitted. For example, the user A presses a transmission permission button or a transmission rejection button in the display screen DP. If transmission is permitted in S8 (Y), the process proceeds to S10, and if transmission is denied (N), the process proceeds to S9.
- the user A looks at the monitor image D13 and feels uncomfortable in the state of eyes, for example, the user A can select transmission rejection.
- the controller 10 creates an alternative transmission image D12 using the registered image D10. At that time, the controller 10 may confirm with the user A whether or not the substitute transmission image D12 may be used on the display screen DP using the registered image D10. For example, the face image of the registered image D10 is displayed in the monitor image display region R2 in FIG. 7, and confirmation information and operation buttons are displayed.
- the controller 10 transmits data in a videophone format including the transmission image D12 and the like to the other party's portable information terminal 2 via the communication unit.
- the controller 10 processes a videophone call (including voice input and output, image display, etc.) between the user A and the user B. Note that the voice data of the caller may be transmitted and received at all times separately from the image, as in the case of a normal phone call.
- a videophone call including voice input and output, image display, etc.
- the controller 10 confirms whether the videophone call is finished. For example, when the user A ends the videophone call, the user A presses an end button. Alternatively, the portable information terminal 1 receives information indicating the end from the partner portable information terminal 2. If the videophone call is terminated (Y), the process proceeds to S13, and if it is continued (N), the process returns to S2. Similarly, the processing for each time point is repeated in a loop from S2.
- the face of user A is automatically tracked by the loop. In each process in the loop, the process is streamlined so that the same process is not repeated as much as possible. For example, in the face detection process of S3, the face is automatically tracked for a face area once detected at a certain point of time by motion detection at a later point of time.
- the controller 10 performs a videophone mode termination process and terminates the activation (execution) of the videophone application.
- the termination processing includes resetting of settings related to the videophone (for example, the number of retries), erasing image data, and the like.
- each image of the moving image of the in-camera C1 is similarly processed in a loop.
- the transmission confirmation using the monitor image D13 in S8 is performed once, for example, at the start of a videophone call, that is, using the image of the first period of the moving image.
- the transmission confirmation may be performed at a regular timing during a videophone call, may be performed in response to a predetermined user operation, or may not be performed at all. In the user setting function of the videophone application, it is possible to make settings regarding the presence / absence and timing of the transmission confirmation.
- the same transmission image D12 that has been created first may be used until the end of the videophone call or until the next transmission confirmation. Good.
- the face detection process of S3 for example, when a face area cannot be detected from a wide-angle image at a certain time point, the face detection process may be retried using an image at another time point according to a preset number of retries. .
- the face image detected last time or the registered image D10 may be used as an alternative.
- the portable information terminal 1 displays to the user A that the face cannot be detected in the display screen DP, and confirms whether or not to use the registered image D10 as the transmission image D12 instead. Also good.
- the portable information terminal 1 may immediately use the registered image in S9, but is not limited thereto, for example, S5 or S3
- the process may be retried up to a predetermined number of retries.
- Settings such as the number of retries may be default settings of the videophone application, or may be changeable by user settings.
- the user setting function of the videophone application can be used to set usage status and operation details for various functions including transmission confirmation and creation of transmission images using registered images. It is. Depending on the user settings, it is possible to use a real-time camera image from the beginning to the end of the videophone or use only the registered image D10.
- FIG. 7 shows a configuration of a display screen DP or the like on the XY plane when the front surface s1 of the portable information terminal 1 is viewed in plan during a videophone call.
- An in-camera C1 including a wide-angle lens unit is provided on the front surface s1 side having the display screen DP among the main surfaces (front surface s1, back surface s2) of the flat casing of the portable information terminal 1.
- the in-camera C1 is provided, for example, at the center position (point PC1) of the upper side of the frame area outside the area of the main display screen DP.
- the area R1 in the display screen DP of the mobile information terminal 1 includes an image including the face of the other party (user B) (the other party) Image) g1 is displayed.
- a monitor image g2 including the face of the user A created based on the image of the in-camera C1 is displayed in some predetermined regions R2.
- the monitor image g2 is provided so that the user A can check the state of his / her image transmitted to the other party during a videophone call.
- the function of displaying the monitor image g2 is not essential, but when displayed, the usability can be improved.
- the user A can confirm the state of his / her face and the like by looking at the monitor image g2, and can refuse transmission of the transmission image D12 having contents corresponding to the monitor image g2 as necessary.
- the partner image g1 is displayed in the main area R1 corresponding to almost the whole in the display screen DP, and in the area R1, for example, in the upper right corner near the in-camera C1.
- An overlapping region R2 is provided at the position, and the monitor image g2 is displayed in the region R2.
- the main area R1 for displaying the partner image g1 in the display screen DA is arranged at an upper position near the in-camera C1.
- a divided area R2 is provided on the lower side, and a monitor image g2 is displayed in the area R2.
- various display methods are possible and can be changed by a user setting function.
- the monitor image g2 in the region R2 has a smaller size than the partner image g1 in the region R1. Not limited to this, the size of the monitor image g2 in the region R2 can be changed. Further, only the monitor image g2 can be enlarged and displayed in response to a touch operation on the display screen DP.
- FIG. 8 to 12 show image examples and processing examples for face detection, trimming, and distortion correction based on the wide-angle image of the in-camera C1 of the portable information terminal 1.
- FIG. 8 to 12 show image examples and processing examples for face detection, trimming, and distortion correction based on the wide-angle image of the in-camera C1 of the portable information terminal 1.
- FIG. 8 shows an example of an image (normal image) when the face of the user A is photographed from the front by the normal camera C2 for comparison explanation.
- This normal image shows a case of a square size.
- a central point or a representative point on the face or head of the user A is set as a point P1.
- the middle point of both eyes may be set as the point P1.
- a face area A1, a head area A2, and an area A3 are shown.
- the face area A1 is an area that includes a face (including eyes, nose, mouth, ears, skin, and the like).
- the head region A2 is a region that is wider than the face region A1 and includes the head (including hair).
- the area A3 is larger than the face area A1 and the head area A2, and is an area that includes a peripheral area outside the face or head with a certain size.
- the region A3 may be a region up to a predetermined distance from the point P1, for example, or may be a region taken according to the ratio of the face region A1 and the like in the region A3.
- the shape of each region is not limited to a rectangle, but may be an ellipse or the like. Note that in the case of an image taken in a positional relationship in which the camera is viewed obliquely upward as shown in FIG. 2, the actual image content is slightly trapezoidal as shown in FIG.
- FIG. 9 schematically shows the outline of the wide-angle image G1 captured by the in-camera C1 and the face area detection.
- This wide-angle image G1 has a circular region.
- a point PG1 indicates the center point of the wide-angle image G1, and corresponds to the optical axis direction J2.
- the position coordinates in the wide-angle image G1 are indicated by (x, y).
- An area (face area) B1 indicated by a broken line frame schematically indicates a rectangular area corresponding to the face area A1.
- a region (head region) B2 indicates a rectangular region corresponding to the head region A2
- a region B3 indicates a rectangular region corresponding to the region A3.
- a region B4 further shows a case of taking a rectangular region that is larger than the region B3 and sufficiently large for processing.
- each region is shown as a rectangle, the shape is not limited to this, and may be a shape that matches the coordinate system of the wide-angle image.
- the face detection function 201 detects an area including a face from the wide-angle image G1.
- the face detection function 201 for example, the face area B1 or the head area B2 is detected.
- FIG. 10 shows the state in the (x, y) plane of the original images in FIGS. 13 and 14 to be described later with respect to the wide-angle image G1 in FIG.
- the trimming function 202 sets a trimming area corresponding to the face area B1, the area B3, and the like from the wide-angle image G1, and obtains a trimmed image.
- a shield-shaped area corresponding to the coordinate system of the (x, y) plane of the original image corresponding to the area B3 is set as the trimming area TRM1 (broken line frame) from the wide-angle image G1.
- the shield shape of the trimming region TRM1 is, for example, a shape in which the width in the x direction decreases from the center to the outer periphery in the y direction.
- FIG. 11 shows an example of a trimmed image when trimming as a rectangular (right-angled quadrilateral) trimming region from the wide-angle image G1 of FIG. 9 for comparison.
- a region 111 indicates a rectangular region including the head and its periphery.
- An area 112 is an example of a rectangular area when the area 112 is larger than the area 111 for processing.
- the lateral width H1 of the face area and the entire lateral width H2 are schematically shown.
- the overall width H2 is set so as to be a predetermined ratio (H1 / H2) with respect to the lateral width H1 of the face region or the like.
- H1 / H2 1/2 or 2/3. This ratio can be set by the user.
- the sizes of the areas 111 and 112 may be determined by taking predetermined distances K1 and K2 in the horizontal direction and the vertical direction from the center point P1 of the face area.
- FIG. 12 shows an example of a trimmed image and distortion correction.
- FIG. 12A shows a trimmed image GT1 corresponding to the trimming region TRM1 of FIG. Further, an example in which the trimming region TRM2 and the trimming image GT2 are larger than the trimming region TRM1 and the trimming image GT1 for processing is shown.
- the trimming region TRM1 On the (x, y) plane of the original image, the trimming region TRM1 has a size including the periphery of the face of the user A (for example, a size including the upper body).
- FIG. 12 shows a planarized image GP1, which is an image obtained as a result of distortion correction for the trimmed image GT1 in (A).
- the distortion correction function 203 performs normal image conversion processing 203A (FIG. 14) on the trimmed image GT1.
- a planarized image GP1 having almost no distortion is obtained.
- the planarized image GP1 has a rectangular (right square) plane PL1.
- the plane PL2 indicates the plane of the planarized image obtained in the same manner in the case of the trimmed image GT2.
- the image GP11 and the image GP12 show an example in the case where a partial region is extracted from the planarized image GP1.
- the image GP11 corresponds to a face region
- the image GP12 corresponds to a region including a head region and its periphery.
- the imaging processing unit 12 acquires the planarized image GP1 as the corrected image D11. Furthermore, the imaging processing unit 12 may create a monitor image D13 by extracting a part of the image GP11 and the like from the flattened image GP1 and processing it appropriately.
- the imaging processing unit 12 uses the distortion correction function 203 to perform a normal image conversion process 203A so that the wide-angle image G1 (original image) is not distorted.
- the imaging processing unit 12 performs limited normal image conversion on an image obtained by trimming a part of the wide-angle image G1 (original image). Calculations such as processing 203A are performed.
- FIG. 13 shows a model and coordinate system for normal image conversion when the wide-angle lens of the in-camera C1 is used.
- a hemispherical surface 500 corresponding to a wide-angle lens, a planar imaging surface 501 of the camera sensor, a planarized image 502, and the like are shown.
- the imaging surface 501 is also shown as the (x, y) plane of the original image.
- the flattened image 502 corresponds to the captured image of the target object and is shown as a (u, v) plane.
- the wide-angle lens has a shape close to a spherical surface, although the radius is different depending on the angle of view, etc., and is shown as a hemispherical surface 500.
- the imaging surface 501 is disposed at a position perpendicular to the Z-direction axis of the imaging range of the hemispherical surface 500.
- the origin O, radius R, and three-dimensional coordinates (X, Y, Z) of the hemispherical surface 500 and the imaging surface 501 are shown.
- the bottom plane of the spherical coordinate system (hemisphere 500) corresponds to the imaging plane 501 on the camera sensor and is shown as the (x, y) plane of the original image.
- the portable information terminal 1 uses the model shown in FIG. 13 for the position and the angle of view AV2 where the face of the user A, which is the object to be photographed, is photographed within the angle of view AV1 of the wide angle image photographed through the wide angle lens of the in-camera C1. Based on the above, the distance, angle, range, etc. from the center position can be determined. Therefore, the imaging processing unit 12 performs a distortion correction process (normal image conversion in FIG. 14) based on the model in FIG. 13 to convert the face image having distortion into a planarized image in which the distortion is eliminated or reduced. be able to.
- a distortion correction process normal image conversion in FIG. 14
- the angle of view AV1 by the wide-angle lens of the in-camera C1 is as large as about 180 degrees.
- An object for example, a face
- a spherical surface hemispherical surface 500
- the transmitted optical image is received by a camera sensor having a plane indicated by an imaging surface 501.
- the image on the camera sensor (wide angle image) is distorted as shown on the left side of FIG. The closer to the outer circumference than the center, the tighter the relationship (indicated by angle ⁇ ) between the camera sensor front angle (Z direction) and the captured image direction (n direction).
- FIG. 14 conceptually shows distortion in the (x, y) plane of the original image on the left side of FIG.
- the unit area of the coordinate system is not a right-angled square (eg, distortion amounts ⁇ u, ⁇ v).
- a (u, v) plane is shown as a planarized image 502.
- This (u, v) plane is an image to be extracted as an image having no distortion.
- the unit area of the coordinate system is a right-angled square (eg, ⁇ u, ⁇ v).
- the azimuth angle is ⁇
- the zenith angle is ⁇
- the rotation angle of the plane to be extracted is ⁇ .
- Formula 2: y R (uC ⁇ vD + mRsin ⁇ cos ⁇ ) / ⁇ (u 2 + v 2 + m 2 R 2 )
- Formula 3: A cos ⁇ cos ⁇ sin ⁇ sin ⁇ cos ⁇
- Formula 4: B sin ⁇ cos ⁇ + cos ⁇ sin ⁇ cos ⁇
- C cos ⁇ sin ⁇ + sin ⁇ cos ⁇ cos ⁇
- each pixel of the original image can be converted into each pixel of the flattened image, and distortion can be eliminated.
- the distortion amount ⁇ u, ⁇ v at each pixel position in the (x, y) plane of the original image has no distortion ( ⁇ u, ⁇ v) like a square unit region in the (u, v) plane of the planarized image. To be.
- FIG. 15 shows an image example and the like for the trapezoidal correction process 203B.
- FIG. 15A when the portable information terminal 1 is placed flat on the horizontal plane s0, the face of the user A is photographed in a direction J3 obliquely upward as viewed from the in-camera C1. For this reason, in the angle of view AV2 of the face-captured image, the lower portion of the face or head (such as the chin) in the Z direction is closer to the distance than the upper portion of the Z direction.
- the distance DST1 is an example of the distance between the position PC1 of the in-camera C1 and the upper part of the head
- the distance DST2 is an example of the distance between the position PC1 of the in-camera C1 and the lower part of the head. DST1> DST2.
- the face area of the user A has a trapezoidal image content (denoted as a trapezoidal image).
- the upper side in the Z direction is smaller than the lower side.
- the trapezoidal image 151 schematically shows the shape without distortion of the wide-angle image after normal image conversion.
- the top side is relatively small and the chin side is relatively large.
- trapezoid correction processing 203B is used to create a more suitable transmission image D12.
- the portable information terminal 1 shows the state of the elevation angle (angle ⁇ 1) when the point P1 of the representative position of the user A's face is viewed from the position PC1 of the in-camera C1, and the images and sensors of the in-camera C1. It can be judged using.
- the imaging processing unit 12 performs a keystone correction process 203B based on the determined information.
- FIG. 15 shows an image 152 obtained as a result of the trapezoidal correction from (B).
- This image 152 is a right-angled square image, and the upper side and the lower side have the same length.
- the portable information terminal 1 As shown in FIG. 7, the portable information terminal 1 according to the first embodiment also has a monitor function for the user A's own image.
- the portable information terminal 1 displays the monitor image D13 of the user A corresponding to the transmission image D12 in the display screen DP, and determines whether or not the user A can use the monitor image D12 in the face state as the transmission image. Confirm.
- this monitor function when the user A looks at the monitor image D13 and feels that the face image after distortion correction is uncomfortable or disliked, the user A refuses to transmit the transmission image D12 corresponding to the monitor image D13. Can do.
- the portable information terminal 1 receives the operation of the transmission rejection instruction, the portable information terminal 1 does not transmit the transmission image D12 corresponding to the monitor image D13.
- the mobile information terminal 1 creates a new transmission image D12 based on the registered image D10 instead of the transmission image D12, and exchanges the original transmission image D12 for transmission.
- the portable information terminal 1 may use the face image of the registered image D10 as it is, or may process it to create the transmission image D12.
- the registered image D10 may be a still image or a moving image in which the user A captures his / her face with an arbitrary camera, or may be any other image (icon image, animation image, etc.) other than the face.
- the portable information terminal 1 may have an image correction function.
- the portable information terminal 1 receives a transmission rejection instruction for the corrected image D11 (monitor image D13, transmission image D12) once created, the portable information terminal 1 uses this function to correct the face image.
- the portable information terminal 1 performs a correction process on the corrected image D11 based on the face image of the registered image D10 to create a corrected face image.
- the portable information terminal 1 processes the state of both eyes in the face image so that the direction of the line of sight is the front, and creates a corrected face image.
- the corrected face image may also be displayed on the display screen DP and transmitted to the user A for confirmation.
- the portable information terminal 1 corrects the eye part of the face image to be synthesized or replaced using the eye part of the registered image D10. As a result, the corrected face image has the eyes facing the front.
- the portable information terminal 1 when the user A gives an instruction to refuse transmission after confirming the monitor image D13, the portable information terminal 1 once resets the processing results (corrected image D11, transmission image D12) at that time, and at different timings.
- the creation of the transmission image D12 may be retried based on the input image.
- the number of retries at that time can also be set.
- the portable information terminal 1 eventually fails to obtain a sufficient image (when the transmission instruction of the user A is not issued), the face image of the registered image D10 is used as the transmission image D12. Also good.
- the mobile information terminal 1 determines whether the image to be the transmission image D12 is a real-time created image or a face image of the registered image D12 in response to the touch operation of the user A on the area in the display screen DP. May be switched.
- the registration function and the registration image D10 By using the registration function and the registration image D10, the accuracy of face detection and the like can be increased, and various auxiliary functions can be used.
- the data of the registered image D1 is stored in the memory 13 or the external memory 16 or the like.
- a method for registering the face image of the user A as the registered image D10 is as follows. For example, the user A operates the registration function among the user setting functions of the videophone application, and images his / her face from the front using the normal camera C2 (or the in-camera C3 in the second embodiment described later). Then, a face image without distortion is registered as a registered image D10.
- the registered image D10 may be created using the in-camera C1 and the distortion correction function 203, or registration may be performed by reading data from another camera or an external device.
- the registered image D10 may include not only a face image captured from the front of the face of the user A but also a plurality of images captured from various other directions.
- the face detection function 201 of the portable information terminal 1 uses the registered image D10 to indicate the state of the face at that time even when the user A changes the direction of the face or moves during a videophone call. Can be detected.
- the image correction function of the portable information terminal 1 can be corrected in accordance with the face state.
- the user A when the user A confirms the monitor image D13 on the display screen DP and rejects transmission, and uses the registered image D10 instead, the user A uses the face image selected by the user A among the plurality of face images of the registered image D10. It can also be set as the transmission image D12.
- the registered image D10 may include not only a face image of one user A but also a plurality of face images of other users who may use the portable information terminal 1 to make a videophone call. Good.
- the face detection function 201 of the imaging processing unit 12 also has a function of recognizing a specific user's individual face (personal recognition function 201B).
- the portable information terminal 1 may not only detect an unspecified face area from a wide-angle image but also recognize a specific user's face. In that case, the portable information terminal 1 may detect only the face of a specific user and create the transmission image D12.
- the face detection function 201 detects, for example, an arbitrary face area from a wide-angle image. Thereafter, in the personal recognition function 201B, the face area is compared and collated with the face image for personal recognition of the user A registered in the registered image D10 in advance. The personal recognition function 201B determines whether the face area in the wide-angle image corresponds to the face of the specific user A based on the similarity as a result of the comparison. The personal recognition function 201B outputs personal recognition result information.
- the portable information terminal 1 applies the control of the videophone function in the hands-free state only when the face of the specific user A is, for example, creates a transmission image D12.
- the transmission image D12 can be created only for the face of a specific user A.
- the face of a passerby who is just in the background of the user A in the wide-angle image need not be treated as a target.
- the personal recognition function 201B may not be provided.
- the imaging processing unit 12 may recognize a specific individual's face with respect to the image before distortion correction, or recognize a specific individual's face with respect to the image after distortion correction. It may be.
- the imaging processing unit 12 (particularly the face detection function 201) automatically tracks the movement of the user's face area based on the moving image (a plurality of images at a predetermined rate) of the in-camera C1. (Face tracking function) is also included.
- the portable information terminal 1 can be tracked by face detection within the wide-angle image even if the user moves a little.
- the portable information terminal 1 can also be a transmission image D12 that is tracked so that the user's face is always at the center of the image.
- user A may not be stationary at the same position but may be moving.
- the imaging processing unit 12 detects the face area of the user A for each wide-angle image for each predetermined time point from the moving image. For example, after a face area is detected once at a certain time by the face detection function 201, at a subsequent time point, a search is performed in the vicinity of the detected face area to determine the movement of the face area. Thereby, even when the user is moving while suppressing the image processing amount, the face area of the user A can be continuously tracked on the time axis.
- the user A may move from the initial position. For example, user A may temporarily leave the initial position and then return to the initial position. Even in that case, the imaging processing unit 12 tracks the moving face area as much as possible by the face tracking function.
- the imaging processing unit 12 responds, for example, as follows in the subsequent time.
- the imaging processing unit 12 responds by using the last detected image and the created transmission image D12.
- the photographing processing unit 12 responds by temporarily switching to the face image of the registered image D10.
- the imaging processing unit 12 detects the face area and then tracks the same in the same manner. Moreover, even when the face of the user A is temporarily hidden by an arbitrary object, the photographing processing unit 11 can cope with the face tracking function in the same manner.
- [(15) Other usage state, arrangement state, and guide function] 16 to 18 show examples of other usage states and arrangement states of the portable information terminal 1 according to the first embodiment.
- the arrangement state of the terminal when the user A makes a hands-free videophone is not limited to the state shown in FIG. 2, and the following states are also possible.
- FIG. 16 shows a first example of the state.
- an arbitrary object 160 such as a table having a slope s5 inclined at a certain angle 161 with respect to the horizontal plane s0.
- the user A places the casing of the portable information terminal 1 flat along the inclined surface s5 of the object 160 such as the table.
- the object 160 and the angle 161 are not particularly limited as long as the casing is stationary.
- the user A looks at the display screen DP of the housing in front.
- the in-camera C1 is arranged in the direction J2 of the optical axis corresponding to the angle 161.
- the in-camera C1 captures the face (point P1) of the user A at the angle of view AV2 in the direction J3. In this way, even if the housing is inclined to some extent, a videophone in a hands-free state can be realized as in FIG.
- FIG. 17 shows, as a second example, the position PC1 of the in-camera C1 on the front surface s1 of the housing is in the Y direction when viewed from the user A and is in the front direction Y2.
- the face shooting direction J3 (angle ⁇ 3) of the in-camera C1 is different from the state of FIG.
- the elevation angle is larger.
- the imaging processing unit 12 can recognize the inverted state from the wide-angle image.
- the imaging processing unit 12 performs image inversion processing as appropriate, and displays a monitor image D13 with the top and bottom in an appropriate direction in the display screen DP.
- FIG. 18 shows a case where the longitudinal direction of the casing is arranged along the X direction (left and right direction as viewed from the user A) as a third example.
- the position PC1 of the in-camera C1 on the front surface s1 is the position on the left and right sides (for example, the direction X1) in the X direction when viewed from the user A.
- the imaging processing unit 12 performs image rotation processing as appropriate, and displays a monitor image D13 in an appropriate direction in the display screen DP.
- the arrangement state of FIG. 2 is particularly recommended for the user, but the videophone function can be realized in the same manner in each of the above arrangement states.
- the arrangement state of the portable information terminal 1 on the horizontal plane s0 and the positional relationship with the user A are in any of the states shown in FIGS. It is possible to respond in the same manner. Therefore, the user A can change the state of the terminal and the position of the user freely to some extent during a videophone call, which is highly convenient.
- the portable information terminal 1 may have a function (guide function) for recommending or guiding the user with respect to the arrangement state of the housing.
- the portable information terminal 1 grasps the arrangement state of the housing using the camera image and the sensors 30.
- the portable information terminal 1 displays guide information (eg, “It is recommended to place the camera on the back side”) on the display screen DP so as to recommend the arrangement state of FIG. Sound output may be performed.
- the portable information terminal 1 may output guide information to that effect.
- the portable information terminal 1 in a certain arrangement state, is in a case where the angle ⁇ 3 related to the direction J3 for photographing the face (point P1) of the user A from the position PC1 of the in-camera C1 is not within a predetermined angle range (the elevation angle is small). If it is too large or too large), guide information indicating that the arrangement position is not appropriate may be output.
- the positional relationship of the user A with respect to the portable information terminal 1 may be assumed to be a positional relationship in which the face cannot be recognized from the in-camera C1.
- the portable information terminal 1 may output guide information to the user A in order to make the positional relationship (terminal position and user position) appropriate. For example, information indicating that the position or arrangement state of the portable information terminal 1 is changed, or information indicating that the position of the face of the user A is changed may be output.
- the portable information terminal 1 knows the positional relationship with the user A, the portable information terminal 1 may output instruction information as to which direction and position to change.
- FIG. 19 shows a case of a normal videophone mode (normal mode) in the portable information terminal of the comparative example and a non-handsfree mode in a non-handsfree state as another videophone mode in the first embodiment.
- the user A has the casing of the portable information terminal in his hand and his hands are not free.
- the housing is in a vertically standing state.
- the in-camera CX on the front surface of the housing is a normal camera having a normal lens with a normal angle of view (so-called narrow angle). This normal angle of view is narrower than the angle of view AV1 of the in-camera C1.
- the direction JX2 of the optical axis of the in-camera CX is shown, and in this example, the front direction Y2 is directed in the Y direction.
- the angle of view AVX1 of the in-camera CX is an angle range from 45 degrees to 135 degrees, for example. Of the angle of view AVX1, the angle of view AVX2 corresponding to the face shooting range is shown.
- the direction JX1 of the user A's line of sight, the direction JX3 of photographing the face of the in-camera CX, and the angle difference AD2 formed by them are shown.
- the user A's eyes are not facing the front.
- the angle difference AD1 can be made smaller than the angle difference AD2 of the comparative example. Therefore, in the hands-free mode in the first embodiment, the direction of the user's eyes in the image is closer to the front than in the normal mode. As a result, when viewed from the other party (user B), the user A's line of sight is facing more frontward, and thus a video call that is more natural and less uncomfortable is possible.
- the in-camera CX of the conventional portable information terminal usually has a lens and has a limited photographing range. Therefore, when the in-camera CX is used for a videophone function and the user A makes a videophone in a non-hands-free state with the hand in his / her case, the following considerations and troubles are required. User A needs to keep the positional relationship between the face and the housing while adjusting the orientation of the housing with his hand in order to appropriately photograph his face and convey it to the other party. On the other hand, in the portable information terminal 1 of Embodiment 1, it is possible to make a videophone call in a hands-free state using the in-camera C1, and the above considerations and labor are unnecessary.
- the portable information terminal 1 may omit the distortion correction processing and the like, and different effects can be obtained as an operation different from the hands-free mode.
- a hands-free videophone can be realized with more favorable usability.
- the user can make a videophone call with both hands free and is highly convenient.
- the in-camera C1 on the front surface s1 of the portable information terminal 1 is not limited to a videophone, but is a general one that can be used for other purposes (self-taking, etc.).
- a hands-free videophone is realized by making good use of the in-camera C1.
- the portable information terminal 1 according to the first embodiment does not need to be deformed in the case of a hands-free videophone, and it is not necessary to use another fixing device, so that it is easy to use and highly versatile. .
- the optical axis of the camera is a general plane vertical direction, and the direction of the optical axis of the camera is oblique (for example, 45 degrees). Unlike the prior art examples and the prior art examples in which the direction of the optical axis of the camera can be changed mechanically, the mounting is easy.
- Embodiment 2 A portable information terminal according to Embodiment 2 of the present invention will be described with reference to FIGS.
- the basic configuration of the second embodiment is the same as that of the first embodiment, and the following description will be made on the components of the second embodiment that are different from the first embodiment.
- the portable information terminal 1 of Embodiment 2 includes a plurality of in-cameras on the front surface s1 of the housing, and uses them separately.
- FIG. 20 shows the configuration of the camera unit 11 in the portable information terminal 1 of the second embodiment.
- the camera unit 11 includes an in-camera C3 having a normal angle of view in addition to the in-camera C1 and the normal camera C2 (which may be a wide-angle camera in particular).
- the aforementioned in-camera C1 corresponds to the first in-camera
- the in-camera C3 corresponds to the second in-camera.
- the imaging processing unit 12 is an out-camera processing unit 12B that processes a normal image of the normal camera C2, a first in-camera processing unit 12A that processes a wide-angle image of the in-camera C1, and a first image that processes a normal image of the in-camera C3. It includes a 2-in-camera processing unit 12C and a mode control unit 12D.
- the imaging processing unit 12 uses the mode control unit 12D to switch which of the plurality of cameras is to be used.
- the portable information terminal 1 switches the camera mode according to the grasp of the positional relationship between the terminal and the face of the user A and the arrangement state of the terminal.
- FIG. 21 shows an example of a usage state in the portable information terminal 1 according to the second embodiment, an angle of view of the in-camera C3, and the like.
- the casing of the portable information terminal 1 is arranged flat on the horizontal plane s0.
- the in-camera C3 (particularly the normal lens unit) is provided at a position PC3 near the position PC1 of the in-camera C1.
- the direction J4 of the optical axis of the in-camera C3 is vertically upward as in the in-camera C1.
- An angle of view AV4 (angle range from the first angle ANG3 to the second angle ANG4) of the in-camera C3 is shown.
- the angle of view AV4 is narrower than the angle of view AV1 of the in-camera C1, and for example, the first angle ANG3 is about 60 degrees and the second angle ANG3 is about 135 degrees.
- the state 211 is the same as the state of FIG. 2, and shows a case where the face of the user A can be photographed at the angle of view AV2 within the angle of view AV1 of the in-camera C1.
- a state 212 shows a case where the face of the user A can be photographed by the angle of view AV4 of the in-camera C3.
- a representative point P4 of the face of the user A is ahead of the optical axis direction J4 of the in-camera C3.
- the portable information terminal 1 switches to the camera mode using the in-camera C3 among a plurality of cameras. Further, as in the state 211, in the case of a positional relationship in which a face can be shot with an angle of view other than the angle of view AV4 of the angle of view AV1 of the in-camera C1, the portable information terminal 1 switches to the camera mode using the in-camera C1.
- FIG. 21B shows an example of the non-hands-free state in the second embodiment, which is a state close to the non-hands-free state of FIG.
- the portable information terminal 1 switches the camera mode from the in-camera C1 to the in-camera C3, Control to make a video call in free mode (normal mode).
- the portable information terminal 1 switches the camera mode from the in-camera C3 to the in-camera C1 and makes a videophone in the hands-free mode.
- the wide-angle image by the in-camera C1 and the normal image by the in-camera C3 are switched as input images.
- the portable information terminal 1 may automatically perform the selection and switching of the two types of cameras based on the state grasp, or may be performed based on an instruction operation or setting by the user. .
- the distortion correction process or the like is unnecessary, so that the process can be made efficient.
- the portable information terminal 1 uses the face detection function 201 to detect the face area of the user A in the image, and based on the position, direction, and angle of view of the face area. , Which camera is used may be selected and the mode may be switched. For example, the portable information terminal 1 uses the in-camera C3 depending on whether or not the face is within a predetermined angle of view corresponding to the angle of view AV4 of the in-camera C3 out of the angle of view AV1 of the in-camera C1. Whether to use the in-camera C1 may be selected.
- the processing efficiency can be improved by using the in-camera C3 having a normal angle of view.
- the positions of the in-camera C1 and the in-camera C3 on the front surface s1 of the casing of the portable information terminal 1 are not limited to the above-described configuration, and for example, enter the rectangle of the display screen DP on the front surface s1. It is good also as a position of a part.
- FIG. 22 shows an image example of the photographing process in the portable information terminal 1 of the modification.
- the imaging processing unit 12 of the portable information terminal 1 first performs distortion correction processing on the entire wide-angle image G1, and then detects and trims a face area or the like from the distortion-corrected image.
- the portable information terminal 1 distorts the wide-angle image G1 with respect to an area having a horizontal angle of view of 360 degrees (range 221) or an area having a horizontal angle of view of 180 degrees (a semicircular range 222 below the x axis). Correction processing is performed to obtain a corresponding planarized image GP3.
- FIG. 22 shows an image example of the photographing process in the portable information terminal 1 of the modification.
- a panoramic image in a case where the horizontal view angle is in a range 222 of 180 degrees is schematically shown as the post-distortion image that is the planarized image GP3.
- the portable information terminal 1 detects an area (for example, the area 224) including the face of the user A from the planarized image GP3. Then, the portable information terminal 1 trims the area 224 by taking the trimming area 225, obtains the trimmed image 226, and creates the transmission image D12 and the like from the trimmed image 226.
- the area of the image region to be subjected to the distortion correction process is larger than that in the first embodiment.
- the photographing process of the first embodiment described above is advantageous in terms of processing efficiency and the like because the area of the image region to be subjected to the distortion correction process is smaller.
- a modification may be adopted.
- the target image for face detection is a flattened image, which is advantageous in terms of ease of image processing for face detection.
- the imaging processing unit 12 compares and collates using the face image of the registered image D10 of the user A when detecting a face area from a wide-angle image having distortion.
- the face image of the registered image D10 at that time may be a face image with distortion, which is previously captured by the in-camera C1.
- the portable information terminal 1 has a partial range, for example, a range of a semicircle on the lower side from the x axis in FIG. It is also possible to refer to an image area 222 (in FIG. 2, an elevation angle range of 0 to 90 degrees), narrow down the processing target image area to that range, and ignore the upper half image area. Furthermore, as in the example of the region 223, the horizontal field angle may be narrowed down to a narrower range. Further, for example, when the portable information terminal 1 grasps the state as shown in FIG. 2, the processing target image range may be narrowed down as described above. In the first state of FIG. 2, in the wide-angle image, the face of the user A appears in the lower semicircle range 222 and has almost no possibility of appearing in the upper semicircle range. Therefore, the above processing is effective.
- a partial range for example, a range of a semicircle on the lower side from the x axis in FIG. It is also possible to refer to an image area 222 (in FIG. 2, an elevation angle
- the portable information terminal 1 first performs a simple first distortion correction process on the wide-angle image by the distortion correction function 203, then performs face detection and trimming, and finally trims the image.
- a second distortion correction process with higher accuracy may be performed on the image.
- the mobile information terminal 1 may automatically determine whether or not the distortion-corrected image is allowed as the transmission image D12, not by the confirmation or operation of the user A. For example, the portable information terminal 1 compares the face area of the image after distortion correction with the face area of the registered image D10, evaluates the degree of face reproduction, and calculates an evaluation value. The portable information terminal 1 determines that transmission is permitted when the evaluation value is equal to or greater than a set threshold value.
- the imaging processing unit 12 may include an object recognition function.
- This object recognition function is a function for recognizing a predetermined object other than a face from a wide-angle image and detecting the object region based on image processing. Since the user A can freely move his / her hand during the videophone call in the hands-free state of FIG. 2, an object held in the hand can be copied to the in-camera C1. Thereby, in the transmission image D12, not only the face of the user A but also an arbitrary object held in the hand can be copied around the user A and can be shown to the other party (user B).
- the predetermined object is an object defined in advance on information processing.
- the imaging processing unit 12 has a detection algorithm corresponding to the object. Examples of the predetermined object include user materials, photographs, notebooks, notebook PC screens, user articles, animals, and the like.
- the predetermined object is defined as a region having a predetermined shape such as a rectangle or a circle, a predetermined color, or the like.
- the imaging processing unit 12 (object recognition function) may detect an area of a predetermined object by searching, for example, within a predetermined distance range around the face area based on the detected face area.
- FIG. 23A shows an image example when the object recognition function is used. This image shows a state of a flattened image without distortion. User A is talking to the other party (user B) while showing object 230 during a hands-free videophone call.
- the object 230 is, for example, an A4 size document or the like, and is roughly rectangular in the image after distortion correction.
- the portable information terminal 1 detects not only the face area 231 but also the area 232 of the specific object 230 from the image using the object recognition function.
- the portable information terminal 1 also performs distortion correction processing on the area 232 of the object 230. For example, the portable information terminal 1 may search for a specific object in a range from the point P1 of the face region 231 to a predetermined distance 233 around the point P1.
- the portable information terminal 1 may create the transmission image D12 by taking a rectangular area 234 including the face area 231 and the area 232 of the object 230.
- the image is not limited to the image centered on the face area 231 (point P1), and may be a minimum rectangular image including a face and an object, such as an area 235.
- the portable information terminal 1 separates the face area 231 and the area 232 of the object 230, creates each transmission image D12, displays it as a monitor image D13 (images 236, 237), and confirms the transmission. Good. Further, the portable information terminal 1 may create an image focused on the detected object 230 (an image enlarged around the object 230) as the monitor image D13. Further, if an area that secures the periphery of the face at a large distance using the area A3 and the area B3 described above, an object can be automatically captured in the area even if the object recognition process is omitted.
- FIG. 23B shows a flattened panoramic image GP4 based on a wide-angle image.
- the face of the user A is shown in the direction Y2 and the direction J3 in FIG. 2 and the position corresponding to the lower side of the y axis in FIG. 10 (horizontal angle of view is 0 degree).
- a region r2 in which a predetermined object is captured is located at a certain distance from the position in the horizontal direction, for example, at a horizontal angle of view of 90 degrees and a position corresponding to the right side of the x axis. Both of these can be captured in one wide-angle image, and can be a transmission image D12.
- the imaging processing unit 12 may detect the user A's hand from the wide-angle image, take an area including the user A's face and hand, and create the transmission image D12. Good. Further, when both hands are shown in the wide-angle image, it can be determined that the user does not hold the casing. Therefore, the portable information terminal 1 may be switched to the hands-free mode when both hands of the user A are detected from the wide-angle image.
- Modification (3)-Face images of multiple users As a modification, for example, in a state in which one portable information terminal 1 is placed on a desk, a plurality of users can use the same portable information terminal 1 to communicate with the other party (user B) as a caller on one transmission side. A method of using a videophone is also possible. In that case, the mobile information terminal 1 according to the modification performs processing such as face detection and distortion correction in parallel on a plurality of faces of a plurality of users that are included in the wide-angle image. At that time, the portable information terminal 1 may create a plurality of transmission images D12 separately for each user's face shown in the wide-angle image, or one transmission image including a plurality of faces. D12 may be created.
- FIG. 24A shows an example of an image including a plurality of user faces in this modification.
- the portable information terminal 1 detects the face area RU1 of the user A and the face area RU2 of the user C from the wide-angle image of the in-camera C1.
- the portable information terminal 1 takes, for example, an area 241 (for example, a horizontally long rectangle) that includes these two face areas and creates it as a transmission image D12.
- the portable information terminal 1 may take these two face areas as the trimmed images 242 and 243, create them as the transmission images D12, and display them in parallel.
- the portable information terminal 1 may display a monitor image D13 of each face of a plurality of users in the display screen DP.
- the mobile information terminal 1 grasps which face user is currently speaking among a plurality of faces in the wide-angle image by image processing of the wide-angle image, particularly detection of the mouth state, and the user who is currently speaking A transmission image D12 or the like for the face may be created. Furthermore, the portable information terminal 1 may grasp which user is currently speaking among a plurality of faces in the wide-angle image by linking the image processing and the sound processing of the microphone 17 together. The portable information terminal 1 may display the monitor images D13 of a plurality of users in parallel in the display screen DP, or may switch and display them on the time axis.
- the above-described processing may be performed only for a plurality of users whose face images are registered in advance in the portable information terminal 1 as the registered image D10.
- the portable information terminal 1 does not handle the face of a person (passerby or the like) who is not registered in advance.
- the portable information terminal 1 may use the registered image D10 as an alternative when the processing of some user's faces is not in time, or may use an alternative icon or landscape as an alternative. Good.
- a plurality of people (user A, user C) are placed in an area within the angle of view in the direction seen from the in-camera C1 (for example, the area L1 below the y-axis of (B)).
- the face is reflected.
- the present invention is not limited to this, and it is possible to use a wide angle of view of the in-camera C1 even when each person is present at a different horizontal angle of view around the position of the portable information terminal 1 on the horizontal plane s0. Is possible.
- FIG. 25 shows the counterpart image correction function provided in the mobile information terminal 1 of the modification.
- the portable information terminal 1 of the modified example displays the image of the other party in the display screen DP (region R1) as shown in FIG. 7, the image obtained by correcting the reverse trapezoid using this partner image correction function is displayed.
- FIG. 25A shows an example of a normal partner image received from the portable information terminal 2 of the partner (user B).
- the other party's right-angled square image g1 is displayed.
- FIG. 25 schematically illustrates how the image g1 of (A) is viewed obliquely below the user A's eyes (point P1) in the state illustrated in FIG.
- the image g1 appears as a trapezoidal shape whose upper side is smaller than the lower side. That is, when viewed from the user A, the head side of the user B looks relatively small.
- the portable information terminal 1 grasps the positional relationship between the user A and the terminal and the arrangement state of the terminal based on the analysis of the wide-angle image of the in-camera C1 and the detection information of the sensors 30. For example, the portable information terminal 1 estimates the state of the user A's face, the distance from the terminal, and the like from the position of the user A's eyes, the direction of the line of sight, the size of the face, and the like in the image. The portable information terminal 1 sets a ratio (ratio between the upper side and the lower side) at the time of inverted trapezoidal correction according to the grasped state. The portable information terminal 1 obtains an inverted trapezoidal image by performing an inverted trapezoidal correction process on the rectangular image received from the counterpart portable information terminal 2 in accordance with the ratio or the like. The ratio may be a preset value.
- FIG. 25 shows an image g1b after the inverted gapped shape of the image g1 in (A).
- This image g1b has an inverted trapezoidal shape, and is a trapezoid having a large upper side and a small lower side.
- the portable information terminal 1 displays the inverted trapezoidal image g1b in the region R1 in the display screen DP.
- the user A views the partner image g1b in the region R1 in the display screen DP obliquely below the eyes (point P1).
- the partner image is seen as a shape close to a right-angled quadrangle as shown in (A).
- the user A can easily view the partner image and is more convenient to use.
- the portable information terminal 1 is not limited to a two-dimensional image, and may use a function for processing a three-dimensional image (a three-dimensional image processing function).
- the camera unit 11 for example, the normal camera C2
- the imaging processing unit 12 processes the wide-angle image of the in-camera C1 as a three-dimensional image.
- the portable information terminal 1 irradiates the user's face with, for example, tens of thousands of infrared dots by using the infrared camera function and the three-dimensional sensor module.
- the portable information terminal 1 captures the infrared dots with an infrared camera, reads subtle irregularities on the face surface from the image, and creates a face three-dimensional map (corresponding three-dimensional image).
- the portable information terminal 1 may perform distortion correction processing on the three-dimensional image.
- the portable information terminal 1 may perform a three-dimensional face correction process by collating the three-dimensional image with the three-dimensional face image information in the registered image D10. In that case, clearer and finer correction can be performed.
- the mobile information terminal 1 may add an analysis using machine learning such as deep learning instead of simply collating images.
- the portable information terminal 1 may incorporate an AI engine (software and hardware for performing deep learning using a convolutional neural network) having a deep learning function.
- the mobile information terminal 1 learns about the user's face from the camera image using the AI engine, thereby improving the performance of face detection and face correction.
- the detection, recognition, and correction of the face of the user A is performed in consideration of differences and influences such as changes due to a person's hairstyle and makeup, the presence or absence of glasses and sunglasses, and the extent of whiskers. be able to.
- the personal information function 1 may compare and collate the three-dimensional face image of the registered image D10 with the three-dimensional face image photographed by the in-camera C1 and corrected for distortion in the personal recognition function 201B. Thereby, the personal recognition of whether or not the user A is himself / herself can be realized with higher accuracy.
- the microphone 17 of the portable information terminal 1 in FIG. 3 may be a directional microphone.
- the directional microphone includes a sound processing function such as a noise canceling function.
- the controller 10 preferentially collects sound from the direction in which the face of the user A is located using the microphone 17.
- the controller 10 cancels the noise with respect to the input voice by the noise cancellation function, and obtains a clear voice of the user A.
- the controller 10 transmits the audio data to the counterpart portable information terminal 2 together with the transmission image D12.
- the direction in which the face of the user A is seen from the portable information terminal 1 can be grasped by grasping the state of the portable information terminal 1 or detecting the face in the image.
- a directivity and a noise canceling function may be realized by a known beam forming technique by applying a known MEMS microphone or the like.
- a plurality of microphones are basically required.
- the portable information terminal 1 when the portable information terminal 1 is small, a plurality of microphones may not be mounted. In that case, in the portable information terminal 1, by mounting the MEMS microphone, it is possible to separate and emphasize a specific sound source from a plurality of sound sources by the beam forming technique. Thereby, it is possible to emphasize and obtain only the voice of the user A.
- the portable information terminal 1 can recognize the position and direction of the user A with a certain degree of accuracy by using the in-camera C1. Therefore, the portable information terminal 1 roughly specifies the position and direction of the user A using the in-camera C1.
- the portable information terminal 1 may acquire the specified position and direction by preferentially emphasizing the sound from the direction using the microphone 17 and the beam forming technique.
- the portable information terminal 1 may roughly estimate the position and direction of the face of the user A based on the analysis of the sound of the microphone 17.
- the portable information terminal 1 may perform processing such as face detection on a wide-angle image in accordance with the position and direction of the face.
- a directional speaker may be used as the speaker 18.
- the directivity and volume of the sound output of the speaker 18 may be controlled.
- SYMBOLS 1 Portable information terminal, 2 ... Portable information terminal, s0 ... Horizontal surface, s1 ... Front surface, s2 ... Back surface, DP ... Display screen, C1 ... In-camera, J1, J2, J3 ... Direction, AV1, AV2 ... Angle of view, [theta] 1 , ⁇ 2 ... angle, P1, PC1, PD ... point, ANG1, ANG2 ... angle, AD1 ... angle difference.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Telephone Function (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
ハンズフリー状態のテレビ電話を、より好適な使い勝手で実現できる技術を提供する。携帯情報端末1は、テレビ電話機能を持ち、平板形状の筐体における表示画面DPを持つ前面s1の所定の位置(点PC1)に、広角レンズを含む第1カメラ(インカメラC1)を備える。テレビ電話機能を用いて第1ユーザ(ユーザA)が相手の第2ユーザとの間でテレビ電話を行う際に、筐体が物体の第1面(水平面s0)上に平らに配置され、インカメラC1の画角AV1の範囲内に第1ユーザの顔が含まれる状態を第1状態とする。携帯情報端末1は、第1状態で、インカメラC1によって撮影された広角画像から、第1ユーザの顔を含む第1領域を検出し、第1領域に対応する第1画像をトリミングし、第1画像に基づいて、相手端末に送信するための送信画像を作成し、送信画像を相手端末に送信する。
Description
本発明は、スマートフォン等の携帯情報端末の技術に関し、特に、テレビ電話(Video phone)機能に関する。
近年、スマートフォンやタブレット端末等の携帯情報端末では、1枚の概略平板形状の筐体への高密度実装等の小型化が進むと共に、多様な機能や高度な機能の搭載が進んでいる。それらの機能としては、テレビ受信機能、デジタルカメラ機能、テレビ電話機能等が挙げられる。特に、携帯情報端末におけるテレビ電話機能は、例えばSkype(登録商標)等のアプリケーションやサービスによって、簡便に利用できる状況になってきている。
また、携帯情報端末は、デジタルカメラ機能としては、筐体の主面のうち表示画面がある側の前面に設けられたカメラ(インカメラとも呼ばれる)や、前面の反対側の背面に設けられたカメラ(アウトカメラとも呼ばれる)を有する場合がある。
ユーザが携帯情報端末でテレビ電話(通話と記載する場合がある)を行う際には、ユーザ自身を撮影できる側である前面のインカメラを利用する。携帯情報端末は、テレビ電話相手の端末から受信した相手の画像を表示画面に表示すると共に、インカメラで撮影したユーザ自身の画像を、相手の端末へ送信する。そのため、通常、ユーザは、例えば一方の手に持った携帯情報端末の前面を、自身の顔および視線に対して正面で対面する位置に、例えば筐体が鉛直に立つ状態に近い位置に、保持しておく必要がある。この場合、ユーザは、両手が自由にはならない。
ユーザが携帯情報端末でテレビ電話を行う際に、両手が自由な状態(ハンズフリーと記載する場合がある)で行いたい場合がある。その場合、ユーザは、例えば机等の水平面上に携帯情報端末の筐体を置いた状態として、表示画面およびインカメラに対して垂直な方向で顔を対面させる位置関係とすれば、ハンズフリーでのテレビ電話が可能である。
上記携帯情報端末やテレビ電話機能に係わる先行技術例として、特開2005-175777号公報(特許文献1)、特開2007-17596号公報(特許文献2)が挙げられる。特許文献1には、携帯型電話機として、机上の載置時のユーザの視認性を向上する旨や、本体の形状を変化させてハンズフリーテレビ電話に対応できる旨が記載されている。特許文献2には、携帯端末装置として、本体のカメラが撮影した画像に基づいて、使用者の顔の情報を取得し、顔の向きと本体の向きとの相対的な位置関係を把握し、表示画面に表示する情報の向きを決定する旨が記載されている。
ユーザが携帯情報端末でテレビ電話を行う際に、両手が自由ではない通常の状態(非ハンズフリーと記載する場合がある)では、利便性に欠ける場合がある。例えば、ユーザは両手でPCを操作しながら通話することはできず、また、資料等の何らかの物体を通話相手に見せながら通話することもしにくい。
また、ユーザが携帯情報端末でテレビ電話を行う際に、両手が自由なハンズフリー状態を実現しようとする場合、例えば机等の水平面上に平らに置かれた筐体に対して顔を対面させる位置関係となるように無理な姿勢をとる必要があり、使い勝手が良くない。あるいは、机等の水平面上に、固定器具を用いて、筐体が斜めになるように配置すれば実現できるが、固定器具を必要とするため、利便性に欠ける。あるいは、折り畳み型や分離型等の、姿勢が変形可能である構造を持つ携帯情報端末を用いれば、同様の状態が実現できるが、1枚の概略平板形状の筐体を持つ携帯情報端末の場合には適用できない。
本発明の目的は、テレビ電話機能を持つ携帯情報端末の技術に関して、概略平板形状の筐体を持ち、変形可能な特殊な構造を持たない構成を前提として、ハンズフリー状態のテレビ電話を、より好適な使い勝手で実現できる技術を提供することである。
本発明のうち代表的な実施の形態は、携帯情報端末であって、以下に示す構成を有することを特徴とする。一実施の形態の携帯情報端末は、テレビ電話機能を持つ携帯情報端末であって、平板形状の筐体における表示画面を持つ前面の所定の位置に、広角レンズを含む第1カメラを備え、前記テレビ電話機能を用いて第1ユーザが相手の第2ユーザとの間でテレビ電話を行う際に、前記筐体が物体の第1面上に平らに配置され、前記第1カメラの第1画角の範囲内に前記第1ユーザの顔が含まれる状態である第1状態とし、前記第1状態で、前記第1カメラによって撮影された広角画像から、前記第1ユーザの顔を含む第1領域を検出し、前記第1領域に対応する第1画像をトリミングし、前記第1画像に基づいて、前記第2ユーザの携帯情報端末である相手端末に送信するための送信画像を作成し、前記送信画像を前記相手端末に送信する。
本発明のうち代表的な実施の形態によれば、ハンズフリー状態のテレビ電話を、より好適な使い勝手で実現できる。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。なお、説明上の方向として、X方向、Y方向、Z方向を用いる。X方向、Y方向は、水平面を構成する直交する2つの方向であり、Z方向は、鉛直方向である。X方向は特にユーザから見て左右方向であり、Y方向は特にユーザから見て前後方向である。
[課題等]
課題等について補足説明する。図26は、比較例として、従来のテレビ電話機能付きの携帯情報端末を用いて、ハンズフリー状態を実現しようとする場合の利用状態の例を示す。(A)は第1例、(B)は第2例を示す。図26の(A)では、ユーザAは、携帯情報端末260の筐体を、机等の水平面s0上に、平らに置いた状態としている。筐体の前面には表示画面やインカメラ261が設けられている。インカメラ261のレンズは、点p2の位置に配置されている。インカメラ261は、通常画角を持つ通常カメラである。ユーザAの顔や目の代表点を点p1で示す。点p1からの視線は鉛直下方の向きである。ユーザAは、自身の顔および目(点p1)が、筐体の前面の表示画面やインカメラ261に対面する位置になるように、首を曲げた姿勢をとっている。このような状態で、ユーザAは、両手を自由としてテレビ電話が可能である。しかし、姿勢に無理があるので身体には負担がかかり、使い勝手は良くない。
課題等について補足説明する。図26は、比較例として、従来のテレビ電話機能付きの携帯情報端末を用いて、ハンズフリー状態を実現しようとする場合の利用状態の例を示す。(A)は第1例、(B)は第2例を示す。図26の(A)では、ユーザAは、携帯情報端末260の筐体を、机等の水平面s0上に、平らに置いた状態としている。筐体の前面には表示画面やインカメラ261が設けられている。インカメラ261のレンズは、点p2の位置に配置されている。インカメラ261は、通常画角を持つ通常カメラである。ユーザAの顔や目の代表点を点p1で示す。点p1からの視線は鉛直下方の向きである。ユーザAは、自身の顔および目(点p1)が、筐体の前面の表示画面やインカメラ261に対面する位置になるように、首を曲げた姿勢をとっている。このような状態で、ユーザAは、両手を自由としてテレビ電話が可能である。しかし、姿勢に無理があるので身体には負担がかかり、使い勝手は良くない。
図26の(B)では、ユーザAは、携帯情報端末260の筐体を、机等の水平面s0上において、固定器具262を用いて、前面が斜めの状態となるように固定して配置している。ユーザAの顔や目(点p1)からの視線の方向は、斜め下方となっている。インカメラ261(点p2)からの光軸の方向は、斜め上方(例えば45度程度の仰角)となっている。このような状態で、ユーザAは、両手を自由としてテレビ電話が可能である。しかし、スタンド等の固定器具262を利用しないとこのような状態を実現できず、ユーザAが固定器具262を所持しなければならない等、汎用性や利便性に欠ける。
また、固定器具262ではなく、姿勢を変形可能な構造を持つ携帯情報端末を用いれば、同様の状態が実現できる。例えば、特許文献1の技術では、折り畳み型の携帯情報端末の形状を変化させることで、カメラおよび表示画面をユーザの顔に対面するように配置することができる。しかしながら、1枚の概略平板形状の筐体を持つ携帯情報端末261の場合、変形のために可動する構造自体を有さないので、そのような技術は適用できない。
(実施の形態1)
図1~図19を用いて、本発明の実施の形態1の携帯情報端末について説明する。実施の形態1の携帯情報端末では、後述の図2のように、ユーザがその携帯情報端末(単に端末と記載する場合がある)を用いてテレビ電話を行う際に、ユーザの手持ちによる筐体の保持を必要とせず、ハンズフリー状態となる。また、ユーザがハンズフリー状態でテレビ電話を行いたい場合に、携帯情報端末の筐体(前面)の向きがユーザの顔に対面する向きになるように配置する考慮や手間を不要とする。実施の形態1の携帯情報端末は、ハンズフリー状態での好適なテレビ電話を実現するために、以下のように、カメラ等の構成を有し、ユーザの顔と端末との位置関係、端末の配置状態を規定する。
図1~図19を用いて、本発明の実施の形態1の携帯情報端末について説明する。実施の形態1の携帯情報端末では、後述の図2のように、ユーザがその携帯情報端末(単に端末と記載する場合がある)を用いてテレビ電話を行う際に、ユーザの手持ちによる筐体の保持を必要とせず、ハンズフリー状態となる。また、ユーザがハンズフリー状態でテレビ電話を行いたい場合に、携帯情報端末の筐体(前面)の向きがユーザの顔に対面する向きになるように配置する考慮や手間を不要とする。実施の形態1の携帯情報端末は、ハンズフリー状態での好適なテレビ電話を実現するために、以下のように、カメラ等の構成を有し、ユーザの顔と端末との位置関係、端末の配置状態を規定する。
実施の形態1の携帯情報端末では、筐体の前面に設けられたインカメラ(第1カメラ)として、広角の画角を持つ広角カメラを有する。このインカメラは、筐体の前面に垂直な光軸を有し、その前面と光軸とが成す断面で例えば180度程度(少なくとも30度から150度までの角度範囲)の所定の広い画角(水平画角としては360度)を有する。
ユーザは、ハンズフリー状態でのテレビ電話の利用時に、机等の概略水平面上に、概略平板状の筐体を、前面のインカメラが上を向くようにして平らに置く。そして、端末のインカメラの位置からみて斜め上の仰角の方向にユーザの顔がある位置関係とする。ユーザの目からみると、斜め下に見下ろす方向の位置に筐体の表示画面およびインカメラがある位置関係となる。この状態(第1状態)で、インカメラからの顔の撮影の方向と、ユーザの目から表示画面を見る方向とは、概略的に同じまたは十分に近い。例えば、それらの方向は、水平面に対する仰角で45度程度(例えば30度から60度までの角度範囲内の角度)となる。
このような位置関係、配置状態の場合、インカメラの画像(広角画像)内では、一部の領域(例えば0度から90度までの角度範囲内にある領域)に、ユーザの顔が写っている。携帯情報端末は、その広角画像を用いて、ユーザの顔を含む領域を捉えることができる。携帯情報端末は、その広角画像から、ユーザの顔を含む領域を検出し、トリミング(切り出し)する。
ただし、広角レンズを通じた広角画像内では、ユーザの顔を含む広角画像全体で、広角レンズに特有の歪(ひずみ)が生じている。広角画像を相手の携帯情報端末に送信した場合、相手のユーザは、その広角画像からユーザの顔等を認識しにくいおそれがある。そのため、実施の形態1の携帯情報端末は、その広角画像の顔を含む領域に対し、歪補正処理を行うことで、歪が解消または低減された平面化画像を得る。これにより、視覚的により見やすく好適な送信画像が得られる。
携帯情報端末1は、歪補正後のユーザAの顔を含む画像から、テレビ電話の相手の端末に送信するための送信画像を作成し、相手の端末に送信する。上記のように、実施の形態1の携帯情報端末では、ユーザがハンズフリー状態でテレビ電話が可能であり、使い勝手が良い。
[(1)通信システムおよびテレビ電話システム]
図1は、実施の形態1の携帯情報端末1を含む、通信システムおよびテレビ電話システムの全体の構成を示す。図1の通信システムおよびテレビ電話システムでは、モバイル通信網101およびインターネット102を介して、第1ユーザ(ユーザA)の携帯情報端末1と、第2ユーザ(ユーザB)の携帯情報端末2とが接続されている。第1ユーザの携帯情報端末1と第2ユーザの携帯情報端末2との間でテレビ電話の通信を行う。基地局103は、モバイル通信網101を構成する無線基地局である。携帯情報端末1,2は、基地局103を通じて、モバイル通信網101に接続される。アクセスポイント104は、無線LAN等における無線通信用のアクセスポイント装置である。携帯情報端末1,2は、アクセスポイント104を通じて、無線LAN等を含むインターネット102に接続される。
図1は、実施の形態1の携帯情報端末1を含む、通信システムおよびテレビ電話システムの全体の構成を示す。図1の通信システムおよびテレビ電話システムでは、モバイル通信網101およびインターネット102を介して、第1ユーザ(ユーザA)の携帯情報端末1と、第2ユーザ(ユーザB)の携帯情報端末2とが接続されている。第1ユーザの携帯情報端末1と第2ユーザの携帯情報端末2との間でテレビ電話の通信を行う。基地局103は、モバイル通信網101を構成する無線基地局である。携帯情報端末1,2は、基地局103を通じて、モバイル通信網101に接続される。アクセスポイント104は、無線LAN等における無線通信用のアクセスポイント装置である。携帯情報端末1,2は、アクセスポイント104を通じて、無線LAN等を含むインターネット102に接続される。
携帯情報端末1,2は、スマートフォン等の装置であり、いずれもテレビ電話機能を備える。第1ユーザの携帯情報端末1は、実施の形態1の携帯情報端末であり、テレビ電話に関する特有の機能を備える。ユーザAは、テレビ電話を行う一方の通話者の第1ユーザであり、ユーザBは、テレビ電話を行う他方の通話者、ユーザAからみた相手の第2ユーザである。以下では、第1ユーザの携帯情報端末1を主として説明する。ユーザBは、例えば従来型のテレビ電話機能付きの携帯情報端末2を使用する。第2ユーザの携帯情報端末2においても、第1ユーザの携帯情報端末1と同様に特有のテレビ電話機能を備えていてもよい。なお、テレビ電話の通信の際に、モバイル通信網101やインターネット102上で、テレビ電話機能に関するサービスを提供するサーバ等が介在してもよい。
[(2)テレビ電話の利用概要]
図2は、図1のユーザAとユーザBとの間のテレビ電話の際における、ユーザAによる携帯情報端末1の利用の概要、状況、方法を示す模式図である。図2では、ユーザAがハンズフリー状態のテレビ電話を行う際の、ユーザAの顔と携帯情報端末1との位置関係や端末の配置状態を示す。テレビ電話の利用の概要として以下である。
図2は、図1のユーザAとユーザBとの間のテレビ電話の際における、ユーザAによる携帯情報端末1の利用の概要、状況、方法を示す模式図である。図2では、ユーザAがハンズフリー状態のテレビ電話を行う際の、ユーザAの顔と携帯情報端末1との位置関係や端末の配置状態を示す。テレビ電話の利用の概要として以下である。
(1) 図2のように、ユーザAは、ハンズフリー状態のテレビ電話を行う際、携帯情報端末1の平板状の筐体を、机等の任意の物体の水平面s0(X-Y面、第1面)上に、前面s1のインカメラC1を鉛直上方に向けて、平らに置く。筐体の背面s2は水平面s0に接していて隠れている。携帯情報端末1は、縦長の筐体の前面s1において、主に、矩形の表示画面DPが設けられ、その表示画面DPの外周の額縁領域には、カメラや操作ボタン、マイク、スピーカ等が設けられている。この携帯情報端末1では、額縁領域の上辺部の位置PC1に、インカメラC1(特に広角レンズ部)が配置されている。ユーザAは、配置の際、特に、前面s1のインカメラC1(位置PC1)が、ユーザAから見てY方向で遠い奥側の方向Y1の位置になるように、筐体を置く。
ユーザAは、自身の顔や目を、携帯情報端末1に対し、斜め上の位置に置く。言い換えると、ユーザAの目(点P1)から見て、斜め下の位置に、携帯情報端末1の表示画面DP(点PD)が配置される。ユーザAの頭、顔、または目等に対応付けられた代表的な点を点P1とする。表示画面DPには、相手(ユーザB)の画像等が表示される(図7)。ユーザAは、表示画面DP内の相手の顔画像等を見る。方向J1は、ユーザAの目(点P1)から端末の表示画面DP(点PD)を見る目線方向を示す。角度θ1は、方向J1に対応する仰角(水平面s0を基準として0度とする)を示す。角度θ1は、30度から60度までの範囲内の角度であり、例えば45度程度である。
この状態で、当然、端末のインカメラC1からは、斜め上の仰角の方向に、ユーザAの顔や目が撮影可能な状態となっている。インカメラC1の光軸は、前面s1に対して垂直な方向(鉛直上方)であり、方向J2として示す。インカメラC1の画角AV1は、光軸を中心として広い角度範囲を有し、水平画角として360度、Y-Z断面での画角では180度程度、特に第1角度ANG1から第2角度ANG2までの角度範囲を有する。例えば、第1角度ANG1は30度以下であり、第2角度ANG2は150度以上である。
この状態で、インカメラC1は、広角の画角AV1によって、ユーザAの顔が撮影可能である。すなわち、この状態では、インカメラC1の画角AV1内に、特に第1角度ANG1から90度までの角度範囲内に、ユーザAの顔を撮影する範囲に対応する画角AV2(顔撮影画角)が含まれている。対応して、インカメラC1の広角画像内の一部の領域には、ユーザAの顔が写っている。インカメラC1(点PC1)からユーザAの顔(点P1)を捉える方向を方向J3で示す。方向J3に対応する仰角を角度θ3で示す。角度θ3は、例えば45度より少し小さい角度である。
ユーザAの目線の方向J1と、インカメラC1からの顔撮影の方向J3とは、十分に近い状態となり、角度θ1と角度θ3との角度差AD1は十分に小さい。そのため、インカメラC1は、ユーザAの目線を確認できる方向J3および画角AV2でユーザAの顔を撮影可能である。これらの方向差や角度差がなるべく小さい方が、画像内の目線の状態がより自然となるので、より好適である。実施の形態1の携帯情報端末1では、インカメラC1の広角画像を用いるので、図2のような位置関係でも、画角AV2のようにユーザAの顔を捉えることができる。
(2) 図2の状態で、ユーザAは、携帯情報端末1の表示画面DPに表示される相手の画像(図7)を見ながら、テレビ電話(通話)を行うことができる。携帯情報端末1は、相手の携帯情報端末2から受信した音声をスピーカから出力する。携帯情報端末1は、マイクで入力したユーザAの音声を、相手の携帯情報端末2へ送信する。
携帯情報端末1は、インカメラC1による広角画像から、ユーザAの顔を含む領域を検出し、トリミングする。携帯情報端末1は、そのトリミングした画像を用いて、相手の携帯情報端末2に送信するための送信画像を作成する。ただし、インカメラC1で撮影した広角画像では、ユーザAの顔を含め、広角レンズに依存する歪を持つ。
そこで、携帯情報端末1は、トリミングした画像に対し、歪が解消または低減されるように、歪補正処理を行う。携帯情報端末1は、歪補正後の画像から、相手の携帯情報端末2に送信するための送信画像と、送信画像に対応するユーザA自身の顔等の状態の確認用のモニタ画像とを作成する。携帯情報端末1は、送信画像に対応するモニタ画像を、表示画面DP内に表示する(図7)。モニタ画像(および送信画像)内では、ユーザAの目線の向きが概ね正面を向いている。ユーザAは、携帯情報端末1の表示画面DP内で、相手(ユーザB)の画像と、ユーザA自身のモニタ画像とを見て確認することができる。ユーザAは、必要に応じて、モニタ画像に対応する送信画像の送信を拒否することもできる。
携帯情報端末1は、マイクで入力したユーザAの音声と、上記送信画像とを含む、テレビ電話用のデータを、相手の携帯情報端末2に送信する。相手の携帯情報端末2では、受信したデータに基づいて、ユーザAに関する画像および音声を出力し、ユーザBは、ユーザAとのテレビ電話が可能である。
[(3)携帯情報端末]
図3は、実施の形態1の携帯情報端末1の構成を示す。携帯情報端末1は、コントローラ10、カメラ部11、ROM14、RAM15、外部メモリ16、マイク17、スピーカ18、バス19、表示部(タッチパネル)21、LAN通信部22、モバイル網通信部23、加速度センサ31やジャイロセンサ32等のセンサ類30、等を備える。
図3は、実施の形態1の携帯情報端末1の構成を示す。携帯情報端末1は、コントローラ10、カメラ部11、ROM14、RAM15、外部メモリ16、マイク17、スピーカ18、バス19、表示部(タッチパネル)21、LAN通信部22、モバイル網通信部23、加速度センサ31やジャイロセンサ32等のセンサ類30、等を備える。
コントローラ10は、携帯情報端末1の全体を制御し、各部への指示等を行う。コントローラ10は、テレビ電話アプリに基づいたテレビ電話機能100を実現する。携帯情報端末1のコントローラ10は、各部や各機能を用いて、テレビ電話機能100を制御する。コントローラ10は、マイクロプロセッサユニット(MPU)等で構成され、ROM14のプログラムに従って、携帯情報端末1の全体を制御する。コントローラ10等の各部は、バス19(システムバスを含む)を介して、携帯情報端末1内の各部との間でデータ送受信を行う。
カメラ部11は、インカメラC1、通常カメラ(アウトカメラ)C2、撮影処理部12、メモリ13を含む。前述の図2のように、筐体の前面s1にインカメラC1、筐体の背面s2に通常カメラC2が設けられている。インカメラC1は、広角レンズ、カメラセンサ(撮像素子)、駆動回路等の公知の要素から構成される。カメラセンサは、例えばCCDやCMOSセンサ等で構成される。通常カメラC2は、通常レンズ、カメラセンサ、駆動回路等の公知の要素から構成される。通常カメラC2は、通常画角を有し、その通常画角は、インカメラC1の広角レンズの画角AV1よりも狭い画角である。通常カメラC2の光軸は、インカメラC1の光軸とは反対の向きである。実施の形態1でのテレビ電話機能では、通常カメラC2については使用しない。
撮影処理部12は、コントローラ10の制御に基づいて、カメラを用いた撮影処理や画像処理を行う部分である。実施の形態1では、撮影処理部12は、コントローラ10とは別の部位として、例えばLSI等の回路で実装されている。これに限らず、撮影処理部12は、その一部または全部が、コントローラ10のプログラム処理等によって一体的に実装されてもよい。顔検出機能201等の機能は、全部または一部が、ソフトウェアプログラム処理で実装されてもよいし、高速化等のためにハードウェア回路等で実装されてもよい。メモリ13は、撮影処理に係わる画像データ等を格納するメモリである。
撮影処理部12は、公知の機能や処理部としては、オートフォーカス機能、拡大縮小機能、コーデック部、画質改善処理部、角度・回転補正部、等を備える。オートフォーカス機能は、カメラの焦点を自動的に撮影対象物に合わせる機能である。拡大縮小機能は、画像の対象物を拡大や縮小する機能である。コーデック部は、撮影された画像や動画の圧縮や伸張を行う処理部である。画質改善処理部は、ノイズ除去等、撮影画像の画質の改善を行う処理部である。角度・回転補正部は、撮影画像から角度補正や回転補正を行う処理部である。
マイク17は、ユーザAの声を含む、端末の周囲の音声を集音して、音声データを得る。スピーカ18は、通話相手(ユーザB)の携帯情報端末2からのテレビ電話の音声を含む音声を出力する。
表示部21は、図2の表示画面DPを備え、特に液晶タッチパネル等のタッチパネルであり、ユーザによるタッチ入力操作が可能である。表示画面DPには、撮影画像や他の各種の情報が表示される。
LAN通信部22は、図1のアクセスポイント104との無線LAN通信を含めた、インターネット102上の通信に対応した通信処理を行う。モバイル網通信部23は、図1の基地局103との無線通信を含めた、モバイル網101上の通信に対応した通信処理を行う。
センサ類30は、加速度センサ31やジャイロセンサ32、図示しないGPS受信器、近接センサ、照度センサ、温度センサ等の、公知のセンサデバイスを含む。コントローラ10は、センサ類30の検出情報を用いて、携帯情報端末1の向きや動き等を検出する。コントローラ10は、センサ類30を用いて、携帯情報端末1がユーザAによって手持ちされているか否か、図2のように水平面s0上に平らに置かれているか否か等の状態も把握可能である。
撮影処理部12は、プログラムや回路等で実現される機能として、顔検出機能201、トリミング機能202、歪補正機能203を有する。撮影処理部12の撮影処理や機能の概要は以下である。撮影処理部12は、インカメラC1を用いて撮影するカメラモードにおいて、インカメラC1により撮影された画像である広角画像を入力する。なお、実施の形態1では、インカメラC1によって動画(時系列の複数の画像フレーム)を撮影可能であり、撮影処理部11は、その動画を処理する。これに限らず、インカメラC1の画像としては、所定のタイミングでの静止画を扱ってもよい。
撮影処理部12は、顔検出機能201によって、広角画像から、ユーザAの顔を含む領域を検出する。撮影処理部12は、トリミング機能202によって、広角画像から、ユーザAの顔を含む領域をトリミングする。撮影処理部12は、歪補正機能203によって、トリミング画像に対し、歪補正処理を行う。撮影処理部12は、歪補正後の画像をメモリ13に格納する。撮影処理部12(またはコントローラ10)は、補正後画像から、相手の携帯情報端末2へ送信するための送信画像と、自己確認用のモニタ画像とを作成する。
携帯情報端末1のコントローラ10(テレビ電話機能100)は、ユーザAの送信画像を、マイク17から入力したユーザAの音声データと共にまとめたテレビ電話用のデータを作成する。コントローラ10は、そのデータを、LAN通信部22またはモバイル網通信部23等を用いて、相手の携帯情報端末2に送信する。相手の携帯情報端末2は、そのデータを受信し、その送信画像を表示画面に表示し、音声を出力する。
コントローラ10(テレビ電話機能100)は、LAN通信部22またはモバイル網通信部23を通じて、相手の携帯情報端末2から、テレビ電話用のデータ(相手画像および音声を含む)を受信する。コントローラ10は、受信したデータのうちの相手画像を、表示画面DP内に表示する共に、ユーザAのモニタ画像を表示する。コントローラ10は、相手の音声をスピーカ18から出力する。
[(4)ソフトウェア構成]
図4は、携帯情報端末1のソフトウェア構成を示す。ROM14には、OSやミドルウェア等の基本動作プログラム14aや、その他のアプリケーションプログラム等が格納されている。ROM14は、例えばEEPROMやフラッシュROM等の書き換え可能なROMが用いられる。通信等を通じて、ROM14のプログラムの更新が適宜に可能であり、バージョンアップや機能拡張等が可能である。ROM14等はコントローラ10と一体としてもよい。
図4は、携帯情報端末1のソフトウェア構成を示す。ROM14には、OSやミドルウェア等の基本動作プログラム14aや、その他のアプリケーションプログラム等が格納されている。ROM14は、例えばEEPROMやフラッシュROM等の書き換え可能なROMが用いられる。通信等を通じて、ROM14のプログラムの更新が適宜に可能であり、バージョンアップや機能拡張等が可能である。ROM14等はコントローラ10と一体としてもよい。
RAM15は、基本動作プログラム14aやテレビ電話アプリプログラム16b等の実行時のワークエリアとして使用される。RAM15には、各種のプログラムの実行時に必要に応じてデータや情報を一時的に保持する一時記憶領域15cも有する。コントローラ10(MPU)は、ROM14の基本動作プログラム14aをRAM15に展開して、そのプログラムに従った処理を実行する。これにより、RAM15には、基本動作実行部15aが構成される。同様に、テレビ電話アプリプログラム16bの処理に伴い、RAM15にテレビ電話処理実行部15bが構成される。一時記憶領域15cには、テレビ電話機能100に関する処理用のデータが記憶され、例えば携帯情報端末1の位置や姿勢の状態等の情報も記憶される。
外部メモリ16には、撮影プログラム16aやテレビ電話アプリプログラム16b等のプログラムが格納されており、また、撮影処理部12で撮影された画像や、各種の処理に係わるデータや情報を蓄積するためのデータ記憶領域16cも有する。外部メモリ16は、電源非供給状態でもデータを保持する不揮発性記憶装置で構成され、例えばフラッシュROMやSSD等が用いられる。データ記憶領域16cには、例えば携帯情報端末1の機能や動作の設定値も保存される。各種のプログラムは、ROM14や他の不揮発性記憶装置等に格納されてもよい。携帯情報端末1は、外部のサーバ装置等から、プログラムや情報を取得してもよい。
撮影プログラム16aは、カメラ部11の撮影処理部12に対する撮影制御処理を実現する。この撮影制御処理は、テレビ電話に限らない一般的なカメラ撮影の制御処理と、テレビ電話用の撮影制御処理とを含む。撮影プログラム16aは、RAM15または撮影処理部12内に展開され、実行部が構成される。
コントローラ10(MPU)は、撮影処理部12に対し、カメラモード、カメラによる動画の撮影開始や撮影終了、撮影詳細設定(例えばフォーカス、露光)、等を指示する。カメラモードは、複数のうちいずれのカメラを用いて撮影するモードであるかを示す。
テレビ電話アプリプログラム16bに基づいたテレビ電話処理実行部15bは、テレビ電話機能100に対応する処理を行う。コントローラ10(MPU)は、テレビ電話機能100の実現の際に、撮影処理部12の各機能に対する制御処理や、関連する各部に対する制御処理を行う。
[(5)カメラ部、撮影処理部]
図5は、カメラ部11、撮影処理部12、メモリ13の詳しい構成を示す。撮影処理部12の顔検出機能201は、個人認識機能201Bを含む。歪補正機能203は、処理として、正像変換処理203A、台形補正処理203B、収差補正処理203C等を行う。メモリ13には、登録画像D10、補正後画像D11、送信画像D12、モニタ画像D13等のデータが記憶される。メモリ13は、撮影画像データを一時的に保持し、各機能の処理に係わるワークエリアとしても利用される。撮影処理部12内にメモリ13があってもよい。撮影処理部12の処理概要は以下である。
図5は、カメラ部11、撮影処理部12、メモリ13の詳しい構成を示す。撮影処理部12の顔検出機能201は、個人認識機能201Bを含む。歪補正機能203は、処理として、正像変換処理203A、台形補正処理203B、収差補正処理203C等を行う。メモリ13には、登録画像D10、補正後画像D11、送信画像D12、モニタ画像D13等のデータが記憶される。メモリ13は、撮影画像データを一時的に保持し、各機能の処理に係わるワークエリアとしても利用される。撮影処理部12内にメモリ13があってもよい。撮影処理部12の処理概要は以下である。
(1) まず、インカメラC1を通じて撮影された広角画像(データD1)は、撮影処理部12の顔検出機能201に入力される。顔検出機能201は、広角画像のデータD1から、画像処理に基づいて、ユーザAの顔を含む領域を検出する処理を行う。顔検出機能201は、例えば、広角画像内から、特徴点群を抽出し、目、耳、鼻、口等を検出し、また、画素の色や輝度の差に基づいて、顔や頭の輪郭を検出する。これにより、後述の図9のように、顔領域B1等が検出可能である。顔検出機能201からは、広角画像および検出結果のデータD2が出力される。
また、個人認識機能201Bでは、顔画像から、特定のユーザA個人の顔であるかどうかを認識する。撮影処理部12は、例えば特定のユーザA個人の顔を検出した場合にのみ、それ以降の処理を適用する。
(2) 次に、トリミング機能202は、広角画像のデータD2に基づいて、検出された顔を含む領域に対応するトリミング領域をトリミングしてトリミング画像を得る処理を行う。トリミング機能202からは、そのトリミング画像等のデータD3が出力される。トリミングの仕方として、例えば、検出された顔領域における中心点(点P1)を基準として、所定の形状およびサイズの領域がトリミングされる。なお、トリミング領域は、顔領域のみとしてもよいし、頭領域としてもよいし、頭とその周辺とを含む領域としてもよい。トリミング領域の種類やサイズは、ユーザ設定機能を用いて変更できる。
(3) 次に、歪補正機能203は、データD3に基づいて、トリミング画像における、広角レンズによる歪を、歪が無い正像を持つ平面になるように補正する処理を行う。歪補正機能203は、まず、トリミング画像に対し、正像変換処理203A(図14)を行う。これにより、歪が無い正像を持つ平面にされた画像(平面化画像)が得られ、その平面化画像を含むデータD4が出力される。
歪補正機能203は、次に、平面化画像のデータD4に対し、台形補正処理203B(図15)を行う。これにより、台形状の画像内容を、直角四角形状の画像内容となるようにした画像が得られ、そのデータD5が出力される。台形変換によって、画像内容がより好適な見た目になるようにされる。
歪補正機能203は、次に、収差補正処理203Cでは、データD5に対し、広角の歪以外で、レンズ系の特性に起因する各種の収差を補正する公知の処理を行う。これにより、補正後画像D11が得られる。例えば、レンズ系が固定である場合、予め製品出荷時に、レンズ系補正パラメータD14が、例えばメモリ13に格納されている。レンズ系補正パラメータD14は、収差補正用の設定情報や初期値等であり、設定可変としてもよい。収差補正処理203Cは、そのレンズ系補正パラメータD14を参照する。
なお、通常、正像変換処理203A後の画像の状態で、ユーザAの顔の状態が見た目で十分に違和感が無い状態(少なくともテレビ電話に使用できる状態)とされる。そのため、台形変換処理203Bや収差補正処理203Cについては省略する形態としてもよい。また、歪補正機能203で行われる処理は、必ずしもこの順番で行う必要は無く、任意の順で処理を行ってもよい。また、条件によっては特定の処理を行わないように制御をしてもよい。
(4) 歪補正機能203による補正後画像D11が、メモリ13に格納される。補正後画像D11では、広角画像に起因する歪やレンズの収差が解消または低減されており、ユーザが違和感少なく顔等を認識できるレベルの画像となっている。撮影処理部12またはコントローラ10(テレビ電話機能100)は、補正後画像D11を用いて、相手(ユーザB)に送信するための送信画像D12や、自己確認用のモニタ画像D13を作成する。コントローラ10は、送信画像D12や、マイク17で入力された音声を用いて、テレビ電話用のデータを作成する。
送信画像D12は、例えば、相手の携帯情報端末2が要求している画像サイズ(表示画面サイズ等)に合わせるように、カットや拡大/縮小等が適宜に施された画像である。モニタ画像D13は、表示画面DP内のモニタ画像表示用領域(図7の領域R2)のサイズ等に合わせるように、カットや拡大/縮小等が適宜に施された画像である。
(5) コントローラ10は、モニタ画像D13を、表示画面DP内の領域に表示する。コントローラ10は、モニタ画像D13に対するユーザAによる確認の結果が肯定(送信許可)である場合には、送信画像D12を含むデータを、通信部を介して、相手の携帯情報端末2に送信する。
(6) また、撮影処理部12は、顔検出機能201によってユーザAの顔を検出できなかった場合や、ユーザAによるモニタ画像D13の確認の上で送信拒否の指示を受けた場合等には、登録画像D10を用いて送信画像D12を作成する。登録画像D10は、ユーザAの顔画像を含む。
撮影処理部12は、所定の時間間隔の撮影画像毎に、同様に上記処理を繰り返す。その際、ある時点の画像からユーザAの顔を捉えきれない場合等には、過去最後に検出済みの画像、または登録画像D10の顔画像を用いて、代替の送信画像D12を作成してもよい。
[(6)処理フロー]
図6は、携帯情報端末1におけるテレビ電話機能100の処理フローを示す。図6のフローは、ステップS1~S13を有する。以下、ステップの順に説明する。
図6は、携帯情報端末1におけるテレビ電話機能100の処理フローを示す。図6のフローは、ステップS1~S13を有する。以下、ステップの順に説明する。
(S1) まず、S1で、ユーザAがテレビ電話を行う際(自分から相手に発信する場合または相手から自分に着信した場合)、携帯情報端末1のコントローラ10(テレビ電話機能100)は、自機の制御状態を、テレビ電話モードに移行する。詳しくは、例えば、ユーザAは、相手(ユーザB)とテレビ電話したい場合に、相手の電話番号へ発信する。これに伴い、テレビ電話アプリプログラム16b(テレビ電話処理実行部15b)が起動される。コントローラ10は、テレビ電話モードで、インカメラC1の撮影、マイク17の音声入力、スピーカ18の音声出力、表示部21の表示、各種通信等を、同時並行的に制御する。
また、携帯情報端末1は、ユーザAによる、音声電話(非テレビ電話)またはテレビ電話の選択の操作に応じて、テレビ電話モードに移行する。例えば、携帯情報端末1は、表示画面DPに音声電話かテレビ電話かの選択ボタンを表示し、選択操作に応じて、対応するモードへ移行させる。また、携帯情報端末1は、テレビ電話モードではインカメラC1を用いるので、カメラ部11のカメラモードを、インカメラC1を用いるモードにする。
さらに、実施の形態1では、テレビ電話モードの詳細として、通常モード(非ハンズフリーモード)とハンズフリーモードとの2種類を設けている。通常モード(非ハンズフリーモード)は、図19のような状態に対応する第1モードである。ハンズフリーモードは、図2のような状態に対応する第2モードである。携帯情報端末1は、ユーザAによる所定の指示操作、あるいはセンサ類30を用いた自動的な端末状態把握に応じて、それらのモードから選択する。例えば、携帯情報端末1は、表示画面DPに、通常モードとハンズフリーモードとの選択ボタンを表示し、選択操作に応じて、対応するモードへ移行させてもよい。あるいは、携帯情報端末1は、加速度センサ31等の検出情報から、ユーザAが筐体を手持ちしているか、水平面s0上に平らに置いているか等の状態を把握し、その状態に応じて自動的にモードを決定してもよい。
本例では、ユーザAは、図2のようなハンズフリー状態(対応するハンズフリーモード)でのテレビ電話を行う。ユーザAは、携帯情報端末1の筐体を図2のような状態にし、携帯情報端末1はハンズフリーモードを選択する。なお、他の実施の形態では、上記2種類のモードを区別しなくてもよい。
(S2) 携帯情報端末1は、端末状態把握と共に、テレビ電話モードではカメラ部11を、インカメラC1を使用するモード(インカメラモード)にして、撮影を開始させる。撮影処理部12は、インカメラC1からの動画を入力する。
(S3) 携帯情報端末1の撮影処理部12は、インカメラC1の広角画像から、顔検出機能201によって、ユーザAの顔を含む領域(例えば図9の領域B1)を検出する。
(S4) 撮影処理部12は、S3で検出した領域に対し、トリミング機能202によって、顔を含む所定の領域をトリミング領域(例えば図10のトリミング領域TRM1)としてトリミングし、トリミング画像(例えば図12の画像GT1)を得る。
(S5) 撮影処理部12は、S4で得たトリミング画像に対し、歪補正機能203によって、歪補正処理(正像変換処理203A)を施す。また、歪補正機能203では、前述の台形補正処理203Bや収差補正処理203Cを行う。これにより、補正後画像D11(例えば図12の画像GP1)が得られる。
(S6) 撮影処理部12(またはコントローラ10)は、S5による補正後画像D11を用いて、送信画像D12およびモニタ画像D13(例えば図12の画像GP11,GP12)を作成する。
(S7) コントローラ10は、相手(ユーザB)の携帯情報端末2から受信した画像を表示画面DP内の領域(図7の領域R1)に表示する。また、コントローラ10は、ユーザAのモニタ画像D13を、表示画面DP内の領域(図7の領域R2)に表示する。
(S8) コントローラ10は、ユーザAに対し、モニタ画像D13の顔の状態で対応する送信画像D12としてもよいかどうかを確認する(送信確認と記載する場合がある)。例えば、表示画面DP内に送信確認情報(例えば「画像を送信してもいいですか?」)や操作ボタン(例えば送信許可ボタン、送信拒否ボタン)が表示されてもよい。ユーザAは、モニタ画像D13等を見て、その画像内容で送信してもよいかを判断する。例えば、ユーザAは、表示画面DP内の送信許可ボタンまたは送信拒否ボタンを押す。S8で送信許可の場合(Y)にはS10へ進み、送信拒否の場合(N)にはS9へ進む。ユーザAは、モニタ画像D13を見て、例えば目等の状態に違和感がある場合には、送信拒否を選択できる。
(S9) コントローラ10は、登録画像D10を用いて代替の送信画像D12を作成する。また、その際、コントローラ10は、ユーザAに対し、表示画面DPで、登録画像D10を用いて代替の送信画像D12としてもよいかどうかを確認してもよい。例えば、図7のモニタ画像表示用の領域R2に、登録画像D10の顔画像が表示され、確認情報や操作ボタンが表示される。
(S10) コントローラ10は、送信画像D12等を含むテレビ電話用の形式のデータを、通信部を介して、相手の携帯情報端末2に送信する。
(S11) コントローラ10は、ユーザAとユーザBとのテレビ電話の通話(音声の入力や出力、画像表示等を含む)を処理する。なお、通話者の音声データについては、通常の電話の場合と同様に、画像とは別に常時に送受信されるようにしてもよい。
(S12) コントローラ10は、テレビ電話が終了かどうかを確認する。例えば、ユーザAは、テレビ電話を終了する場合、終了ボタンを押す。あるいは、携帯情報端末1は、相手の携帯情報端末2から、終了の旨の情報を受信する。テレビ電話の終了の場合(Y)にはS13へ進み、継続の場合(N)にはS2へ戻る。S2からは同様にループで時点毎の処理が繰り返される。なお、ループによって自動的にユーザAの顔が追尾される。ループ中の各処理では、同じ処理をなるべく繰り返さないように、処理が効率化されている。例えば、S3の顔検出処理では、ある時点で一旦検出した顔領域について、その後の時点での動き検出等よって、自動的に顔が追尾される。
(S13) コントローラ10は、テレビ電話モードの終了処理を行い、テレビ電話アプリの起動(実行)を終了する。終了処理には、テレビ電話に係わる設定(例えばリトライ回数)のリセットや、画像データ消去等が含まれる。
上記処理フローの補足や変形例として以下である。上記処理フローでは、基本的に、インカメラC1の動画の各画像についてループで同様に処理が行われる。S8のモニタ画像D13を用いた送信確認については、例えばテレビ電話の開始の際に、すなわち動画の最初の期間の画像を用いて、1回行われる。その送信確認で送信許可とされた場合、その後のテレビ電話中では、各時点で作成された送信画像D12が自動的に送信される。これに限らず、送信確認は、テレビ電話中に定期的なタイミングで行われるものとしてもよいし、所定のユーザ操作に応じて行われるものとしてもよいし、全く行わないようにしてもよい。テレビ電話アプリのユーザ設定機能において、上記送信確認についての有無やタイミング等に関する設定が可能である。送信確認を行わない設定とした場合、S6のモニタ画像D13の作成、S7のモニタ画像D13の表示、S8の送信確認等が省略でき、携帯情報端末1は、自動的に送信許可として送信画像D12を送信する。
また、テレビ電話の最初に送信確認で送信許可された場合に、その後、テレビ電話の終了まで、または次の送信確認まで、最初に作成した送信画像D12と同じものを使用し続けるようにしてもよい。
S3の顔検出処理では、例えばある時点の広角画像から顔領域を検出できなかった場合に、予め設定されたリトライ回数に従って、別の時点の画像を用いて、顔検出処理をリトライしてもよい。また、顔領域が検出できない場合や追尾できない場合には、過去最後に検出済みの顔画像、または登録画像D10を、代替として用いてもよい。また、携帯情報端末1は、ユーザAに対し、表示画面DP内に、顔が検出できない旨等を表示し、代わりに登録画像D10を用いて送信画像D12とするか確認を行って対応してもよい。
また、S8の送信確認でユーザAが送信拒否の指示操作をした場合、携帯情報端末1は、すぐにS9の登録画像の利用を行ってもよいが、これに限らず、例えば、S5またはS3等のステップに戻り、所定のリトライ回数までで、処理をリトライするようにしてもよい。リトライ回数等の設定は、テレビ電話アプリのデフォルト設定としてもよいし、ユーザ設定で変更可能としてもよい。ユーザのニーズおよび操作に応じて、テレビ電話アプリのユーザ設定機能を用いて、送信確認や、登録画像を用いた送信画像の作成等を含む、各種の機能について、利用有無や動作詳細を設定可能である。ユーザ設定に応じて、テレビ電話の最初から最後まで全て、リアルタイムのカメラ画像を用いることも、登録画像D10のみを用いることも、可能である。
[(7)携帯情報端末-表示画面]
図7は、テレビ電話の際の、携帯情報端末1の前面s1を平面視したX-Y面での表示画面DP等の構成を示す。携帯情報端末1の平板状の筐体の主面(前面s1、背面s2)のうち、表示画面DPを持つ前面s1側に、広角レンズ部を含むインカメラC1を備えている。前面s1の縦長の長方形領域において、主な表示画面DPの領域の外側の額縁領域のうち上辺部の例えば中央位置(点PC1)に、インカメラC1が設けられている。
図7は、テレビ電話の際の、携帯情報端末1の前面s1を平面視したX-Y面での表示画面DP等の構成を示す。携帯情報端末1の平板状の筐体の主面(前面s1、背面s2)のうち、表示画面DPを持つ前面s1側に、広角レンズ部を含むインカメラC1を備えている。前面s1の縦長の長方形領域において、主な表示画面DPの領域の外側の額縁領域のうち上辺部の例えば中央位置(点PC1)に、インカメラC1が設けられている。
テレビ電話アプリの制御およびユーザBの携帯情報端末2から受信した画像データに基づいて、携帯情報端末1の表示画面DP内の領域R1には、通話相手(ユーザB)の顔を含む画像(相手画像)g1が表示される。
表示画面DP内の領域R1の画像g1の表示と共に、一部の所定の領域R2には、インカメラC1の画像に基づいて作成された、ユーザAの顔を含むモニタ画像g2が表示される。このモニタ画像g2は、テレビ電話の際にユーザAが相手へ送信する自己の画像の状態を確認できるように設けられている。このモニタ画像g2を表示する機能は、必須ではないが、表示する場合には、より使い勝手を高くできる。ユーザAは、このモニタ画像g2を見ることで、自分の顔等の状態を確認でき、必要に応じて、このモニタ画像g2に対応する内容の送信画像D12の送信を拒否することもできる。
図7の(A)の表示例では、表示画面DP内で、殆ど全体に対応する主な領域R1に相手の画像g1が表示され、領域R1のうち、インカメラC1に近い例えば右上角隅の位置に、重畳する領域R2を設け、その領域R2にモニタ画像g2を表示している。
図7の(B)の別の表示例では、表示画面DA内で、相手の画像g1を表示する主な領域R1は、インカメラC1に近い上側寄りの位置に配置されており、領域R1の下側に、分けられた領域R2を設け、その領域R2にモニタ画像g2を表示している。これらに限らず、各種の表示の仕方が可能であり、ユーザ設定機能によって変更可能である。
また、図7の表示例では、領域R2のモニタ画像g2は、領域R1の相手の画像g1よりも小さいサイズとしている。これに限らず、領域R2のモニタ画像g2のサイズについても設定変更可能である。また、表示画面DPに対するタッチ操作に応じて、モニタ画像g2のみを拡大表示すること等も可能である。
[(8)画像例、処理例]
図8~図12は、携帯情報端末1のインカメラC1の広角画像に基づいた、顔検出、トリミング、および歪補正についての画像例や処理例を示す。
図8~図12は、携帯情報端末1のインカメラC1の広角画像に基づいた、顔検出、トリミング、および歪補正についての画像例や処理例を示す。
(1) まず、図8は、比較説明用に、通常カメラC2でユーザAの顔を正面から撮影した場合の画像(通常画像)の例を示している。この通常画像は、正方形のサイズとした場合を示す。ユーザAの顔または頭における中心点または代表点を点P1とする。両目の中間点等を点P1としてもよい。概略的に、顔領域A1、頭領域A2、領域A3を示す。顔領域A1は、顔(目、鼻、口、耳、肌等を含む)を含むようにとった領域である。頭領域A2は、顔領域A1よりも広く、頭(髪等を含む)を含むようにとった領域である。領域A3は、顔領域A1や頭領域A2よりも広く、顔または頭の外側の周辺領域もある程度の大きさで含むようにとった領域である。領域A3は、例えば点P1からの所定の距離までの領域としてもよいし、領域A3内の顔領域A1等の比率に応じてとった領域としてもよい。各領域の形状は、矩形に限らず、楕円等でもよい。なお、図2のようにカメラから斜め上を見上げる方向の位置関係で撮影された画像の場合、実際の画像内容は、図15の(B)のように、やや台形状の画像内容になる。
(2) 図9は、インカメラC1で撮像した広角画像G1の概要と顔領域検出について模式的に示す。この広角画像G1は、円領域を有する。点PG1は、広角画像G1の中心点を示し、光軸の方向J2に対応する。広角画像G1内の位置座標を(x,y)で示す。破線枠で示す領域(顔領域)B1は、概略的に顔領域A1に対応する矩形の領域を示す。同様に、領域(頭領域)B2は、頭領域A2に対応する矩形の領域、領域B3は、領域A3に対応する矩形の領域を示す。領域B4は、さらに、領域B3よりも大きく、処理用に十分に大きな矩形の領域をとる場合を示す。各領域は矩形で示しているが、これに限らず、広角画像の座標系に合わせた形状としてもよい。
図9の広角画像G1では、図2のような位置関係に基づいて、広角画像G1内の一部の領域、特に中央の点PG1から下側の位置(点P1)の付近の領域に、ユーザAの顔等が写っている。このように、インカメラC1の広角レンズを通じて撮像した広角画像G1内の顔を含む全体には、広角レンズに依存する歪が生じている。広角画像G1内では、中央(点PG1)に比べて外周の位置ほど歪が大きくなる場合がある。
顔検出機能201では、広角画像G1内から、顔を含む領域を検出する。顔検出機能201では、例えば顔領域B1または頭領域B2を検出する。
(3) 図10は、図9の広角画像G1について、後述の図13、図14の原画像の(x,y)平面での状態を重ねて示している。トリミング機能202では、広角画像G1から、顔領域B1や領域B3等に対応するトリミング領域を設定して、トリミング画像を得る。図10の例では、広角画像G1から、領域B3に対応する、原画像の(x,y)平面の座標系に対応する盾形状の領域を、トリミング領域TRM1(破線枠)として設定している。このトリミング領域TRM1の盾形状は、例えばy方向で中央から外周になるにつれてx方向の幅が小さくなる形状である。
(4) また、図11は、比較説明用に、図9の広角画像G1から、矩形(直角四角形)のトリミング領域としてトリミングする場合のトリミング画像の例を示す。領域111は、頭とその周辺とを含む矩形の領域を示す。領域112は、処理用に領域111よりも大きくとる場合の矩形の領域の例を示す。領域111において、概略的に、顔領域等の横幅H1と、全体の横幅H2とを示す。領域111のサイズの決定に関しては、顔領域等の横幅H1に対し、所定の比率(H1/H2)となるように、全体の幅H2が設定される。例えば、H1/H2=1/2、あるいは2/3等とされる。この比率はユーザ設定可能である。あるいは、領域111,112のサイズに関しては、顔領域の中心の点P1から、横方向や縦方向に所定の距離K1,K2等をとることで決定してもよい。
(5) 図12は、トリミング画像と歪補正の例について示す。図12の(A)は、図10のトリミング領域TRM1に対応するトリミング画像GT1を示す。また、トリミング領域TRM2およびトリミング画像GT2は、処理用にトリミング領域TRM1およびトリミング画像GT1よりも大きくとった場合の例を示す。原画像の(x,y)平面上において、ユーザAの顔の周辺を含むサイズ(例えば上半身を含むサイズ)のトリミング領域TRM1とされている。
図12の(B)は、(A)のトリミング画像GT1に対する歪補正の結果の画像である平面化画像GP1を示す。歪補正機能203では、トリミング画像GT1に対し、正像変換処理203A(図14)を行う。この結果、ほぼ歪が無い平面化画像GP1が得られる。平面化画像GP1は、矩形(直角四角形)の平面PL1を持つ。また、平面PL2は、トリミング画像GT2の場合に同様に得られる平面化画像の平面を示す。また、特に、画像GP11や画像GP12は、平面化画像GP1のうち一部の領域を抽出する場合の例を示す。画像GP11は顔領域に対応し、画像GP12は頭領域とその周辺とを含む領域に対応する。
撮影処理部12は、平面化画像GP1を補正後画像D11として取得する。さらに、撮影処理部12は、この平面化画像GP1から、一部の画像GP11等を抽出し、適宜に加工することで、モニタ画像D13を作成してもよい。
撮影処理部12は、歪補正機能203を用いて、広角画像G1(原画像)の状態から、歪の無い状態になるように正像変換処理203Aを行う。ここで、原画像の円形の全領域に対して正像変換処理203Aの計算を施す場合、計算量が大きくなることが懸念される。そのため、実施の形態1では、上記のように、処理例として、撮影処理部12は、広角画像G1(原画像)のうちの一部の領域をトリミングした画像に対して限定的に正像変換処理203A等の計算を施している。
[(9)歪補正]
図13および図14を用いて、インカメラC1で撮影された歪を持つ広角画像を、歪が無い平面化画像に補正する歪補正方法について説明する。
図13および図14を用いて、インカメラC1で撮影された歪を持つ広角画像を、歪が無い平面化画像に補正する歪補正方法について説明する。
図13は、インカメラC1の広角レンズを使用した場合の正像変換のモデルおよび座標系を示す。広角レンズに対応する半球面500、カメラセンサの平面的な撮像面501、平面化画像502等を示す。撮像面501は、原画像の(x,y)平面としても示す。平面化画像502は、対象物体の撮影画像に対応し、(u,v)平面として示す。広角レンズは、画角等によっても半径等が異なるが、球面に近い形状を有し、半球面500として示す。撮像面501は、半球面500の撮影範囲のZ方向の軸に垂直な位置に配置されている。半球面500や撮像面501の原点O、半径R、3次元座標(X,Y,Z)を示す。球面座標系(半球面500)の底面の平面が、カメラセンサ上の撮像面501に相当し、原画像の(x,y)平面として示す。
携帯情報端末1は、インカメラC1の広角レンズを通じて撮影された広角画像の画角AV1内における、撮影対象物であるユーザAの顔が撮影されている位置や画角AV2について、図13のモデルに基づいて、中心位置からの距離、角度、範囲等が判断できる。よって、撮影処理部12は、図13のモデルに基づいた歪補正処理(図14の正像変換)を行うことにより、歪を持つ顔画像を、歪が解消または低減された平面化画像にすることができる。
前述の図2のように、インカメラC1の広角レンズによる画角AV1は、180度程度と大きい。広角レンズに対応する、球面に近い形状(半球面500)で物体(例えば顔)を撮影、透過した光学像を、撮像面501で示す平面を持つカメラセンサで受像する。すると、そのカメラセンサ上の画像(広角画像)には、図14の左側に示すように、歪を生じる。中央に比べて外周になるほど、カメラセンサ正面角度(Z方向)と撮影画像方向(n方向)との関係(角度βで示す)がきつくなる。
図14の左側には、原画像の(x,y)平面における歪を概念的に示す。(x,y)平面では、座標系の単位領域が直角四角形ではない(例:歪量δu,δv)。図14の右側には、平面化画像502として、(u,v)平面を示す。この(u,v)平面が、歪が無い画像として取り出したい画像である。(u,v)平面では、座標系の単位領域が直角四角形(例:Δu,Δv)となっている。
広角レンズの焦点距離やレンズ形状に関する諸元は予め分かっている。よって、上記球面の画像(原画像)から平面の画像(平面化画像と記載する)への座標変換が容易に可能である。この座標変換として、図14のような正像変換を適用可能である。この正像変換は、歪を持つ画像を、人の目で見たままの歪を持たない画像に変換するものであり、例えば魚眼レンズ等の歪補正で使用されている。この正像変換を用いて、図14の左側の原画像の(x,y)平面の各点位置の画素を、右側の平面化画像の(u,v)平面の各点位置の画素に変換する。変換の詳細については以下である。
図13のように、対象物体の撮影の方向nに関して、方位角をα、天頂角をβ、取り出す平面(平面化画像502)の回転角をφとする。レンズの倍率をmとする。すると、公知の正像変換の式から、下記の式1,式2である。また、その式中のA,B,C,Dは、式3~式6である。
式1: x=R(uA-vB+mRsinβsinα)/√(u2+v2+m2R2)
式2: y=R(uC-vD+mRsinβcosα)/√(u2+v2+m2R2)
式3: A=cosφcosα-sinφsinαcosβ
式4: B=sinφcosα+cosφsinαcosβ
式5: C=cosφsinα+sinφcosαcosβ
式6: D=sinφsinα-cosφcosαcosβ
式1: x=R(uA-vB+mRsinβsinα)/√(u2+v2+m2R2)
式2: y=R(uC-vD+mRsinβcosα)/√(u2+v2+m2R2)
式3: A=cosφcosα-sinφsinαcosβ
式4: B=sinφcosα+cosφsinαcosβ
式5: C=cosφsinα+sinφcosαcosβ
式6: D=sinφsinα-cosφcosαcosβ
上記式に従った計算によって、原画像の各画素を、平面化画像の各画素に変換して、歪を解消することができる。原画像の(x,y)平面における各画素位置での歪量δu,δvが、平面化画像の(u,v)平面における正方形の単位領域のように、歪の無い状態(Δu,Δv)にされる。
[(10)台形補正]
図15は、台形補正処理203Bについての画像例等を示す。図15の(A)のように、携帯情報端末1を水平面s0上に平らに置いた状態の場合、ユーザAの顔は、インカメラC1から見て斜め上の方向J3で撮影される。そのため、顔撮影の画像の画角AV2において、顔や頭におけるZ方向下方側の部分(あご等)の方が、Z方向上方側の部分よりも、距離が近い。距離DST1は、インカメラC1の位置PC1と、頭の上方側の部分との距離、距離DST2は、インカメラC1の位置PC1と、頭の下方側の部分との距離の例を示す。DST1>DST2である。
図15は、台形補正処理203Bについての画像例等を示す。図15の(A)のように、携帯情報端末1を水平面s0上に平らに置いた状態の場合、ユーザAの顔は、インカメラC1から見て斜め上の方向J3で撮影される。そのため、顔撮影の画像の画角AV2において、顔や頭におけるZ方向下方側の部分(あご等)の方が、Z方向上方側の部分よりも、距離が近い。距離DST1は、インカメラC1の位置PC1と、頭の上方側の部分との距離、距離DST2は、インカメラC1の位置PC1と、頭の下方側の部分との距離の例を示す。DST1>DST2である。
このため、撮影画像(広角画像)内では、図15の(B)のように、ユーザAの顔領域等が、台形状の画像内容(台形画像と記載する)となる。台形画像151では、Z方向での上辺が下辺よりも小さい。台形画像151は、正像変換後の、広角画像の歪が無い状態の形状を模式的に示している。台形画像151では、例えば頭頂側が相対的に小さく、あご側が相対的に大きく写っている。
この台形画像を用いて送信画像D12を構成した場合、相手(ユーザB)からその送信画像D12を見ると、やや違和感を感じる可能性がある。そこで、より好適な送信画像D12を作成するために、台形補正処理203Bを用いる。携帯情報端末1は、インカメラC1の位置PC1からユーザAの顔の代表的な位置の点P1を見る場合の仰角(角度θ1)の範囲等の状態を、インカメラC1の画像やセンサ類を用いて判断可能である。撮影処理部12は、その判断した情報に基づいて、台形補正処理203Bを行う。
図15の(C)は、(B)からの台形補正の結果得られた画像152を示す。この画像152は、直角四角形画像であり、上辺と下辺とが同じ長さである。この画像152を用いて送信画像D12を作成することで、相手(ユーザB)からは、ユーザAの顔を正面から見たような画像となる。
[(11)モニタ機能、画像修正機能]
図7のように、実施の形態1の携帯情報端末1では、ユーザA自身の画像についてのモニタ機能も備えている。携帯情報端末1は、表示画面DP内に、送信画像D12に対応させたユーザAのモニタ画像D13を表示して、ユーザAにそのモニタ画像D12の顔の状態で送信画像としてもよいかどうかを確認する。このモニタ機能では、ユーザAは、モニタ画像D13を見て、歪補正後の自己の顔画像について、違和感や気に入らないと感じる場合、そのモニタ画像D13に対応する送信画像D12を、送信拒否することができる。携帯情報端末1は、その送信拒否の指示の操作を受けた場合、そのモニタ画像D13に対応する送信画像D12を送信しない。
図7のように、実施の形態1の携帯情報端末1では、ユーザA自身の画像についてのモニタ機能も備えている。携帯情報端末1は、表示画面DP内に、送信画像D12に対応させたユーザAのモニタ画像D13を表示して、ユーザAにそのモニタ画像D12の顔の状態で送信画像としてもよいかどうかを確認する。このモニタ機能では、ユーザAは、モニタ画像D13を見て、歪補正後の自己の顔画像について、違和感や気に入らないと感じる場合、そのモニタ画像D13に対応する送信画像D12を、送信拒否することができる。携帯情報端末1は、その送信拒否の指示の操作を受けた場合、そのモニタ画像D13に対応する送信画像D12を送信しない。
また、その場合、携帯情報端末1は、その送信画像D12の代わりに、登録画像D10に基づいた新たな送信画像D12を作成し、元の送信画像D12と交換して、送信するようにしてもよい。携帯情報端末1は、登録画像D10の顔画像をそのまま用いてもよいし、加工して送信画像D12を作成してもよい。登録画像D10は、ユーザAが自己の顔を任意のカメラで撮影した静止画または動画でもよいし、顔以外でも、他の任意の画像(アイコン画像、アニメーション画像等)でもよい。
また、他の機能として、携帯情報端末1は、画像修正機能を備えてもよい。携帯情報端末1は、一旦作成した補正後画像D11(モニタ画像D13、送信画像D12)について、送信拒否の指示を受けた場合に、この機能を用いて、顔画像を修正する。携帯情報端末1は、この際、補正後画像D11に対し、登録画像D10の顔画像に基づいて、修正処理を施して、修正版の顔画像を作成する。例えば、携帯情報端末1は、顔画像内の両目の状態について、目線の向きが正面になるように加工して、修正版の顔画像を作成する。なお、修正版の顔画像についても表示画面DP内に表示してユーザAに送信確認してもよい。
具体例としては、あるタイミングで撮影したユーザAの顔画像において、目の部分がうまく撮影できていない場合、例えば目線の向きについて正面(方向J3)からのずれが大きい場合がある。その場合に、携帯情報端末1は、その顔画像の目の部分を、登録画像D10の目の部分を用いて、合成や置換するように修正する。これにより、修正後の顔画像では目が正面を向いた状態にする。
また、携帯情報端末1は、モニタ画像D13の確認の上でユーザAが送信拒否の指示をした場合、その時点の処理結果(補正後画像D11、送信画像D12)を一旦リセットし、異なるタイミングの入力画像に基づいて、送信画像D12の作成をリトライするようにしてもよい。その際のリトライ回数も設定可能である。携帯情報端末1は、所定の回数まででリトライした結果、最終的に十分な画像が得られなかった場合(ユーザAの送信指示が出ない場合)、登録画像D10の顔画像を送信画像D12としてもよい。
また、携帯情報端末1は、表示画面DP内の領域に対するユーザAのタッチ操作に応じて、送信画像D12とする画像を、リアルタイムに作成した画像とするか、登録画像D12の顔画像とするかを切り替えるようにしてもよい。
[(12)登録機能および登録画像]
登録機能および登録画像D10を用いることで、顔検出等の精度を高めることができ、また、各種の付属的な機能も利用可能である。登録画像D1のデータは、メモリ13または外部メモリ16等に格納されている。登録画像D10としてユーザAの顔画像を登録する方法としては以下である。例えば、ユーザAは、テレビ電話アプリのユーザ設定機能のうちの登録機能を操作し、通常カメラC2(または後述の実施の形態2でのインカメラC3)を用いて、自己の顔を正面から撮像し、歪の無い顔画像を、登録画像D10として登録する。なお、インカメラC1および歪補正機能203を用いて登録画像D10を作成してもよいし、別のカメラや外部装置からのデータ読み込みによって登録を行ってもよい。
登録機能および登録画像D10を用いることで、顔検出等の精度を高めることができ、また、各種の付属的な機能も利用可能である。登録画像D1のデータは、メモリ13または外部メモリ16等に格納されている。登録画像D10としてユーザAの顔画像を登録する方法としては以下である。例えば、ユーザAは、テレビ電話アプリのユーザ設定機能のうちの登録機能を操作し、通常カメラC2(または後述の実施の形態2でのインカメラC3)を用いて、自己の顔を正面から撮像し、歪の無い顔画像を、登録画像D10として登録する。なお、インカメラC1および歪補正機能203を用いて登録画像D10を作成してもよいし、別のカメラや外部装置からのデータ読み込みによって登録を行ってもよい。
登録画像D10は、ユーザAの顔の正面から撮像した顔画像だけではなく、他の色々な方向から顔を撮像した複数の画像を含んでもよい。この場合、携帯情報端末1の顔検出機能201は、ユーザAがテレビ電話の際に顔の向きを変えたり動いたりしている場合でも、その登録画像D10を用いて、その時の顔の状態を検出することができる。携帯情報端末1の画像修正機能は、その顔の状態に合わせて、修正処理が可能である。
また、ユーザAが表示画面DPでモニタ画像D13を確認して送信拒否し、代わりに登録画像D10を用いる場合に、登録画像D10の複数の顔画像のうちユーザAが選択した顔画像を用いて送信画像D12とすることもできる。
また、登録画像D10は、あるユーザA一人の顔画像だけではなく、その携帯情報端末1を使用してテレビ電話を行う可能性がある他の複数のユーザについての複数の顔画像を含めてもよい。
[(13)個人認識機能]
実施の形態1では、撮影処理部12の顔検出機能201は、特に、特定のユーザ個人の顔を認識する機能(個人認識機能201B)も備えている。携帯情報端末1は、広角画像から、不特定の顔領域を検出するだけでなく、特定のユーザ個人の顔を認識してもよい。その場合、携帯情報端末1は、特定のユーザの顔のみを検出して、送信画像D12を作成してもよい。
実施の形態1では、撮影処理部12の顔検出機能201は、特に、特定のユーザ個人の顔を認識する機能(個人認識機能201B)も備えている。携帯情報端末1は、広角画像から、不特定の顔領域を検出するだけでなく、特定のユーザ個人の顔を認識してもよい。その場合、携帯情報端末1は、特定のユーザの顔のみを検出して、送信画像D12を作成してもよい。
顔検出機能201は、例えば、広角画像から任意の顔領域を検出する。その後、個人認識機能201Bでは、その顔領域を、予め登録画像D10に登録されているユーザAの個人認識用の顔画像と比較照合する。個人認識機能201Bでは、その比較の結果、類似性に基づいて、広角画像内の顔領域が、特定のユーザAの顔に該当するかどうかを判定する。個人認識機能201Bは、個人認識結果情報を出力する。
携帯情報端末1は、特定のユーザAの顔である場合にのみ、ハンズフリー状態のテレビ電話機能の制御を適用し、例えば送信画像D12を作成する。広角画像内に複数のユーザの顔が映っている場合に、特定のユーザAの顔のみを対象として送信画像D12を作成することができる。例えば、広角画像内でユーザAの背景にいるだけの通行人の顔については対象として扱わずに済む。なお、変形例としては、個人認識機能201Bを備えなくてもよい。また、撮影処理部12は、歪補正前の画像に対して特定の個人の顔の認識を行うようにしてもよいし、歪補正後の画像に対して特定の個人の顔の認識を行うようにしてもよい。
[(14)顔追尾機能]
実施の形態1で、撮影処理部12(特に顔検出機能201)は、インカメラC1の動画(所定のレートの複数の画像)に基づいて、ユーザの顔領域の動きを自動的に追尾する機能(顔追尾機能)も含んでいる。携帯情報端末1は、広角のインカメラC1を用いることで、ユーザ自身が多少移動したとしても、広角画像内であれば、顔検出によって追尾することができる。携帯情報端末1は、常にユーザの顔が画像中心となるように追尾した送信画像D12とすることもできる。
実施の形態1で、撮影処理部12(特に顔検出機能201)は、インカメラC1の動画(所定のレートの複数の画像)に基づいて、ユーザの顔領域の動きを自動的に追尾する機能(顔追尾機能)も含んでいる。携帯情報端末1は、広角のインカメラC1を用いることで、ユーザ自身が多少移動したとしても、広角画像内であれば、顔検出によって追尾することができる。携帯情報端末1は、常にユーザの顔が画像中心となるように追尾した送信画像D12とすることもできる。
テレビ電話中、ユーザAが同じ位置に静止しているとは限らず、動いている場合がある。撮影処理部12は、動画から、所定の時点毎の広角画像毎に、ユーザAの顔領域を検出する。例えば、顔検出機能201によって一旦ある時点で顔領域を検出した後、その後の時点では、その検出済みの顔領域の付近で探索して、顔領域の動きを判断する。これにより、画像処理量を抑制しつつ、ユーザが動いている場合でも、時間軸上で継続的にユーザAの顔領域を追尾できる。
また、図2の状態でのテレビ電話の際に、ユーザA(特に顔)は、最初の位置から移動する場合がある。例えば、ユーザAが一時的に最初の位置から離れて、その後に最初の位置に戻る場合がある。その場合でも、撮影処理部12は、顔追尾機能によって、移動する顔領域をできるかぎり追尾する。撮影処理部12は、ユーザAの顔が広角画像内に映っていない状態になった場合、すなわち追尾できない場合、その後の時間では、例えば以下のように対応する。撮影処理部12は、過去最後に検出済みの画像、作成済みの送信画像D12を用いて対応する。または、撮影処理部12は、一時的に登録画像D10の顔画像に切り替えて対応する。撮影処理部12は、ユーザAの顔が再び広角画像内に写った状態になった場合、その顔領域を検出して、その後同様に追尾する。また、撮影処理部11は、ユーザAの顔が任意の物体によって一時的に隠された場合でも、同様に、顔追尾機能によって対応することができる。
[(15)他の利用状態、配置状態、およびガイド機能]
図16~図18は、実施の形態1の携帯情報端末1の他の利用状態や配置状態の例を示す。ユーザAがハンズフリー状態のテレビ電話を行う際の、端末の配置状態については、図2の状態に限らず、以下のような状態も可能である。
図16~図18は、実施の形態1の携帯情報端末1の他の利用状態や配置状態の例を示す。ユーザAがハンズフリー状態のテレビ電話を行う際の、端末の配置状態については、図2の状態に限らず、以下のような状態も可能である。
図16は、状態の第1例を示す。図16では、水平面s0に対してある程度の角度161で傾いた斜面s5を持つ、台等の任意の物体160がある。ユーザAは、携帯情報端末1の筐体を、その台等の物体160の斜面s5に沿って平らに置く。物体160や角度161は、特に限定されず、筐体が静止する状態となればよい。この状態で、ユーザAは、前方にある筐体の表示画面DPを見る。インカメラC1は、角度161に応じた光軸の方向J2で配置されている。インカメラC1は、方向J3の画角AV2で、ユーザAの顔(点P1)を撮影する。このように、筐体がある程度傾いて配置されていても、図2と同様にハンズフリー状態でのテレビ電話が実現できる。
図17は、第2例として、筐体の前面s1のインカメラC1の位置PC1が、ユーザAから見てY方向で手前側の方向Y2の位置になっている。この場合、インカメラC1の顔撮影の方向J3(角度θ3)が、図2の状態とは変わっている。例えば仰角がより大きくなっている。この場合、広角画像内では、ユーザAの顔領域が反転して写っている。撮影処理部12は、その広角画像からその反転の状態を認識できる。撮影処理部12は、適宜に画像反転処理を行い、表示画面DP内には上下を適切な方向にしたモニタ画像D13を表示する。
図18は、第3例として、筐体の長手方向をX方向(ユーザAからみて左右方向)に沿って配置した場合を示す。この場合、前面s1のインカメラC1の位置PC1が、ユーザAから見てX方向で左右の一方の側(例えば方向X1)の位置になる。撮影処理部12は、適宜に画像回転処理を行い、表示画面DP内には適切な方向にしたモニタ画像D13を表示する。
実施の形態1では、ユーザに対し特に図2の配置状態を推奨するが、上記各配置状態でも概略同様にテレビ電話機能を実現できる。また、実施の形態1では、水平面s0上の携帯情報端末1の配置状態およびユーザAとの位置関係が、図2、図17、図18等のいずれの状態であっても、インカメラC1によって概略同様に対応可能である。そのため、ユーザAは、テレビ電話の際に、端末の状態や自身の位置を、ある程度自由に変えることもでき、利便性が高い。
また、携帯情報端末1は、筐体の配置状態について、ユーザに対し推奨やガイドを行う機能(ガイド機能)を備えていてもよい。携帯情報端末1は、カメラ画像やセンサ類30を用いて、筐体の配置状態を把握する。携帯情報端末1は、例えば、図2の配置状態を推奨するように、ガイド情報(例:「カメラを奥側にして置くことをおすすめします。」)を、表示画面DPに表示したり、音声出力したりしてもよい。
また、携帯情報端末1は、筐体の配置状態が適切ではない場合には、その旨のガイド情報を出力してもよい。例えば、携帯情報端末1は、ある配置状態で、インカメラC1の位置PC1からユーザAの顔(点P1)を撮影する方向J3に関する角度θ3が、所定の角度範囲内ではない場合(仰角が小さすぎる場合または大きすぎる場合)には、配置位置が適切ではない旨のガイド情報を出力してもよい。
また、例えば、携帯情報端末1に対するユーザAの位置関係において、特にインカメラC1から顔を認識できない位置関係となる場合も想定される。その場合、携帯情報端末1は、位置関係(端末位置およびユーザ位置)を適切にするために、ユーザAに対し、ガイド情報を出力してもよい。例えば、携帯情報端末1の位置や配置状態を変更させる旨の情報、またはユーザAの顔の位置を変更させる旨の情報を出力させてもよい。この際、携帯情報端末1は、ユーザAとの位置関係を把握している場合には、どの方向や位置へ変更させるべきかの指示情報を出力してもよい。
[(16)比較例-非ハンズフリー状態]
図19は、比較例の携帯情報端末における通常のテレビ電話モード(通常モード)、および、実施の形態1における別のテレビ電話モードとして非ハンズフリー状態の非ハンズフリーモードの場合を示す。この状態、モードでは、ユーザAは、携帯情報端末の筐体を手に持っており、両手が自由ではない。図19の例では、筐体が鉛直上方に立つ状態とされている。筐体の前面のインカメラCXは、通常画角(いわゆる狭角)の通常レンズを持つ通常カメラである。この通常画角は、インカメラC1の画角AV1よりも狭い。インカメラCXの光軸の方向JX2を示し、本例ではY方向で手前側の方向Y2を向いている。インカメラCXの画角AVX1は、例えば45度から135度までの角度範囲である。画角AVX1のうち、顔撮影範囲に対応する画角AVX2を示す。
図19は、比較例の携帯情報端末における通常のテレビ電話モード(通常モード)、および、実施の形態1における別のテレビ電話モードとして非ハンズフリー状態の非ハンズフリーモードの場合を示す。この状態、モードでは、ユーザAは、携帯情報端末の筐体を手に持っており、両手が自由ではない。図19の例では、筐体が鉛直上方に立つ状態とされている。筐体の前面のインカメラCXは、通常画角(いわゆる狭角)の通常レンズを持つ通常カメラである。この通常画角は、インカメラC1の画角AV1よりも狭い。インカメラCXの光軸の方向JX2を示し、本例ではY方向で手前側の方向Y2を向いている。インカメラCXの画角AVX1は、例えば45度から135度までの角度範囲である。画角AVX1のうち、顔撮影範囲に対応する画角AVX2を示す。
また、ユーザAの目線の方向JX1と、インカメラCXの顔撮影の方向JX3と、それらが成す角度差AD2とを示す。このような角度差が大きいほど、画像内でのユーザAの目線の向きが下向きとなる。相手(ユーザB)から見ると、ユーザAの目が正面を向いていない状態となる。
一方、実施の形態1での図2のハンズフリーモードの場合、角度差AD1は、比較例の角度差AD2よりも小さくすることができる。そのため、実施の形態1でのハンズフリーモードの場合、画像内でのユーザの目線の向きが、通常モードの場合よりも、より正面に近い向きになる。これにより、相手(ユーザB)から見ると、ユーザAの目線がより正面を向いている状態となるので、より自然で違和感が少ないテレビ電話が可能である。
なお、従来の携帯情報端末のインカメラCXは、通常レンズを持ち、撮影可能範囲が限られている。そのため、このインカメラCXをテレビ電話機能に利用して、ユーザAが手で筐体を持って非ハンズフリー状態でテレビ電話を行う場合には、以下のような考慮や手間が必要である。ユーザAは、自身の顔を適切に撮影して相手に伝えるために、手で筐体の向きを調整しながら、顔と筐体との位置関係を保持し続ける必要がある。一方、実施の形態1の携帯情報端末1では、インカメラC1を用いてハンズフリー状態でテレビ電話を行うことができ、上記のような考慮や手間が不要である。
なお、実施の形態1で、通常モードを用いる場合では、インカメラC1の広角画像内の中央付近の位置にユーザAの顔が写ることになる。この通常モードの場合、携帯情報端末1は、歪補正処理等を省略してもよく、ハンズフリーモードとは異なる動作として、異なる効果が得られる。
[(17)効果等]
上記のように、実施の形態1のテレビ電話機能を持つ携帯情報端末1によれば、ハンズフリーのテレビ電話を、より好適な使い勝手で実現できる。ユーザは、両手が自由な状態でテレビ電話が可能であり、利便性も高い。なお、携帯情報端末1の前面s1のインカメラC1は、テレビ電話専用に限らず、他の用途(自撮り等)にも使用可能な一般的なものである。実施の形態1では、そのインカメラC1をうまく利用してハンズフリーのテレビ電話を実現している。実施の形態1の携帯情報端末1は、ハンズフリーのテレビ電話の際に、筐体を変形させる必要が無く、また、別の固定器具等を用いる必要も無く、使い勝手が良く、汎用性が高い。
上記のように、実施の形態1のテレビ電話機能を持つ携帯情報端末1によれば、ハンズフリーのテレビ電話を、より好適な使い勝手で実現できる。ユーザは、両手が自由な状態でテレビ電話が可能であり、利便性も高い。なお、携帯情報端末1の前面s1のインカメラC1は、テレビ電話専用に限らず、他の用途(自撮り等)にも使用可能な一般的なものである。実施の形態1では、そのインカメラC1をうまく利用してハンズフリーのテレビ電話を実現している。実施の形態1の携帯情報端末1は、ハンズフリーのテレビ電話の際に、筐体を変形させる必要が無く、また、別の固定器具等を用いる必要も無く、使い勝手が良く、汎用性が高い。
また、実施の形態1の携帯情報端末1は、カメラ(インカメラC1)の光軸が一般的な面垂直方向となっており、カメラの光軸の方向が斜め(例えば45度)になっているような従来技術例や、カメラの光軸の方向を機械的に駆動して変更可能とする従来技術例等とは異なり、実装も容易である。
(実施の形態2)
図20、図21を用いて、本発明の実施の形態2の携帯情報端末について説明する。実施の形態2の基本的な構成は実施の形態1と同様であり、以下では実施の形態2における実施の形態1とは異なる構成部分について説明する。実施の形態2の携帯情報端末1は、筐体の前面s1に複数のインカメラを備え、それらを使い分ける。
図20、図21を用いて、本発明の実施の形態2の携帯情報端末について説明する。実施の形態2の基本的な構成は実施の形態1と同様であり、以下では実施の形態2における実施の形態1とは異なる構成部分について説明する。実施の形態2の携帯情報端末1は、筐体の前面s1に複数のインカメラを備え、それらを使い分ける。
図20は、実施の形態2の携帯情報端末1における、カメラ部11の構成を示す。このカメラ部11は、前述のインカメラC1、通常カメラC2(特に広角カメラとしてもよい)に加え、通常画角を持つインカメラC3を備えている。前述のインカメラC1が第1インカメラ、インカメラC3が第2インカメラに相当する。
撮影処理部12は、通常カメラC2の通常画像を処理するアウトカメラ処理部12Bと、インカメラC1の広角画像を処理する第1インカメラ処理部12Aと、インカメラC3の通常画像を処理する第2インカメラ処理部12Cと、モード制御部12Dとを含む。撮影処理部12は、モード制御部12Dで、これらの複数のカメラのうちいずれのカメラを使用するモードとするか等を切り替える。携帯情報端末1は、端末とユーザAの顔との位置関係、端末の配置状態の把握に応じて、カメラモードを切り替える。
図21は、実施の形態2の携帯情報端末1における利用状態の例、インカメラC3の画角等を示す。図21の(A)では、携帯情報端末1の筐体が、水平面s0上に平らに配置されている。例えば、筐体の前面s1において、インカメラC1の位置PC1の近くの位置PC3に、インカメラC3(特に通常レンズ部)が設けられている。インカメラC3の光軸の方向J4は、インカメラC1と同様に鉛直上方となっている。インカメラC3の画角AV4(第1角度ANG3から第2角度ANG4までの角度範囲)を示す。この画角AV4は、インカメラC1の画角AV1よりも狭く、例えば第1角度ANG3が60度程度、第2角度ANG3が135度程度である。
状態211は、図2の状態と同様であり、インカメラC1の画角AV1内の画角AV2でユーザAの顔が撮影できる場合を示す。状態212は、インカメラC3の画角AV4によってユーザAの顔が撮影できる位置関係にある場合を示す。例えば、インカメラC3の光軸の方向J4の先にユーザAの顔の代表的な点P4がある。
状態212のようにインカメラC3で顔を撮影できる位置関係の場合、携帯情報端末1は、複数のカメラのうち、インカメラC3を用いるカメラモードに切り替える。また、状態211のように、インカメラC1の画角AV1のうち画角AV4以外の画角によって顔を撮影できる位置関係の場合、携帯情報端末1は、インカメラC1を用いるカメラモードに切り替える。
図21の(B)は、実施の形態2での非ハンズフリー状態の例を示し、図19の非ハンズフリー状態に近い状態である。例えば、ユーザAの顔の位置が、状態211から図21の(B)の状態213に移行した場合、携帯情報端末1は、カメラモードを、インカメラC1からインカメラC3へ切り替えて、非ハンズフリーモード(通常モード)のテレビ電話を行うように制御する。同様に、ユーザAの顔の位置が、状態213から状態211に移行した場合、携帯情報端末1は、カメラモードを、インカメラC3からインカメラC1へ切り替えて、ハンズフリーモードのテレビ電話を行うように制御する。モードの切り替えに応じて、インカメラC1による広角画像と、インカメラC3による通常画像とが、入力画像として切り替えられる。
携帯情報端末1は、上記2種類のカメラのモードの選択および切り替えを、状態把握に基づいて自動的に行うようにしてもよいし、ユーザによる指示操作や設定に基づいて行うようにしてもよい。インカメラC3の通常画像を用いるモードでは、歪補正処理等が不要であるため、処理を効率化できる。
携帯情報端末1は、インカメラC1やインカメラC3の動作時に、顔検出機能201を用いて、画像内のユーザAの顔領域を検出し、その顔領域の位置や方向や画角に基づいて、いずれのカメラを使用するかを選択し、モードを切り替えるようにしてもよい。例えば、携帯情報端末1は、インカメラC1の画角AV1のうち、インカメラC3の画角AV4に対応する所定の画角内に顔が収まっているか否かによって、インカメラC3を使用するかインカメラC1を使用するかを選択してもよい。
上記のように、実施の形態2の携帯情報端末1によれば、実施の形態1と同様の効果に加え、通常画角のインカメラC3を併用することで、処理を効率化できる。なお、携帯情報端末1の筐体の前面s1におけるインカメラC1やインカメラC3の位置については、前述の構成に限らず可能であり、例えば、前面s1の表示画面DPの矩形内に入り込んでいる部分の位置としてもよい。
(他の実施の形態)
実施の形態1,2に関する他の実施の形態(変形例)として以下も可能である。
実施の形態1,2に関する他の実施の形態(変形例)として以下も可能である。
[変形例(1)-撮影処理]
実施の形態1における撮影処理部12では、図5等のように、広角画像から顔領域を検出してトリミングしてから、そのトリミング画像領域に対し歪補正処理を行っている。撮影処理の方式は、これに限らず可能である。
実施の形態1における撮影処理部12では、図5等のように、広角画像から顔領域を検出してトリミングしてから、そのトリミング画像領域に対し歪補正処理を行っている。撮影処理の方式は、これに限らず可能である。
図22は、変形例の携帯情報端末1での撮影処理の画像例を示す。携帯情報端末1の撮影処理部12は、まず、広角画像G1の全体に対して歪補正処理を行い、その後、歪補正後画像から顔領域等を検出し、トリミングする。携帯情報端末1は、広角画像G1における、水平画角で360度の領域(範囲221)、または水平画角で180度の領域(x軸の下側の半円の範囲222)に対し、歪補正処理を行って、対応する平面化画像GP3を得る。図22の例では、平面化画像GP3である歪補正後画像として、水平画角で180度の範囲222とした場合のパノラマ画像を模式的に示す。携帯情報端末1は、平面化画像GP3から、ユーザAの顔を含む領域(例えば領域224)を検出する。そして、携帯情報端末1は、領域224に対し、トリミング領域225をとってトリミングし、トリミング画像226を得て、トリミング画像226から送信画像D12等を作成する。
この変形例では、前述の実施の形態1に対し、歪補正処理の対象となる画像領域の面積がより大きい。前述の実施の形態1の撮影処理では、歪補正処理の対象となる画像領域の面積がより小さいので、処理効率等の点で有利である。計算性能が高い端末の場合、変形例を採用してもよい。変形例では、顔検出の対象画像が平面化画像であるため、顔検出の画像処理の容易さの点では有利である。
また、他の変形例で、撮影処理部12は、歪を持つ広角画像からの顔領域の検出の際、ユーザAの登録画像D10の顔画像を用いて比較照合する。その際の登録画像D10の顔画像は、予めインカメラC1で撮影した、歪を持つ顔画像としてもよい。
また、他の変形例で、携帯情報端末1は、広角画像の画角のうち、顔検出等の処理の際に、一部の範囲、例えば図22のx軸から下側の半円の範囲222(図2では0度から90度までの仰角の範囲)の画像領域を参照し、処理対象画像領域をその範囲に絞るようにし、上半分の画像領域については無視するようにしてもよい。さらには、領域223の例のように、水平画角でより狭い範囲に絞ってもよい。また、例えば、携帯情報端末1は、図2のような状態を把握した場合に、上記のように処理対象画像範囲を絞るようにしてもよい。図2の第1状態では、広角画像のうち、ユーザAの顔は下側の半円の範囲222内に写り、上側の半円の範囲内に写る可能性は殆ど無い。そのため、上記のような処理が有効である。
他の撮影処理の方式として、携帯情報端末1は、歪補正機能203によって、最初に広角画像に対し簡易的な第1の歪補正処理を施し、その後に顔検出やトリミングを行い、最後にトリミング画像に対しより精度の高い第2の歪補正処理を施すようにしてもよい。
変形例として、歪補正後の画像が、送信画像D12として許容されるかどうかについて、ユーザAの確認や操作によるものではなく、携帯情報端末1が自動的に判断してもよい。例えば、携帯情報端末1は、歪補正後画像の顔領域を、登録画像D10の顔領域と比較して、顔の再現度合いを評価し、評価値を算出する。携帯情報端末1は、その評価値が、設定されている閾値以上である場合には、送信許可と判断する。
[変形例(2)-物体認識機能]
変形例の携帯情報端末1において、撮影処理部12(特に顔検出機能201)は、物体認識機能を備えてもよい。この物体認識機能は、画像処理に基づいて、広角画像から、顔以外の所定の物体を認識してその物体領域を検出する機能である。ユーザAは、図2のハンズフリー状態でのテレビ電話の際に、自由に手を動かすことができるので、手に持った物体をインカメラC1に写すことができる。これにより、送信画像D12内には、ユーザAの顔だけでなく、その周辺に、手に持った任意の物体を写すことができ、相手(ユーザB)に示すことができる。
変形例の携帯情報端末1において、撮影処理部12(特に顔検出機能201)は、物体認識機能を備えてもよい。この物体認識機能は、画像処理に基づいて、広角画像から、顔以外の所定の物体を認識してその物体領域を検出する機能である。ユーザAは、図2のハンズフリー状態でのテレビ電話の際に、自由に手を動かすことができるので、手に持った物体をインカメラC1に写すことができる。これにより、送信画像D12内には、ユーザAの顔だけでなく、その周辺に、手に持った任意の物体を写すことができ、相手(ユーザB)に示すことができる。
所定の物体とは、予め情報処理上で定義された物体である。撮影処理部12は、その物体に対応した検出アルゴリズムを持つ。所定の物体は、例えば、ユーザの資料や写真やノートやノートPC画面、あるいはユーザの物品や動物等が挙げられる。所定の物体は、例えば矩形や円等の所定の形状や、所定の色等を持つ領域として定義される。撮影処理部12(物体認識機能)では、検出された顔領域に基づいて、例えばその顔領域の周囲の所定の距離範囲内を探索して、所定の物体の領域を検出してもよい。
図23の(A)は、物体認識機能を用いる場合の画像例を示す。この画像は、歪が無い平面化画像の状態を示す。ユーザAは、ハンズフリー状態のテレビ電話の際に、相手(ユーザB)に対し、物体230を見せながら通話を行っている。物体230は、例えばA4サイズの資料等であり、歪補正後の画像内において概略的に矩形状である。携帯情報端末1は、物体認識機能を用いて、画像から、顔領域231だけでなく、特定の物体230の領域232を検出する。携帯情報端末1は、その物体230の領域232についても歪補正処理等を施す。携帯情報端末1は、例えば、顔領域231の点P1からその周囲に所定の距離233までの範囲で、特定の物体を探索してもよい。携帯情報端末1は、例えば、顔領域231と物体230の領域232とを包含する矩形の領域234をとって、送信画像D12を作成してもよい。また、顔領域231(点P1)を中心とした画像に限らず、領域235のように、顔と物体が包含される最小矩形の画像としてもよい。
あるいは、携帯情報端末1は、顔領域231と物体230の領域232とを分けて、それぞれの送信画像D12を作成し、モニタ画像D13(画像236,237)として表示して、送信確認してもよい。また、携帯情報端末1は、検出した物体230にフォーカスする画像(物体230を中心として拡大された画像)を、モニタ画像D13として作成してもよい。また、前述の領域A3や領域B3を用いて、顔の周辺を大きい距離で確保する領域をとれば、物体認識処理を省略しても、その領域内に自動的に物体を捉えることができる。
本物体認識機能では、広角画像を用いているので、顔と物体との距離がある程度離れていたとしても、それらの両方の画像を得ることができる。例えば、図23の(B)には、広角画像に基づいた平面化されたパノラマ画像GP4を示す。このパノラマ画像GP4のうち、図2の方向Y2、方向J3や、図10のy軸の下側に対応する位置(水平画角で0度とする)には、ユーザAの顔が写っている領域r1がある。そして、その位置から、水平方向である程度離れた位置、例えば水平画角で90度、x軸の右側に対応する位置には、所定の物体が写っている領域r2がある。1つの広角画像内で、これらの両方を捉えることができ、送信画像D12とすることができる。
他の変形例として、撮影処理部12(物体認識機能)は、広角画像から、ユーザAの手を検出し、ユーザAの顔と手とを含む領域をとり、送信画像D12を作成してもよい。また、広角画像内に両手が写っている場合、ユーザが筐体を手持ちしていないと判断できる。そのため、携帯情報端末1は、広角画像からユーザAの両手を検出した場合に、ハンズフリーモードに切り替えるようにしてもよい。
[変形例(3)-複数のユーザの顔画像]
変形例として、例えば机上に1つの携帯情報端末1が置かれた状態で、複数のユーザが、その同じ携帯情報端末1を用いて、一方の送信側の通話者として相手(ユーザB)とのテレビ電話を行う利用方法も可能である。その場合、変形例の携帯情報端末1は、広角画像内に収まっている複数のユーザの複数の顔について、同時並行的に、顔検出や歪補正等の処理を行う。また、その際、携帯情報端末1は、広角画像に写っている各ユーザの顔毎に、分離して、複数の送信画像D12を作成してもよいし、複数の顔を含む1つの送信画像D12を作成してもよい。
変形例として、例えば机上に1つの携帯情報端末1が置かれた状態で、複数のユーザが、その同じ携帯情報端末1を用いて、一方の送信側の通話者として相手(ユーザB)とのテレビ電話を行う利用方法も可能である。その場合、変形例の携帯情報端末1は、広角画像内に収まっている複数のユーザの複数の顔について、同時並行的に、顔検出や歪補正等の処理を行う。また、その際、携帯情報端末1は、広角画像に写っている各ユーザの顔毎に、分離して、複数の送信画像D12を作成してもよいし、複数の顔を含む1つの送信画像D12を作成してもよい。
図24の(A)は、この変形例で、複数のユーザの顔を含む画像例を示す。テレビ電話を行う一方の通話者として、主なユーザAに加え、別のユーザCがいる場合を示す。携帯情報端末1は、インカメラC1の広角画像内から、ユーザAの顔の領域RU1と、ユーザCの顔の領域RU2とを検出する。携帯情報端末1は、例えば、それらの2つの顔領域を包含する領域241(例えば横長の矩形)をとり、送信画像D12として作成する。あるいは、携帯情報端末1は、それらの2つの顔領域をそれぞれのトリミング画像242,243としてとり、それぞれの送信画像D12として作成し、並列に表示してもよい。ユーザが3人以上の場合でも基本的に同様に実現可能であるが、多人数になりすぎないように、所定の人数(例えば4人)の顔までに制限する。携帯情報端末1は、表示画面DP内に、複数のユーザの各顔のモニタ画像D13を表示してもよい。
また、携帯情報端末1は、広角画像の画像処理、特に口の状態の検出によって、広角画像内の複数の顔のうちどの顔のユーザが現在喋っているかを把握し、その現在喋っているユーザの顔についての送信画像D12等を作成するようにしてもよい。さらに、携帯情報端末1は、画像処理とマイク17の音声処理とを連動させることで、広角画像内の複数の顔のうちどの顔のユーザが現在喋っているかを把握してもよい。携帯情報端末1は、複数のユーザのモニタ画像D13について、表示画面DP内に並列で表示してもよいし、時間軸で切り替えて表示してもよい。
また、上記複数のユーザの顔を扱う場合、携帯情報端末1に予め登録画像D10として顔画像が登録されている複数のユーザのみを対象として上記処理を行うようにしてもよい。携帯情報端末1は、予め登録されていない人(通行人等)の顔については扱わない。また、携帯情報端末1は、一部のユーザの顔について処理が間に合わない場合等には、登録画像D10を用いて代替としてもよいし、別のアイコンや風景等の画像を用いて代替としてもよい。
上記(A)の画像例では、インカメラC1からみてある方向の画角内の領域(例えば(B)のy軸の下側の領域L1)に、複数の人(ユーザA、ユーザC)の顔が写っている。これに限らず、インカメラC1の広角の画角を用いることで、水平面s0上の携帯情報端末1の位置に対し、その周りの水平画角が異なる各位置に各人がいる場合でも、対応可能である。例えば、図24の(B)の広角画像G1における外周付近の領域のうち、y軸の上下、x軸の左右のいずれの領域L1~L4に顔があっても、対応可能である。すなわち、1つの広角画像内において、その複数の人の複数の顔を捉えることができ、送信画像D12とすることができる。
[変形例(4)-相手画像補正機能]
図25は、変形例の携帯情報端末1に備える相手画像補正機能について示す。変形例の携帯情報端末1は、図7のように表示画面DP内(領域R1)に相手の画像を表示する際に、この相手画像補正機能を用いて逆台形補正した画像を表示する。
図25は、変形例の携帯情報端末1に備える相手画像補正機能について示す。変形例の携帯情報端末1は、図7のように表示画面DP内(領域R1)に相手の画像を表示する際に、この相手画像補正機能を用いて逆台形補正した画像を表示する。
図25の(A)は、相手(ユーザB)の携帯情報端末2から受信した、通常の相手画像の例を示す。携帯情報端末1の表示画面DP内の領域R1に、相手の直角四角形の画像g1が表示されている。
図25の(B)は、図2のような状態でユーザAの目(点P1)から斜め下方にある(A)の画像g1を見た場合の見え方を模式的に示している。(B)の状態では、画像g1は、上辺が下辺よりも小さい台形形状として見える。すなわち、ユーザAから見て、ユーザBの頭側の方が相対的にやや小さく見える。
携帯情報端末1は、インカメラC1の広角画像の解析やセンサ類30の検出情報に基づいて、ユーザAと端末との位置関係、端末の配置状態を把握する。例えば、携帯情報端末1は、画像内のユーザAの目の位置や目線の向き、顔の大きさ等から、ユーザAの顔の位置や、端末との距離等の状態を推測する。携帯情報端末1は、把握した状態に応じて、逆台形補正の際の比率(上辺と下辺との比率)等を設定する。携帯情報端末1は、相手の携帯情報端末2から受信した直角四角形の画像を、その比率等に合わせて逆台形補正処理して、逆台形形状の画像を得る。上記比率は予め設定された値としてもよい。
図25の(C)は、(A)の画像g1を、逆台形補正した後の画像g1bを示す。この画像g1bは、逆台形形状であり、上辺が大きく下辺が小さい台形である。携帯情報端末1は、その逆台形形状の画像g1bを、表示画面DP内の領域R1内に表示する。ユーザAは、図2の状態で、目(点P1)から斜め下方の表示画面DP内の領域R1内の相手の画像g1bを見る。すると、この状態では、ユーザAから見て相手画像が(A)のような直角四角形に近い形状で見えることになる。これにより、ユーザAは、相手画像をより視認しやすく、より使い勝手が良い。
[変形例(5)-3次元画像処理機能]
変形例として、携帯情報端末1は、2次元画像に限らず、3次元画像を処理する機能(3次元画像処理機能)を用いてもよい。例えば、カメラ部11(例えば通常カメラC2)に、公知の赤外線カメラ機能および3次元センサモジュールを備えてもよい。これを用いて、撮影処理部12は、インカメラC1の広角画像を、3次元画像として処理する。例えば、携帯情報端末1は、この赤外線カメラ機能および3次元センサジュールにより、例えば数万個以上の赤外線ドットを、ユーザの顔に照射する。携帯情報端末1は、その赤外線ドットを、赤外線カメラで撮像して、その画像から、顔表面の微妙な凹凸を読み取って、顔3次元マップ(対応する3次元画像)を作成する。携帯情報端末1は、その3次元画像に対し、歪補正処理等を行ってもよい。また、携帯情報端末1は、その3次元画像を、登録画像D10のうちの3次元顔画像情報との照合により、3次元的な顔補正処理を行ってもよい。その場合、より鮮明、微細な補正ができる。
変形例として、携帯情報端末1は、2次元画像に限らず、3次元画像を処理する機能(3次元画像処理機能)を用いてもよい。例えば、カメラ部11(例えば通常カメラC2)に、公知の赤外線カメラ機能および3次元センサモジュールを備えてもよい。これを用いて、撮影処理部12は、インカメラC1の広角画像を、3次元画像として処理する。例えば、携帯情報端末1は、この赤外線カメラ機能および3次元センサジュールにより、例えば数万個以上の赤外線ドットを、ユーザの顔に照射する。携帯情報端末1は、その赤外線ドットを、赤外線カメラで撮像して、その画像から、顔表面の微妙な凹凸を読み取って、顔3次元マップ(対応する3次元画像)を作成する。携帯情報端末1は、その3次元画像に対し、歪補正処理等を行ってもよい。また、携帯情報端末1は、その3次元画像を、登録画像D10のうちの3次元顔画像情報との照合により、3次元的な顔補正処理を行ってもよい。その場合、より鮮明、微細な補正ができる。
また、携帯情報端末1は、このような3次元的な高度な補正を行う際、単に画像を照合するのではなく、深層学習等の機械学習を用いて解析を加えてもよい。例えば、携帯情報端末1は、深層学習機能を持つAIエンジン(畳み込みニューラルネットワークを用いた深層学習を行うソフトウェアおよびハードウェア)を内蔵してもよい。携帯情報端末1は、そのAIエンジンを用いてカメラ画像からユーザの顔について学習することで、顔検出や顔補正の性能を高める。これにより、例えば具体的には、人の髪型やメークアップによる変化、メガネやサングラスの有無、ヒゲの伸び具合等の差異や影響を考慮して、ユーザAの顔の検出や認識や補正を行うことができる。
また、携帯情報端末1は、個人認識機能201Bでは、登録画像D10の3次元顔画像と、インカメラC1で撮影し歪補正された3次元顔画像とを比較照合してもよい。これにより、ユーザA本人かどうかの個人認識を、より高精度に実現できる。
[変形例(6)-指向性マイク、指向性スピーカ]
変形例として、図3の携帯情報端末1のマイク17は、指向性マイクとしてもよい。指向性マイクは、ノイズキャンセル機能等の音声処理機能を含む。コントローラ10は、マイク17を用いて、ユーザAの顔がある方向からの音声を優先的に集音する。コントローラ10は、入力音声に対し、ノイズキャンセル機能によってノイズをキャンセルし、鮮明なユーザAの音声を得る。コントローラ10は、その音声データを、送信画像D12と共に、相手の携帯情報端末2に送信する。携帯情報端末1からみてユーザAの顔がある方向については、携帯情報端末1の状態把握や画像内の顔検出を用いて把握可能である。
変形例として、図3の携帯情報端末1のマイク17は、指向性マイクとしてもよい。指向性マイクは、ノイズキャンセル機能等の音声処理機能を含む。コントローラ10は、マイク17を用いて、ユーザAの顔がある方向からの音声を優先的に集音する。コントローラ10は、入力音声に対し、ノイズキャンセル機能によってノイズをキャンセルし、鮮明なユーザAの音声を得る。コントローラ10は、その音声データを、送信画像D12と共に、相手の携帯情報端末2に送信する。携帯情報端末1からみてユーザAの顔がある方向については、携帯情報端末1の状態把握や画像内の顔検出を用いて把握可能である。
マイク17に関しては、公知のMEMSマイクロフォン等を適用して、公知のビームフォーミング技術によって、指向性およびノイズキャンセル機能を実現してもよい。例えば、ノイズキャンセル機能を実現する場合、基本的には複数のマイクが必要である。しかし、携帯情報端末1が小型である場合、複数のマイクが搭載できない場合もある。その場合、携帯情報端末1では、MEMSマイクロフォンを搭載することで、ビームフォーミング技術によって、複数の音源から特定の音源を分離し強調することができる。これにより、ユーザAの音声のみを強調して得ることが可能である。
また、携帯情報端末1は、インカメラC1を用いることで、ユーザAの位置および方向を、ある程度の精度で認識できる。そこで、携帯情報端末1は、インカメラC1を用いてユーザAの位置および方向をおおよそ特定する。携帯情報端末1は、その特定した位置および方向について、上記マイク17およびビームフォーミング技術を用いて、その方向からの音声を優先的に強調して取得してもよい。
また、変形例として、携帯情報端末1は、マイク17の音声の解析に基づいて、ユーザAの顔の位置や方向をおおよそ推測してもよい。携帯情報端末1は、その顔の位置や方向に合わせて、広角画像に対する顔検出等の処理を行ってもよい。
同様に、スピーカ18として、指向性スピーカを用いてもよい。端末に対するユーザAの顔の位置に合わせて、スピーカ18の音声出力の指向性や音量等を制御してもよい。
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。
1…携帯情報端末、2…携帯情報端末、s0…水平面、s1…前面、s2…背面、DP…表示画面、C1…インカメラ、J1,J2,J3…方向、AV1,AV2…画角、θ1,θ2…角度、P1,PC1,PD…点、ANG1,ANG2…角度、AD1…角度差。
Claims (17)
- テレビ電話機能を持つ携帯情報端末であって、
平板形状の筐体における表示画面を持つ前面の所定の位置に、広角レンズを含む第1カメラを備え、
前記テレビ電話機能を用いて第1ユーザが相手の第2ユーザとの間でテレビ電話を行う際に、前記筐体が物体の第1面上に平らに配置され、前記第1カメラの第1画角の範囲内に前記第1ユーザの顔が含まれる状態を第1状態とし、
前記第1状態で、前記第1カメラによって撮影された広角画像から、前記第1ユーザの顔を含む第1領域を検出し、前記第1領域に対応する第1画像をトリミングし、前記第1画像に基づいて、前記第2ユーザの携帯情報端末である相手端末に送信するための送信画像を作成し、前記送信画像を前記相手端末に送信する、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記広角画像のうち少なくとも前記第1画像を、前記広角レンズによる歪が解消または低減されるように歪補正処理し、補正後画像に基づいて前記送信画像を作成する、
携帯情報端末。 - 請求項2記載の携帯情報端末において、
前記第1状態で、前記広角画像から、前記第1ユーザの顔を含む前記第1領域を検出し、前記第1領域に対応する前記第1画像をトリミングし、前記第1画像に対し前記歪補正処理を行う、
携帯情報端末。 - 請求項2記載の携帯情報端末において、
前記第1状態で、前記広角画像に対し前記歪補正処理を行い、歪補正後画像から、前記第1ユーザの顔を含む前記第1領域を検出し、前記第1領域に対応する前記第1画像をトリミングする、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記第1カメラの前記第1画角は、前記第1面を基準として、30度以下の第1角度から150度以上の第2角度までの角度範囲を有し、
前記第1状態では、前記第1画角のうち、前記第1角度から90度までの角度範囲内に、前記第1ユーザの顔が含まれる第2画角を有する、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記送信画像に対応する画像内容を持つモニタ画像を作成し、
前記モニタ画像を前記表示画面内の領域に表示し、
前記第1ユーザによる前記モニタ画像の確認および所定の操作に基づいて、前記送信画像の送信を許可するか拒否するかを決定する、
携帯情報端末。 - 請求項6記載の携帯情報端末において、
前記第1ユーザの顔を含む画像または前記第1ユーザを表す任意の画像を予め登録画像として登録し、
前記送信画像の送信の拒否の場合に、前記登録画像を用いて前記送信画像の代替の画像を作成する、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記第1ユーザの顔を含む画像または前記第1ユーザを表す任意の画像を予め登録画像として登録し、
前記広角画像から前記第1ユーザの顔を含む前記第1領域が検出できない場合、前記登録画像を用いて前記送信画像の代替の画像を作成する、
携帯情報端末。 - 請求項2記載の携帯情報端末において、
前記歪補正処理の後の画像に対し、前記第1状態の位置関係に起因する台形状の画像内容を補正するための台形補正処理を行う、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記筐体の前記前面における第1位置に前記第1カメラを備え、第2位置に前記第1カメラよりも狭い画角を持つ第2カメラを備え、
前記筐体の前記前面が前記第1ユーザの顔に対して対面の位置に配置された第2状態とされた場合、前記第2カメラを用いてテレビ電話を行うモードに切り替える、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
加速度センサおよびジャイロセンサを含むセンサを用いて前記筐体の状態を把握し、前記第1状態であることを把握した場合、または前記第1ユーザによる所定の操作を受けた場合、非ハンズフリーの第1モードから、ハンズフリーの第2モードに切り替えて、前記送信画像の作成を行う、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記広角画像内における前記第1ユーザの顔を含む前記第1領域の位置に応じて、非ハンズフリーの第1モードから、ハンズフリーの第2モードに切り替えて、前記送信画像の作成を行う、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記第1ユーザの顔を含む画像を予め登録画像として登録し、
前記広角画像から検出した前記第1領域と前記登録画像との比較に基づいて、前記第1ユーザが特定の個人であることを認識した場合には、前記送信画像の作成を行い、前記第1ユーザが特定の個人であることを認識できない場合には、前記送信画像の作成を行わない、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記広角画像から、前記第1ユーザの顔の周囲の範囲内にある特定の物体を含む第2領域を検出し、前記第2領域に対応する第2画像をトリミングし、前記第2画像に基づいて、前記送信画像を作成する、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記広角画像から、前記第1ユーザとして複数の人の複数の顔を検出し、前記複数の顔を包含する前記送信画像を作成する、または、前記複数の顔の各々の顔毎の前記送信画像を作成する、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記相手端末から受信した相手画像を前記表示画面内の領域に表示する際に、前記相手画像を逆台形補正してから表示する、
携帯情報端末。 - 請求項1記載の携帯情報端末において、
前記広角画像またはセンサに基づいて、前記筐体に対する前記第1ユーザの顔の方向を含む位置関係を推測し、前記推測した方向に応じて、マイクの音声入力の方向、またはスピーカの音声出力の方向を制御する、
携帯情報端末。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880094250.2A CN112219393A (zh) | 2018-06-07 | 2018-06-07 | 便携信息终端 |
JP2020523927A JP7075995B2 (ja) | 2018-06-07 | 2018-06-07 | 携帯情報端末 |
PCT/JP2018/021811 WO2019234877A1 (ja) | 2018-06-07 | 2018-06-07 | 携帯情報端末 |
US15/734,246 US11627007B2 (en) | 2018-06-07 | 2018-06-07 | Mobile information terminal |
JP2022080184A JP7286838B2 (ja) | 2018-06-07 | 2022-05-16 | 携帯情報端末 |
US18/174,966 US20230224179A1 (en) | 2018-06-07 | 2023-02-27 | Mobile information terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/021811 WO2019234877A1 (ja) | 2018-06-07 | 2018-06-07 | 携帯情報端末 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/734,246 A-371-Of-International US11627007B2 (en) | 2018-06-07 | 2018-06-07 | Mobile information terminal |
US18/174,966 Continuation US20230224179A1 (en) | 2018-06-07 | 2023-02-27 | Mobile information terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019234877A1 true WO2019234877A1 (ja) | 2019-12-12 |
Family
ID=68769834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/021811 WO2019234877A1 (ja) | 2018-06-07 | 2018-06-07 | 携帯情報端末 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11627007B2 (ja) |
JP (1) | JP7075995B2 (ja) |
CN (1) | CN112219393A (ja) |
WO (1) | WO2019234877A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259549A (zh) * | 2020-02-13 | 2021-08-13 | 宏碁股份有限公司 | 配置鱼眼镜头相机的方法和使用所述方法的电子装置 |
JP2021140676A (ja) * | 2020-03-09 | 2021-09-16 | 株式会社リコー | 画像処理システム、情報処理装置および方法 |
WO2022019134A1 (ja) * | 2020-07-22 | 2022-01-27 | キヤノン株式会社 | 電子機器およびその制御方法 |
CN114363500A (zh) * | 2020-09-29 | 2022-04-15 | 宇龙计算机通信科技(深圳)有限公司 | 拍照方法、电子设备及计算机可读存储介质 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6973298B2 (ja) * | 2018-05-31 | 2021-11-24 | トヨタ自動車株式会社 | 物体監視装置 |
US20210226710A1 (en) * | 2020-01-17 | 2021-07-22 | Lisnr | Audio transmitter/receiver array |
US11219371B1 (en) | 2020-11-09 | 2022-01-11 | Micron Technology, Inc. | Determining biometric data using an array of infrared illuminators |
US11350059B1 (en) * | 2021-01-26 | 2022-05-31 | Dell Products, Lp | System and method for intelligent appearance monitoring management system for videoconferencing applications |
CN113129238B (zh) * | 2021-04-29 | 2023-01-06 | 青岛海信移动通信技术股份有限公司 | 拍照终端及图像校正方法 |
US11599190B2 (en) * | 2021-06-23 | 2023-03-07 | Hewlett-Packard Development Company, L.P. | Pivotable acoustic devices |
CN113628229B (zh) * | 2021-08-04 | 2022-12-09 | 展讯通信(上海)有限公司 | 图像裁剪方法及相关产品 |
US11792506B2 (en) * | 2022-02-09 | 2023-10-17 | Motorola Mobility Llc | Electronic devices and corresponding methods for defining an image orientation of captured images |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118314A (ja) * | 2002-09-24 | 2004-04-15 | Advanced Telecommunication Research Institute International | 発話者検出システムおよびそれを用いたテレビ会議システム |
JP2006067436A (ja) * | 2004-08-30 | 2006-03-09 | Nec Corp | 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム |
JP2008219744A (ja) * | 2007-03-07 | 2008-09-18 | Ntt Docomo Inc | テレビ電話機能付き端末装置及びテレビ電話方法 |
JP2013083755A (ja) * | 2011-10-07 | 2013-05-09 | Canon Inc | 表示装置、表示装置の制御方法、プログラム |
JP2014103479A (ja) * | 2012-11-19 | 2014-06-05 | Sony Corp | 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム |
WO2015182440A1 (ja) * | 2014-05-29 | 2015-12-03 | シャープ株式会社 | テレビ会議システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7251507B2 (en) * | 2000-09-12 | 2007-07-31 | Matsushita Electric Industrial Co., Ltd. | On-vehicle handsfree system and mobile terminal thereof |
US20100002070A1 (en) * | 2004-04-30 | 2010-01-07 | Grandeye Ltd. | Method and System of Simultaneously Displaying Multiple Views for Video Surveillance |
JP4466826B2 (ja) | 2003-12-10 | 2010-05-26 | 株式会社アマチ | 携帯型電話機 |
US20060148517A1 (en) * | 2004-12-30 | 2006-07-06 | Lg Electronics Inc. | Video conference feature for a mobile communication terminal |
JP2007017596A (ja) | 2005-07-06 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 携帯端末装置 |
JP5327468B2 (ja) * | 2009-08-04 | 2013-10-30 | セイコーエプソン株式会社 | プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法 |
ES2739036T3 (es) * | 2009-09-14 | 2020-01-28 | Viion Systems Inc | Cámara de análisis de vídeo de resolución dual sacádica |
KR20170020069A (ko) * | 2015-08-13 | 2017-02-22 | 엘지전자 주식회사 | 이동 단말기 및 그의 영상촬영 방법 |
JP6551155B2 (ja) * | 2015-10-28 | 2019-07-31 | 株式会社リコー | 通信システム、通信装置、通信方法およびプログラム |
US11681748B2 (en) * | 2016-04-06 | 2023-06-20 | Worldwide Live Holding, Llc | Video streaming with feedback using mobile device |
-
2018
- 2018-06-07 JP JP2020523927A patent/JP7075995B2/ja active Active
- 2018-06-07 CN CN201880094250.2A patent/CN112219393A/zh active Pending
- 2018-06-07 WO PCT/JP2018/021811 patent/WO2019234877A1/ja active Application Filing
- 2018-06-07 US US15/734,246 patent/US11627007B2/en active Active
-
2023
- 2023-02-27 US US18/174,966 patent/US20230224179A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118314A (ja) * | 2002-09-24 | 2004-04-15 | Advanced Telecommunication Research Institute International | 発話者検出システムおよびそれを用いたテレビ会議システム |
JP2006067436A (ja) * | 2004-08-30 | 2006-03-09 | Nec Corp | 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム |
JP2008219744A (ja) * | 2007-03-07 | 2008-09-18 | Ntt Docomo Inc | テレビ電話機能付き端末装置及びテレビ電話方法 |
JP2013083755A (ja) * | 2011-10-07 | 2013-05-09 | Canon Inc | 表示装置、表示装置の制御方法、プログラム |
JP2014103479A (ja) * | 2012-11-19 | 2014-06-05 | Sony Corp | 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム |
WO2015182440A1 (ja) * | 2014-05-29 | 2015-12-03 | シャープ株式会社 | テレビ会議システム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259549A (zh) * | 2020-02-13 | 2021-08-13 | 宏碁股份有限公司 | 配置鱼眼镜头相机的方法和使用所述方法的电子装置 |
JP2021140676A (ja) * | 2020-03-09 | 2021-09-16 | 株式会社リコー | 画像処理システム、情報処理装置および方法 |
JP7472553B2 (ja) | 2020-03-09 | 2024-04-23 | 株式会社リコー | 画像処理システム、情報処理装置および方法 |
WO2022019134A1 (ja) * | 2020-07-22 | 2022-01-27 | キヤノン株式会社 | 電子機器およびその制御方法 |
CN114363500A (zh) * | 2020-09-29 | 2022-04-15 | 宇龙计算机通信科技(深圳)有限公司 | 拍照方法、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20210218589A1 (en) | 2021-07-15 |
US11627007B2 (en) | 2023-04-11 |
JPWO2019234877A1 (ja) | 2021-06-03 |
US20230224179A1 (en) | 2023-07-13 |
CN112219393A (zh) | 2021-01-12 |
JP7075995B2 (ja) | 2022-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019234877A1 (ja) | 携帯情報端末 | |
CN107026973B (zh) | 图像处理装置、图像处理方法与摄影辅助器材 | |
WO2021051995A1 (zh) | 拍照方法及终端 | |
JP4575443B2 (ja) | 顔画像の補正 | |
JP6205072B2 (ja) | 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム | |
JP6627352B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
CN106250839B (zh) | 一种虹膜图像透视校正方法、装置和移动终端 | |
WO2016038976A1 (ja) | マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体 | |
JPWO2016035421A1 (ja) | パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法 | |
KR20190008610A (ko) | 이동 단말기 및 그 제어 방법 | |
WO2022057723A1 (zh) | 一种视频的防抖处理方法及电子设备 | |
WO2015198692A1 (ja) | 画像表示装置及び画像表示方法 | |
CN106664361B (zh) | 信息处理装置、信息处理方法和计算机可读存储介质 | |
KR20210100020A (ko) | 음성입력장치, 그 제어 방법 및 음성명령에 대응한 처리를 실행하는 기억 매체 | |
JP5029986B2 (ja) | 情報処理装置、プログラム | |
CN108234888B (zh) | 一种图像处理方法及移动终端 | |
JP7286838B2 (ja) | 携帯情報端末 | |
JP2023099729A (ja) | 携帯情報端末 | |
JP6450604B2 (ja) | 画像取得装置及び画像取得方法 | |
JP2015162822A (ja) | 電子機器、撮像装置及び通信装置 | |
WO2020196384A1 (ja) | 画像処理装置、画像処理方法及びプログラム、撮影装置 | |
CN115278043A (zh) | 一种目标追踪方法及相关装置 | |
JP2005117106A (ja) | 撮像機能付携帯電話機とその制御方法及び制御プログラム | |
CN112653830B (zh) | 合影拍摄实现方法、可穿戴设备、计算机设备和存储介质 | |
JP2006238033A (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18922076 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020523927 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18922076 Country of ref document: EP Kind code of ref document: A1 |