WO2016136610A1 - 表示装置、及び表示装置の画像表示方法 - Google Patents

表示装置、及び表示装置の画像表示方法 Download PDF

Info

Publication number
WO2016136610A1
WO2016136610A1 PCT/JP2016/054831 JP2016054831W WO2016136610A1 WO 2016136610 A1 WO2016136610 A1 WO 2016136610A1 JP 2016054831 W JP2016054831 W JP 2016054831W WO 2016136610 A1 WO2016136610 A1 WO 2016136610A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
face
display device
image
vertical direction
Prior art date
Application number
PCT/JP2016/054831
Other languages
English (en)
French (fr)
Inventor
知洋 木村
上野 雅史
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US15/552,797 priority Critical patent/US20180053490A1/en
Publication of WO2016136610A1 publication Critical patent/WO2016136610A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Definitions

  • the present invention relates to a display device and an image display method of the display device.
  • This type of display device includes a liquid crystal panel as a display unit.
  • a display unit using a circular liquid crystal panel as disclosed in Patent Document 1 is also known.
  • an inclination sensor or the like that detects the direction of gravity is used to grasp the orientation (inclination) of the display device, and the orientation of the image displayed on the display unit is matched with the orientation of the display device. Adjustment is performed (see Patent Document 1).
  • the display unit is a circular display device
  • the display surface is used in a state where the display surface is rotated at various angles in the circumferential direction or in a state where the display surface is inclined at various angles with respect to the vertical direction. Can be done.
  • the orientation of the image cannot be adjusted appropriately so that the user can easily see the image.
  • An object of the present invention is to provide a display device capable of adjusting the orientation of a display image so that the user can easily see it according to various postures of the user, and an image display method of the display device.
  • a display device includes a display unit that includes a display surface on which an image is displayed, an imaging unit that acquires imaging data, and detects user face information from the imaging data, and the vertical direction of the face from the face information. And generating display image data capable of rotating and displaying the image to match the vertical direction of the face with the vertical direction of the face, and displaying the image on the display surface based on the display image data And a control unit.
  • the display device includes the above-described configuration, so that the user can easily view the image according to various postures of the user (the vertical direction of the face) so that the vertical direction of the face matches the vertical direction of the image. Display control is possible.
  • the display device includes an inclination detection unit that detects an attitude angle formed by an inclination direction of the display surface and a gravitational direction, and the control unit determines a size of the posture angle formed by the inclination direction and the gravitational direction. Accordingly, the apparatus attitude may be determined, and the display image data may be generated according to the determination result of the apparatus attitude.
  • the display device can determine the device posture and generate the display image data according to the determination result of the device posture. Therefore, it is possible to change the contents of the display image data to be generated depending on the apparatus posture.
  • the control unit determines the device posture as a horizontal state when the posture angle is relatively large, and sets the device posture as a standing state when the posture angle is relatively small. It may be determined.
  • the display device having the above-described configuration can determine whether the device posture is a horizontal state or a standing state based on the size of the posture angle.
  • control unit may generate the display image data when the device posture is determined to be a horizontal state.
  • the control unit may generate display image data and to control display of the image so that the vertical direction of the image matches the vertical direction of the face.
  • the control unit calculates a face inclination angle formed by the gravity direction and the vertical direction of the face when the device posture is determined to be in a standing state, and according to the face inclination angle, The display image data may be generated.
  • the display device can generate display image data according to the face inclination angle. Therefore, the contents of the display image data to be generated can be changed depending on the face inclination angle.
  • the control unit when the face inclination angle is relatively small, replaces the vertical direction of the face with the vertical direction of the display surface with respect to the direction of gravity as the display image data.
  • corrected display image data capable of rotating and displaying the image in order to match the vertical direction of the image with the vertical direction of the display surface may be generated.
  • the display device is capable of rotating and displaying the image in order to make the vertical direction of the image coincide with the vertical direction of the display surface when the face inclination angle is relatively small.
  • Display image data can be generated.
  • display control is performed so that the vertical direction of the image matches with respect to the vertical direction of the display surface with respect to the direction of gravity, thereby making it easier for the user to view the image. Yes.
  • the control unit is configured to display the display image data capable of rotating and displaying the image in order to make the vertical direction of the image coincide with the vertical direction of the face. It may be generated.
  • the control unit when the control unit detects a plurality of pieces of face information from the captured image data, the control unit selects the face information of the user closest to the display surface from the plurality of pieces of face information, and is selected.
  • the vertical direction of the face may be detected from the face information.
  • the imaging unit includes a plurality of items, each of which acquires the imaging data related to the user, and the control unit uses a plurality of the imaging data to store a plurality of pieces of face information.
  • the user's face information closest to the display surface may be selected from the inside.
  • the display surface is preferably circular or substantially circular.
  • control unit may detect a trigger signal that causes the imaging unit to start acquiring imaging data.
  • the trigger signal may be an output from the tilt detection unit.
  • the display device may include an input unit that inputs information from a user and outputs the input result to the control unit, and the trigger signal may be an output from the input unit.
  • An image display method for a display device is an image display method for a display device that includes a display unit that displays an image on a display surface, an imaging unit, and a control unit, and the imaging unit includes: A step of acquiring imaging data; a step in which the control unit detects user face information from the imaging data; and a step in which the control unit detects a vertical direction of the user's face from the face information; The control unit generates display image data capable of rotating and displaying the image to match the vertical direction of the image with the vertical direction of the face, and the control unit is based on the display image data. And displaying the image on the display surface of the display unit.
  • the display surface is preferably circular or substantially circular.
  • the display apparatus which can adjust the direction of a display image so that a user can see easily according to a user's various attitude
  • FIG. 6 is a block diagram illustrating a configuration example of a display device according to a first embodiment.
  • 6 is a flowchart illustrating a rotation display control processing procedure according to the first embodiment.
  • Explanatory drawing which represented typically the detection method of the face by a detection part, and the detection method of the face up-down direction by the face direction detection part
  • Explanatory drawing which represented typically the angle which the up-down direction of the image in the state immediately before a trigger signal is detected, and the up-down direction of the face after detecting a trigger signal
  • FIG. 6 is a block diagram illustrating a configuration example of a display device according to a second embodiment.
  • An explanatory view schematically showing an angle formed by the direction of gravity and the coordinate axis of the display device in a horizontal display device An explanatory view schematically showing an angle formed by the direction of gravity and the coordinate axis of the display device in a standing display device Explanatory drawing which represented typically an example of the angle which a gravity direction and the up-down direction of a user's face make in the state which looked at the user from the front side Explanatory drawing which represented typically an example of the angle which a gravity direction and the up-down direction of a user's face make in the state which looked at the user shown in FIG.
  • FIG. 9 is a block diagram illustrating a configuration example of a display device according to a third embodiment.
  • FIG. 10 is a flowchart illustrating a rotation display control processing procedure according to the third embodiment.
  • Explanatory drawing which represented typically the method of grasping
  • Embodiment 1 of the present invention will be described with reference to FIGS.
  • a portable display device having a circular display unit is illustrated.
  • FIG. 1 is a front view of a display device 1 according to Embodiment 1 of the present invention.
  • the display device 1 is a portable display device (for example, a smartphone or a tablet terminal), and has a circular external shape in plan view.
  • a display device 1 includes a circular display input unit (an example of a display unit) 2 composed of a liquid crystal display panel having a touch panel function, and an annular frame surrounding the display input unit 2. Part 3 and imaging part 4 provided so as to be exposed from frame part 3.
  • an image I such as a still image or a moving image is displayed on the circular display surface 21 of the display input unit 2.
  • a portion where the imaging unit 4 is provided is a “lower side” of the display device 1 itself, and the opposite side is an “upper side”.
  • the right side toward the display surface 21 is the “right side” of the display device 1
  • the left side toward the display surface 21 is the “left side” of the display device 1.
  • the top and bottom of the image I displayed on the display surface 21 are aligned with the top and bottom of the display device 1.
  • the display device 1 rotates the image I to change the orientation of the image I so that the top and bottom of the image I displayed on the display surface 21 matches the top and bottom of the user's face without changing the orientation of the display device 1. It has a display control function to adjust. In this specification, such display control may be referred to as “rotational display control”.
  • FIG. 2 is an explanatory diagram schematically showing the orientation of the image I displayed on the display device 1 when the vertical direction L of the face of the user U matches the vertical direction of the display device 1. Note that the left side of FIG. 2 shows the face of the user U as viewed from the front side, the center of FIG. 2 shows the face of the user U as viewed from the back side, and the right side of FIG. These show the display device 1 as seen from the front.
  • the rotation display control function of the display device 1 When the rotation display control function of the display device 1 is activated in a state where the vertical direction L of the face of the user U matches the vertical direction of the display device 1, the vertical direction of the face is displayed on the display surface 21 of the display device 1.
  • the image I is displayed such that L and the vertical direction M of the image I coincide with each other.
  • FIG. 3 is an explanatory diagram schematically showing the orientation of the image I displayed on the display device 1 when the vertical direction L of the face of the user U is tilted to the left side of the display device 1.
  • the left side of FIG. 3 shows the face of the user U as viewed from the front side
  • the center of FIG. 3 shows the face of the user U as viewed from the back side
  • the right side of FIG. show the display device 1 as seen from the front.
  • FIG. 4 is an explanatory diagram schematically showing the orientation of the image displayed on the display device 1 when the vertical direction L of the face of the user U is inclined to the right side of the display device 1.
  • the left side of FIG. 4 shows the face of the user U as viewed from the front side
  • the center of FIG. 4 shows the face of the user U as viewed from the back side
  • the right side of FIG. These show the display device 1 as seen from the front.
  • FIG. 5 shows the orientation of the image I displayed on the display device 1 when the display device 1 is rotated so that the vertical direction of the display device 1 is tilted to the right with respect to the vertical direction L of the face of the user U. It is explanatory drawing which represented typically.
  • FIG. 5 shows a state in which the vertical direction L of the face of the user U matches the vertical direction of the display device 1, and the vertical direction of the display device 1 matches the vertical direction of the image I.
  • the display device 1 in such a state is rotated rightward by a predetermined angle as shown in the center of FIG. 5 without changing the vertical direction L of the face of the user U.
  • the vertical direction of the image I is also inclined to the right side together with the display device 1.
  • the rotation display control function is activated, the image I rotates counterclockwise (counterclockwise) by a predetermined angle so that the vertical direction L of the face and the vertical direction M of the image I coincide.
  • the display device 1 allows the user U's face when the vertical direction L of the user U's face changes relative to the vertical direction M of the image I displayed on the display surface 21.
  • Display control is performed to rotate the image I so that the vertical direction M of the image I coincides with the vertical direction L of the image I.
  • FIG. 6 is a block diagram illustrating a configuration example of the display device 1 according to the first embodiment.
  • the display device 1 mainly includes an inclination detection unit 5, a control unit 6, a memory 7, a storage unit 8, and a power supply unit 9 in addition to the display input unit 2 and the imaging unit 4. .
  • the imaging unit 4 includes a camera or the like and performs a process of photographing a subject or the like.
  • an electrical signal (imaging data) is generated, and the electrical signal (imaging data) is input to a signal processing unit 62 described later.
  • the display input unit (an example of a display unit) 2 includes a liquid crystal display panel having a touch panel function, and receives an input of various information from the user by a touch panel method, and a display unit that displays various information on the display surface 21. And.
  • the tilt detection unit 5 is a sensor that detects an angle formed by the tilt direction of the display surface 21 in the display device 1 and the weight direction.
  • the inclination detection unit 5 includes, for example, an acceleration sensor.
  • the control unit 6 is a control device such as a CPU (Central Processing Unit) that controls each unit of the display device 1.
  • the control unit 6 includes a trigger detection unit 61, a signal processing unit 62, a face detection unit 63, a face direction detection unit 64, a rotated image data generation unit 65, and a display control unit 66.
  • the memory 7 includes an SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), and the like, and has a function of temporarily holding various data generated when the control unit 6 executes various programs.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • the trigger detection unit 61 starts the rotation display control process (detects a trigger signal for starting imaging by the imaging unit 4.
  • the signal processing unit 62 converts the electrical signal input from the imaging unit 4 into image data (imaging data
  • image data (imaging data) is temporarily stored in the memory 7.
  • the face detection unit 63 reads the image data (imaging data) stored in the memory 7 and detects face information from the image data (imaging data).
  • the face direction detection unit 64 detects the vertical direction of the face (including the vertical direction of the face) based on the face information detected by the face detection unit 63.
  • the rotated image data generation unit 65 rotates the image I using the vertical direction L of the face detected by the face direction detection unit 64 and the preset coordinate system of the display device 1 (display surface 21). An angle is calculated, and rotated image data for rotating the image I corresponding to the angle is generated.
  • the display control unit 66 displays the image I corresponding to the rotation image data generated by the rotation image data generation unit 65 on the display surface 21 of the display input unit 2.
  • the storage unit 8 is composed of a non-volatile storage medium such as a flash memory or an EEPROM (Electrically-Erasable-Programmable-Read-Only Memory).
  • the storage unit 8 stores image data of the image I displayed on the display surface 21 of the display input unit 2 in advance.
  • the power supply unit 9 includes a rechargeable battery and supplies driving power to each unit of the display device 1.
  • the power supply unit 9 can be connected to an external power supply and is appropriately charged using the external power supply.
  • FIG. 7 is a flowchart illustrating a processing procedure of rotation display control according to the first embodiment.
  • a trigger signal for starting the rotation display control process by the trigger detection unit 61 is detected.
  • the trigger signal includes, for example, a signal output from the display input unit 2 when information is input to the display input unit 2, a signal output from the power source unit 9 or the like at the start of charging or at the time of charging release, and inclination detection. For example, a signal output from the inclination detecting unit 5 when the unit 5 is operated. Note that the type of trigger signal is set as appropriate.
  • step S ⁇ b> 2 imaging is acquired by the imaging unit 4 of the display device 1 based on an instruction from the control unit 6.
  • the imaging unit 4 generates an electrical signal (imaging data) related to imaging, and the electrical signal is input to the signal processing unit 62, and the process proceeds to step S3.
  • step S3 when the electrical signal is input, the signal processing unit 62 converts the electrical signal into image data (imaging data), temporarily stores the image data in the memory 7, and proceeds to step S4. .
  • step S4 the face detection unit 63 reads the image data (imaging data) acquired by the imaging unit 4, and the detection (recognition) of the face of the user U is performed based on the image data. Then, when the face detection unit 63 detects a face from the image data, the process proceeds to step S5, and the vertical direction L of the user U's face is detected. If no face is detected in the face detection unit 63, the display device 1 stands by until the next trigger signal is detected.
  • FIG. 8 is an explanatory diagram schematically illustrating a face detection method by the face detection unit 63 and a detection method of the face vertical direction L by the face direction detection unit 64.
  • the face detection unit 63 uses information about the two eyes (both eyes) UA and UB of the user U based on a general face recognition algorithm from the image data (imaging data) acquired by the imaging unit 4 and the user U's. Mouth information UC is extracted as a feature point. Note that the face detection unit 63 determines whether or not a face is detected based on whether or not facial feature points such as eyes have been extracted.
  • the face direction detection unit 64 uses the eye alignment direction (that is, position information) UA and UB based on the extracted eye information (position information) UA and UB.
  • the left-right direction of the face is specified by a straight line N.
  • a straight line orthogonal to the straight line N is the vertical direction of the face of the user U.
  • the face direction detection unit 64 specifies the top and bottom of the face of the user U from the relationship between the mouth information (position information) UC and the straight line N.
  • the mouth information (position information) UC belongs to the region R2 out of the two regions R1 and R2 having the straight line N as a boundary line
  • the region R1 side corresponds to the upper side of the face
  • the region R2 is below the face. Will correspond to the side.
  • the vertical direction L of the face is detected as the face information of the user U from the image data (imaging data) acquired from the imaging unit 4.
  • step S5 the rotated image data generation unit 65 determines the vertical direction L of the face and the preset coordinate system of the display device 1 (display surface 21). Utilizing this, an angle for rotating the image I is calculated, and rotated image data for rotating the image I corresponding to the angle is generated.
  • the rotation image data generation unit 65 specifies the vertical direction M of the image I in a state immediately before the trigger signal is detected in step S1, and the angle ⁇ 1 (the vertical direction M and the vertical direction L of the face make) °) (0 ⁇ ⁇ 1 ⁇ 180) is calculated.
  • FIG. 9 schematically shows the angle ⁇ 1 formed by the vertical direction M of the image I in a state immediately before the trigger signal is detected (hereinafter referred to as the previous state) and the vertical direction L of the face after the trigger signal is detected. It is explanatory drawing.
  • the rotated image data generation unit 65 rotates the image I by the angle ⁇ 1 so that the vertical direction M of the image I matches the vertical direction L of the face of the user U. The rotated image data is generated.
  • step S7 the display control unit 66 causes the display surface 21 of the display device 1 to display the image I rotated by the angle ⁇ 1 from the immediately preceding state based on the rotated image data.
  • step S7 the display device 1 stands by until the next trigger signal is detected.
  • the upper and lower sides (up and down direction) of the image I displayed on the display surface 21 are aligned with the upper and lower sides (up and down direction) of the user's face by the above-described processing procedure.
  • display control of the image I can be performed.
  • FIG. 10 is a block diagram illustrating a configuration example of the display device 11 according to the second embodiment.
  • the display device 11 includes a display input unit 12, an imaging unit 14, an inclination detection unit 15, a control unit 16, a memory 17, a storage unit 18, and a power supply unit 19 as in the first embodiment.
  • control unit 16 includes a trigger detection unit 161, a signal processing unit 162, a face detection unit 163, a face direction detection unit 164, a rotated image data generation unit 165, and a display control unit 166.
  • the control unit 16 of the present embodiment further includes an apparatus posture determination unit 167, a face inclination angle detection unit 168, and a rotation correction unit 169.
  • the display control content of the image I is switched according to the attitude (tilt) of the display device 11. Specifically, according to the attitude (tilt) of the display device 11, the top and bottom of the image I displayed on the display surface 121 of the display device 11 are aligned with the top and bottom of the face of the user U as in the first embodiment. There are a case where the image I is rotated and a case where the image I is rotated so that the top and bottom of the image I coincide with the top and bottom of the display device 11 with respect to the direction of gravity.
  • the apparatus posture determination unit 167 is an angle (posture angle) ⁇ 2 (0 ⁇ ⁇ 2 (°) ⁇ 90 formed by the gravity direction P and the inclination direction of the display surface 121 of the display device 11, which is an output result of the tilt detection unit 15. ) To determine whether the posture of the display device 11 is in the “standing state” or “horizontal state”.
  • the tilt direction of the display surface 121 output by the tilt detection unit 15 is the vertical direction Q of the display surface 121 with respect to the gravity direction P, and the highest position of the display surface 121 and the highest of the display surface 121. This corresponds to the direction of a straight line connecting the lower position.
  • the device orientation determination unit 167 temporarily stores the result of the vertical direction Q of the display surface 121 with the gravity direction P as a reference in the memory 17.
  • FIG. 11 is an explanatory diagram schematically showing an angle ⁇ 2 formed by the gravity direction P and the display surface 121 of the display device 11 in the display device 11 in the horizontal state.
  • the display surface 121 is arranged in the horizontal direction as shown in FIG.
  • an angle ⁇ 2 formed by the display surface 121 and the gravity direction P is ideally 90 °.
  • the device posture determination unit 167 determines that the posture state of the display device 11 is “horizontal state”. It is determined that there is.
  • the device posture determination unit 167 determines that the posture of the display device 11 is “horizontal state”, in the display device 11, the top and bottom of the image I displayed on the display surface 121 are the top and bottom of the user's face, as in the first embodiment. Display control is performed in which the orientation of the image I is adjusted by rotating the image I so as to match.
  • FIG. 12 is an explanatory diagram schematically showing an angle ⁇ 2 formed by the gravity direction P and the display surface 121 of the display device 11 in the display device 11 in the standing state.
  • the display surface 121 is inclined to some extent with respect to the gravity direction P as shown in FIG. As for, it will be in the state where it stood up from the horizontal direction.
  • the device posture determination unit 167 determines that the posture state of the display device 11 is “standing state” Is determined.
  • the face inclination angle detection unit 168 detects the inclination angle (face inclination angle) of the user U's face in the vertical direction L with respect to the gravity direction P.
  • FIG. 13 is an explanatory diagram schematically illustrating an example of an angle ⁇ 3 formed by the gravity direction P and the vertical direction L of the face of the user U in a state where the user U is viewed from the front side.
  • 6 is an explanatory diagram schematically illustrating an example of an angle ⁇ 3 formed by the gravity direction P and the vertical direction L of the face of the user U when the user U is viewed from the left side.
  • 13 and 14 show a case where the tilt angle ( ⁇ 3) of the user U is relatively small (that is, the tilt angle ( ⁇ 3) of the face of the user U is less than ⁇ ).
  • the tilt angle ( ⁇ 3) of the face of the user U is less than ⁇ , for example, the user U is used while holding the display device 11 in a standing or sitting state. Cases are assumed.
  • the face inclination angle (angle ⁇ 3) is grasped by the vertical direction L of the user U's face detected by the face direction detection unit 164 and the gravity direction P.
  • the vertical direction L of the face of the user U is arranged in parallel to the display surface 121 of the display device 1.
  • FIG. 15 is an explanatory diagram schematically illustrating another example of the angle ⁇ 3 formed by the gravity direction P and the vertical direction L of the user U's face in a state where the user U is viewed from the front side.
  • FIG. 15 shows a case where the face tilt angle ( ⁇ 3) of the user U is 90 ° (that is, the face tilt angle ( ⁇ 3) of the user U is equal to or larger than ⁇ ).
  • the face tilt angle ( ⁇ 3) of the user U is 90 ° (that is, the face tilt angle ( ⁇ 3) of the user U is equal to or larger than ⁇ ).
  • the user U's face inclination angle ( ⁇ 3) is equal to or larger than ⁇ , for example, when the user U is lying down on a horizontal plane and holding the display device 11 with his hand. Etc. are assumed.
  • the rotation correction unit 169 generates rotation image data stored in the memory 17 by the rotation image data generation unit 165 when the face inclination angle detection unit 168 determines that the face inclination angle ( ⁇ 3) is less than ⁇ .
  • “vertical direction L of the face of the user U” used as a parameter is replaced with “vertical direction Q of the display surface 121 with respect to the gravity direction P”.
  • FIG. 16 is a flowchart illustrating a rotation display control processing procedure according to the second embodiment.
  • step S11 as in step S1 of the first embodiment described above, the trigger detection unit 161 detects a trigger signal for starting the rotation display control process.
  • step S12 When the trigger detection unit 161 detects a trigger signal, the process proceeds to step S12.
  • step S ⁇ b> 12 similar to step S ⁇ b> 2 of the first embodiment, the imaging unit 14 acquires an image based on an instruction from the control unit 16.
  • the imaging unit 14 generates an electrical signal (imaging data) related to imaging, and the electrical signal is input to the signal processing unit 162, and the process proceeds to step S13.
  • step S13 when the electrical signal is input, the signal processing unit 162 converts the electrical signal into image data (imaging data), temporarily stores the image data in the memory 17, and proceeds to step S14. .
  • step S14 as in step S4 of the first embodiment described above, the face detection unit 163 reads out the image data acquired by the imaging unit 14, and detects (recognizes) the face of the user U based on the image data. Is done.
  • the face detection unit 163 detects a face from the image data, the process proceeds to step S15. If no face is detected by the face detection unit 163, the display device 11 stands by until the next trigger signal is detected.
  • step S15 the vertical direction L of the face of the user U is detected as in step S5 described above. After the vertical direction L of the face of the user U is detected, the process proceeds to step S16.
  • step S16 the apparatus attitude determination unit 167 detects an attitude angle ⁇ 2 (0 ⁇ ⁇ 2 (°) ⁇ 90) formed by the gravity direction P and the display surface 121 of the display device 11. At that time, the vertical direction Q of the display surface 121 with respect to the gravity direction P is also specified.
  • step S17 the apparatus attitude determination unit 167 determines whether the attitude of the display device 11 is in the “standing state” or the “horizontal state” based on the attitude angle ⁇ 2. .
  • step S17 If it is determined in step S17 that the posture of the display device 11 is in the standing state, the process proceeds to step S18. On the other hand, when it is determined in step S17 that the posture of the display device 11 is not in the standing state (that is, in the horizontal state), the process proceeds to step S23.
  • step S18 when the face inclination angle detection unit 168 detects the face inclination angle ⁇ 3, the process proceeds to step S19, where the face inclination angle detection unit 168 determines whether the face inclination angle ⁇ 3 is less than ⁇ (for example, 45 °). It is determined whether or not.
  • the face inclination angle ⁇ 3 is less than ⁇ ( ⁇ 3 ⁇ )
  • the process proceeds to step S20.
  • the face inclination angle ⁇ 3 is equal to or larger than ⁇ ( ⁇ 3 ⁇ ⁇ )
  • the process proceeds to step S23.
  • step S20 the rotation correction unit 169 causes the rotation image data generation unit 165 to store the “vertical direction L of the face of the user U” used as a parameter when generating the rotation image data stored in the memory 17. It is replaced with “the vertical direction Q of the display surface 121 with respect to the gravity direction P”. Thereafter, the process proceeds to step S21.
  • step S ⁇ b> 21 the rotated image data generation unit 165 rotates the image I using the vertical direction Q of the display surface 121 with the gravity direction P as a reference, the preset coordinate system of the display surface 121, and the like. An angle is calculated, and rotated image data (corrected display image data) for rotating the image I according to the angle is generated.
  • the rotation image data generation unit 165 specifies the vertical direction M of the image I in a state immediately before the trigger signal is detected in step S11, and the display surface 121 with the vertical direction M and the gravity direction P as a reference.
  • An angle ⁇ 11 (°) (0 ⁇ ⁇ 11 ⁇ 180) formed by the vertical direction Q is calculated.
  • the rotated image data generation unit 165 generates rotated image data (corrected display image data) for rotating the image I by the angle ⁇ 11.
  • step S22 the display control unit 166 displays on the display surface 21 of the display device 1 the image I rotated by the angle ⁇ 11 from the immediately preceding state based on the rotated image data (corrected display image data).
  • FIG. 17 is an explanatory diagram schematically showing an image I displayed on the display device 11 when the face inclination angle ⁇ 3 is less than ⁇ . As shown in FIG. 17, when ⁇ 3 ⁇ , the vertical direction Q of the display surface 121 with respect to the gravity direction P and the vertical direction M of the image I coincide with each other on the display surface 121 of the display device 11. Thus, the image I is displayed.
  • step S23 when the face inclination angle ⁇ 3 is equal to or larger than ⁇ ( ⁇ 3 ⁇ ⁇ ), when the process proceeds to step S23, the rotated image data generation unit 165, like step S6 of the first embodiment, An angle for rotating the image I is calculated using a preset coordinate system of the display surface 121, and rotation image data (display image data) for rotating the image I corresponding to the angle is generated. To do.
  • the rotation image data generation unit 165 specifies the vertical direction M of the image I in the state immediately before the trigger signal is detected in step S11, and the angle ⁇ 12 (the vertical direction M and the vertical direction L of the face make) °) (0 ⁇ ⁇ 12 ⁇ 180) is calculated. After the angle ⁇ 12 is calculated in this way, the rotated image data generation unit 165 rotates the image I by the angle ⁇ 12 so that the vertical direction M of the image I matches the vertical direction L of the face of the user U. Rotation image data (display image data) is generated.
  • FIG. 18 is an explanatory diagram schematically showing an image I displayed on the display device 11 when the face inclination angle ⁇ 3 is equal to or larger than ⁇ .
  • the vertical direction L of the face of the user U matches the vertical direction M of the image I on the display surface 121 of the display device 11 as in the first embodiment.
  • the image I is displayed.
  • step S17 when it is determined that the posture of the display device 11 is not in the standing state (that is, in the horizontal state), in step S23, the rotated image data generation unit 165 performs the facial movement similarly to step S6 in the first embodiment.
  • the rotated image data generation unit 165 performs the facial movement similarly to step S6 in the first embodiment.
  • the angle ⁇ 13 for rotating the image I using the vertical direction L and the coordinate system of the display device 11 (display surface 21) set in advance and to rotate the image I corresponding to the angle.
  • Rotation image data (display image data) is generated.
  • step S22 the display control unit 166 causes the display surface 21 of the display device 1 to display the image I rotated by the angle ⁇ 13 from the immediately preceding state based on the rotated image data (display image data).
  • step S22 the display device 11 stands by until the next trigger signal is detected.
  • the display device 11 of the present embodiment can change the content of display control according to the processing procedure described above, depending on whether the posture of the display device 11 itself is upright or horizontal.
  • display control is performed such that the vertical direction M of the image I matches the vertical direction L of the face of the user U.
  • the gravity direction P is used as a reference rather than the vertical direction M of the image I matches the vertical direction L of the user U It is easier to see when the vertical direction M of the image I is aligned with the vertical direction Q of the display surface 121.
  • the vertical direction Q of the display surface 121 with respect to the gravity direction P is Display control is performed so that the vertical direction M of the image I matches.
  • FIG. 19 is a front view of the display device 111 according to the third embodiment
  • FIG. 20 is a block diagram illustrating a configuration example of the display device 111 according to the third embodiment.
  • the display device 111 includes two imaging units 114A and 11B.
  • the display device 111 includes a display input unit 112, an inclination detection unit 115, a control unit 116, a memory 117, a storage unit 118, and a power supply unit 119, as in the first embodiment.
  • control unit 116 includes a trigger detection unit 1161, a signal processing unit 1162, a face detection unit 1163, a face direction detection unit 1164, a rotated image data generation unit 1165, and a display control unit 1166.
  • the control unit 116 of the present embodiment further includes a face selection unit 1170.
  • the face selection unit 1170 recognizes the face with the shortest distance from the display device 111 as the face of the user U when the image data acquired by the imaging units 114A and 114B includes a plurality of pieces of face information. Perform the process.
  • FIG. 21 is a flowchart illustrating a processing procedure of rotation display control according to the third embodiment.
  • step S111 as in step S1 of the first embodiment described above, the trigger detection unit 1161 detects a trigger signal for starting the rotation display control process.
  • step S112 acquisition of imaging by the two imaging units 114A and 114B is performed based on an instruction from the control unit 116.
  • the two imaging units 114A and 114B each generate an electrical signal (imaging data) related to imaging, and the electrical signal (imaging data) is input to the signal processing unit 1162, and the process proceeds to step S113.
  • step S113 when the electrical signal (imaging data) is input, the signal processing unit 1162 converts the electrical signal (imaging data) into image data (imaging data) DA and DB, and those images.
  • the data DA and DB are temporarily stored in the memory 117, and the process proceeds to step S114.
  • step S114 as in step S4 of the first embodiment described above, the face detection unit 1163 reads the image data DA and DB acquired by the imaging units 114A and 114B, and based on the image data DA and DB, Detection (recognition) of the face of the user U is performed. If no face is detected by the face detection unit 1163, the display device 111 waits until the next trigger signal is detected.
  • step S115 the face detection unit 1163 determines the number of faces. More specifically, it is determined whether the detected face information is only one or plural. If there are a plurality of detected faces, the process proceeds to step S116. On the other hand, if there is only one detected face, the process proceeds to step S117.
  • the face selection unit 1170 selects the face closest to the display device 111 from the plurality of faces as the face of the user U in step S116.
  • the face selection unit 1170 selects the face closest to the display device 111 from the plurality of faces as the face of the user U in step S116.
  • two pieces of face information relating to two persons U1 and U2 are included in each of the recorded image data DA and DB acquired by the imaging units 114A and 114B.
  • FIG. 22 is an explanatory diagram schematically showing a method of grasping the distances Z1 and Z2 between each person U1, U2 and the display device 111 from two pieces of face information regarding the two persons U1, U2.
  • the face selection unit 1170 grasps the distances Z1 and Z2 between the persons U1 and U2 and the display device 111 based on the principle of triangulation while using the two image data DA and DB.
  • the face selection unit 1170 grasps the distance XA1 from the imaging unit 114A to the person U1 and the distance XA2 from the imaging unit 114A to the person U2 from the image data DA acquired from the imaging unit 114A.
  • the face selection unit 1170 grasps the distance YB1 from the imaging unit 114B to the person U2 and the distance YB2 from the imaging unit 114B to the person U2 from the image data DB acquired from the imaging unit 114B.
  • the distance W between the imaging unit 114A and the imaging unit 114B is determined in advance.
  • the face selection unit 1170 calculates the distance Z1 from the person U1 to the display device 111 using the values of the distance XA1, the distance YB1, and the distance W. Further, the face selection unit 1170 calculates the distance Z2 from the person U2 to the display device 111 using the values of the distance XA2, the distance YB2, and the distance W.
  • the face selection unit 1170 compares the distance Z1 between the face of the person U1 and the display device 111 with the distance Z2 between the face of the person U2 and the display device 111, and determines the distance. The shorter person U1 is selected as the user U.
  • step S116 after face information of the user U is specified, the process proceeds to step S117.
  • step S117 the vertical direction L of the user U's face is detected as in step S5 of the first embodiment described above. After the vertical direction L of the face of the user U is detected, the process proceeds to step S118.
  • step S118 as in step S6 of the first embodiment described above, the rotated image data generation unit 1165 uses the vertical direction L of the face and the coordinate system of the display device 111 (display surface 1121) set in advance. Thus, an angle for rotating the image I is calculated, and rotated image data for rotating the image I corresponding to the angle is generated.
  • step S119 the display control unit 1166 causes the display surface 21 of the display device 1 to display based on the rotated image data, similarly to step S7 of the first embodiment described above.
  • step S119 the display device 111 stands by until the next trigger signal is detected.
  • the face selection unit 1170 acquires each of the image data DA while acquiring the plurality of image data DA and DB by the plurality of imaging units 114A and 114B according to the processing procedure described above.
  • DB can be used as the face information of the user U from the plurality of face information in each image data DA, DB, the one closest to the display device 111. Therefore, in the display device 111 of the present embodiment, display control of the image I on the display surface 1121 can be performed by distinguishing between the user U and a person other than the user U.
  • FIG. 23 is a front view of the display device 1111 according to the third embodiment.
  • the shape of the display input unit (display unit) 1112 exposed on the front side (that is, the shape of the display surface 21 ⁇ / b> A) is not a complete circle but a shape in which a part of the circle is cut out. Yes.
  • the cover part 30 is provided in the form which supplements the notch. That is, one circle is formed by the display surface 21 ⁇ / b> A and the light-shielding cover 30.
  • a frame portion 1113 is provided so as to surround the circular display surface 21 ⁇ / b> A and the cover portion 30.
  • the basic configuration and functions of the display device 1111 are the same as those in the first embodiment, and the display surface 21 ⁇ / b> A is displayed on the display surface 21 ⁇ / b> A in the same manner as in the first embodiment using the imaging (image data) acquired by the imaging unit 1114. Display control (rotation display control) of the displayed image I is performed.
  • a substantially circular shape may be used as the display surface 21A of the display device 1111.
  • the display surface is circular or substantially circular, but the display surface may be other shapes such as a polygonal shape as long as the object of the present invention is not impaired.
  • the display surface is preferably circular or substantially circular. This is because a display device having a circular or substantially circular display surface is assumed to be used in various postures (device postures).
  • the liquid crystal display panel is used as the display unit (display input unit).
  • the present invention is not limited to this, and a display unit of another display method may be used.
  • the display device of each of the above embodiments may further include a communication processing unit capable of performing wireless communication or wired communication with another device via a wireless network or a wired network.
  • the display device may display an image based on the image data received using the communication processing unit on the display surface of the display unit.
  • the face information closest to the display device is selected from a plurality of pieces of face information using the two imaging units.
  • the object of the present invention is impaired.
  • face information may be selected using imaging data acquired from one imaging unit, or three or more imaging data may be used while using three or more imaging units. Then, face information may be selected.
  • the rotation display control process is started by detecting a predetermined trigger signal (shooting by the imaging unit 4 is started), but, for example, continuously at predetermined time intervals. Rotational display control may be performed.
  • the display device of each of the above embodiments may further include various sensors such as an angular velocity sensor (gyroscope). The outputs from these sensors may be used as a trigger signal for starting the rotation display control process (starting shooting by the imaging unit 4).
  • various sensors such as an angular velocity sensor (gyroscope). The outputs from these sensors may be used as a trigger signal for starting the rotation display control process (starting shooting by the imaging unit 4).
  • the outer shape is circular in plan view, but the present invention is not limited to this.
  • a shape in which a protrusion is provided on a circular outer edge, a polygonal shape, or the like may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

本発明の表示装置(1)は、画像(I)が表示される表示面(21)を含む表示部(2)と、撮像データを取得する撮像部(4)と、撮像データよりユーザ(U)の顔情報を検出し、顔情報より顔の上下方向(L)を検出し、顔の上下方向(L)に画像(I)の上下方向(M)を一致させるために画像(I)を回転表示可能な表示画像データを生成し、表示画像データに基づいて表示面(21)に画像(I)を表示させる制御部(6)とを備える。

Description

表示装置、及び表示装置の画像表示方法
 本発明は、表示装置、及び表示装置の画像表示方法に関する。
 近年、スマートフォン、タブレット端末等の携帯型の表示装置が汎用されている。この種の表示装置は、表示部として液晶パネルを備えており、例えば、特許文献1に示されるような、円形状の液晶パネルを表示部として利用するものも知られている。
 このような表示装置では、重力方向を検出する傾きセンサ等を利用して、表示装置の姿勢(傾き)を把握し、その表示装置の姿勢に対応させて、表示部に表示させる画像の向きを調節することが行われている(特許文献1参照)。
特開2008-281659号公報
(発明が解決しようとする課題)
 しかしながら、ユーザの様々な姿勢に合せるために、傾きセンサのみを利用して、表示装置の表示部に表示させる画像の向きを調節することは難しい。例えば、表示装置を水平に配置した場合、傾きセンサでは、ユーザの姿勢の変化(例えば、顔の向き)を検出することができず、ユーザの姿勢に合せて、画像の向きを変更することが出来なかった。
 また、表示部(表示面)が円形状の表示装置の場合、表示面が周方向に様々な角度で回転した状態で、又は表示面が鉛直方向に対して様々な角度で傾斜した状態で利用され得る。しかしながら、従来は、この種の表示装置において、ユーザが見易いように画像の向きを適宜、調節することが出来なかった。
 本発明の目的は、ユーザの様々な姿勢に応じて、ユーザが見易いように表示画像の向きを調節可能な表示装置、及び表示装置の画像表示方法を提供することである。
(課題を解決するための手段)
 本発明に係る表示装置は、画像が表示される表示面を含む表示部と、撮像データを取得する撮像部と、前記撮像データよりユーザの顔情報を検出し、前記顔情報より顔の上下方向を検出し、前記顔の上下方向に前記画像の上下方向を一致させるために前記画像を回転表示可能な表示画像データを生成し、前記表示画像データに基づいて前記表示面に前記画像を表示させる制御部とを備える。
 前記表示装置は、上記構成を備えることにより、ユーザの様々な姿勢(顔の上下方向)に応じて、ユーザが見易いように、顔の上下方向と画像の上下方向とが一致するように画像を表示制御することができる。
 前記表示装置において、前記表示面の傾き方向と重力方向とがなす姿勢角度を検出する傾き検出部を備え、前記制御部は、前記傾き方向と前記重力方向とがなす前記姿勢角度の大きさに応じて、装置姿勢を判定し、前記装置姿勢の判定結果に応じて、前記表示画像データを生成するものであってもよい。前記表示装置は、このような構成を備えることにより、装置姿勢を判定し、前記装置姿勢の判定結果に応じて、前記表示画像データを生成することができる。そのため、装置姿勢によって、生成する表示画像データの内容を変更することが可能となる。
 前記表示装置において、前記制御部は、前記姿勢角度が相対的に大きい場合に、前記装置姿勢を、水平状態と判定し、前記姿勢角度が相対的に小さい場合に、前記装置姿勢を、起立状態と判定するものであってもよい。前記表示装置は、上記構成を備えることにより、前記姿勢角度の大きさにより、装置姿勢を、水平状態か、又は起立状態かを判定することができる。
 前記表示装置において、前記制御部は、前記装置姿勢を、水平状態と判定した場合に、前記表示画像データを生成するものであってもよい。装置姿勢が水平状態と判定される場合、表示画像データを生成して、顔の上下方向に画像の上下方向を一致させるように、画像を回転表示制御することが好ましい。
 前記表示装置において、前記制御部は、前記装置姿勢を、起立状態と判定した場合に、前記重力方向と前記顔の上下方向とがなす顔傾斜角度を算出し、前記顔傾斜角度に応じて、前記表示画像データを生成するものであってもよい。前記表示装置は、このような構成を備えることにより、顔傾斜角度に応じて、表示画像データを生成を生成することができる。そのため、顔傾斜角度によって、生成する表示画像データの内容を変更することが可能となる。
 前記表示装置において、前記制御部は、前記顔傾斜角度が相対的に小さい場合に、前記顔の上下方向を、重力方向を基準とした前記表示面の上下方向、に置き換えつつ、前記表示画像データに換えて、前記表示面の上下方向に前記画像の上下方向を一致させるために前記画像を回転表示可能な補正表示画像データを生成するものであってもよい。前記表示装置は、このような構成を備えることにより、顔傾斜角度が相対的に小さい場合に、前記表示面の上下方向に前記画像の上下方向を一致させるために前記画像を回転表示可能な補正表示画像データを生成することができる。つまり、顔傾斜角度が相対的に小さい場合は、重力方向を基準とした表示面の上下方向を基準に、画像の上下方向を一致させるように表示制御することで、画像をユーザに見易くしている。
 前記表示装置において、前記制御部は、前記顔傾斜角度が相対的に大きい場合に、前記顔の上下方向に前記画像の上下方向を一致させるために前記画像を回転表示可能な前記表示画像データを生成するものであってもよい。
 前記表示装置において、前記制御部は、前記撮像画像データより複数の顔情報を検出した場合、複数の前記顔情報の中から、前記表示面に最も近いユーザの顔情報を選択し、その選択された顔情報より、前記顔の上下方向を検出するものであってもよい。前記表示装置は、このような構成を備えることにより、複数の顔情報の中から、表示面に最も近い人物(ユーザ)の顔情報を選択することができる。
 前記表示装置において、前記撮像部は、複数個のものからなり、各々が前記ユーザに関する前記撮像データを取得し、前記制御部は、複数の前記撮像データを利用して、複数の前記顔情報の中から、前記表示面に最も近いユーザの顔情報を選択するものであってもよい。前記表示装置は、このような構成を備えることにより、複数の撮像データを利用することで、確実に複数の顔情報の中から、表示面に最も近い人物(ユーザ)の顔情報を選択することができる。
 前記表示装置において、前記表示面が、円形状又は略円形状が好ましい。
 前記表示装置において、前記制御部は、前記撮像部が撮像データの取得を開始するトリガ信号を検出するものであってもよい。
 前記表示装置において、前記トリガ信号は、前記傾き検出部からの出力からなるものであってもよい。
 前記表示装置において、ユーザからの情報が入力され、その入力結果を前記制御部に出力する入力部を備え、前記トリガ信号は、前記入力部からの出力からなるものであってもよい。
 また、本発明に係る表示装置の画像表示方法は、表示面に画像が表示される表示部と、撮像部と、制御部とを有する表示装置の画像表示方法であって、前記撮像部が、撮像データを取得する工程と、前記制御部が、前記撮像データよりユーザの顔情報を検出する工程と、前記制御部が、前記顔情報より、前記ユーザの顔の上下方向を検出する工程と、前記制御部が、前記顔の上下方向に前記画像の上下方向を一致させるために、前記画像を回転表示可能な表示画像データを生成する工程と、前記制御部が、前記表示画像データに基づいて、前記表示部の前記表示面に前記画像を表示させる工程とを備える。
 前記表示装置の画像表示方法において、前記表示面が、円形状又は略円形状が好ましい。
(発明の効果)
 本発明によれば、ユーザの様々な姿勢に応じて、ユーザが見易いように表示画像の向きを調節可能な表示装置、及び表示装置の画像表示方法を提供することができる。
本発明の実施形態1に係る表示装置の正面図 ユーザの顔の上下方向が、表示装置の上下方向と一致している場合に、表示装置に表示される画像の向きを模式的に表した説明図 ユーザの顔の上下方向が、表示装置の左側に傾斜した場合に、表示装置に表示さえる画像の向きを模式的に表した説明図 ユーザの顔の上下方向が、表示装置の右側に傾斜した場合に、表示装置に表示される画像の向きを模式的に表した説明図 ユーザの顔の上下方向に対して、表示装置の上下方向が右側に傾斜するように表示装置を回転させた場合に、表示装置に表示される画像の向きを模式的に表した説明図 実施形態1に係る表示装置の構成例を示すブロック図 実施形態1に係る回転表示制御の処理手順を示すフローチャート 検出部による顔の検出方法、及び顔の方向検出部による顔上下方向の検出方法を模式的に表した説明図 トリガ信号が検出される直前の状態における画像の上下方向と、トリガ信号の検出後における顔の上下方向とがなす角度を模式的に表した説明図 実施形態2に係る表示装置の構成例を示すブロック図 水平状態の表示装置において、重力方向と表示装置の座標軸とがなす角度を模式的に表した説明図 起立状態の表示装置において、重力方向と表示装置の座標軸とがなす角度を模式的に表した説明図 ユーザを前側から見た状態において、重力方向とユーザの顔の上下方向とがなす角度の一例を模式的に表した説明図 図13に示されるユーザを左側方から見た状態において、重力方向とユーザの顔の上下方向とがなす角度の一例を模式的に表した説明図 ユーザを前側から見た状態において、重力方向とユーザの顔の上下方向とがなす角度の他の一例を模式的に表した説明図 実施形態2に係る回転表示制御の処理手順を示すフローチャート 顔傾斜角度θ3がβ未満の場合に、表示装置に表示される画像を模式的に表した説明図 顔傾斜角度θ3がβ以上の場合に、表示装置に表示される画像を模式的に表した説明図 実施形態3に係る表示装置の正面図 実施形態3に係る表示装置の構成例を示すブロック図 実施形態3に係る回転表示制御の処理手順を示すフローチャート 2人の人物に関する2つの顔情報より、各人物から表示装置までの間の距離を把握する方法を模式的に表した説明図 実施形態3に係る表示装置の正面図
 <実施形態1>
 本発明の実施形態1を、図1~図8を参照しつつ説明する。本実施形態では、表示部が円形状である携帯型の表示装置を例示する。
 図1は、本発明の実施形態1に係る表示装置1の正面図である。表示装置1は、携帯型の表示装置(例えば、スマートフォン、タブレット端末)であり、平面視で円形状の外観形状を備えている。図1に示されるように、表示装置1は、タッチパネル機能を備えた液晶表示パネルからなる円形状の表示入力部(表示部の一例)2と、表示入力部2の周りを取り囲む円環状のフレーム部3と、フレーム部3から露出する形で設けられた撮像部4とを備えている。
 表示装置1において、表示入力部2の円形状の表示面21に、静止画や動画等の画像Iが表示される。
 なお、本明細書において、撮像部4が設けられている部分を表示装置1自体の「下側」とし、その反対側を「上側」とする。また、その状態の表示装置1において、表示面21に向かって右側を、表示装置1の「右側」とし、表示面21に向かって左側を、表示装置1の「左側」とする。
 図1では、表示面21に表示される画像Iの上下が、表示装置1の上下と一致した状態となっている。
 表示装置1は、表示装置1の向きを変えることなく、表示面21に表示される画像Iの上下が、ユーザの顔の上下と一致するように、画像Iを回転させて画像Iの向きを調節する表示制御機能を備えている。本明細書において、このような表示制御を「回転表示制御」と称する場合がある。
 ここで、図2~図5を参照しつつ、表示装置1の回転表示制御機能について説明する。先ず、図2~図4を参照しつつ、表示装置1に対してユーザUの顔の上下方向Lが左右方向に傾く場合を例に挙げて説明する。
 図2は、ユーザUの顔の上下方向Lが、表示装置1の上下方向と一致している場合に、表示装置1に表示される画像Iの向きを模式的に表した説明図である。なお、図2の左側には、前側から見た状態のユーザUの顔が示され、図2の中央には、後側から見た状態のユーザUの顔が示され、図2の右側には、正面から見た状態の表示装置1が示されている。
 ユーザUの顔の上下方向Lが、表示装置1の上下方向と一致している状態において、表示装置1の回転表示制御機能が作動すると、表示装置1の表示面21には、顔の上下方向Lと画像Iの上下方向Mが一致するように画像Iが表示される。
 図3は、ユーザUの顔の上下方向Lが、表示装置1の左側に傾斜した場合に、表示装置1に表示さえる画像Iの向きを模式的に表した説明図である。なお、図3の左側には、前側から見た状態のユーザUの顔が示され、図3の中央には、後側から見た状態のユーザUの顔が示され、図3の右側には、正面から見た状態の表示装置1が示されている。
 例えば、ユーザUの顔の上下方向Lが、図2に示される状態から図3に示されるように、表示装置1の左側に傾斜した場合、表示装置1の回転表示制御機能が作動すると、画像Iが左回り(反時計回り)に所定の角度だけ回転する。すると、表示装置1の表示面21には、顔の上下方向Lと画像Iの上下方向Mが一致した画像Iが表示される。
 図4は、ユーザUの顔の上下方向Lが、表示装置1の右側に傾斜した場合に、表示装置1に表示される画像の向きを模式的に表した説明図である。なお、図4の左側には、前側から見た状態のユーザUの顔が示され、図4の中央には、後側から見た状態のユーザUの顔が示され、図4の右側には、正面から見た状態の表示装置1が示されている。
 例えば、ユーザUの顔の上下方向Lが、図2に示される状態から図4に示されるように、表示装置1の右側に傾斜した場合、表示装置1の回転表示制御機能が作動すると、画像Iが右回り(時計回り)に所定の角度だけ回転する。すると、表示装置1の表示面21には、顔の上下方向Lと画像Iの上下方向Mが一致した画像Iが表示される。
 次いで、図5を参照しつつ、ユーザUの顔を動かさずに、表示装置1自体を回転させた場合を例に挙げて説明する。図5は、ユーザUの顔の上下方向Lに対して、表示装置1の上下方向が右側に傾斜するように表示装置1を回転させた場合に、表示装置1に表示される画像Iの向きを模式的に表した説明図である。
 図5の左側には、ユーザUの顔の上下方向Lと、表示装置1の上下方向が一致し、更に表示装置1の上下方向と画像Iの上下方向が一致した状態が示されている。このような状態の表示装置1を、ユーザUの顔の上下方向Lを変更せずに、図5の中央に示されるように、表示装置1を右側に所定角度だけ回転させる。回転表示制御機能が作動していない状態では、表示装置1と共に、画像Iの上下方向も右側に傾斜した状態となる。そして、回転表示制御機能が作動すると、顔の上下方向Lと画像Iの上下方向Mが一致するように、画像Iが左回り(反時計回り)に所定の角度だけ回転する。
 このように本実施形態の表示装置1は、ユーザUの顔の上下方向Lが、表示面21に表示される画像Iの上下方向Mに対して相対的に変化した場合に、ユーザUの顔の上下方向Lに画像Iの上下方向Mを一致させるように画像Iを回転させる表示制御が行われる。
 図6は、実施形態1の表示装置1の構成例を示すブロック図である。図6に示されるように、表示装置1は、表示入力部2及び撮像部4の他に、主として、傾き検出部5、制御部6、メモリ7、記憶部8、電源部9を備えている。
 撮像部4は、カメラ等を備えており、被写体等を撮影する処理を行う。撮像部4において、カメラが備える撮像素子が撮像すると、電気信号(撮像データ)が生成され、その電気信号(撮像データ)が後述する信号処理部62に入力される。
 表示入力部(表示部の一例)2は、タッチパネル機能を備えた液晶表示パネルからなり、ユーザからの各種情報の入力をタッチパネル方式で受け付ける入力部と、各種情報を表示面21に表示する表示部とを備えている。
 傾き検出部5は、表示装置1における表示面21の傾き方向と、重量方向とがなす角度を検出するセンサである。傾き検出部5は、例えば、加速度センサ等からなる。
 制御部6は、表示装置1の各部を制御するCPU(Central Processing Unit)等の制御デバイスである。制御部6は、トリガ検出部61、信号処理部62、顔検出部63、顔方向検出部64、回転画像データ生成部65、表示制御部66を構成する。
 メモリ7は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)等からなり、制御部6による各種プログラムの実行時に発生する種々のデータを一時的に保持する機能を有する。
 トリガ検出部61は、回転表示制御処理を開始(撮像部4による撮影の開始するためのトリガ信号を検出する。信号処理部62は、撮像部4から入力された電気信号を画像データ(撮像データ)に変換する。その画像データ(撮像データ)は、メモリ7に一時保存される。
 顔検出部63は、メモリ7に保存されている前記画像データ(撮像データ)を読み出し、画像データ(撮像データ)より顔情報を検出する。顔方向検出部64は、顔検出部63が検出した顔情報に基づいて、顔の上下方向(顔の上下を含む)を検出する。
 回転画像データ生成部65は、顔方向検出部64が検出した顔の上下方向Lと、予め設定されている表示装置1(表示面21)の座標系等を利用して、画像Iを回転させる角度を算出し、その角度に対応させて画像Iを回転させるための回転画像データを生成する。
 表示制御部66は、回転画像データ生成部65が生成した回転画像データに応じた画像Iを表示入力部2の表示面21に表示させる。
 記憶部8は、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の不揮発性の記憶媒体により構成されている。なお、記憶部8には、表示入力部2の表示面21に表示される画像Iの画像データ等が予め記憶されている。
 電源部9は、充電式バッテリ等を備えており、表示装置1の各部に駆動電力を供給する。電源部9は、外部電源と接続可能であり、外部電源を利用して適宜、充電される。
 次いで、本発明の実施形態1に係る回転表示制御の処理手順について説明する。図7は、実施形態1に係る回転表示制御の処理手順を示すフローチャートである。
 先ず、ステップS1に示されるように、表示装置1において、トリガ検出部61による回転表示制御処理を開始するためのトリガ信号の検出が行われる。トリガ信号としては、例えば、表示入力部2に情報が入力された際に表示入力部2から出力される信号、充電開始時又は充電解除時等に電源部9等より出力される信号、傾き検出部5の作動時に傾き検出部5より出力される信号等が挙げられる。なお、トリガ信号の種類は、適宜、設定される。
 トリガ検出部61がトリガ信号を検出すると、ステップS2へ移行し、制御部6からの指示に基づいて表示装置1の撮像部4による撮像の取得が行われる。撮像部4は撮像に関する電気信号(撮像データ)を生成し、その電気信号が信号処理部62に入力され、ステップS3へ移行する。
 ステップS3において、信号処理部62は、前記電気信号が入力されると、その電気信号を画像データ(撮像データ)に変換し、その画像データをメモリ7に一時保存して、ステップS4へ移行する。
 ステップS4において、顔検出部63により、撮像部4により取得された前記画像データ(撮像データ)を読み出し、その画像データに基づいて、ユーザUの顔の検出(認識)が行われる。そして、顔検出部63により、前記画像データ中から顔が検出されると、ステップS5へ移行し、ユーザUの顔の上下方向Lの検出が行われる。なお、顔検出部63において、顔が検出されなかった場合、表示装置1は、次のトリガ信号が検出されるまで待機することになる。
 ここで、図8を参照しつつ、顔検出部63による顔の検出方法の一例、及び顔方向検出部64による顔の上下方向Lの検出方法の一例について説明する。
 図8は、顔検出部63による顔の検出方法、及び顔方向検出部64による顔の上下方向Lの検出方法を模式的に表した説明図である。顔検出部63は、撮像部4により取得された画像データ(撮像データ)より、一般的な顔認識アルゴリズムに基づいて、ユーザUの2つの目(両目)の情報UA,UBと、ユーザUの口の情報UCとをそれぞれ特徴点として抽出する。なお、顔検出部63は、目等の顔の特徴点が抽出されたか否かによって、顔の検出の有無を判定する。
 顔検出部63により、ユーザUの顔が検出(認識)されると、顔方向検出部64が、抽出された目の情報(位置情報)UA,UBに基づいて、目の並び方向(つまり、顔の左右方向)を直線Nで特定する。そして、この直線Nに直交する直線が、ユーザUの顔の上下方向となる。なお、ユーザUの顔の上下は、顔方向検出部64が、口の情報(位置情報)UCと、直線Nとの関係より特定する。例えば、口の情報(位置情報)UCが、直線Nを境界線とする2つの領域R1,R2のうち、領域R2に属する場合、領域R1側が顔の上側に対応し、領域R2が顔の下側に対応することになる。このようにして、撮像部4より取得された画像データ(撮像データ)より、ユーザUの顔情報として、顔の上下方向Lが検出される。
 顔の上下方向Lが検出されると、ステップS5へ移行し、回転画像データ生成部65が、顔の上下方向Lと、予め設定されている表示装置1(表示面21)の座標系等を利用して、画像Iを回転させる角度を算出し、その角度に対応させて画像Iを回転させるための回転画像データを生成する。
 例えば、回転画像データ生成部65は、ステップS1においてトリガ信号が検出される直前の状態の画像Iの上下方向Mを特定し、その上下方向Mと、顔の上下方向Lとがなす角度θ1(°)(0≦θ1≦180)を算出する。図9は、トリガ信号が検出される直前の状態(以下、直前状態)における画像Iの上下方向Mと、トリガ信号の検出後における顔の上下方向Lとがなす角度θ1を模式的に表した説明図である。このように角度θ1が算出された後、回転画像データ生成部65は、画像Iの上下方向MがユーザUの顔の上下方向Lと一致するようにその角度θ1だけ、画像Iを回転させるための回転画像データを生成する。
 その後、ステップS7へ移行し、表示制御部66が、前記回転画像データに基づいて、直前状態から角度θ1だけ回転する画像Iを、表示装置1の表示面21に表示させる。
 なお、ステップS7の終了後、表示装置1は、次のトリガ信号が検出されるまで待機する。
 以上のように、本実施形態の表示装置1は、上述した処理手順により、表示面21に表示される画像Iの上下(上下方向)が、ユーザの顔の上下(上下方向)と一致するように、画像Iの表示制御を行うことができる。
 <実施形態2>
 次いで、本発明の実施形態2を、図10~図18を参照しつつ説明する。図10は、実施形態2に係る表示装置11の構成例を示すブロック図である。
 表示装置11は、実施形態1と同様、表示入力部12、撮像部14、傾き検出部15、制御部16、メモリ17、記憶部18、電源部19を備えている。
 また、制御部16は、実施形態1と同様、トリガ検出部161、信号処理部162、顔検出部163、顔方向検出部164、回転画像データ生成部165、表示制御部166を備えている。
 本実施形態の制御部16は、更に、装置姿勢判定部167、顔傾斜角度検出部168、回転補正部169を備えている。
 本実施形態の表示装置11は、表示装置11の姿勢(傾き)に応じて、画像Iの表示制御内容が切り替わる。具体的には、表示装置11の姿勢(傾き)に応じて、表示装置11の表示面121に表示される画像Iの上下が実施形態1と同様、ユーザUの顔の上下と一致するように画像Iを回転させる場合と、画像Iの上下が重力方向を基準とした表示装置11の上下と一致するように画像Iを回転させる場合とがある。
 上記装置姿勢判定部167は、傾き検出部15の出力結果である、重力方向Pと表示装置11の表示面121の傾斜方向とがなす角度(姿勢角度)θ2(0≦θ2(°)≦90)に基づいて、表示装置11の姿勢が、「起立状態」であるか、又は「水平状態」であるかを判定する。
 傾き検出部15により出力される表示面121の傾斜方向とは、重力方向Pを基準とした表示面121の上下方向Qのことであり、表示面121の最も高い位置と、表示面121の最も低い位置とを結ぶ直線方向に相当する。
 なお、装置姿勢判定部167は、重力方向Pを基準とした表示面121の上下方向Qの結果を、メモリ17に一時保存する。
 ここで、図11及び図12を参照しつつ、重力方向Pと表示装置11の表示面121とがなす角度θ2と、表示装置11の「起立状態」及び「水平状態」との関係を説明する。
 図11は、水平状態の表示装置11において、重力方向Pと表示装置11の表示面121とがなす角度θ2を模式的に表した説明図である。例えば、表示装置11を水平な台の上に置いた場合、図11に示されるように、表示面121は、水平方向に配される。その際、表示面121と重力方向Pとがなす角度θ2は、理想的には90°となる。
 このような水平状態の表示装置11では、円形状の表示面121を、様々な角度からユーザUが覗き込むことが想定される。なお、本実施形態では、90-α≦θ2(°)(例えば、α=0°~10°)であれば、装置姿勢判定部167において、表示装置11の姿勢状態は、「水平状態」であると判定される。
 装置姿勢判定部167が表示装置11の姿勢を「水平状態」と判定すると、表示装置11では、実施形態1と同様、表示面121に表示される画像Iの上下が、ユーザの顔の上下と一致するように、画像Iを回転させて画像Iの向きが調節される表示制御が行われる。
 図12は起立状態の表示装置11において、重力方向Pと表示装置11の表示面121とがなす角度θ2を模式的に表した説明図である。例えば、ユーザUが表示装置11を手で持った状態で使用する場合、図12に示されるように、表示面121は、重力方向Pに対してある程度、傾斜しているものの、表示装置11全体としては、水平方向から立ち上がった状態となる。なお、本実施形態では、0≦θ2(°)<90-α(例えば、α=0°~10°)であれば、装置姿勢判定部167において、表示装置11の姿勢状態は、「起立状態」であると判定される。
 装置姿勢判定部167により「起立状態」と判定されると、顔傾斜角度検出部168によって、ユーザUの顔の上下方向Lの、重力方向Pに対する傾斜角度(顔傾斜角度)が検出される。
 顔傾斜角度検出部168は、顔方向検出部164より検出されたユーザUの顔の上下方向Lと、傾き検出部15より得られる重力方向Pとがなす角度(顔傾斜角度)θ3(0≦θ3(°)≦90)を検出し、その角度θ3がβ以上か否か(例えば、β=45°)を判定する。
 図13は、ユーザUを前側から見た状態において、重力方向PとユーザUの顔の上下方向Lとがなす角度θ3の一例を模式的に表した説明図であり、図14は、図13に示されるユーザUを左側方から見た状態において、重力方向PとユーザUの顔の上下方向Lとがなす角度θ3の一例を模式的に表した説明図である。図13及び図14には、ユーザUの傾斜角度(θ3)が比較的小さい場合(つまり、ユーザUの顔の傾斜角度(θ3)がβ未満の場合)が示されている。このように、ユーザUの顔の傾斜角度(θ3)がβ未満になる場合としては、例えば、ユーザUが起立した状態、又は着座した状態で、表示装置11を手で持ちながら使用している場合等が想定される。
 図13及び図14に示されるように、顔傾斜角度(角度θ3)は、顔方向検出部164により検出されたユーザUの顔の上下方向Lと、重力方向Pとによって把握される。なお、図14に示されるように、本実施形態では、ユーザUの顔の上下方向Lは、表示装置1の表示面121に対して平行に配されているものとしている。
 図15は、ユーザUを前側から見た状態において、重力方向PとユーザUの顔の上下方向Lとがなす角度θ3の他の一例を模式的に表した説明図である。図15には、ユーザUの顔傾斜角度(θ3)が90°の場合(つまり、ユーザUの顔傾斜角度(θ3)がβ以上の場合)が示されている。このように、ユーザUの顔傾斜角度(θ3)がβ以上となる場合としては、例えば、ユーザUが水平面上に横向きに寝転んだ状態で、表示装置11を手で持ちながら使用している場合等が想定される。
 回転補正部169は、顔傾斜角度検出部168が顔傾斜角度(θ3)をβ未満と判断した場合に、回転画像データ生成部165が、メモリ17に保存されている、回転画像データを生成する際にパラメータとして使用する「ユーザUの顔の上下方向L」を、「重力方向Pを基準とする表示面121の上下方向Q」に置き換える。
 次いで、実施形態2に係る回転表示制御の処理手順について説明する。図16は、実施形態2に係る回転表示制御の処理手順を示すフローチャートである。
 先ず、ステップS11において、上述した実施形態1のステップS1と同様、トリガ検出部161による回転表示制御処理を開始するためのトリガ信号の検出が行われる。
 トリガ検出部161がトリガ信号を検出すると、ステップS12へ移行する。ステップS12では、実施形態1のステップS2と同様、制御部16からの指示に基づいて撮像部14による撮像の取得が行われる。撮像部14は撮像に関する電気信号(撮像データ)を生成し、その電気信号が信号処理部162に入力され、ステップS13へ移行する。
 ステップS13において、信号処理部162は、前記電気信号が入力されると、その電気信号を画像データ(撮像データ)に変換し、その画像データをメモリ17に一時保存して、ステップS14へ移行する。
 ステップS14において、上述した実施形態1のステップS4と同様、顔検出部163により、撮像部14により取得された前記画像データを読み出し、その画像データに基づいて、ユーザUの顔の検出(認識)が行われる。そして、顔検出部163により、前記画像データ中から顔が検出されると、ステップS15へ移行する。なお、顔検出部163において、顔が検出されなかった場合、表示装置11は、次のトリガ信号が検出されるまで待機することになる。
 ステップS15では、上述したステップS5と同様、ユーザUの顔の上下方向Lの検出が行われる。ユーザUの顔の上下方向Lが検出された後、ステップS16へ移行する。
 ステップS16では、装置姿勢判定部167により、重力方向Pと表示装置11の表示面121とがなす姿勢角度θ2(0≦θ2(°)≦90)が検出される。その際に、重力方向Pを基準とした表示面121の上下方向Qも特定される。
 その後、ステップS17へ移行し、装置姿勢判定部167により、前記姿勢角度θ2に基づいて、表示装置11の姿勢が、「起立状態」であるか、又は「水平状態」であるかが判定される。
 ステップS17において、表示装置11の姿勢が起立状態と判定された場合、ステップS18へ移行する。これに対し、ステップS17において、表示装置11の姿勢が起立状態でない(つまり、水平状態)と判定された場合、ステップS23へ移行する。
 ステップS18において、顔傾斜角度検出部168が、顔傾斜角度θ3を検出すると、ステップS19へ移行し、顔傾斜角度検出部168により、顔傾斜角度θ3がβ(例えば、45°)未満であるか否かが判定される。顔傾斜角度θ3がβ未満の場合(θ3<β)、ステップS20へ移行する。これに対し、顔傾斜角度θ3がβ以上の場合(θ3≧β)、ステップS23へ移行する。
 ステップS20では、回転補正部169により、回転画像データ生成部165が、メモリ17に保存されている、回転画像データを生成する際にパラメータとして使用する「ユーザUの顔の上下方向L」を、「重力方向Pを基準とする表示面121の上下方向Q」に置き換える。その後、ステップS21へ移行する。
 ステップS21において、回転画像データ生成部165は、重力方向Pを基準とする表示面121の上下方向Qと、予め設定されている表示面121の座標系等を利用して、画像Iを回転させる角度を算出し、その角度に対応させて画像Iを回転させるための回転画像データ(補正表示画像データ)を生成する。
 例えば、回転画像データ生成部165は、ステップS11においてトリガ信号が検出される直前の状態の画像Iの上下方向Mを特定し、その上下方向Mと、重力方向Pを基準とする表示面121の上下方向Qとがなす角度θ11(°)(0≦θ11≦180)を算出する。このように角度θ11が算出された後、回転画像データ生成部165は、その角度θ11だけ、画像Iを回転させるための回転画像データ(補正表示画像データ)を生成する。
 その後、ステップS22へ移行し、表示制御部166が、前記回転画像データ(補正表示画像データ)に基づいて、直前状態から角度θ11だけ回転する画像Iを、表示装置1の表示面21に表示させる。
 図17は、顔傾斜角度θ3がβ未満の場合に、表示装置11に表示される画像Iを模式的に表した説明図である。図17に示されるように、θ3<βの場合には、表示装置11の表示面121には、重力方向Pを基準とする表示面121の上下方向Qと画像Iの上下方向Mが一致するように、画像Iが表示される。
 これに対し、顔傾斜角度θ3がβ以上の場合(θ3≧β)に、ステップS23へ移行すると、回転画像データ生成部165は、実施形態1のステップS6と同様、顔の上下方向Lと、予め設定されている表示面121の座標系等を利用して、画像Iを回転させる角度を算出し、その角度に対応させて画像Iを回転させるための回転画像データ(表示画像データ)を生成する。
 例えば、回転画像データ生成部165は、ステップS11においてトリガ信号が検出される直前の状態の画像Iの上下方向Mを特定し、その上下方向Mと、顔の上下方向Lとがなす角度θ12(°)(0≦θ12≦180)を算出する。このように角度θ12が算出された後、回転画像データ生成部165は、画像Iの上下方向MがユーザUの顔の上下方向Lと一致するようにその角度θ12だけ、画像Iを回転させるための回転画像データ(表示画像データ)を生成する。
 図18は、顔傾斜角度θ3がβ以上の場合に、表示装置11に表示される画像Iを模式的に表した説明図である。図18に示されるように、θ3≧βの場合には、表示装置11の表示面121には、実施形態1と同様、ユーザUの顔の上下方向Lと画像Iの上下方向Mが一致するように、画像Iが表示される。
 また、ステップS17において、表示装置11の姿勢が起立状態でない(つまり、水平状態)と判定された場合、ステップS23において、回転画像データ生成部165が、実施形態1のステップS6と同様、顔の上下方向Lと、予め設定されている表示装置11(表示面21)の座標系等を利用して、画像Iを回転させる角度θ13を算出し、その角度に対応させて画像Iを回転させるための回転画像データ(表示画像データ)を生成する。
 その後、ステップS22へ移行し、表示制御部166が、前記回転画像データ(表示画像データ)に基づいて、直前状態から角度θ13だけ回転する画像Iを、表示装置1の表示面21に表示させる。
 なお、ステップS22の終了後、表示装置11は、次のトリガ信号が検出されるまで待機する。
 以上のように、本実施形態の表示装置11は、上述した処理手順により、表示装置11自体の姿勢が起立状態、又は水平状態によって、表示制御の内容を変更することができる。表示装置11を水平状態で使用する場合には、ユーザUの顔の上下方向Lに、画像Iの上下方向Mが一致するように表示制御される。
 表示装置11を起立状態で使用する場合、重力方向Pに対する顔傾斜角度θ3が小さいと、ユーザUの顔の上下方向Lに、画像Iの上下方向Mを一致させるよりも、重力方向Pを基準とした表示面121の上下方向Qに、画像Iの上下方向Mを一致させた方が見易い。
 そのため、本実施形態の表示装置11では、起立状態の場合において、顔傾斜角度θ3が小さい場合(例えば、θ3<β)には、重力方向Pを基準とした表示面121の上下方向Qに、画像Iの上下方向Mが一致するように表示制御される。
 そして、起立状態の場合において、顔傾斜角度θ3が大きい場合(例えば、θ3≧β)には、ユーザUの顔の上下方向Lに、画像Iの上下方向Mが一致するように表示制御される。
 <実施形態3>
 次いで、本発明の実施形態3を、図19~図22を参照しつつ説明する。図19は、実施形態3に係る表示装置111の正面図であり、図20は、実施形態3に係る表示装置111の構成例を示すブロック図である。
 表示装置111は、2つの撮像部114A,11Bを備えている。また、表示装置111は、実施形態1と同様、表示入力部112、傾き検出部115、制御部116、メモリ117、記憶部118、電源部119を備えている。
 また、制御部116は、実施形態1と同様、トリガ検出部1161、信号処理部1162、顔検出部1163、顔方向検出部1164、回転画像データ生成部1165、表示制御部1166を備えている。
 本実施形態の制御部116は、更に、顔選択部1170を備えている。
 顔選択部1170は、撮像部114A,114Bにより取得された画像データ中に、複数の顔情報が含まれている場合に、表示装置111との距離が最も短いものを、ユーザUの顔として認識する処理を行う。
 次いで、実施形態3に係る回転表示制御の処理手順について説明する。図21は、実施形態3に係る回転表示制御の処理手順を示すフローチャートである。
 先ず、ステップS111において、上述した実施形態1のステップS1と同様、トリガ検出部1161による回転表示制御処理を開始するためのトリガ信号の検出が行われる。
 その後、ステップS112へ移行し、制御部116からの指示に基づいて2つの撮像部114A,114Bによる撮像の取得が行われる。2つの撮像部114A,114Bはそれぞれ撮像に関する電気信号(撮像データ)を生成し、それらの電気信号(撮像データ)が信号処理部1162に入力され、ステップS113へ移行する。
 ステップS113において、信号処理部1162は、前記電気信号(撮像データ)が入力されると、それらの電気信号(撮像データ)を、それぞれ画像データ(撮像データ)DA,DBに変換し、それらの画像データDA,DBをメモリ117に一時保存して、ステップS114へ移行する。
 ステップS114において、上述した実施形態1のステップS4と同様、顔検出部1163により、撮像部114A,114Bにより取得された各記画像データDA,DBを読み出し、各画像データDA,DBに基づいて、ユーザUの顔の検出(認識)が行われる。なお、顔検出部1163において、顔が検出されなかった場合、表示装置111は、次のトリガ信号が検出されるまで待機することになる。
 次いで、ステップS115において、顔検出部1163が、顔の個数を判定する。より具体的には、検出した顔情報が1つのみか、又は複数であるかを判定する。検出された顔が複数の場合は、ステップS116へ移行する。これに対し、検出された顔の1つのみの場合は、ステップS117へ移行する。
 検出された顔が複数の場合、ステップS116において、顔選択部1170により、複数の顔の中から、表示装置111に最も近い位置にある顔が、ユーザUの顔として選択される。本実施形態では、撮像部114A,114Bにより取得された各記画像データDA,DBの中に、2人の人物U1,U2に関する2つの顔情報が含まれている場合を説明する。
 図22は、2人の人物U1,U2に関する2つの顔情報より、各人物U1,U2から表示装置111までの間の距離Z1、Z2を把握する方法を模式的に表した説明図である。
 顔選択部1170は、2つの画像データDA,DBを利用しつつ、三角測量の原理に基づいて、各人物U1,U2から表示装置111までの間の距離Z1、Z2を把握する。
 顔選択部1170は、撮像部114Aより取得された画像データDAより、撮像部114Aから人物U1までの距離XA1と、撮像部114Aから人物U2までの距離XA2とを把握する。
 また、顔選択部1170は、撮像部114Bより取得された画像データDBより、撮像部114Bから人物U2までの距離YB1と、撮像部114Bから人物U2までの距離YB2とを把握する。
 なお、撮像部114Aと、撮像部114Bとの間の距離Wは、予め定められている。
 顔選択部1170は、距離XA1、距離YB1、及び距離Wの値を利用して、人物U1から表示装置111までの間の距離Z1を算出する。また、顔選択部1170は、距離XA2、距離YB2、及び距離Wの値を利用して、人物U2から表示装置111までの間の距離Z2を算出する。
 そして、顔選択部1170は、上述したように、人物U1の顔から表示装置111までの間の距離Z1と、人物U2の顔から表示装置111までの間の距離Z2とを比較して、距離の短い方の人物U1を、ユーザUとして選択する。ステップS116において、ユーザUの顔情報が特定された後、ステップS117へ移行する。
 ステップS117では、上述した実施形態1のステップS5と同様、ユーザUの顔の上下方向Lの検出が行われる。ユーザUの顔の上下方向Lが検出された後、ステップS118へ移行する。
 ステップS118では、上述した実施形態1のステップS6と同様、回転画像データ生成部1165が、顔の上下方向Lと、予め設定されている表示装置111(表示面1121)の座標系等を利用して、画像Iを回転させる角度を算出し、その角度に対応させて画像Iを回転させるための回転画像データを生成する。
 その後、ステップS119へ移行し、表示制御部1166が、上述した実施形態1のステップS7と同様、前記回転画像データに基づいて、表示装置1の表示面21に表示させる。
 なお、ステップS119の終了後、表示装置111は、次のトリガ信号が検出されるまで待機する。
 以上のように、本実施形態の表示装置111では、上述した処理手順により、複数の撮像部114A,114Bにより複数の画像データDA,DBを取得しつつ、顔選択部1170が、各画像データDA,DBを利用して、各画像データDA,DBにおける複数の顔情報の中から、表示装置111に最も近いものを、ユーザUの顔情報として選択することができる。そのため、本実施形態の表示装置111では、ユーザUと、ユーザU以外の人物とを区別して、表示面1121における画像Iの表示制御を行うことができる。
 <実施形態4>
 次いで、本発明の実施形態4を、図23を参照しつつ説明する。図23は、実施形態3に係る表示装置1111の正面図である。
 表示装置1111は、表側に露出する表示入力部(表示部)1112の形状(つまり、表示面21Aの形状)が、完全な円形ではなく、円の一部を切り欠いたような形状となっている。そして、その切り欠いた部分を補うような形で、カバー部30が設けられている。つまり、表示面21Aと、遮光性のカバー部30とによって、1つの円が形作られる。なお、円形状の表示面21A及びカバー部30の周りを取り囲むように、フレーム部1113が設けられている。
 なお、表示装置1111の基本的な構成及び機能は、実施形態1と同様であり、撮像部1114により取得された撮像(画像データ)を利用して、実施形態1と同様に、表示面21Aに表示される画像Iの表示制御(回転表示制御)を行う。
 このように、表示装置1111の表示面21Aとしては、概ね円形状のものが利用されてもよい。
 <他の実施形態>
 本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
 (1)上記各実施形態の表示装置は、表示面が円形状又は略円形状であったが、本発明の目的を損なわない限り、表示面が多角形状等の他の形状であってもよい。ただし、上記各実施形態のように、表示面が円形状又は略円形状であることが好ましい。表示面が円形状又は略円形状である表示装置は、様々な姿勢(装置姿勢)で使用されることが想定されるからである。
 (2)上記各実施形態では、表示部(表示入力部)として液晶表示パネルが用いられていたが、本発明はこれに限られず、他の表示方式の表示部を用いてもよい。
 (2)上記各実施形態の表示装置は、更に、無線ネットワーク、又は有線ネットワークを介して、他の装置と無線通信、又は有線通信をそれぞれ行うことが可能な通信処理部を備えてもよい。表示装置は、表示部の表示面には、上記通信処理部を利用して受信した画像データに基づく画像を表示してもよい。
 (3)上記各実施形態では、ユーザの顔を画像データ(撮像データ)から検出する際、目と口を特徴点としていたが、顔情報を検出できるものであれば、その他の情報(例えば、サングラス、メガネ、マスク、眉毛、鼻、顎等の顔の輪郭)を特徴点として、顔情報を検出してもよい。
 (4)上記実施形態3では、2つの撮像部を利用して、複数の顔情報の中から、表示装置(表示面)に最も近い顔情報を選択していたが、本発明の目的を損なわない限り、例えば、1つの撮像部より取得した撮像データを利用して、顔情報の選択を行ってもよいし、或いは、3つ以上の撮像部を利用しつつ3、以上の撮像データを利用して、顔情報の選択を行ってもよい。
 (5)上記各実施形態では、所定のトリガ信号を検出することで、回転表示制御処理を開始(撮像部4による撮影を開始)していたが、例えば、所定の時間間隔で、継続的に回転表示制御を行ってもよい。
 (6)上記各実施形態の表示装置は、更に、角速度センサ(ジャイロスコープ)等の各種センサを備えてもよい。そして、それらのセンサからの出力を、回転表示制御処理を開始(撮像部4による撮影を開始)するためのトリガ信号として利用してもよい。
 (7)上記各実施形態の表示装置は、外形形状(外観形状)が何れも平面視で円形状をなしていたが、本発明はこれに限られない。例えば、円形状の外縁に突起が設けられているような形状や、多角形状等であってもよい。
 1...表示装置、2...表示部(表示入力部)、21...表示面、3...フレーム部、4...撮像部、5...傾き検出部、6...制御部、61...トリガ検出部、62...信号処理部、63...顔検出部、64...顔方向検出部、65...回転画像データ生成部、66...表示制御部、7...メモリ、8...記憶部、9...電源部、U...ユーザ、L...顔の上下方向、I...画像、M...画像の上下方向、P...重力方向、Q...重力方向を基準とした表示面の上下方向(表示面の傾き方向)

Claims (15)

  1.  画像が表示される表示面を含む表示部と、
     撮像データを取得する撮像部と、
     前記撮像データよりユーザの顔情報を検出し、前記顔情報より顔の上下方向を検出し、前記顔の上下方向に前記画像の上下方向を一致させるために前記画像を回転表示可能な表示画像データを生成し、前記表示画像データに基づいて前記表示面に前記画像を表示させる制御部とを備える表示装置。
  2.  前記表示面の傾き方向と重力方向とがなす姿勢角度を検出する傾き検出部を備え、
     前記制御部は、前記傾き方向と前記重力方向とがなす前記姿勢角度の大きさに応じて、装置姿勢を判定し、前記装置姿勢の判定結果に応じて、前記表示画像データを生成する請求項1に記載の表示装置。
  3.  前記制御部は、前記姿勢角度が相対的に大きい場合に、前記装置姿勢を、水平状態と判定し、前記姿勢角度が相対的に小さい場合に、前記装置姿勢を、起立状態と判定する請求項2に記載の表示装置。
  4.  前記制御部は、前記装置姿勢を、水平状態と判定した場合に、前記表示画像データを生成する請求項3に記載の表示装置。
  5.  前記制御部は、前記装置姿勢を、起立状態と判定した場合に、前記重力方向と前記顔の上下方向とがなす顔傾斜角度を算出し、前記顔傾斜角度に応じて、前記表示画像データを生成する請求項3に記載の表示装置。
  6.  前記制御部は、前記顔傾斜角度が相対的に小さい場合に、前記顔の上下方向を、重力方向を基準とした前記表示面の上下方向、に置き換えつつ、前記表示画像データに換えて、前記表示面の上下方向に前記画像の上下方向を一致させるために前記画像を回転表示可能な補正表示画像データを生成する請求項5に記載の表示装置。
  7.  前記制御部は、前記顔傾斜角度が相対的に大きい場合に、前記顔の上下方向に前記画像の上下方向を一致させるために前記画像を回転表示可能な前記表示画像データを生成する請求項5に記載の表示装置。
  8.  前記制御部は、前記撮像データより複数の顔情報を検出した場合、複数の前記顔情報の中から、前記表示面に最も近いユーザの顔情報を選択し、その選択された顔情報より、前記顔の上下方向を検出する請求項1から請求項7の何れか一項に記載の表示装置。
  9.  前記撮像部は、複数個のものからなり、各々が前記ユーザに関する前記撮像データを取得し、
     前記制御部は、複数の前記撮像データを利用して、複数の前記顔情報の中から、前記表示面に最も近いユーザの顔情報を選択する請求項8に記載の表示装置。
  10.  前記表示面が、円形状又は略円形状である請求項1から請求項9の何れか一項に記載の表示装置。
  11.  前記制御部は、前記撮像部が撮像データの取得を開始するトリガ信号を検出する請求項1から請求項10の何れか一項に記載の表示装置。
  12.  前記トリガ信号は、 前記表示面の傾き方向と重力方向とがなす姿勢角度を検出する傾き検出部からの出力からなる請求項11に記載の表示装置。
  13.  ユーザからの情報が入力され、その入力結果を前記制御部に出力する入力部を備え、
     前記トリガ信号は、前記入力部からの出力からなる請求項11に記載の表示装置。
  14.  表示面に画像が表示される表示部と、撮像部と、制御部とを有する表示装置の画像表示方法であって、
     前記撮像部が、撮像データを取得する工程と、
     前記制御部が、前記撮像データよりユーザの顔情報を検出する工程と、
     前記制御部が、前記顔情報より、前記ユーザの顔の上下方向を検出する工程と、
     前記制御部が、前記顔の上下方向に前記画像の上下方向を一致させるために、前記画像を回転表示可能な表示画像データを生成する工程と、
     前記制御部が、前記表示画像データに基づいて、前記表示部の前記表示面に前記画像を表示させる工程とを備える表示装置の表示制御方法。
  15.  前記表示面が、円形状又は略円形状である請求項14に記載の表示装置の画像表示方法。
PCT/JP2016/054831 2015-02-27 2016-02-19 表示装置、及び表示装置の画像表示方法 WO2016136610A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/552,797 US20180053490A1 (en) 2015-02-27 2016-02-19 Display device and method of displaying image on display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015038532 2015-02-27
JP2015-038532 2015-02-27

Publications (1)

Publication Number Publication Date
WO2016136610A1 true WO2016136610A1 (ja) 2016-09-01

Family

ID=56788734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054831 WO2016136610A1 (ja) 2015-02-27 2016-02-19 表示装置、及び表示装置の画像表示方法

Country Status (2)

Country Link
US (1) US20180053490A1 (ja)
WO (1) WO2016136610A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510959B (zh) * 2017-02-28 2020-03-10 富泰华工业(深圳)有限公司 图像旋转控制装置及数码相框
SG10201802532YA (en) * 2018-03-27 2019-10-30 Nec Asia Pacific Pte Ltd Method and system for identifying an individual in a crowd
JP6945608B2 (ja) * 2019-11-11 2021-10-06 楽天グループ株式会社 表示システム、表示制御方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017596A (ja) * 2005-07-06 2007-01-25 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2008281659A (ja) * 2007-05-08 2008-11-20 Sharp Corp 表示装置およびゲーム装置
JP2011041067A (ja) * 2009-08-12 2011-02-24 Fujitsu Toshiba Mobile Communications Ltd 携帯端末
JP2012042804A (ja) * 2010-08-20 2012-03-01 Canon Inc 画像処理装置および方法
US20130201219A1 (en) * 2012-02-08 2013-08-08 Motorola Mobility, Inc. Method for Managing Screen Orientation of a Portable Electronic Device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5827007B2 (ja) * 2010-10-15 2015-12-02 任天堂株式会社 ゲームプログラム、画像処理装置、画像処理システム、および画像処理方法
JP5857257B2 (ja) * 2011-03-04 2016-02-10 パナソニックIpマネジメント株式会社 表示装置及び表示方向切替方法
US20130286049A1 (en) * 2011-12-20 2013-10-31 Heng Yang Automatic adjustment of display image using face detection
US8896533B2 (en) * 2012-10-29 2014-11-25 Lenova (Singapore) Pte. Ltd. Display directional sensing
US9280804B2 (en) * 2012-11-16 2016-03-08 Google Inc. Rotation of an image based on image content to correct image orientation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017596A (ja) * 2005-07-06 2007-01-25 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2008281659A (ja) * 2007-05-08 2008-11-20 Sharp Corp 表示装置およびゲーム装置
JP2011041067A (ja) * 2009-08-12 2011-02-24 Fujitsu Toshiba Mobile Communications Ltd 携帯端末
JP2012042804A (ja) * 2010-08-20 2012-03-01 Canon Inc 画像処理装置および方法
US20130201219A1 (en) * 2012-02-08 2013-08-08 Motorola Mobility, Inc. Method for Managing Screen Orientation of a Portable Electronic Device

Also Published As

Publication number Publication date
US20180053490A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
JP5857257B2 (ja) 表示装置及び表示方向切替方法
US9373156B2 (en) Method for controlling rotation of screen picture of terminal, and terminal
JP6074494B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
US20170363885A1 (en) Image alignment systems and methods
US20140118256A1 (en) Display directional sensing
KR101470243B1 (ko) 시선 검출 장치 및 그 시선 검출 방법
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
WO2016136610A1 (ja) 表示装置、及び表示装置の画像表示方法
JP6250024B2 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
CN110045827A (zh) 虚拟环境中虚拟物品的观察方法、装置及可读存储介质
US20180005395A1 (en) Posture system for mobile devices
CN107851334A (zh) 信息处理装置
US11835737B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
CN108844529A (zh) 确定姿态的方法、装置及智能设备
US20160091717A1 (en) Head-mounted display system and operation method thereof
KR102183857B1 (ko) 스마트 워치 제어 방법 및 시스템
JP6588196B2 (ja) 画像生成装置、画像生成方法および較正方法
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US20220358724A1 (en) Information processing device, information processing method, and program
JP7344716B2 (ja) 情報処理システム、情報処理プログラム、情報処理装置および情報処理方法
JP6817643B2 (ja) 情報処理装置
JP2016139353A (ja) 画像判定装置および画像判定方法
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
KR101782476B1 (ko) 사용자 시선 기반 디스플레이 출력 자동 회전 방법
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16755356

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15552797

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16755356

Country of ref document: EP

Kind code of ref document: A1