WO2020091156A1 - Terminal - Google Patents
Terminal Download PDFInfo
- Publication number
- WO2020091156A1 WO2020091156A1 PCT/KR2019/003322 KR2019003322W WO2020091156A1 WO 2020091156 A1 WO2020091156 A1 WO 2020091156A1 KR 2019003322 W KR2019003322 W KR 2019003322W WO 2020091156 A1 WO2020091156 A1 WO 2020091156A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- processor
- front camera
- terminal
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 230000008451 emotion Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Definitions
- the present invention relates to a terminal, and more particularly, to a slim terminal capable of easily setting a focusing or shooting mode according to the gaze.
- the camera is a device for photographing images. Recently, various functions have been implemented as cameras are employed in mobile terminals and the like.
- An object of the present invention is to provide a terminal capable of easily setting a focusing or shooting mode according to the gaze.
- Another object of the present invention is to provide a terminal capable of easily performing image quality setting.
- a terminal receives a first image from the front camera, the rear camera, and the rear camera, receives a second image from the front camera, based on the second image Accordingly, a processor that detects a gaze area in the first image and controls the detected area to be focused may be included.
- the processor may output a third image in which the detected area is focused.
- the rear camera includes a lens device including a plurality of lenses, and the processor can control the position of at least one lens in the lens device to move in response to the detected area.
- the processor may control the position of at least one lens in the lens device to vary according to the moved gaze area.
- the processor controls the front camera to be turned on and receives a second image from the front camera.
- the terminal further includes a sensor unit for sensing the position or movement of the front camera or the rear camera, and the processor is based on the location information or the movement information from the sensor unit, to the gaze area.
- the shooting mode is automatically set, and according to the set shooting mode, a fourth image in which the detected area is focused can be output.
- the processor on the basis of the second image from the front camera, calculates the surrounding environment information, based on the calculated surrounding environment information, it is possible to control to perform automatic exposure, automatic white balance setting.
- the processor may calculate surrounding environment information based on brightness information and color information in the second image from the front camera.
- the processor may detect a user's emotion analysis and heart rate change based on the second image from the front camera, and set the image quality of the output image based on the user's emotion and heart rate change.
- the processor controls to output a plurality of mode images processed according to a plurality of modes based on the first image, and may perform image quality setting according to a selected image among the plurality of mode images.
- the plurality of mode images may include images in which at least one of brightness, color, and sharpness is different.
- the processor may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode.
- the processor may control the user-defined image quality setting value to be updated for each user based on the second image acquired from the front camera.
- a terminal receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and is based on the second image
- receives a first image from a front camera, a rear camera, and a rear camera receives a second image from the front camera, and is based on the second image
- the gaze area in the first image is detected, subject information corresponding to the detected area is acquired, and a shooting mode is automatically set based on the acquired subject information.
- a processor that outputs the focused third image.
- a terminal for achieving the above object, receives a first image from the front camera, the rear camera, and the rear camera, receives a second image from the front camera, and the first image It may include a processor for controlling to output a plurality of mode images processed according to a plurality of modes based on the selected mode, and performing image quality setting according to a selected image among the plurality of mode images.
- a terminal receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and based on the second image, within the first image
- a processor that detects the gaze area and controls the detected area to be focused. Accordingly, focusing can be easily performed according to the gaze.
- the processor may output a third image in which the detected area is focused. Accordingly, it is possible to easily provide a focused image according to the gaze.
- the rear camera includes a lens device including a plurality of lenses
- the processor can control the position of at least one lens in the lens device to move in response to the detected area. Accordingly, focusing can be easily performed according to the gaze.
- the processor may control the position of at least one lens in the lens device to vary according to the moved gaze area. Accordingly, it is possible to easily perform the focusing movement according to the gaze.
- the processor controls the front camera to be turned on and receives a second image from the front camera. Accordingly, it is possible to easily perform focusing according to the gaze, based on the front camera.
- the terminal further includes a sensor unit for sensing the position or movement of the front camera or the rear camera, and the processor is based on the location information or the movement information from the sensor unit, to the gaze area.
- the shooting mode is automatically set, and according to the set shooting mode, a fourth image in which the detected area is focused can be output. Accordingly, it is possible to easily perform focusing and automatic setting of the shooting mode according to the gaze.
- the processor on the basis of the second image from the front camera, calculates the surrounding environment information, based on the calculated surrounding environment information, it is possible to control to perform automatic exposure, automatic white balance setting. Accordingly, it is possible to easily and easily perform shooting settings based on the front camera.
- the processor may calculate surrounding environment information based on brightness information and color information in the second image from the front camera. Accordingly, it is possible to easily and conveniently calculate the environment information based on the front camera.
- the processor may detect a user's emotion analysis and heart rate change based on the second image from the front camera, and set the image quality of the output image based on the user's emotion and heart rate change. Accordingly, it is possible to easily and easily set the image quality based on the front camera.
- the processor controls to output a plurality of mode images processed according to a plurality of modes based on the first image, and may perform image quality setting according to a selected image among the plurality of mode images. Accordingly, it is possible to easily and easily set the image quality.
- the processor may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode. Accordingly, it is possible to conveniently update the user-defined image quality settings.
- the processor may control the user-defined image quality setting value to be updated for each user based on the second image acquired from the front camera. Accordingly, it is easy to update the quality setting value for each user.
- a terminal receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and based on the second image, within the first image
- the gaze area is detected, subject information corresponding to the detected area is acquired, and a shooting mode is automatically set based on the acquired subject information, and according to the set shooting mode, the detected area focuses the third image
- It may include a processor to output. Accordingly, it is possible to easily perform focusing and shooting mode setting according to the gaze.
- a terminal receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and is in a plurality of modes based on the first image. It may be controlled to output a plurality of mode images processed according to, and may include a processor that performs image quality setting according to a selected image among the plurality of mode images. Accordingly, it is possible to easily set the image quality according to the gaze.
- FIG. 1A is a perspective view of a mobile terminal, which is one example of a terminal according to an embodiment of the present invention, viewed from the front.
- FIG. 1B is a rear perspective view of the mobile terminal shown in FIG. 1A.
- FIG. 2 is a block diagram of the mobile terminal of FIG. 1.
- FIG. 3A is an internal cross-sectional view of the front and rear cameras of FIGS. 1A and 1B.
- 3B is an internal block diagram of a camera device having the front camera and the rear camera of FIGS. 1A and 1B.
- FIG. 4 is a flowchart illustrating a method of operating a terminal according to an embodiment of the present invention.
- 5A to 6D are diagrams referred to for explaining the operation method of FIG. 4.
- FIG. 7 is a flowchart illustrating a method of operating a terminal according to another embodiment of the present invention.
- FIG. 8A to 8D are views referred to for explaining the operation method of FIG. 7.
- FIG. 9 is a flowchart illustrating a method of operating a terminal according to another embodiment of the present invention.
- 10A to 10C are views referred to for explaining the operation method of FIG. 9.
- modules and “parts” for components used in the following description are given simply by considering the ease of writing the present specification, and do not give meanings or roles particularly important in themselves. Therefore, the “module” and the “unit” may be used interchangeably.
- FIG. 1A is a perspective view of a mobile terminal, which is an example of a terminal according to an embodiment of the present invention, viewed from the front, and FIG. 1B is a rear perspective view of the mobile terminal shown in FIG. 1A.
- the case forming the appearance of the mobile terminal 100 is formed by the front case (100-1) and the rear case (100-2).
- Various electronic components may be embedded in the space formed by the front case 100-1 and the rear case 100-2.
- the display 180, the first audio output module 153a, the first camera 195a, and the first to third user input units 130a, 130b, and 130c may be disposed on the front case 100-1. have.
- a fourth user input unit 130d, a fifth user input unit 130e, and first to third microphones 123a, 123b, and 123c may be disposed on the side surfaces of the rear case 100-2.
- the display 180 may overlap the touch pad in a layer structure, so that the display 180 may operate as a touch screen.
- the first sound output module 153a may be implemented in the form of a receiver or speaker.
- the first camera 195a may be embodied in a form suitable for taking an image or video for a user.
- the microphone 123 may be implemented in a form suitable for receiving a user's voice, other sounds, and the like.
- the first to fifth user input units 130a, 130b, 130c, 130d, and 130e, and the sixth and seventh user input units 130f and 130g, which will be described later, may be collectively referred to as a user input unit 130.
- the first to second microphones 123a and 123b are arranged to collect audio signals on the upper side of the rear case 100-2, that is, on the upper side of the mobile terminal 100, and the third microphone 123c is The lower case 100-2, that is, the lower side of the mobile terminal 100, may be arranged for audio signal collection.
- a second camera 195b, a third camera 195c, and a fourth microphone may be additionally mounted on the rear surface of the rear case 100-2, and the rear case 100 On the side of -2), the sixth and seventh user input units 130f and 130g and the interface unit 175 may be disposed.
- the second camera 195b has a shooting direction substantially opposite to the first camera 195a, and may have different pixels from the first camera 195a.
- a flash (not shown) and a mirror (not shown) may be additionally disposed adjacent to the second camera 195b.
- the second camera 195b may be an RGB camera
- the third camera 195c may be a depth camera for calculating a distance from the subject.
- a second sound output module (not shown) may be additionally disposed in the rear case 100-2.
- the second audio output module may implement a stereo function together with the first audio output module 153a, and may be used for a call in speakerphone mode.
- a power supply unit 190 for supplying power to the mobile terminal 100 may be mounted on the rear case 100-2 side.
- the power supply unit 190 may be detachably coupled to the rear case 100-2 for charging, for example, as a rechargeable battery.
- the fourth microphone 123d may be disposed in front of the rear case 100-2, that is, on the back of the mobile terminal 100, for collecting audio signals.
- FIG. 2 is a block diagram of the mobile terminal of FIG. 1.
- the mobile terminal 100 includes a wireless communication unit 110, an audio / video (A / V) input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, and a memory 160, an interface unit 175, a control unit 170, and a power supply unit 190.
- These components may be configured by combining two or more components into one component, or when one component is subdivided into two or more components, when implemented in an actual application.
- the wireless communication unit 110 may include a broadcast reception module 111, a mobile communication module 113, a wireless Internet module 115, a short-range communication module 117, and a GPS module 119.
- the broadcast receiving module 111 may receive at least one of a broadcast signal and broadcast-related information from an external broadcast management server through a broadcast channel.
- the broadcast signal and / or broadcast-related information received through the broadcast receiving module 111 may be stored in the memory 160.
- the mobile communication module 113 can transmit and receive a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
- the wireless signal may include a voice call signal, a video call signal, or various types of data according to transmission / reception of text / multimedia messages.
- the wireless Internet module 115 refers to a module for wireless Internet access, and the wireless Internet module 115 may be built in or external to the mobile terminal 100.
- the short-range communication module 117 refers to a module for short-range communication.
- Bluetooth radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, Near Field Communication (NFC) may be used as the short-range communication technology.
- RFID radio frequency identification
- IrDA infrared data association
- UWB ultra wideband
- ZigBee Near Field Communication
- NFC Near Field Communication
- the Global Position System (GPS) module 119 receives position information from a plurality of GPS satellites.
- the A / V (Audio / Video) input unit 120 is for inputting an audio signal or a video signal, which may include a camera 195 and a microphone 123.
- the camera 195 may process a video frame such as a still image or video obtained by an image sensor in a video call mode or a shooting mode. Then, the processed image frame may be displayed on the display 180.
- the image frames processed by the camera 195 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. Two or more cameras 195 may be provided according to a configuration aspect of the terminal.
- the microphone 123 may receive an external audio signal by a microphone in a display off mode, for example, a call mode, a recording mode, or a voice recognition mode, and process it as electrical voice data.
- a display off mode for example, a call mode, a recording mode, or a voice recognition mode
- a plurality of microphones 123 may be arranged at different positions.
- the audio signal received from each microphone may be processed by the control unit 170 or the like.
- the user input unit 130 generates key input data input by the user to control the operation of the terminal.
- the user input unit 130 may be configured with a key pad, a dome switch, a touch pad (static pressure / power outage), and the like, through which a user may receive commands or information by pressing or touching a user.
- the touch pad forms a mutual layer structure with the display 180, which will be described later, it may be referred to as a touch screen.
- the sensing unit 140 detects the current state of the mobile terminal 100, such as an open / closed state of the mobile terminal 100, a location of the mobile terminal 100, or a user contact, to control the operation of the mobile terminal 100 Sensing signals can be generated.
- the sensing unit 140 may include a proximity sensor 141, a pressure sensor 143, a motion sensor 145, a touch sensor 146, and the like.
- the proximity sensor 141 may detect the presence or absence of an object approaching the mobile terminal 100 or an object present in the vicinity of the mobile terminal 100 without mechanical contact.
- the proximity sensor 141 may detect a proximity object using a change in an alternating magnetic field, a change in a static magnetic field, or a rate of change in capacitance.
- the pressure sensor 143 may detect whether pressure is applied to the mobile terminal 100 and the size of the pressure.
- the motion sensor 145 may detect the position or movement of the mobile terminal 100 using an acceleration sensor, a gyro sensor, or the like.
- the touch sensor 146 may detect a touch input by a user's finger or a touch input by a specific pen.
- the touch screen panel may include a touch sensor 146 for detecting location information, intensity information, and the like of the touch input.
- the sensing signal sensed by the touch sensor 146 may be transmitted to the controller 170.
- the output unit 150 is for outputting an audio signal, a video signal, or an alarm signal.
- the output unit 150 may include a display 180, an audio output module 153, an alarm unit 155, and a haptic module 157.
- the display 180 displays and outputs information processed by the mobile terminal 100. For example, when the mobile terminal 100 is in a call mode, a UI (User Interface) or a GUI (Graphic User Interface) related to the call is displayed. In addition, when the mobile terminal 100 is in a video call mode or a shooting mode, the captured or received video may be displayed respectively or simultaneously, and a UI and GUI are displayed.
- a UI User Interface
- GUI Graphic User Interface
- the display 180 and the touch pad are configured as a touch screen by forming a mutual layer structure
- the display 180 may be used as an input device capable of inputting information by a user's touch in addition to an output device. You can.
- the audio output module 153 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, call mode or recording mode, voice recognition mode, broadcast reception mode, or the like. In addition, the audio output module 153 outputs an audio signal related to a function performed in the mobile terminal 100, for example, a call signal reception sound and a message reception sound.
- the sound output module 153 may include a speaker, a buzzer, and the like.
- the alarm unit 155 outputs a signal for notifying the occurrence of an event in the mobile terminal 100.
- the alarm unit 155 outputs a signal for notifying the occurrence of an event in a form other than an audio signal or a video signal.
- a signal can be output in the form of vibration.
- the haptic module 157 generates various tactile effects that the user can feel.
- a typical example of the tactile effect generated by the haptic module 157 is a vibration effect.
- the intensity and pattern of vibration generated by the haptic module 157 are convertible, and different vibrations can be synthesized and output or sequentially output.
- the memory 160 may store a program for processing and control of the control unit 170 and provide a function for temporarily storing input or output data (eg, a phone book, a message, a still image, a video, etc.). You can also do
- the interface unit 175 serves as an interface with all external devices connected to the mobile terminal 100.
- the interface unit 175 may receive data from an external device or receive power and transmit it to each component inside the mobile terminal 100, and allow data inside the mobile terminal 100 to be transmitted to the external device.
- the control unit 170 controls the overall operation of the mobile terminal 100 by generally controlling the operation of each part. For example, it may perform related control and processing for voice calls, data communication, video calls, and the like. Also, the control unit 170 may include a multimedia playback module 181 for multimedia playback. The multimedia playback module 181 may be configured with hardware in the control unit 170 or may be configured with software separately from the control unit 170. Meanwhile, the control unit 170 may include an application processor (not shown) for driving an application. Alternatively, the application processor (not shown) may be provided separately from the control unit 170.
- the power supply unit 190 may receive external power or internal power under the control of the control unit 170 to supply power required for the operation of each component.
- FIG. 3A is an internal cross-sectional view of the front and rear cameras of FIGS. 1A and 1B.
- the rear camera 195b may include an aperture 194, a lens device 193, and an image sensor 820.
- the aperture 194 can open and close the light incident to the lens device 193.
- the lens device 193 may include a plurality of lenses adjusted for variable focus.
- the image sensor 820 may include an RGb filter 915a and a sensor array 911b that converts an optical signal into an electrical signal to sense RGB color.
- the image sensors 820 may sense and output RGB images, respectively.
- the front camera 195a may include an aperture 194a, a lens device 193a, and an image sensor 820a.
- the aperture 194a can open and close the light incident to the lens device 193a.
- the lens device 193a may include a plurality of lenses adjusted for variable focus.
- the image sensor 820a may include an RGb filter 915aa to sense RGB color, and a sensor array 911ba that converts an optical signal into an electrical signal.
- the image sensors 820a may sense and output RGB images, respectively.
- 3B is an internal block diagram of a camera device having the front camera and the rear camera of FIGS. 1A and 1B.
- the camera device 195 includes a front camera 195a, a rear camera 195b, a processor 270, a sensor unit 230, a memory 240, an optical output unit 275, and an interface 250 ).
- the rear camera 195b may include a lens device 193 and an image sensor 820.
- the lens device 193 in the rear camera 195b may receive an incident incident light and may include a plurality of lenses adjusted for variable focus.
- the exposure time of the image sensor 820 may be adjusted based on an electrical signal.
- the front camera 195a may include a lens device 193a and an image sensor 820a.
- the lens device 193a in the front camera 195a may receive an incident incident light and may include a plurality of lenses adjusted for variable focus.
- the exposure time of the image sensor 820a may be adjusted based on an electrical signal.
- the processor 270 may generate an RGB image based on an electrical signal from the image sensor 820 in the rear camera 195b.
- the processor 270 may generate an RGB image based on an electrical signal from the image sensor 820a in the front camera 195a.
- the sensor unit 230 may sense movement information or location information of the camera device 195. To this end, the sensor unit 230 may include a GPS receiver, an inertial sensor, and the like.
- the interface 250 can be used for data transmission with other units in the mobile terminal 100.
- the light output unit 275 may output infrared light or the like for the operation of the camera device.
- the RGB image from the processor 270 may be transferred to the control unit 170 of the mobile terminal 100.
- the processor 270 or the control unit 170 may output a control signal to the lens device 193 for the movement of the lens in the lens device 193 or the like.
- a control signal for auto focusing may be output to the lens device 193.
- the processor 270 or the control unit 170 may output an aperture control signal for adjusting the light transmittance of the aperture 194 to the aperture 194.
- the processor 270 or the control unit 170 may control the aperture 194 to be opened in the first period and the aperture 194 to be closed in the second period.
- FIG. 4 is a flowchart illustrating an operation method of a terminal according to an embodiment of the present invention
- FIGS. 5A to 6D are diagrams referred to for describing the operation method of FIG. 4.
- the processor 270 or the control unit 170 in the terminal 100 determines whether the rear camera 195b is activated (S410), and, if applicable, the rear camera 195b is activated. Control (S415). To this end, the processor 270 or the control unit 170 may control power to be supplied to the rear camera 195b.
- the processor 270 or the control unit 170 in the terminal 100 determines whether or not it is in eye tracking mode (S420), and, if applicable, controls the front camera 195a to be turned on (S425) ). To this end, the processor 270 or the control unit 170 may control power to be supplied to the front camera 195a.
- the processor 270 or the control unit 170 receives the first image from the rear camera 195b (S430), and receives the second image from the front camera 195a (S435).
- the processor 270 or the controller 170 detects a gaze area in the first image based on the second image obtained from the front camera 195a (S440).
- the processor 270 or the control unit 170 controls to focus on the detected gaze area (S450).
- 5A illustrates that the rear camera 195b is activated and the first image 510 is displayed on the display 180 of the mobile terminal 100.
- the processor 270 or the controller 170 in the terminal 100 may activate the front camera 195a to receive the second image Img1 as shown in the drawing. have.
- the second image Img1 in the drawing may include an eye of a user.
- the processor 270 or the controller 170 in the terminal 100 calculates the position or direction of the eye, and based on the calculated position or direction of the eye, within the first image 510 It is possible to calculate where the user's gaze area is located.
- the user's gaze is located at the first position PT1 in the first image 510.
- FIG. 5B illustrates that the first area Ara including the first position PT1 in the first image 510 is a gaze area.
- the lens device ( The position of at least one lens in 193) may be controlled to be located at La. Accordingly, focusing is aligned to the first area Ara.
- the processor 270 or the control unit 170 in the terminal 100 can easily acquire the third image 550 focused on the first area Ara, as shown in FIG. 5D. Therefore, it is possible to easily perform focusing according to the gaze.
- the processor 270 or the controller 170 may output a third image in which the detected area is focused. Accordingly, it is possible to easily provide a focused image according to the gaze.
- the rear camera 195b includes a lens device 193 including a plurality of lenses, and the processor 270 or the control unit 170 corresponds to the detected area, at least one in the lens device 193
- the position of the lens can be controlled to move. Accordingly, focusing can be easily performed according to the gaze.
- the processor 270 or the controller 170 may control the position of at least one lens in the lens device 193 to be varied according to the moved gaze area when the gaze area is moved. Accordingly, it is possible to easily perform the focusing movement according to the gaze.
- FIG. 6A illustrates that the rear camera 195b is activated and the first image 510 is displayed on the display 180 of the mobile terminal 100.
- the processor 270 or the control unit 170 in the terminal 100 may activate the front camera 195a to receive the second image Img2 as illustrated. have.
- the second image Img2 in the drawing may include an eye of a user.
- the processor 270 or the controller 170 in the terminal 100 calculates the position or direction of the eye, and based on the calculated position or direction of the eye, within the first image 510 It is possible to calculate where the user's gaze area is located.
- the user's gaze is located at the second position PT2 in the first image 510.
- FIG. 6B illustrates that the second area Arb including the second position PT2 in the first image 520 is the gaze area.
- the lens device ( The position of at least one lens in 193) may be controlled to be located at Lb. Accordingly, focusing is aligned to the second region Arb.
- the processor 270 or the control unit 170 in the terminal 100 can easily acquire the third image 560 focused on the second area Arb, as shown in FIG. 6D. Therefore, it is possible to easily perform focusing according to the gaze.
- FIG. 7 is a flowchart illustrating an operation method of a terminal according to another embodiment of the present invention
- FIGS. 8A to 8D are diagrams referred to for describing the operation method of FIG. 7.
- the processor 270 or the controller 170 in the terminal 100 determines whether the rear camera 195b is activated (S710), and, if applicable, the rear camera 195b is activated It is controlled (S715). To this end, the processor 270 or the control unit 170 may control power to be supplied to the rear camera 195b.
- the processor 270 or the control unit 170 in the terminal 100 determines whether it is an automatic shooting mode (S717), and, if applicable, controls the front camera 195a to be turned on (S725). To this end, the processor 270 or the control unit 170 may control power to be supplied to the front camera 195a.
- the processor 270 or the control unit 170 receives the first image from the rear camera 195b (S730), and receives the second image from the front camera 195a (S735).
- the processor 270 or the control unit 170 detects a gaze area in the first image based on the second image obtained from the front camera 195a (S740).
- the processor 270 or the control unit 170 controls to focus on the detected gaze area (S750).
- the processor 270 or the control unit 170 acquires object information corresponding to the detected gaze area (S746).
- the processor 270 or the controller 170 sets a shooting mode according to the acquired subject information (S748).
- the processor 270 or the controller 170 performs photographing in a set mode while the gaze area is focused (S750).
- FIG. 8A illustrates that the rear camera 195b is activated and the first image 810 is displayed on the display 180 of the mobile terminal 100.
- the processor 270 or the control unit 170 in the terminal 100 may activate the front camera 195a to receive the second image Img2 as shown in FIG. 8B.
- the second image Img2 in FIG. 8B may include an eye of a user.
- the processor 270 or the controller 170 in the terminal 100 calculates the position or direction of the eye, and based on the calculated position or direction of the eye, within the first image 520 It is possible to calculate where the user's gaze area is located.
- the user's gaze is located at the second position PT2 in the first image 520.
- 8C illustrates that the second area Arb including the second position in the first image 520 is the gaze area.
- the processor 270 or the control unit 170 in the terminal 100 at least one in the lens device 193 It can be controlled so that the lens is located at a specific position. Accordingly, focusing is aligned to the second region Arb.
- the processor 270 or the control unit 170 in the terminal 100 can easily acquire the third image 560 focused on the second area Arb, as shown in FIG. 8D. Therefore, it is possible to easily perform focusing according to the gaze.
- the processor 270 or the controller 170 may output a third image in which the detected area is focused. Accordingly, it is possible to easily provide a focused image according to the gaze.
- the sensor unit 230 senses the position or movement of the front camera 195a or the rear camera 195b, and the processor 270 or the control unit 170 detects the position information or movement information from the sensor unit 230. Based on the, subject information located in the gaze area is acquired, based on the acquired subject information, a shooting mode is automatically set, and a fourth image in which the detected area is focused can be output according to the set shooting mode. have. Accordingly, it is possible to easily perform focusing and automatic setting of the shooting mode according to the gaze.
- the processor 270 or the control unit 170 calculates surrounding environment information based on the second image from the front camera 195a, and based on the calculated ambient environment information, automatic exposure and automatic white balance setting are performed. It can be controlled to be performed. Accordingly, it is possible to conveniently perform shooting settings based on the front camera 195a.
- the processor 270 or the control unit 170 may calculate surrounding environment information from the front camera 195a based on brightness information and color information in the second image. Accordingly, it is possible to easily calculate the surrounding environment information based on the front camera 195a.
- the processor 270 or the controller 170 based on the second image from the front camera 195a, detects a user's emotion analysis and heart rate change, and based on the user's emotion and heart rate change, outputs the image You can set the image quality. Accordingly, it is possible to easily and easily set the image quality based on the front camera 195a.
- the processor 270 or the controller 170 controls to output a plurality of mode images processed according to a plurality of modes based on the first image, and performs image quality setting according to a selected image among the plurality of mode images can do. Accordingly, it is possible to easily and easily set the image quality.
- the processor 270 or the control unit 170 may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode. Accordingly, it is possible to conveniently update the user-defined image quality settings.
- the processor 270 or the control unit 170 may control the user set image quality setting value to be updated for each user based on the second image obtained from the front camera 195a. Accordingly, it is easy to update the quality setting value for each user.
- FIG. 9 is a flowchart illustrating an operation method of a terminal according to another embodiment of the present invention
- FIGS. 10A to 10C are diagrams referred to for describing the operation method of FIG. 9.
- the processor 270 or the controller 170 in the terminal 100 determines whether the rear camera 195b is activated (S910), and, if applicable, the rear camera 195b is activated. It is controlled (S915). To this end, the processor 270 or the control unit 170 may control power to be supplied to the rear camera 195b.
- the processor 270 or the control unit 170 receives the first image from the rear camera 195b (S930).
- the processor 270 or the controller 170 may output a plurality of mode images processed according to a plurality of modes based on the first image (S933).
- the processor 270 or the controller 170 may perform image quality setting according to the selected mode image (S936).
- 10A illustrates that the rear camera 195b is activated and the first image 810 is displayed on the display 180 of the mobile terminal 100.
- a plurality of mode images (Imga, Imgb, Imgc) can be generated and output.
- the plurality of mode images may be at least one of brightness, color, and sharpness different images.
- a first mode image IMga is selected by a user's finger (FNG) touch input
- the processor 270 or the control unit 170 in the terminal 100 may control the image quality setting corresponding to the first mode image IMga to be performed.
- the processor 270 or the control unit 170 in the terminal 100 controls to output the first mode image quality setting message 1020, as shown in FIG. 10C, and thereafter, signals according to the first mode image quality setting.
- the processed and generated image may be controlled to be displayed on the display 180. Accordingly, it is possible to conveniently set the image quality desired by the user.
- the processor 270 or the control unit 170 may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode. Accordingly, it is possible to conveniently update the user-defined image quality settings.
- the processor 270 or the control unit 170 may control the user set image quality setting value to be updated for each user based on the second image obtained from the front camera 195a. Accordingly, it is easy to update the quality setting value for each user.
- the camera device 195 illustrated in FIGS. 4 to 10C may be employed in various electronic devices such as the mobile terminal 100 of FIG. 2, a vehicle, a TV, a drone, a robot, a robot cleaner, and a door.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
The present invention relates to a terminal. A terminal according to an embodiment of the present invention can comprise: a front camera; a rear camera; and a processor which receives a first image from the rear camera, receives a second image from the front camera, detects a gaze area in the first image on the basis of the second image, and controls such that the focus can be set to the detected area. Therefore, focusing can be performed conveniently in accordance with the gaze.
Description
본 발명은 단말기에 관한 것이며, 더욱 상세하게는 시선에 따라 간편하게 포커싱 또는 촬영 모드 설정을 수행할 수 있는 슬림 단말기에 관한 것이다.The present invention relates to a terminal, and more particularly, to a slim terminal capable of easily setting a focusing or shooting mode according to the gaze.
카메라는, 이미지를 촬영하기 위한 장치이다. 최근, 카메라가, 이동 단말기 등에 채용되면서, 다양한 기능이 구현되고 있다.The camera is a device for photographing images. Recently, various functions have been implemented as cameras are employed in mobile terminals and the like.
한편, 어떠한 조작 없이 자신이 원하는 화질로 자동 촬영에 대한 요구가 증대되고 있다.On the other hand, there is an increasing demand for automatic shooting with a desired image quality without any manipulation.
예를 들어, 인공 지능을 이용하여, 카메라를 통해 촬상되는 장면을 분석하는 기능이 개발되고 있다.For example, a function of analyzing a scene captured through a camera using artificial intelligence has been developed.
그러나, 인공지능을 기반으로 장면 분석시 촬상 이미지 내에 존재하는 다양한 피사체들로 인해 장면 인식 정확도가 저하되고, 사용자가 원하는 피사체 중심의 화질 향상을 기대하기 어렵다는 단점이 있다.However, when analyzing a scene based on artificial intelligence, scene recognition accuracy is deteriorated due to various subjects existing in the captured image, and there is a disadvantage that it is difficult to expect an improvement in image quality centered on a subject desired by a user.
본 발명의 목적은, 시선에 따라 간편하게 포커싱 또는 촬영 모드 설정을 수행할 수 있는 단말기를 제공함에 있다.An object of the present invention is to provide a terminal capable of easily setting a focusing or shooting mode according to the gaze.
본 발명의 다른 목적은, 간편하게 이미지 화질 설정을 수행할 수 있는 단말기를 제공함에 있다.Another object of the present invention is to provide a terminal capable of easily performing image quality setting.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 단말기는, 전면 카메라와, 후면 카메라와, 후면 카메라로부터 제1 이미지를 수신하고, 전면 카메라로부터 제2 이미지를 수신하며, 제2 이미지에 기초하여, 제1 이미지 내의 시선 영역을 검출하고, 검출된 영역이 포커싱되도록 제어하는 프로세서를 포함할 수 있다.A terminal according to an embodiment of the present invention for achieving the above object, receives a first image from the front camera, the rear camera, and the rear camera, receives a second image from the front camera, based on the second image Accordingly, a processor that detects a gaze area in the first image and controls the detected area to be focused may be included.
한편, 프로세서는, 검출된 영역이 포커싱된 제3 이미지를 출력할 수 있다.Meanwhile, the processor may output a third image in which the detected area is focused.
한편, 후면 카메라는, 복수의 렌즈를 포함하는 렌즈 장치를 구비하고, 프로세서는, 검출된 영역에 대응하여, 렌즈 장치 내의 적어도 하나의 렌즈의 위치가 이동하도록 제어할 수 있다.Meanwhile, the rear camera includes a lens device including a plurality of lenses, and the processor can control the position of at least one lens in the lens device to move in response to the detected area.
한편, 프로세서는, 시선 영역의 이동시, 이동되는 시선 영역에 따라, 렌즈 장치 내의 적어도 하나의 렌즈의 위치가 가변되도록 제어할 수 있다.Meanwhile, when the gaze area is moved, the processor may control the position of at least one lens in the lens device to vary according to the moved gaze area.
한편, 프로세서는, 후면 카메라가 활성화된 상태에서, 아이 트래킹(eye tracking) 모드인 경우, 전면 카메라가 온 되도록 제어하며, 전면 카메라로부터 제2 이미지를 수신할 수 있다.On the other hand, when the rear camera is activated, and the eye tracking mode is in the eye tracking mode, the processor controls the front camera to be turned on and receives a second image from the front camera.
한편, 본 발명의 일 실시예에 따른 단말기는, 전면 카메라 또는 후면 카메라의 위치 또는 이동을 센싱하는 센서부를 더 포함하고, 프로세서는, 센서부로부터의 위치 정보 또는 이동 정보에 기초하여, 시선 영역에 위치하는 피사체 정보를 획득하고, 획득된 피사체 정보에 기초하여, 촬영 모드를 자동으로 설정하며, 설정된 촬영 모드에 따라, 검출된 영역이 포커싱된 제4 이미지를 출력할 수 있다.Meanwhile, the terminal according to an embodiment of the present invention further includes a sensor unit for sensing the position or movement of the front camera or the rear camera, and the processor is based on the location information or the movement information from the sensor unit, to the gaze area. Obtaining the subject information to be located, based on the acquired subject information, the shooting mode is automatically set, and according to the set shooting mode, a fourth image in which the detected area is focused can be output.
한편, 프로세서는, 전면 카메라로부터 제2 이미지에 기초하여, 주변 환경 정보를 연산하고, 연산된 주변 환경 정보에 기초하여, 자동 노출, 자동 화이트 밸런스 설정이 수행되도록 제어할 수 있다.On the other hand, the processor, on the basis of the second image from the front camera, calculates the surrounding environment information, based on the calculated surrounding environment information, it is possible to control to perform automatic exposure, automatic white balance setting.
한편, 프로세서는, 전면 카메라로부터 제2 이미지 내의 밝기 정보와 색상 정보에 기초하여, 주변 환경 정보를 연산할 수 있다.Meanwhile, the processor may calculate surrounding environment information based on brightness information and color information in the second image from the front camera.
한편, 프로세서는, 전면 카메라로부터 제2 이미지에 기초하여, 사용자의 감정 분석 및 심박수 변화를 감지하고, 사용자 감정 및 심박수 변화에 기초하여, 출력되는 이미지의 화질을 설정할 수 있다.Meanwhile, the processor may detect a user's emotion analysis and heart rate change based on the second image from the front camera, and set the image quality of the output image based on the user's emotion and heart rate change.
한편, 프로세서는, 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력하도록 제어하며, 복수의 모드 이미지 중 선택된 이미지에 따라, 화질 설정을 수행할 수 있다.Meanwhile, the processor controls to output a plurality of mode images processed according to a plurality of modes based on the first image, and may perform image quality setting according to a selected image among the plurality of mode images.
한편, 복수의 모드 이미지는, 밝기, 색, 선명도 중 적어도 하나가 다른 이미지를 포함할 수 있다.Meanwhile, the plurality of mode images may include images in which at least one of brightness, color, and sharpness is different.
한편, 프로세서는, 전문가 모드를 이용하여 촬영한 화질 설정 또는 자동 모드에서 선택한 화질 설정을 이용하여, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다.Meanwhile, the processor may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode.
한편, 프로세서는, 전면 카메라로부터 획득된 제2 이미지에 기초하여, 사용자 별로, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다.Meanwhile, the processor may control the user-defined image quality setting value to be updated for each user based on the second image acquired from the front camera.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 단말기는, 전면 카메라와, 후면 카메라와, 후면 카메라로부터 제1 이미지를 수신하고, 전면 카메라로부터 제2 이미지를 수신하며, 제2 이미지에 기초하여, 제1 이미지 내의 시선 영역을 검출하고, 검출된 영역에 대응하는 피사체 정보를 획득하며, 획득된 피사체 정보에 기초하여, 촬영 모드를 자동으로 설정하며, 설정된 촬영 모드에 따라, 검출된 영역이 포커싱된 제3 이미지를 출력하는 프로세서를 포함할 수 있다.A terminal according to another embodiment of the present invention for achieving the above object, receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and is based on the second image In this way, the gaze area in the first image is detected, subject information corresponding to the detected area is acquired, and a shooting mode is automatically set based on the acquired subject information. And a processor that outputs the focused third image.
상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 단말기는, 전면 카메라와, 후면 카메라와, 후면 카메라로부터 제1 이미지를 수신하고, 전면 카메라로부터 제2 이미지를 수신하며, 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력하도록 제어하며, 복수의 모드 이미지 중 선택된 이미지에 따라, 화질 설정을 수행하는 프로세서를 포함할 수 있다.A terminal according to another embodiment of the present invention for achieving the above object, receives a first image from the front camera, the rear camera, and the rear camera, receives a second image from the front camera, and the first image It may include a processor for controlling to output a plurality of mode images processed according to a plurality of modes based on the selected mode, and performing image quality setting according to a selected image among the plurality of mode images.
본 발명의 일 실시예에 따른 단말기는, 전면 카메라와, 후면 카메라와, 후면 카메라로부터 제1 이미지를 수신하고, 전면 카메라로부터 제2 이미지를 수신하며, 제2 이미지에 기초하여, 제1 이미지 내의 시선 영역을 검출하고, 검출된 영역이 포커싱되도록 제어하는 프로세서를 포함할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱을 수행할 수 있게 된다.A terminal according to an embodiment of the present invention receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and based on the second image, within the first image And a processor that detects the gaze area and controls the detected area to be focused. Accordingly, focusing can be easily performed according to the gaze.
한편, 프로세서는, 검출된 영역이 포커싱된 제3 이미지를 출력할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱된 이미지를 제공할 수 있게 된다.Meanwhile, the processor may output a third image in which the detected area is focused. Accordingly, it is possible to easily provide a focused image according to the gaze.
한편, 후면 카메라는, 복수의 렌즈를 포함하는 렌즈 장치를 구비하고, 프로세서는, 검출된 영역에 대응하여, 렌즈 장치 내의 적어도 하나의 렌즈의 위치가 이동하도록 제어할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱을 수행할 수 있게 된다.Meanwhile, the rear camera includes a lens device including a plurality of lenses, and the processor can control the position of at least one lens in the lens device to move in response to the detected area. Accordingly, focusing can be easily performed according to the gaze.
한편, 프로세서는, 시선 영역의 이동시, 이동되는 시선 영역에 따라, 렌즈 장치 내의 적어도 하나의 렌즈의 위치가 가변되도록 제어할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱 이동을 수행할 수 있게 된다.Meanwhile, when the gaze area is moved, the processor may control the position of at least one lens in the lens device to vary according to the moved gaze area. Accordingly, it is possible to easily perform the focusing movement according to the gaze.
한편, 프로세서는, 후면 카메라가 활성화된 상태에서, 아이 트래킹(eye tracking) 모드인 경우, 전면 카메라가 온 되도록 제어하며, 전면 카메라로부터 제2 이미지를 수신할 수 있다. 이에 따라, 전면 카메라 기반하에, 시선에 따라 간편하게 포커싱을 수행할 수 있게 된다.On the other hand, when the rear camera is activated, and the eye tracking mode is in the eye tracking mode, the processor controls the front camera to be turned on and receives a second image from the front camera. Accordingly, it is possible to easily perform focusing according to the gaze, based on the front camera.
한편, 본 발명의 일 실시예에 따른 단말기는, 전면 카메라 또는 후면 카메라의 위치 또는 이동을 센싱하는 센서부를 더 포함하고, 프로세서는, 센서부로부터의 위치 정보 또는 이동 정보에 기초하여, 시선 영역에 위치하는 피사체 정보를 획득하고, 획득된 피사체 정보에 기초하여, 촬영 모드를 자동으로 설정하며, 설정된 촬영 모드에 따라, 검출된 영역이 포커싱된 제4 이미지를 출력할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱 및 촬영 모드 자동 설정을 수행할 수 있게 된다.Meanwhile, the terminal according to an embodiment of the present invention further includes a sensor unit for sensing the position or movement of the front camera or the rear camera, and the processor is based on the location information or the movement information from the sensor unit, to the gaze area. Obtaining the subject information to be located, based on the acquired subject information, the shooting mode is automatically set, and according to the set shooting mode, a fourth image in which the detected area is focused can be output. Accordingly, it is possible to easily perform focusing and automatic setting of the shooting mode according to the gaze.
한편, 프로세서는, 전면 카메라로부터 제2 이미지에 기초하여, 주변 환경 정보를 연산하고, 연산된 주변 환경 정보에 기초하여, 자동 노출, 자동 화이트 밸런스 설정이 수행되도록 제어할 수 있다. 이에 따라, 전면 카메라에 기초하여 간편하게, 촬영 설정을 수행할 수 있게 된다.On the other hand, the processor, on the basis of the second image from the front camera, calculates the surrounding environment information, based on the calculated surrounding environment information, it is possible to control to perform automatic exposure, automatic white balance setting. Accordingly, it is possible to easily and easily perform shooting settings based on the front camera.
한편, 프로세서는, 전면 카메라로부터 제2 이미지 내의 밝기 정보와 색상 정보에 기초하여, 주변 환경 정보를 연산할 수 있다. 이에 따라, 전면 카메라에 기초하여 간편하게, 주변 환경 정보를 연산할 수 있게 된다.Meanwhile, the processor may calculate surrounding environment information based on brightness information and color information in the second image from the front camera. Accordingly, it is possible to easily and conveniently calculate the environment information based on the front camera.
한편, 프로세서는, 전면 카메라로부터 제2 이미지에 기초하여, 사용자의 감정 분석 및 심박수 변화를 감지하고, 사용자 감정 및 심박수 변화에 기초하여, 출력되는 이미지의 화질을 설정할 수 있다. 이에 따라, 전면 카메라에 기초하여 간편하게, 화질 설정을 수행할 수 있게 된다.Meanwhile, the processor may detect a user's emotion analysis and heart rate change based on the second image from the front camera, and set the image quality of the output image based on the user's emotion and heart rate change. Accordingly, it is possible to easily and easily set the image quality based on the front camera.
한편, 프로세서는, 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력하도록 제어하며, 복수의 모드 이미지 중 선택된 이미지에 따라, 화질 설정을 수행할 수 있다. 이에 따라, 간편하게, 화질 설정을 수행할 수 있게 된다.Meanwhile, the processor controls to output a plurality of mode images processed according to a plurality of modes based on the first image, and may perform image quality setting according to a selected image among the plurality of mode images. Accordingly, it is possible to easily and easily set the image quality.
한편, 프로세서는, 전문가 모드를 이용하여 촬영한 화질 설정 또는 자동 모드에서 선택한 화질 설정을 이용하여, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다. 이에 따라, 간편하게, 사용자 설정 화질 설정값을 업데이트할 수 있게 된다.Meanwhile, the processor may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode. Accordingly, it is possible to conveniently update the user-defined image quality settings.
한편, 프로세서는, 전면 카메라로부터 획득된 제2 이미지에 기초하여, 사용자 별로, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다. 이에 따라, 간편하게, 사용자 별로, 화질 설정값을 업데이트할 수 있게 된다.Meanwhile, the processor may control the user-defined image quality setting value to be updated for each user based on the second image acquired from the front camera. Accordingly, it is easy to update the quality setting value for each user.
본 발명의 다른 실시예에 따른 단말기는, 전면 카메라와, 후면 카메라와, 후면 카메라로부터 제1 이미지를 수신하고, 전면 카메라로부터 제2 이미지를 수신하며, 제2 이미지에 기초하여, 제1 이미지 내의 시선 영역을 검출하고, 검출된 영역에 대응하는 피사체 정보를 획득하며, 획득된 피사체 정보에 기초하여, 촬영 모드를 자동으로 설정하며, 설정된 촬영 모드에 따라, 검출된 영역이 포커싱된 제3 이미지를 출력하는 프로세서를 포함할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱 및 촬영 모드 설정을 수행할 수 있게 된다.A terminal according to another embodiment of the present invention receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and based on the second image, within the first image The gaze area is detected, subject information corresponding to the detected area is acquired, and a shooting mode is automatically set based on the acquired subject information, and according to the set shooting mode, the detected area focuses the third image It may include a processor to output. Accordingly, it is possible to easily perform focusing and shooting mode setting according to the gaze.
본 발명의 또 다른 실시예에 따른 단말기는, 전면 카메라와, 후면 카메라와, 후면 카메라로부터 제1 이미지를 수신하고, 전면 카메라로부터 제2 이미지를 수신하며, 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력하도록 제어하며, 복수의 모드 이미지 중 선택된 이미지에 따라, 화질 설정을 수행하는 프로세서를 포함할 수 있다. 이에 따라, 시선에 따라, 간편하게 화질 설정을 수행할 수 있게 된다.According to another embodiment of the present invention, a terminal receives a first image from a front camera, a rear camera, and a rear camera, receives a second image from the front camera, and is in a plurality of modes based on the first image. It may be controlled to output a plurality of mode images processed according to, and may include a processor that performs image quality setting according to a selected image among the plurality of mode images. Accordingly, it is possible to easily set the image quality according to the gaze.
도 1a은 본 발명의 일 실시예에 따른 단말기의 일예인 이동 단말기를 전면에서 바라본 사시도이다.1A is a perspective view of a mobile terminal, which is one example of a terminal according to an embodiment of the present invention, viewed from the front.
도 1b는 도 1a에 도시한 이동 단말기의 후면 사시도이다. 1B is a rear perspective view of the mobile terminal shown in FIG. 1A.
도 2는 도 1의 이동 단말기의 블럭도이다.FIG. 2 is a block diagram of the mobile terminal of FIG. 1.
도 3a는 도 1a 및 도 1b의 전면 카메라와 후면 카메라의 내부 단면도이다.3A is an internal cross-sectional view of the front and rear cameras of FIGS. 1A and 1B.
도 3b는 도 1a 및 도 1b의 전면 카메라와 후면 카메라를 구비하는 카메라 장치의 내부 블록도이다.3B is an internal block diagram of a camera device having the front camera and the rear camera of FIGS. 1A and 1B.
도 4는 본 발명의 실시예에 따른 단말기의 동작 방법을 도시한 순서도이다.4 is a flowchart illustrating a method of operating a terminal according to an embodiment of the present invention.
도 5a 내지 도 6d는 도 4의 동작 방법 설명에 참조되는 도면이다.5A to 6D are diagrams referred to for explaining the operation method of FIG. 4.
도 7은 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 도시한 순서도이다.7 is a flowchart illustrating a method of operating a terminal according to another embodiment of the present invention.
도 8a 내지 도 8d는 도 7의 동작 방법 설명에 참조되는 도면이다.8A to 8D are views referred to for explaining the operation method of FIG. 7.
도 9는 본 발명의 또 다른 실시예에 따른 단말기의 동작 방법을 도시한 순서도이다.9 is a flowchart illustrating a method of operating a terminal according to another embodiment of the present invention.
도 10a 내지 도 10c는 도 9의 동작 방법 설명에 참조되는 도면이다.10A to 10C are views referred to for explaining the operation method of FIG. 9.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in more detail with reference to the drawings.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffixes "modules" and "parts" for components used in the following description are given simply by considering the ease of writing the present specification, and do not give meanings or roles particularly important in themselves. Therefore, the "module" and the "unit" may be used interchangeably.
도 1a은 본 발명의 일 실시예에 따른 단말기의 일예인 이동 단말기를 전면에서 바라본 사시도이고, 도 1b는 도 1a에 도시한 이동 단말기의 후면 사시도이다. 1A is a perspective view of a mobile terminal, which is an example of a terminal according to an embodiment of the present invention, viewed from the front, and FIG. 1B is a rear perspective view of the mobile terminal shown in FIG. 1A.
도 1a을 참조하면, 이동 단말기(100)의 외관을 이루는 케이스는, 프론트 케이스(100-1)와 리어 케이스(100-2)에 의해 형성된다. 프론트 케이스(100-1)와 리어 케이스(100-2)에 의해 형성된 공간에는 각종 전자부품들이 내장될 수 있다.Referring to Figure 1a, the case forming the appearance of the mobile terminal 100 is formed by the front case (100-1) and the rear case (100-2). Various electronic components may be embedded in the space formed by the front case 100-1 and the rear case 100-2.
구체적으로 프론트 케이스(100-1)에는 디스플레이(180), 제1 음향출력모듈(153a), 제1 카메라(195a), 및 제1 내지 제3 사용자 입력부(130a, 130b, 130c)가 배치될 수 있다. 그리고, 리어 케이스(100-2)의 측면에는 제4 사용자 입력부(130d), 제5 사용자 입력부(130e), 및 제1 내지 제3 마이크(123a, 123b, 123c)가 배치될 수 있다.Specifically, the display 180, the first audio output module 153a, the first camera 195a, and the first to third user input units 130a, 130b, and 130c may be disposed on the front case 100-1. have. In addition, a fourth user input unit 130d, a fifth user input unit 130e, and first to third microphones 123a, 123b, and 123c may be disposed on the side surfaces of the rear case 100-2.
디스플레이(180)는 터치패드가 레이어 구조로 중첩됨으로써, 디스플레이(180)가 터치스크린으로 동작할 수 있다.The display 180 may overlap the touch pad in a layer structure, so that the display 180 may operate as a touch screen.
제1 음향출력 모듈(153a)은 리시버 또는 스피커의 형태로 구현될 수 있다. 제1 카메라(195a)는 사용자 등에 대한 이미지 또는 동영상을 촬영하기에 적절한 형태로 구현될 수 있다. 그리고, 마이크(123)는 사용자의 음성, 기타 소리 등을 입력받기 적절한 형태로 구현될 수 있다.The first sound output module 153a may be implemented in the form of a receiver or speaker. The first camera 195a may be embodied in a form suitable for taking an image or video for a user. In addition, the microphone 123 may be implemented in a form suitable for receiving a user's voice, other sounds, and the like.
제1 내지 제5 사용자 입력부(130a, 130b, 130c, 130d, 130e)와 후술하는 제6 및 제7 사용자 입력부(130f, 130g)는 사용자 입력부(130)라 통칭할 수 있다.The first to fifth user input units 130a, 130b, 130c, 130d, and 130e, and the sixth and seventh user input units 130f and 130g, which will be described later, may be collectively referred to as a user input unit 130.
제1 내지 제2 마이크(123a, 123b)는, 리어 케이스(100-2)의 상측, 즉, 이동 단말기(100)의 상측에, 오디오 신호 수집을 위해 배치되며, 제3 마이크(123c)는, 리어 케이스(100-2)의 하측, 즉, 이동 단말기(100)의 하측에, 오디오 신호 수집을 위해 배치될 수 있다. The first to second microphones 123a and 123b are arranged to collect audio signals on the upper side of the rear case 100-2, that is, on the upper side of the mobile terminal 100, and the third microphone 123c is The lower case 100-2, that is, the lower side of the mobile terminal 100, may be arranged for audio signal collection.
도 1b를 참조하면, 리어 케이스(100-2)의 후면에는 제2 카메라(195b), 제3 카메라(195c), 및 제4 마이크(미도시)가 추가로 장착될 수 있으며, 리어 케이스(100-2)의 측면에는 제6 및 제7 사용자 입력부(130f, 130g)와, 인터페이스부(175)가 배치될 수 있다.Referring to FIG. 1B, a second camera 195b, a third camera 195c, and a fourth microphone (not shown) may be additionally mounted on the rear surface of the rear case 100-2, and the rear case 100 On the side of -2), the sixth and seventh user input units 130f and 130g and the interface unit 175 may be disposed.
제2 카메라(195b)는 제1 카메라(195a)와 실질적으로 반대되는 촬영 방향을 가지며, 제1 카메라(195a)와 서로 다른 화소를 가질 수 있다. 제2 카메라(195b)에 인접하게는 플래쉬(미도시)와 거울(미도시)이 추가로 배치될 수도 있다. The second camera 195b has a shooting direction substantially opposite to the first camera 195a, and may have different pixels from the first camera 195a. A flash (not shown) and a mirror (not shown) may be additionally disposed adjacent to the second camera 195b.
한편, 제2 카메라(195b)는, RGB 카메라일 수 있으며, 제3 카메라(195c)는, 피사체와의 거리 연산을 위한 깊이 카메라(depth camera)일 수 있다.Meanwhile, the second camera 195b may be an RGB camera, and the third camera 195c may be a depth camera for calculating a distance from the subject.
리어 케이스(100-2)에는 제2 음향출력 모듈(미도시)가 추가로 배치될 수도 있다. 제2 음향출력 모듈은 제1 음향출력 모듈(153a)와 함께 스테레오 기능을 구현할 수 있으며, 스피커폰 모드로 통화를 위해 사용될 수도 있다.A second sound output module (not shown) may be additionally disposed in the rear case 100-2. The second audio output module may implement a stereo function together with the first audio output module 153a, and may be used for a call in speakerphone mode.
리어 케이스(100-2) 측에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(190)가 장착될 수 있다. 전원공급부(190)는, 예를 들어 충전 가능한 배터리로서, 충전 등을 위하여 리어 케이스(100-2)에 착탈 가능하게 결합될 수 있다.A power supply unit 190 for supplying power to the mobile terminal 100 may be mounted on the rear case 100-2 side. The power supply unit 190 may be detachably coupled to the rear case 100-2 for charging, for example, as a rechargeable battery.
제4 마이크(123d)는, 리어 케이스(100-2)의 전면, 즉, 이동 단말기(100)의 뒷면에, 오디오 신호 수집을 위해 배치될 수 있다. The fourth microphone 123d may be disposed in front of the rear case 100-2, that is, on the back of the mobile terminal 100, for collecting audio signals.
도 2는 도 1의 이동 단말기의 블럭도이다. FIG. 2 is a block diagram of the mobile terminal of FIG. 1.
도 2를 참조하면, 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(175), 제어부(170), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.Referring to FIG. 2, the mobile terminal 100 includes a wireless communication unit 110, an audio / video (A / V) input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, and a memory 160, an interface unit 175, a control unit 170, and a power supply unit 190. These components may be configured by combining two or more components into one component, or when one component is subdivided into two or more components, when implemented in an actual application.
무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), 근거리 통신 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.The wireless communication unit 110 may include a broadcast reception module 111, a mobile communication module 113, a wireless Internet module 115, a short-range communication module 117, and a GPS module 119.
방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.The broadcast receiving module 111 may receive at least one of a broadcast signal and broadcast-related information from an external broadcast management server through a broadcast channel. The broadcast signal and / or broadcast-related information received through the broadcast receiving module 111 may be stored in the memory 160.
이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 113 can transmit and receive a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include a voice call signal, a video call signal, or various types of data according to transmission / reception of text / multimedia messages.
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 이동 단말기(100)에 내장되거나 외장될 수 있다. The wireless Internet module 115 refers to a module for wireless Internet access, and the wireless Internet module 115 may be built in or external to the mobile terminal 100.
근거리 통신 모듈(117)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), NFC(Near Field Communication) 등이 이용될 수 있다.The short-range communication module 117 refers to a module for short-range communication. Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, Near Field Communication (NFC) may be used as the short-range communication technology.
GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.The Global Position System (GPS) module 119 receives position information from a plurality of GPS satellites.
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(195)와 마이크(123) 등이 포함될 수 있다. The A / V (Audio / Video) input unit 120 is for inputting an audio signal or a video signal, which may include a camera 195 and a microphone 123.
카메라(195)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 그리고, 처리된 화상 프레임은 디스플레이(180)에 표시될 수 있다.The camera 195 may process a video frame such as a still image or video obtained by an image sensor in a video call mode or a shooting mode. Then, the processed image frame may be displayed on the display 180.
카메라(195)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(195)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frames processed by the camera 195 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. Two or more cameras 195 may be provided according to a configuration aspect of the terminal.
마이크(123)는, 디스플레이 오프 모드, 예를 들어, 통화모드, 녹음모드, 또는 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 오디오 신호를 입력받아 전기적인 음성 데이터로 처리할 수 있다. The microphone 123 may receive an external audio signal by a microphone in a display off mode, for example, a call mode, a recording mode, or a voice recognition mode, and process it as electrical voice data.
한편, 마이크(123)는, 서로 다른 위치에, 복수개로서 배치될 수 있다. 각 마이크에서 수신되는 오디오 신호는 제어부(170) 등에서 오디오 신호 처리될 수 있다.Meanwhile, a plurality of microphones 123 may be arranged at different positions. The audio signal received from each microphone may be processed by the control unit 170 or the like.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 사용자의 누름 또는 터치 조작에 의해 명령 또는 정보를 입력받을 수 있는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이(180)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.The user input unit 130 generates key input data input by the user to control the operation of the terminal. The user input unit 130 may be configured with a key pad, a dome switch, a touch pad (static pressure / power outage), and the like, through which a user may receive commands or information by pressing or touching a user. In particular, when the touch pad forms a mutual layer structure with the display 180, which will be described later, it may be referred to as a touch screen.
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.The sensing unit 140 detects the current state of the mobile terminal 100, such as an open / closed state of the mobile terminal 100, a location of the mobile terminal 100, or a user contact, to control the operation of the mobile terminal 100 Sensing signals can be generated.
센싱부(140)는 근접센서(141), 압력센서(143), 및 모션 센서(145), 터치 센서(146) 등을 포함할 수 있다.The sensing unit 140 may include a proximity sensor 141, a pressure sensor 143, a motion sensor 145, a touch sensor 146, and the like.
근접센서(141)는 이동 단말기(100)로 접근하는 물체나, 이동 단말기(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다. 특히, 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. The proximity sensor 141 may detect the presence or absence of an object approaching the mobile terminal 100 or an object present in the vicinity of the mobile terminal 100 without mechanical contact. In particular, the proximity sensor 141 may detect a proximity object using a change in an alternating magnetic field, a change in a static magnetic field, or a rate of change in capacitance.
압력센서(143)는 이동 단말기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. The pressure sensor 143 may detect whether pressure is applied to the mobile terminal 100 and the size of the pressure.
모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 이동 단말기(100)의 위치나 움직임 등을 감지할 수 있다. The motion sensor 145 may detect the position or movement of the mobile terminal 100 using an acceleration sensor, a gyro sensor, or the like.
터치 센서(146)는, 사용자의 손가락에 의한 터치 입력 또는 특정 펜에 의한 터치 입력을 감지할 수 있다. 예를 들어, 디스플레이(180) 상에 터치 스크린 패널이 배치되는 경우, 터치 스크린 패널은, 터치 입력의 위치 정보, 세기 정보 등을 감지하기 위한 터치 센서(146)를 구비할 수 있다. 터치 센서(146)에서 감지된 센싱 신호는, 제어부(170)로 전달될 수 있다.The touch sensor 146 may detect a touch input by a user's finger or a touch input by a specific pen. For example, when a touch screen panel is disposed on the display 180, the touch screen panel may include a touch sensor 146 for detecting location information, intensity information, and the like of the touch input. The sensing signal sensed by the touch sensor 146 may be transmitted to the controller 170.
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(150)에는 디스플레이(180), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157) 등이 포함될 수 있다.The output unit 150 is for outputting an audio signal, a video signal, or an alarm signal. The output unit 150 may include a display 180, an audio output module 153, an alarm unit 155, and a haptic module 157.
디스플레이(180)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 이동 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다. The display 180 displays and outputs information processed by the mobile terminal 100. For example, when the mobile terminal 100 is in a call mode, a UI (User Interface) or a GUI (Graphic User Interface) related to the call is displayed. In addition, when the mobile terminal 100 is in a video call mode or a shooting mode, the captured or received video may be displayed respectively or simultaneously, and a UI and GUI are displayed.
한편, 전술한 바와 같이, 디스플레이(180)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(180)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다. On the other hand, as described above, when the display 180 and the touch pad are configured as a touch screen by forming a mutual layer structure, the display 180 may be used as an input device capable of inputting information by a user's touch in addition to an output device. You can.
음향출력 모듈(153)은 호 신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향출력 모듈(153)은 이동 단말기(100)에서 수행되는 기능, 예를 들어, 호 신호 수신음, 메시지 수신음 등과 관련된 오디오 신호를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output module 153 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, call mode or recording mode, voice recognition mode, broadcast reception mode, or the like. In addition, the audio output module 153 outputs an audio signal related to a function performed in the mobile terminal 100, for example, a call signal reception sound and a message reception sound. The sound output module 153 may include a speaker, a buzzer, and the like.
알람부(155)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. The alarm unit 155 outputs a signal for notifying the occurrence of an event in the mobile terminal 100. The alarm unit 155 outputs a signal for notifying the occurrence of an event in a form other than an audio signal or a video signal. For example, a signal can be output in the form of vibration.
햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(157)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(157)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.The haptic module 157 generates various tactile effects that the user can feel. A typical example of the tactile effect generated by the haptic module 157 is a vibration effect. When the haptic module 157 generates vibration with a tactile effect, the intensity and pattern of vibration generated by the haptic module 157 are convertible, and different vibrations can be synthesized and output or sequentially output.
메모리(160)는 제어부(170)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The memory 160 may store a program for processing and control of the control unit 170 and provide a function for temporarily storing input or output data (eg, a phone book, a message, a still image, a video, etc.). You can also do
인터페이스부(175)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(175)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.The interface unit 175 serves as an interface with all external devices connected to the mobile terminal 100. The interface unit 175 may receive data from an external device or receive power and transmit it to each component inside the mobile terminal 100, and allow data inside the mobile terminal 100 to be transmitted to the external device.
제어부(170)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(170)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(170) 내에 하드웨어로 구성될 수도 있고, 제어부(170)와 별도로 소프트웨어로 구성될 수도 있다. 한편, 제어부(170)는, 애플리케이션 구동을 위한 애플리케이션 프로세서(미도시)를 구비할 수 있다. 또는 애플리케이션 프로세서(미도시)는 제어부(170)와 별도로 마련되는 것도 가능하다. The control unit 170 controls the overall operation of the mobile terminal 100 by generally controlling the operation of each part. For example, it may perform related control and processing for voice calls, data communication, video calls, and the like. Also, the control unit 170 may include a multimedia playback module 181 for multimedia playback. The multimedia playback module 181 may be configured with hardware in the control unit 170 or may be configured with software separately from the control unit 170. Meanwhile, the control unit 170 may include an application processor (not shown) for driving an application. Alternatively, the application processor (not shown) may be provided separately from the control unit 170.
그리고, 전원 공급부(190)는 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.In addition, the power supply unit 190 may receive external power or internal power under the control of the control unit 170 to supply power required for the operation of each component.
도 3a는 도 1a 및 도 1b의 전면 카메라와 후면 카메라의 내부 단면도이다.3A is an internal cross-sectional view of the front and rear cameras of FIGS. 1A and 1B.
도면을 참조하면, 후면 카메라(195b)는, 조리개(194), 렌즈 장치(193), 이미지 센서(820)를 구비할 수 있다.Referring to the drawings, the rear camera 195b may include an aperture 194, a lens device 193, and an image sensor 820.
조리개(194)는, 렌즈 장치(193)로 입사되는 광을 개폐할 수 있다.The aperture 194 can open and close the light incident to the lens device 193.
렌즈 장치(193)는, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.The lens device 193 may include a plurality of lenses adjusted for variable focus.
이미지 센서(820)는, RGB 색상을 센싱하기 위해, RGb 필터(915a)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911b)를 구비할 수 있다.The image sensor 820 may include an RGb filter 915a and a sensor array 911b that converts an optical signal into an electrical signal to sense RGB color.
이에 따라, 이미지 센서(820)는, 각각 RGB 이미지를 센싱하여, 출력할 수 있다.Accordingly, the image sensors 820 may sense and output RGB images, respectively.
전면 카메라(195a)는, 조리개(194a), 렌즈 장치(193a), 이미지 센서(820a)를 구비할 수 있다.The front camera 195a may include an aperture 194a, a lens device 193a, and an image sensor 820a.
조리개(194a)는, 렌즈 장치(193a)로 입사되는 광을 개폐할 수 있다.The aperture 194a can open and close the light incident to the lens device 193a.
렌즈 장치(193a)는, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.The lens device 193a may include a plurality of lenses adjusted for variable focus.
이미지 센서(820a)는, RGB 색상을 센싱하기 위해, RGb 필터(915aa)와, 광 신호를 전기 신호로 변환하는 센서 어레이(911ba)를 구비할 수 있다.The image sensor 820a may include an RGb filter 915aa to sense RGB color, and a sensor array 911ba that converts an optical signal into an electrical signal.
이에 따라, 이미지 센서(820a)는, 각각 RGB 이미지를 센싱하여, 출력할 수 있다.Accordingly, the image sensors 820a may sense and output RGB images, respectively.
도 3b는 도 1a 및 도 1b의 전면 카메라와 후면 카메라를 구비하는 카메라 장치의 내부 블록도이다.3B is an internal block diagram of a camera device having the front camera and the rear camera of FIGS. 1A and 1B.
도면을 참조하면, 카메라 장치(195)는, 전면 카메라(195a), 후면 카메라(195b), 프로세서(270), 센서부(230), 메모리(240), 광출력부(275), 인터페이스(250)를 구비할 수 있다.Referring to the drawings, the camera device 195 includes a front camera 195a, a rear camera 195b, a processor 270, a sensor unit 230, a memory 240, an optical output unit 275, and an interface 250 ).
후면 카메라(195b)는 렌즈 장치(193), 이미지 센서(820)를 구비할 수 있다.The rear camera 195b may include a lens device 193 and an image sensor 820.
후면 카메라(195b) 내의 렌즈 장치(193)는, 입사되는 입사광을 수신하며, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.The lens device 193 in the rear camera 195b may receive an incident incident light and may include a plurality of lenses adjusted for variable focus.
한편, 이미지 센서(820)는, 전기 신호에 기초하여, 노출 시간이 조절될 수 있다.Meanwhile, the exposure time of the image sensor 820 may be adjusted based on an electrical signal.
전면 카메라(195a)는 렌즈 장치(193a), 이미지 센서(820a)를 구비할 수 있다.The front camera 195a may include a lens device 193a and an image sensor 820a.
전면 카메라(195a) 내의 렌즈 장치(193a)는, 입사되는 입사광을 수신하며, 가변 초점을 위해 조정되는 복수의 렌즈를 구비할 수 있다.The lens device 193a in the front camera 195a may receive an incident incident light and may include a plurality of lenses adjusted for variable focus.
한편, 이미지 센서(820a)는, 전기 신호에 기초하여, 노출 시간이 조절될 수 있다.Meanwhile, the exposure time of the image sensor 820a may be adjusted based on an electrical signal.
한편, 프로세서(270)는, 후면 카메라(195b) 내의 이미지 센서(820)로부터의 전기 신호에 기초하여, RGB 이미지를 생성할 수 있다. Meanwhile, the processor 270 may generate an RGB image based on an electrical signal from the image sensor 820 in the rear camera 195b.
한편, 프로세서(270)는, 전면 카메라(195a) 내의 이미지 센서(820a)로부터의 전기 신호에 기초하여, RGB 이미지를 생성할 수 있다. Meanwhile, the processor 270 may generate an RGB image based on an electrical signal from the image sensor 820a in the front camera 195a.
센서부(230)는, 카메라 장치(195)의 이동 정보 또는 위치 정보 등을 센싱할 수 있다. 이를 위해, 센서부(230)는, GPS 수신부, 관성 센서 등을 구비할 수 있다.The sensor unit 230 may sense movement information or location information of the camera device 195. To this end, the sensor unit 230 may include a GPS receiver, an inertial sensor, and the like.
인터페이스(250)는, 이동 단말기(100) 내의 다른 유닛과의 데이터 전송을 위해 사용될 수 있다.The interface 250 can be used for data transmission with other units in the mobile terminal 100.
광출력부(275)는, 카메라 장치의 동작을 위한 적외선광 등을 출력할 수 있다.The light output unit 275 may output infrared light or the like for the operation of the camera device.
한편, 프로세서(270)로부터의 RGB 이미지는 이동 단말기(100)의 제어부(170)로 전달될 수 있다.Meanwhile, the RGB image from the processor 270 may be transferred to the control unit 170 of the mobile terminal 100.
한편, 프로세서(270) 또는 제어부(170)는, 렌즈 장치(193) 내의 렌즈의 이동 등을 위해, 제어 신호를, 렌즈 장치(193)로 출력할 수 있다. 예를 들어, 오토 포커싱을 위한 제어 신호를 렌즈 장치(193)로 출력할 수 있다. Meanwhile, the processor 270 or the control unit 170 may output a control signal to the lens device 193 for the movement of the lens in the lens device 193 or the like. For example, a control signal for auto focusing may be output to the lens device 193.
한편, 프로세서(270) 또는 제어부(170)는, 조리개(194)의 광투과율 조절을 위한 조리개 제어 신호를, 조리개(194)로 출력할 수도 있다.Meanwhile, the processor 270 or the control unit 170 may output an aperture control signal for adjusting the light transmittance of the aperture 194 to the aperture 194.
예를 들어, 프로세서(270) 또는 제어부(170)는, 제1 기간에, 조리개(194)가 오픈되고, 제2 기간에, 조리개(194)가 닫히도록 제어할 수 있다.For example, the processor 270 or the control unit 170 may control the aperture 194 to be opened in the first period and the aperture 194 to be closed in the second period.
도 4는 본 발명의 실시예에 따른 단말기의 동작 방법을 도시한 순서도이고, 도 5a 내지 도 6d는 도 4의 동작 방법 설명에 참조되는 도면이다.4 is a flowchart illustrating an operation method of a terminal according to an embodiment of the present invention, and FIGS. 5A to 6D are diagrams referred to for describing the operation method of FIG. 4.
도면을 참조하면, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)가 활성화되는 지 여부를 판단하고(S410), 해당하는 경우, 후면 카메라(195b)가 활성화되도록 제어한다(S415). 이를 위해, 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)에 전원이 공급되도록 제어할 수 있다.Referring to the drawings, the processor 270 or the control unit 170 in the terminal 100 determines whether the rear camera 195b is activated (S410), and, if applicable, the rear camera 195b is activated. Control (S415). To this end, the processor 270 or the control unit 170 may control power to be supplied to the rear camera 195b.
다음, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 아이 트래킹(eye tracking) 모드인지 여부를 판단하고(S420), 해당하는 경우, 전면 카메라(195a)가 온 되도록 제어한다(S425). 이를 위해, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)에 전원이 공급되도록 제어할 수 있다.Next, the processor 270 or the control unit 170 in the terminal 100 determines whether or not it is in eye tracking mode (S420), and, if applicable, controls the front camera 195a to be turned on (S425) ). To this end, the processor 270 or the control unit 170 may control power to be supplied to the front camera 195a.
다음, 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)로부터 제1 이미지를 수신하고(S430), 전면 카메라(195a)로부터 제2 이미지를 수신한다(S435).Next, the processor 270 or the control unit 170 receives the first image from the rear camera 195b (S430), and receives the second image from the front camera 195a (S435).
다음, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)에서 획득된 제2 이미지에 기초하여 제1 이미지 내의 시선 영역을 검출한다(S440).Next, the processor 270 or the controller 170 detects a gaze area in the first image based on the second image obtained from the front camera 195a (S440).
그리고, 프로세서(270) 또는 제어부(170)는, 검출된 시선 영역에 포커싱이 되도록 제어한다(S450).Then, the processor 270 or the control unit 170 controls to focus on the detected gaze area (S450).
도 5a는 후면 카메라(195b)가 활성화되어, 이동 단말기(100)의 디스플레이(180)에 제1 이미지(510)가 표시되는 것을 예시한다.5A illustrates that the rear camera 195b is activated and the first image 510 is displayed on the display 180 of the mobile terminal 100.
한편, 아이 트래킹(eye tracking) 모드인 경우, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)를 활성화시켜, 도면과 같은 제2 이미지(Img1)를 수신할 수 있다.Meanwhile, in the eye tracking mode, the processor 270 or the controller 170 in the terminal 100 may activate the front camera 195a to receive the second image Img1 as shown in the drawing. have.
도면에서의 제2 이미지(Img1)는, 사용자(USER)의 눈(eye)을 포함할 수 있다.The second image Img1 in the drawing may include an eye of a user.
단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 눈(eye)의 위치나 방향 등을 연산하고, 연산된 눈(eye)의 위치나 방향에 기초하여, 제1 이미지(510) 내에 사용자의 시선 영역이 어디에 위치하는 지 여부를 연산할 수 있다.The processor 270 or the controller 170 in the terminal 100 calculates the position or direction of the eye, and based on the calculated position or direction of the eye, within the first image 510 It is possible to calculate where the user's gaze area is located.
도면에서는, 제1 이미지(510) 내의 제1 위치(PT1)에 사용자의 시선이 위치하는 것을 예시한다.In the drawing, it is illustrated that the user's gaze is located at the first position PT1 in the first image 510.
도 5b는, 제1 이미지(510) 내의 제1 위치(PT1)를 포함하는 제1 영역(Ara)이 시선 영역인 것을 예시한다.FIG. 5B illustrates that the first area Ara including the first position PT1 in the first image 510 is a gaze area.
한편, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 제1 이미지(510) 내의 제1 영역(Ara)에 사용자의 시선이 위치하는 것으로 판단되면, 도 5c와 같이, 렌즈 장치(193) 내의 적어도 하나의 렌즈의 위치가 La에 위치하도록 제어할 수 있다. 이에 따라, 제1 영역(Ara)에 포커싱이 맞춰지게 된다.On the other hand, if the processor 270 or the control unit 170 in the terminal 100 determines that the user's gaze is located in the first area Ara in the first image 510, as shown in FIG. 5C, the lens device ( The position of at least one lens in 193) may be controlled to be located at La. Accordingly, focusing is aligned to the first area Ara.
따라서, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 도 5d와 같이, 제1 영역(Ara)에 포커싱이 맞춰진 제3 이미지(550)를, 간편하게 획득할 수 있게 된다. 따라서, 시선에 따라 간편하게 포커싱을 수행할 수 있게 된다.Accordingly, the processor 270 or the control unit 170 in the terminal 100 can easily acquire the third image 550 focused on the first area Ara, as shown in FIG. 5D. Therefore, it is possible to easily perform focusing according to the gaze.
한편, 프로세서(270) 또는 제어부(170)는, 검출된 영역이 포커싱된 제3 이미지를 출력할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱된 이미지를 제공할 수 있게 된다. Meanwhile, the processor 270 or the controller 170 may output a third image in which the detected area is focused. Accordingly, it is possible to easily provide a focused image according to the gaze.
한편, 후면 카메라(195b)는, 복수의 렌즈를 포함하는 렌즈 장치(193)를 구비하고, 프로세서(270) 또는 제어부(170)는, 검출된 영역에 대응하여, 렌즈 장치(193) 내의 적어도 하나의 렌즈의 위치가 이동하도록 제어할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱을 수행할 수 있게 된다.On the other hand, the rear camera 195b includes a lens device 193 including a plurality of lenses, and the processor 270 or the control unit 170 corresponds to the detected area, at least one in the lens device 193 The position of the lens can be controlled to move. Accordingly, focusing can be easily performed according to the gaze.
한편, 프로세서(270) 또는 제어부(170)는, 시선 영역의 이동시, 이동되는 시선 영역에 따라, 렌즈 장치(193) 내의 적어도 하나의 렌즈의 위치가 가변되도록 제어할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱 이동을 수행할 수 있게 된다.Meanwhile, the processor 270 or the controller 170 may control the position of at least one lens in the lens device 193 to be varied according to the moved gaze area when the gaze area is moved. Accordingly, it is possible to easily perform the focusing movement according to the gaze.
도 6a는 후면 카메라(195b)가 활성화되어, 이동 단말기(100)의 디스플레이(180)에 제1 이미지(510)가 표시되는 것을 예시한다.6A illustrates that the rear camera 195b is activated and the first image 510 is displayed on the display 180 of the mobile terminal 100.
한편, 아이 트래킹(eye tracking) 모드인 경우, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)를 활성화시켜, 도면과 같은 제2 이미지(Img2)를 수신할 수 있다.On the other hand, in the case of the eye tracking mode, the processor 270 or the control unit 170 in the terminal 100 may activate the front camera 195a to receive the second image Img2 as illustrated. have.
도면에서의 제2 이미지(Img2)는, 사용자(USER)의 눈(eye)을 포함할 수 있다.The second image Img2 in the drawing may include an eye of a user.
단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 눈(eye)의 위치나 방향 등을 연산하고, 연산된 눈(eye)의 위치나 방향에 기초하여, 제1 이미지(510) 내에 사용자의 시선 영역이 어디에 위치하는 지 여부를 연산할 수 있다.The processor 270 or the controller 170 in the terminal 100 calculates the position or direction of the eye, and based on the calculated position or direction of the eye, within the first image 510 It is possible to calculate where the user's gaze area is located.
도면에서는, 제1 이미지(510) 내의 제2 위치(PT2)에 사용자의 시선이 위치하는 것을 예시한다.In the drawing, it is illustrated that the user's gaze is located at the second position PT2 in the first image 510.
도 6b는, 제1 이미지(520) 내의 제2 위치(PT2)를 포함하는 제2 영역(Arb)이 시선 영역인 것을 예시한다.6B illustrates that the second area Arb including the second position PT2 in the first image 520 is the gaze area.
한편, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 제1 이미지(520) 내의 제2 영역(Arb)에 사용자의 시선이 위치하는 것으로 판단되면, 도 6c와 같이, 렌즈 장치(193) 내의 적어도 하나의 렌즈의 위치가 Lb에 위치하도록 제어할 수 있다. 이에 따라, 제2 영역(Arb)에 포커싱이 맞춰지게 된다.On the other hand, if the processor 270 or the control unit 170 in the terminal 100 determines that the user's gaze is located in the second area Arb in the first image 520, as shown in FIG. 6C, the lens device ( The position of at least one lens in 193) may be controlled to be located at Lb. Accordingly, focusing is aligned to the second region Arb.
따라서, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 도 6d와 같이, 제2 영역(Arb)에 포커싱이 맞춰진 제3 이미지(560)를, 간편하게 획득할 수 있게 된다. 따라서, 시선에 따라 간편하게 포커싱을 수행할 수 있게 된다.Accordingly, the processor 270 or the control unit 170 in the terminal 100 can easily acquire the third image 560 focused on the second area Arb, as shown in FIG. 6D. Therefore, it is possible to easily perform focusing according to the gaze.
도 7은 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 도시한 순서도이고 도 8a 내지 도 8d는 도 7의 동작 방법 설명에 참조되는 도면이다.7 is a flowchart illustrating an operation method of a terminal according to another embodiment of the present invention, and FIGS. 8A to 8D are diagrams referred to for describing the operation method of FIG. 7.
도면을 참조하면, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)가 활성화되는 지 여부를 판단하고(S710), 해당하는 경우, 후면 카메라(195b)가 활성화되도록 제어한다(S715). 이를 위해, 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)에 전원이 공급되도록 제어할 수 있다.Referring to the drawings, the processor 270 or the controller 170 in the terminal 100 determines whether the rear camera 195b is activated (S710), and, if applicable, the rear camera 195b is activated It is controlled (S715). To this end, the processor 270 or the control unit 170 may control power to be supplied to the rear camera 195b.
다음, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 자동 촬영 모드인지 여부를 판단하고(S717), 해당하는 경우, 전면 카메라(195a)가 온 되도록 제어한다(S725). 이를 위해, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)에 전원이 공급되도록 제어할 수 있다.Next, the processor 270 or the control unit 170 in the terminal 100 determines whether it is an automatic shooting mode (S717), and, if applicable, controls the front camera 195a to be turned on (S725). To this end, the processor 270 or the control unit 170 may control power to be supplied to the front camera 195a.
다음, 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)로부터 제1 이미지를 수신하고(S730), 전면 카메라(195a)로부터 제2 이미지를 수신한다(S735).Next, the processor 270 or the control unit 170 receives the first image from the rear camera 195b (S730), and receives the second image from the front camera 195a (S735).
다음, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)에서 획득된 제2 이미지에 기초하여 제1 이미지 내의 시선 영역을 검출한다(S740).Next, the processor 270 or the control unit 170 detects a gaze area in the first image based on the second image obtained from the front camera 195a (S740).
그리고, 프로세서(270) 또는 제어부(170)는, 검출된 시선 영역에 포커싱이 되도록 제어한다(S750).Then, the processor 270 or the control unit 170 controls to focus on the detected gaze area (S750).
다음, 프로세서(270) 또는 제어부(170)는, 검출된 시선 영역에 대응하는 피사체 정보를 획득한다(S746).Next, the processor 270 or the control unit 170 acquires object information corresponding to the detected gaze area (S746).
다음, 프로세서(270) 또는 제어부(170)는, 획득된 피사체 정보에 따라 촬영 모드를 설정한다(S748).Next, the processor 270 or the controller 170 sets a shooting mode according to the acquired subject information (S748).
다음, 프로세서(270) 또는 제어부(170)는, 시선 영역 포커싱된 상태에서 설정된 모드로 촬영을 수행한다(S750).Next, the processor 270 or the controller 170 performs photographing in a set mode while the gaze area is focused (S750).
도 8a는 후면 카메라(195b)가 활성화되어, 이동 단말기(100)의 디스플레이(180)에 제1 이미지(810)가 표시되는 것을 예시한다.8A illustrates that the rear camera 195b is activated and the first image 810 is displayed on the display 180 of the mobile terminal 100.
한편, 자동 촬영 모드인 경우, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)를 활성화시켜, 도 8b와 같은 제2 이미지(Img2)를 수신할 수 있다.Meanwhile, in the automatic shooting mode, the processor 270 or the control unit 170 in the terminal 100 may activate the front camera 195a to receive the second image Img2 as shown in FIG. 8B.
도 8b에서의 제2 이미지(Img2)는, 사용자(USER)의 눈(eye)을 포함할 수 있다.The second image Img2 in FIG. 8B may include an eye of a user.
단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 눈(eye)의 위치나 방향 등을 연산하고, 연산된 눈(eye)의 위치나 방향에 기초하여, 제1 이미지(520) 내에 사용자의 시선 영역이 어디에 위치하는 지 여부를 연산할 수 있다.The processor 270 or the controller 170 in the terminal 100 calculates the position or direction of the eye, and based on the calculated position or direction of the eye, within the first image 520 It is possible to calculate where the user's gaze area is located.
도면에서는, 제1 이미지(520) 내의 제2 위치(PT2)에 사용자의 시선이 위치하는 것을 예시한다.In the drawing, it is illustrated that the user's gaze is located at the second position PT2 in the first image 520.
도 8c는, 제1 이미지(520) 내의 제2 위치를 포함하는 제2 영역(Arb)이 시선 영역인 것을 예시한다.8C illustrates that the second area Arb including the second position in the first image 520 is the gaze area.
한편, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 제1 이미지(520) 내의 제2 영역(Arb)에 사용자의 시선이 위치하는 것으로 판단되면, 렌즈 장치(193) 내의 적어도 하나의 렌즈가 특정 위치에 위치하도록 제어할 수 있다. 이에 따라, 제2 영역(Arb)에 포커싱이 맞춰지게 된다.On the other hand, if it is determined that the user's gaze is located in the second area Arb in the first image 520, the processor 270 or the control unit 170 in the terminal 100, at least one in the lens device 193 It can be controlled so that the lens is located at a specific position. Accordingly, focusing is aligned to the second region Arb.
따라서, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 도 8d와 같이, 제2 영역(Arb)에 포커싱이 맞춰진 제3 이미지(560)를, 간편하게 획득할 수 있게 된다. 따라서, 시선에 따라 간편하게 포커싱을 수행할 수 있게 된다.Accordingly, the processor 270 or the control unit 170 in the terminal 100 can easily acquire the third image 560 focused on the second area Arb, as shown in FIG. 8D. Therefore, it is possible to easily perform focusing according to the gaze.
한편, 프로세서(270) 또는 제어부(170)는, 검출된 영역이 포커싱된 제3 이미지를 출력할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱된 이미지를 제공할 수 있게 된다. Meanwhile, the processor 270 or the controller 170 may output a third image in which the detected area is focused. Accordingly, it is possible to easily provide a focused image according to the gaze.
한편, 센서부(230)는 전면 카메라(195a) 또는 후면 카메라(195b)의 위치 또는 이동을 센싱하고, 프로세서(270) 또는 제어부(170)는, 센서부(230)로부터의 위치 정보 또는 이동 정보에 기초하여, 시선 영역에 위치하는 피사체 정보를 획득하고, 획득된 피사체 정보에 기초하여, 촬영 모드를 자동으로 설정하며, 설정된 촬영 모드에 따라, 검출된 영역이 포커싱된 제4 이미지를 출력할 수 있다. 이에 따라, 시선에 따라 간편하게 포커싱 및 촬영 모드 자동 설정을 수행할 수 있게 된다.Meanwhile, the sensor unit 230 senses the position or movement of the front camera 195a or the rear camera 195b, and the processor 270 or the control unit 170 detects the position information or movement information from the sensor unit 230. Based on the, subject information located in the gaze area is acquired, based on the acquired subject information, a shooting mode is automatically set, and a fourth image in which the detected area is focused can be output according to the set shooting mode. have. Accordingly, it is possible to easily perform focusing and automatic setting of the shooting mode according to the gaze.
한편, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)로부터 제2 이미지에 기초하여, 주변 환경 정보를 연산하고, 연산된 주변 환경 정보에 기초하여, 자동 노출, 자동 화이트 밸런스 설정이 수행되도록 제어할 수 있다. 이에 따라, 전면 카메라(195a)에 기초하여 간편하게, 촬영 설정을 수행할 수 있게 된다.Meanwhile, the processor 270 or the control unit 170 calculates surrounding environment information based on the second image from the front camera 195a, and based on the calculated ambient environment information, automatic exposure and automatic white balance setting are performed. It can be controlled to be performed. Accordingly, it is possible to conveniently perform shooting settings based on the front camera 195a.
한편, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)로부터 제2 이미지 내의 밝기 정보와 색상 정보에 기초하여, 주변 환경 정보를 연산할 수 있다. 이에 따라, 전면 카메라(195a)에 기초하여 간편하게, 주변 환경 정보를 연산할 수 있게 된다.Meanwhile, the processor 270 or the control unit 170 may calculate surrounding environment information from the front camera 195a based on brightness information and color information in the second image. Accordingly, it is possible to easily calculate the surrounding environment information based on the front camera 195a.
한편, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)로부터 제2 이미지에 기초하여, 사용자의 감정 분석 및 심박수 변화를 감지하고, 사용자 감정 및 심박수 변화에 기초하여, 출력되는 이미지의 화질을 설정할 수 있다. 이에 따라, 전면 카메라(195a)에 기초하여 간편하게, 화질 설정을 수행할 수 있게 된다.On the other hand, the processor 270 or the controller 170, based on the second image from the front camera 195a, detects a user's emotion analysis and heart rate change, and based on the user's emotion and heart rate change, outputs the image You can set the image quality. Accordingly, it is possible to easily and easily set the image quality based on the front camera 195a.
한편, 프로세서(270) 또는 제어부(170)는, 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력하도록 제어하며, 복수의 모드 이미지 중 선택된 이미지에 따라, 화질 설정을 수행할 수 있다. 이에 따라, 간편하게, 화질 설정을 수행할 수 있게 된다.Meanwhile, the processor 270 or the controller 170 controls to output a plurality of mode images processed according to a plurality of modes based on the first image, and performs image quality setting according to a selected image among the plurality of mode images can do. Accordingly, it is possible to easily and easily set the image quality.
한편, 프로세서(270) 또는 제어부(170)는, 전문가 모드를 이용하여 촬영한 화질 설정 또는 자동 모드에서 선택한 화질 설정을 이용하여, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다. 이에 따라, 간편하게, 사용자 설정 화질 설정값을 업데이트할 수 있게 된다.Meanwhile, the processor 270 or the control unit 170 may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode. Accordingly, it is possible to conveniently update the user-defined image quality settings.
한편, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)로부터 획득된 제2 이미지에 기초하여, 사용자 별로, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다. 이에 따라, 간편하게, 사용자 별로, 화질 설정값을 업데이트할 수 있게 된다.Meanwhile, the processor 270 or the control unit 170 may control the user set image quality setting value to be updated for each user based on the second image obtained from the front camera 195a. Accordingly, it is easy to update the quality setting value for each user.
도 9는 본 발명의 또 다른 실시예에 따른 단말기의 동작 방법을 도시한 순서도이다고, 도 10a 내지 도 10c는 도 9의 동작 방법 설명에 참조되는 도면이다.9 is a flowchart illustrating an operation method of a terminal according to another embodiment of the present invention, and FIGS. 10A to 10C are diagrams referred to for describing the operation method of FIG. 9.
도면을 참조하면, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)가 활성화되는 지 여부를 판단하고(S910), 해당하는 경우, 후면 카메라(195b)가 활성화되도록 제어한다(S915). 이를 위해, 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)에 전원이 공급되도록 제어할 수 있다.Referring to the drawings, the processor 270 or the controller 170 in the terminal 100 determines whether the rear camera 195b is activated (S910), and, if applicable, the rear camera 195b is activated. It is controlled (S915). To this end, the processor 270 or the control unit 170 may control power to be supplied to the rear camera 195b.
다음, 프로세서(270) 또는 제어부(170)는, 후면 카메라(195b)로부터 제1 이미지를 수신한다(S930).Next, the processor 270 or the control unit 170 receives the first image from the rear camera 195b (S930).
다음, 프로세서(270) 또는 제어부(170)는, 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력할 수 있다(S933).Next, the processor 270 or the controller 170 may output a plurality of mode images processed according to a plurality of modes based on the first image (S933).
그리고, 프로세서(270) 또는 제어부(170)는, 선택된 모드 이미지에 따른 화질 설정을 수행할 수 있다(S936).Then, the processor 270 or the controller 170 may perform image quality setting according to the selected mode image (S936).
도 10a는 후면 카메라(195b)가 활성화되어, 이동 단말기(100)의 디스플레이(180)에 제1 이미지(810)가 표시되는 것을 예시한다.10A illustrates that the rear camera 195b is activated and the first image 810 is displayed on the display 180 of the mobile terminal 100.
한편, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 제1 이미지(810) 이후, 복수의 모드 중 어느 한 모드의 설정을 위해, 도 10b와 같이, 복수의 모드 이미지(Imga,Imgb,Imgc)를 생성하여 출력할 수 있다.On the other hand, the processor 270 or the control unit 170 in the terminal 100, after the first image 810, for the setting of any one of a plurality of modes, as shown in Figure 10b, a plurality of mode images (Imga, Imgb, Imgc) can be generated and output.
여기서, 복수의 모드 이미지(Imga,Imgb,Imgc)는, 밝기, 색, 선명도 중 적어도 하나가 다른 이미지일 수 있다.Here, the plurality of mode images (Imga, Imgb, Imgc) may be at least one of brightness, color, and sharpness different images.
한편, 도 10b와 같이, 복수의 모드 이미지(Imga,Imgb,Imgc)가 디스플레이(180)에 표시된 상태에서, 사용자의 손가락(FNG) 터치 입력에 의해, 제1 모드 이미지(IMga)가 선택되는 경우, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 제1 모드 이미지(IMga)에 대응하는 화질 설정이 수행되도록 제어할 수 있다.Meanwhile, as illustrated in FIG. 10B, when a plurality of mode images Imga, Imgb, and Imgc are displayed on the display 180, a first mode image IMga is selected by a user's finger (FNG) touch input The processor 270 or the control unit 170 in the terminal 100 may control the image quality setting corresponding to the first mode image IMga to be performed.
이에 따라, 단말기(100) 내의 프로세서(270) 또는 제어부(170)는, 도 10c와 같이, 제1 모드 화질 설정 메시지(1020)를 출력하도록 제어하고, 그 이후, 제1 모드 화질 설정에 따라 신호 처리되어 생성된 이미지가, 디스플레이(180)에 표시되도록 제어할 수 있다. 이에 따라, 간편하게, 사용자가 원하는 화질 설정을 수행할 수 있게 된다.Accordingly, the processor 270 or the control unit 170 in the terminal 100 controls to output the first mode image quality setting message 1020, as shown in FIG. 10C, and thereafter, signals according to the first mode image quality setting. The processed and generated image may be controlled to be displayed on the display 180. Accordingly, it is possible to conveniently set the image quality desired by the user.
한편, 프로세서(270) 또는 제어부(170)는, 전문가 모드를 이용하여 촬영한 화질 설정 또는 자동 모드에서 선택한 화질 설정을 이용하여, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다. 이에 따라, 간편하게, 사용자 설정 화질 설정값을 업데이트할 수 있게 된다.Meanwhile, the processor 270 or the control unit 170 may control the user-defined image quality setting value to be updated using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode. Accordingly, it is possible to conveniently update the user-defined image quality settings.
한편, 프로세서(270) 또는 제어부(170)는, 전면 카메라(195a)로부터 획득된 제2 이미지에 기초하여, 사용자 별로, 사용자 설정 화질 설정값이 업데이트되도록 제어할 수 있다. 이에 따라, 간편하게, 사용자 별로, 화질 설정값을 업데이트할 수 있게 된다.Meanwhile, the processor 270 or the control unit 170 may control the user set image quality setting value to be updated for each user based on the second image obtained from the front camera 195a. Accordingly, it is easy to update the quality setting value for each user.
한편, 도 4 내지 도 10c에서 설명한 카메라 장치(195)는, 도 2의 이동 단말기(100), 차량, TV, 드론, 로봇, 로봇 청소기, 출입문 등 다양한 전자 기기에 채용 가능하다. Meanwhile, the camera device 195 illustrated in FIGS. 4 to 10C may be employed in various electronic devices such as the mobile terminal 100 of FIG. 2, a vehicle, a TV, a drone, a robot, a robot cleaner, and a door.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.
Claims (15)
- 전면 카메라;Front camera;후면 카메라;Rear camera;상기 후면 카메라로부터 제1 이미지를 수신하고, 상기 전면 카메라로부터 제2 이미지를 수신하며, 상기 제2 이미지에 기초하여, 상기 제1 이미지 내의 시선 영역을 검출하고, 상기 검출된 영역이 포커싱되도록 제어하는 프로세서;를 포함하는 것을 특징으로 하는 단말기.A first image is received from the rear camera, a second image is received from the front camera, and a gaze region in the first image is detected based on the second image, and the detected region is controlled to be focused. A terminal comprising a processor ;.
- 제1항에 있어서,According to claim 1,상기 프로세서는,The processor,상기 검출된 영역이 포커싱된 제3 이미지를 출력하는 것을 특징으로 하는 단말기.The terminal, characterized in that for outputting a third image in which the detected area is focused.
- 제1항에 있어서,According to claim 1,상기 후면 카메라는,The rear camera,복수의 렌즈를 포함하는 렌즈 장치;를 구비하고,And a lens device including a plurality of lenses;상기 프로세서는,The processor,상기 검출된 영역에 대응하여, 상기 렌즈 장치 내의 적어도 하나의 렌즈의 위치가 이동하도록 제어하는 것을 특징으로 하는 단말기.In response to the detected area, the terminal characterized in that to control the position of at least one lens in the lens device to move.
- 제3항에 있어서,According to claim 3,상기 프로세서는,The processor,시선 영역의 이동시, 이동되는 시선 영역에 따라, 상기 렌즈 장치 내의 적어도 하나의 렌즈의 위치가 가변되도록 제어하는 것을 특징으로 하는 단말기.When the gaze region is moved, the terminal characterized in that the position of the at least one lens in the lens device is controlled to vary according to the gaze region to be moved.
- 제1항에 있어서,According to claim 1,상기 프로세서는,The processor,상기 후면 카메라가 활성화된 상태에서, 아이 트래킹(eye tracking) 모드인 경우, 상기 전면 카메라가 온 되도록 제어하며, 상기 전면 카메라로부터 상기 제2 이미지를 수신하는 것을 특징으로 하는 단말기.In the state in which the rear camera is activated, in the case of eye tracking mode, the terminal controls the front camera to be turned on, and receives the second image from the front camera.
- 제1항에 있어서,According to claim 1,상기 전면 카메라 또는 상기 후면 카메라의 위치 또는 이동을 센싱하는 센서부;를 더 포함하고,Further comprising; a sensor unit for sensing the position or movement of the front camera or the rear camera,상기 프로세서는,The processor,상기 센서부로부터의 위치 정보 또는 이동 정보에 기초하여, 상기 시선 영역에 위치하는 피사체 정보를 획득하고,Based on the location information or the movement information from the sensor unit, acquires the subject information located in the gaze area,상기 획득된 피사체 정보에 기초하여, 촬영 모드를 자동으로 설정하며,Based on the acquired subject information, the shooting mode is automatically set,상기 설정된 촬영 모드에 따라, 상기 검출된 영역이 포커싱된 제4 이미지를 출력하는 것을 특징으로 하는 단말기.According to the set shooting mode, the terminal characterized in that the outputting the fourth image focused on the detected area.
- 제1항에 있어서,According to claim 1,상기 프로세서는,The processor,상기 전면 카메라로부터 제2 이미지에 기초하여, 주변 환경 정보를 연산하고, 상기 연산된 주변 환경 정보에 기초하여, 자동 노출, 자동 화이트 밸런스 설정이 수행되도록 제어하는 것을 특징으로 하는 단말기.A terminal characterized in that, based on the second image from the front camera, calculates surrounding environment information, and controls to perform automatic exposure and automatic white balance setting based on the calculated surrounding environment information.
- 제7항에 있어서,The method of claim 7,상기 프로세서는,The processor,상기 전면 카메라로부터 제2 이미지 내의 밝기 정보와 색상 정보에 기초하여, 상기 주변 환경 정보를 연산하는 것을 특징으로 하는 단말기.A terminal characterized by calculating the surrounding environment information based on brightness information and color information in a second image from the front camera.
- 제1항에 있어서,According to claim 1,상기 프로세서는,The processor,상기 전면 카메라로부터 제2 이미지에 기초하여, 사용자의 감정 분석 및 심박수 변화를 감지하고, 사용자 감정 및 심박수 변화에 기초하여, 출력되는 이미지의 화질을 설정하는 것을 특징으로 하는 단말기.A terminal based on a second image from the front camera, detecting a user's emotion analysis and heart rate change, and setting an image quality of the output image based on the user's emotion and heart rate change.
- 제1항에 있어서,According to claim 1,상기 프로세서는,The processor,상기 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력하도록 제어하며,Control to output a plurality of mode images processed according to a plurality of modes based on the first image,상기 복수의 모드 이미지 중 선택된 이미지에 따라, 화질 설정을 수행하는 것을 특징으로 하는 단말기.A terminal characterized in that image quality setting is performed according to a selected image among the plurality of mode images.
- 제10항에 있어서,The method of claim 10,상기 복수의 모드 이미지는, The plurality of mode images,밝기, 색, 선명도 중 적어도 하나가 다른 이미지를 포함하는 것을 특징으로 하는 단말기.A terminal characterized in that at least one of brightness, color, and sharpness includes different images.
- 제1항에 있어서,According to claim 1,상기 프로세서는,The processor,전문가 모드를 이용하여 촬영한 화질 설정 또는 자동 모드에서 선택한 화질 설정을 이용하여, 사용자 설정 화질 설정값이 업데이트되도록 제어하는 것을 특징으로 하는 단말기.A terminal characterized in that the user-defined image quality setting value is controlled to be updated by using the image quality setting photographed using the expert mode or the image quality setting selected in the automatic mode.
- 제12항에 있어서,The method of claim 12,상기 프로세서는,The processor,상기 전면 카메라로부터 획득된 제2 이미지에 기초하여, 사용자 별로, 상기 사용자 설정 화질 설정값이 업데이트되도록 제어하는 것을 특징으로 하는 단말기.Based on the second image obtained from the front camera, a terminal characterized in that for each user, the user-defined image quality setting value is controlled to be updated.
- 전면 카메라;Front camera;후면 카메라;Rear camera;상기 후면 카메라로부터 제1 이미지를 수신하고, 상기 전면 카메라로부터 제2 이미지를 수신하며, 상기 제2 이미지에 기초하여, 상기 제1 이미지 내의 시선 영역을 검출하고, 상기 검출된 영역에 대응하는 피사체 정보를 획득하며, 상기 획득된 피사체 정보에 기초하여, 촬영 모드를 자동으로 설정하며, 상기 설정된 촬영 모드에 따라, 상기 검출된 영역이 포커싱된 제3 이미지를 출력하는 프로세서;를 포함하는 것을 특징으로 하는 단말기.A first image is received from the rear camera, a second image is received from the front camera, and a gaze region in the first image is detected based on the second image, and subject information corresponding to the detected region And a processor configured to automatically set a shooting mode based on the acquired subject information, and output a third image in which the detected area is focused according to the set shooting mode. terminal.
- 전면 카메라;Front camera;후면 카메라;Rear camera;상기 후면 카메라로부터 제1 이미지를 수신하고, 상기 전면 카메라로부터 제2 이미지를 수신하며, 상기 제1 이미지에 기초하여 복수의 모드에 따라 처리된 복수의 모드 이미지를 출력하도록 제어하며, 상기 복수의 모드 이미지 중 선택된 이미지에 따라, 화질 설정을 수행하는 프로세서;를 포함하는 것을 특징으로 하는 단말기.A first image is received from the rear camera, a second image is received from the front camera, and a plurality of mode images processed according to a plurality of modes are controlled based on the first image, and the plurality of modes are controlled. A terminal comprising: a processor for performing image quality setting according to a selected image among images.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180133675A KR20200050714A (en) | 2018-11-02 | 2018-11-02 | Terminal |
KR10-2018-0133675 | 2018-11-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020091156A1 true WO2020091156A1 (en) | 2020-05-07 |
Family
ID=70462113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2019/003322 WO2020091156A1 (en) | 2018-11-02 | 2019-03-21 | Terminal |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20200050714A (en) |
WO (1) | WO2020091156A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030052978A1 (en) * | 2001-06-25 | 2003-03-20 | Nasser Kehtarnavaz | Automatic white balancing via illuminant scoring autoexposure by neural network mapping |
KR20040022352A (en) * | 2002-09-05 | 2004-03-12 | 삼성전자주식회사 | Porterble Electronic Equipment capable of performing an adjustment mode more easily |
JP2012120206A (en) * | 2012-01-12 | 2012-06-21 | Sony Corp | Information processor, imaging control method, and program |
US20140204029A1 (en) * | 2013-01-21 | 2014-07-24 | The Eye Tribe Aps | Systems and methods of eye tracking control |
KR20160017463A (en) * | 2014-08-06 | 2016-02-16 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
-
2018
- 2018-11-02 KR KR1020180133675A patent/KR20200050714A/en unknown
-
2019
- 2019-03-21 WO PCT/KR2019/003322 patent/WO2020091156A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030052978A1 (en) * | 2001-06-25 | 2003-03-20 | Nasser Kehtarnavaz | Automatic white balancing via illuminant scoring autoexposure by neural network mapping |
KR20040022352A (en) * | 2002-09-05 | 2004-03-12 | 삼성전자주식회사 | Porterble Electronic Equipment capable of performing an adjustment mode more easily |
JP2012120206A (en) * | 2012-01-12 | 2012-06-21 | Sony Corp | Information processor, imaging control method, and program |
US20140204029A1 (en) * | 2013-01-21 | 2014-07-24 | The Eye Tribe Aps | Systems and methods of eye tracking control |
KR20160017463A (en) * | 2014-08-06 | 2016-02-16 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
KR20200050714A (en) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016208797A1 (en) | Headset and method for controlling same | |
WO2018159864A1 (en) | Mobile terminal and control method for mobile terminal | |
WO2016167437A1 (en) | Mobile terminal | |
WO2016175424A1 (en) | Mobile terminal and method for controlling same | |
WO2015174611A1 (en) | Mobile terminal and control method therefor | |
WO2020004685A1 (en) | Mobile terminal | |
WO2016182090A1 (en) | Glasses-type terminal and control method therefor | |
WO2022080612A1 (en) | Portable audio device | |
WO2017090833A1 (en) | Photographing device and method of controlling the same | |
WO2020059925A1 (en) | Mobile terminal | |
WO2021070982A1 (en) | Electronic device for sharing content and control method therefor | |
WO2016024707A1 (en) | Mobile terminal and control method therefor | |
WO2016195144A1 (en) | Camera module and mobile terminal having same | |
WO2022014734A1 (en) | Terminal for controlling wireless sound device, and method therefor | |
WO2021107200A1 (en) | Mobile terminal and mobile terminal control method | |
WO2018131747A1 (en) | Mobile terminal and control method thereof | |
WO2019022492A1 (en) | Camera, and image display apparatus including the same | |
WO2017126736A1 (en) | Mobile terminal | |
WO2019177217A1 (en) | Optical device and mobile terminal | |
WO2020013363A1 (en) | Mobile terminal and control method thereof | |
WO2020091156A1 (en) | Terminal | |
WO2022065827A1 (en) | Image capturing method using wireless communication and electronic device supporting same | |
WO2019225980A1 (en) | Diaphragm device, camera and terminal having same | |
WO2019035504A1 (en) | Mobile terminal and control method thereof | |
WO2021167116A1 (en) | Camera device and electronic device comprising same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19878786 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19878786 Country of ref document: EP Kind code of ref document: A1 |