WO2022220444A1 - Scanning method during photographing with camera and electronic apparatus therefor - Google Patents

Scanning method during photographing with camera and electronic apparatus therefor Download PDF

Info

Publication number
WO2022220444A1
WO2022220444A1 PCT/KR2022/004334 KR2022004334W WO2022220444A1 WO 2022220444 A1 WO2022220444 A1 WO 2022220444A1 KR 2022004334 W KR2022004334 W KR 2022004334W WO 2022220444 A1 WO2022220444 A1 WO 2022220444A1
Authority
WO
WIPO (PCT)
Prior art keywords
reflector
image
electronic device
image frame
processor
Prior art date
Application number
PCT/KR2022/004334
Other languages
French (fr)
Korean (ko)
Inventor
김용관
허민
곽호근
양경동
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022220444A1 publication Critical patent/WO2022220444A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/191—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a one-dimensional array, or a combination of one-dimensional arrays, or a substantially one-dimensional array, e.g. an array of staggered elements
    • H04N1/192—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line
    • H04N1/193—Simultaneously or substantially simultaneously scanning picture elements on one main scanning line using electrically scanned linear arrays, e.g. linear CCD arrays
    • H04N1/1935—Optical means for mapping the whole or part of a scanned line onto the array
    • H04N1/1937—Optical means for mapping the whole or part of a scanned line onto the array using a reflecting element, e.g. a mirror or a prism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Definitions

  • Embodiments disclosed in this document relate to a method of scanning when photographing by a camera and an electronic device thereof.
  • An electronic device such as a smart phone may include a camera module in which the digital camera is miniaturized.
  • a camera module mounted in an electronic device such as a smart phone is miniaturized in order to satisfy the user's needs.
  • a periscope camera may be employed.
  • a periscope-type camera may include a reflector, such as a prism, capable of redirecting light.
  • the electronic device may perform object tracking (eg, a scan function) through a camera module.
  • object tracking eg, a scan function
  • lens shading characteristics may be deteriorated, such as taking pictures with different brightness for each image position even under a uniform subject and lighting conditions without a change in contrast.
  • the electronic device may perform lens shading correction (LSC) on the image so that the image acquired by the camera module has uniform brightness.
  • LSC lens shading correction
  • the movement range of the prism included in the camera module is limited in the pitch direction and the yaw direction, it is difficult to provide a scan function using the camera module. And one image was obtained by photographing the light source only at a fixed position of the prism, and one shading correction value was extracted from this image and applied.
  • the scan function is being used by actively rotating the prism. When the prism needs to move in a wide range (eg, about 20 ⁇ to 25 ⁇ ) through the scan function, it is difficult to accurately correct lens shading if one shading correction value is applied to images acquired at various positions of the prism. . Accordingly, there is a need for a technique for effectively correcting a change in shading characteristics by accurately detecting an optical change in real time.
  • Various embodiments of the present disclosure provide an electronic device that performs lens shading correction according to a position of a prism that is changed while performing a scan function by presetting lens shading correction values corresponding to various positions of a prism and control of the electronic device method can be provided.
  • An electronic device includes at least one lens, a reflector for changing a field of view (FOV) by adjusting incident light within a first range based on a central axis of the at least one lens; and a camera module including at least one Hall sensor for checking the location information of the reflector, and a non-volatile memory for storing hall data corresponding to the location information.
  • the electronic device may include at least one processor operatively connected to the camera module.
  • the at least one processor of the electronic device obtains data for correcting lens shading according to the position of the reflector from the non-volatile memory, drives the camera module to obtain a first image frame, and the at least one hole identify a first position of the reflector corresponding to the first image frame through a sensor, and in response to identifying the first position, the first position based on the first position and the acquired data Lens shading correction may be performed on the image frame.
  • An operating method of an electronic device includes an operation of acquiring data for correcting lens shading according to a position of a reflector from a nonvolatile memory, an operation of driving a camera module to acquire a first image frame, and at least one hole identifying a first position of the reflector corresponding to the first image frame through a sensor, and in response to identifying the first position, the first image based on the first position and the acquired data It may include an operation of performing lens shading correction on the frame.
  • a shading correction value suitable for the position of the prism may be applied.
  • the brightness of the image may be uniform.
  • the shading correction value may be stored in the non-volatile memory of the camera module and applied to various electronic devices employing the corresponding camera module.
  • FIG 1 illustrates an electronic device according to an embodiment.
  • FIG. 2 shows a camera module according to an embodiment.
  • FIG 3 is an exploded perspective view of a camera module according to an embodiment.
  • FIG 4 is an exemplary view viewed from a bottom view and an exemplary view viewed from a side view of the camera module according to an embodiment.
  • FIG. 5 is a flowchart illustrating a process of performing lens shading correction according to a position of a prism in an electronic device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a process of setting a camera module according to an embodiment through a camera module process.
  • FIG. 7 is a flowchart illustrating a process of generating a lookup table for lens shading correction in an electronic device according to an exemplary embodiment.
  • FIG. 8 is a graph illustrating a brightness distribution for each image area when a light source image is captured by the electronic device according to an exemplary embodiment.
  • FIG 9 illustrates images taken for each position of a prism within a scannable range of an electronic device according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating a brightness distribution for each area of a photographed image when an image is photographed according to various positions of a prism in an electronic device according to an exemplary embodiment.
  • 11 is a graph illustrating a result of performing correction by applying one lens shading correction value to images captured according to various positions of a prism in an electronic device according to an embodiment.
  • FIG. 12 is a graph illustrating brightness values of images captured according to various positions of a prism in an electronic device according to an embodiment.
  • FIG. 13 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 14 is a block diagram illustrating a camera module according to various embodiments.
  • FIG. 1 illustrates a structure of an electronic device 100 and a camera module 180 according to an embodiment.
  • FIG. 1 is a view of an electronic device 100 (eg, the electronic device 1301 of FIG. 13 ) mounted with a camera module 180 (eg, the camera module 1380 of FIG. 13 ) according to an embodiment, and a camera module; (180) is a diagram schematically showing.
  • a camera module 180 eg, the camera module 1380 of FIG. 13
  • FIG. 1 has been illustrated and described on the premise of a mobile device, in particular, a smart phone, it will be appreciated by those skilled in the art that it can be applied to various electronic devices or electronic devices equipped with a camera among mobile devices. will be clearly understood.
  • a display 110 (eg, the display module 1360 of FIG. 13 ) may be disposed on the front surface of the electronic device 100 according to an embodiment.
  • the display 110 may occupy most of the front surface of the electronic device 100 .
  • a display 110 and a bezel 190 region surrounding at least some edges of the display 110 may be disposed on the front surface of the electronic device 100 .
  • the display 110 may include a flat area and a curved area extending from the flat area toward the side of the electronic device 100 .
  • the electronic device 100 illustrated in FIG. 1 is an example, and various embodiments are possible.
  • the display 110 of the electronic device 100 may include only a flat area without a curved area, or may include a curved area only at one edge instead of both sides.
  • the curved area may extend toward the rear surface of the electronic device, so that the electronic device 100 may include an additional planar area.
  • the electronic device 100 may additionally include a speaker, a receiver, a front camera, a proximity sensor, or a home key.
  • the electronic device 100 may be provided in which the rear cover 150 is integrated with the main body of the electronic device.
  • the rear cover 150 may be separated from the main body of the electronic device 100 to have a form in which the battery can be replaced.
  • the back cover 150 may be referred to as a battery cover or a back cover.
  • a fingerprint sensor 171 for recognizing a user's fingerprint may be included in one area 170 of the display 110 . Since the fingerprint sensor 171 is disposed on a layer below the display 110 , the fingerprint sensor 171 may not be recognized by the user or may be difficult to recognize.
  • a sensor for additional user/biometric authentication in addition to the fingerprint sensor 171 may be disposed in a portion of the display 110 .
  • a sensor for user/biometric authentication may be disposed on an area of the bezel 190 . For example, the IR sensor for iris authentication may be exposed through one area of the display 110 or exposed through one area of the bezel 190 .
  • the front camera 161 may be disposed in one area 160 of the front of the electronic device 100 .
  • the front camera 161 is shown to be exposed through one area of the display 110 , but in another embodiment, the front camera 161 may be exposed through the bezel 190 .
  • the electronic device 100 may include one or more front cameras 161 .
  • the electronic device 100 may include two front cameras, such as a first front camera and a second front camera.
  • the first front camera and the second front camera may be cameras of the same type having the same specifications (eg, pixels), but the first front camera and the second front camera may be implemented as cameras of different specifications.
  • the electronic device 100 may support a function related to a dual camera (eg, 3D imaging, auto focus, etc.) through two front cameras. The above-mentioned description of the front camera may be equally or similarly applied to the rear camera of the electronic device 100 .
  • the front camera 161 may be disposed on the rear surface (eg, the side facing the -z direction) of the one region 160 of the display 110 to face the one region 160 .
  • the front camera 161 may not be visually exposed to the one area 160 , and may include a hidden under display camera (UDC).
  • UDC hidden under display camera
  • an area 160 of the display 110 that at least partially faces the front camera 161 is a part of an area for displaying content, and may be formed as a transmissive area having a specified transmittance.
  • the transmissive region may be formed to have a transmittance in a range of about 5% to about 20%.
  • the transmissive area is formed by an image sensor (eg, the image sensor 1330 of FIG. 13 ) and an effective area of the front camera 161 (eg, the field of view (FOV), through which light for generating an image passes; field of view)) and overlapping areas may be included.
  • the transmissive area of the display 110 may include an area having a lower pixel density and/or wiring density than the surrounding area.
  • various hardware or sensors 163 to assist photographing such as a flash, may be additionally disposed.
  • a distance sensor eg, TOF sensor
  • the distance sensor may be applied to both a front camera and/or a rear camera.
  • the distance sensor may be separately disposed or included and disposed on the front camera and/or the rear camera.
  • At least one physical key may be disposed on a side portion of the electronic device 100 .
  • the first function key 151 for turning on/off the display 110 or turning on/off the power of the electronic device 100 may be disposed on the right edge with respect to the front of the electronic device 100 .
  • the second function key 152 for controlling the volume or screen brightness of the electronic device 100 may be disposed on the left edge with respect to the front surface of the electronic device 100 .
  • additional buttons or keys may be disposed on the front or rear of the electronic device 100 .
  • a physical button or a touch button mapped to a specific function may be disposed in a lower region of the front bezel 190 .
  • an electronic device 100 includes at least one camera module, a flash, and sensors such as a distance sensor on a rear surface (eg, a surface facing the +z direction) of the electronic device 100 .
  • the camera module 180 includes a lens assembly 182 (eg, the lens assembly 1410 of FIG. 14 ), an AF/OIS carrier assembly 183 , an infrared cut filter 184 , and an image sensor ( 185) (eg, the image sensor 1430 of FIG. 14 ) and an image signal processor (ISP) 187 (eg, the image signal processor 1460 of FIG. 14 ).
  • the lens assembly 182 , the AF/OIS carrier assembly 183 , and the image sensor 185 are not disposed parallel to the direction of light incident to the electronic device 100 , but the electronic device 100 . It may be disposed to be substantially perpendicular to the direction of the light incident to the . For example, the thickness of the electronic device 100 may be reduced by disposing it to be substantially perpendicular to a direction 101 (eg, a -z direction) of light incident on the electronic device 100 .
  • the prism 181 included in the camera module 180 serves as a reflector and changes the direction 101 of the incident light to the direction 102 to be reflected, so that the lens assembly 182 and the AF/OIS carrier assembly 183 are included.
  • the prism 181 may reflect light incident in the -z direction to change the direction of the light to the +x direction. Due to this structural characteristic, the electronic device 100 may perform shake correction by controlling the movement of the prism 181 .
  • the prism 181 may be replaced with a mirror.
  • the lens assembly 182 may have different numbers, arrangements, and/or types of lenses depending on the front camera and the rear camera.
  • the front camera and the rear camera may have different characteristics (eg, focal length, maximum magnification, etc.).
  • the lens may move forward and backward along the optical axis, and may operate to change a focal length so that a target object, which is a subject, can be clearly captured.
  • the camera module 180 includes a lens assembly 182 for mounting at least one or more lenses aligned on an optical axis and at least one coil that at least partially surrounds the periphery of the lens assembly 182 about the optical axis. It may include an AF / OIS carrier assembly 183 for mounting the.
  • the infrared cut filter 184 may be disposed on the upper surface (eg, -x direction) of the image sensor 185 .
  • the image of the subject passing through the lens may be partially filtered by the infrared cut filter 184 and then detected by the image sensor 185 .
  • the image sensor 185 may be a complementary metal oxide semiconductor (CMOS) sensor or a charged coupled device (CCD) sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charged coupled device
  • a plurality of individual pixels are integrated in the image sensor 185 , and each individual pixel may include a micro lens, a color filter, and a photodiode.
  • Each individual pixel is a kind of photodetector that can convert incoming light into an electrical signal. Photodetectors generally cannot detect the wavelength of the captured light by themselves and cannot determine color information.
  • the photodetector may include a photodiode.
  • the image sensor 185 may be electrically connected to the image signal processor 187 connected to the printed circuit board 188 by a connector 186 .
  • a flexible printed circuit board (FPCB) or a cable may be used as the connector 186 .
  • the light information of the subject incident through the lens assembly 182 may be converted into an electrical signal by the image sensor 185 and input to the image signal processor 187 .
  • the image signal processor 187 may be disposed independently of the processor 120 in the electronic device 100 or may be driven as a part of the processor 120 .
  • the camera module 180 may be disposed on the front side as well as the rear side of the electronic device 100 .
  • the electronic device 100 may include a plurality of camera modules 180 as well as one camera module 180 to improve camera performance.
  • the electronic device 100 may further include a front camera 161 for video call or self-camera photography.
  • the front camera 161 may support a relatively low number of pixels compared to the rear camera module.
  • the front camera may be relatively smaller than the rear camera module.
  • the electronic device 100 illustrated in FIG. 1 corresponds to one example, and the form of the device to which the technical idea disclosed in this document is applied is not limited.
  • the technical idea disclosed in this document is applicable to various user devices including a first camera module facing a first direction and a second camera module facing a direction different from the first direction.
  • the technical idea disclosed in this document may be applied to a foldable electronic device that can be folded in a horizontal direction or a foldable electronic device in a vertical direction, a tablet, or a notebook computer.
  • the present technical idea can be applied even when it is possible to arrange the first camera module and the second camera module facing the same direction to face different directions through rotation, folding, deformation, etc. of the device.
  • the illustrated electronic device 100 of the illustrated example has a bar-type or plate-type appearance
  • various embodiments of the present disclosure are not limited thereto.
  • the illustrated electronic device may be a part of a rollable electronic device.
  • a rollable electronic device is an electronic device capable of bending and deforming the display 110 , so that at least a portion of the display 110 is wound or rolled or accommodated inside the electronic device 100 .
  • the rollable electronic device can be used by expanding the screen display area by unfolding the display 110 or exposing a larger area of the display 110 to the outside according to a user's needs.
  • the display 110 may also be referred to as a slide-out display or an expandable display.
  • FIG. 2 illustrates a camera module 180 according to an embodiment.
  • 3 is an exploded perspective view of the camera module 180 according to an embodiment.
  • the camera module 180 includes a cover 310 , a housing assembly 320 , a prism module 210 , a lens assembly 330 (eg, the lens assembly 182 of FIG. 1 ); It may include an image sensor 360 (eg, the image sensor 185 of FIG. 1 ).
  • the prism module 210 includes a prism 211 (eg, the prism 181 of FIG. 1 ), a prism connection part 213 , a prism holder 215 , a first set of balls 217 , and a second Ball set 219 may be included.
  • the prism connection part 213 may connect the prism 211 and the prism holder 215 .
  • the prism holder 215 may have a 'U' shape or a 'C' shape, and a space between the prism holder 215 may include a prism 211 and a prism connection part 213 .
  • the prism holder 215 is physically coupled to the prism 211 and may move integrally with the prism 211 .
  • the prism holder 215 may protect the prism 211 from external impact.
  • the prism 211 may rotate along a panning axis (eg, a z-axis) and a tilting axis (eg, a y-axis).
  • a panning axis eg, a z-axis
  • a tilting axis eg, a y-axis
  • the prism 211 may rotate based on a tilting axis (eg, a y-axis) based on the first ball set 217 .
  • the prism 211 may rotate based on the panning axis (eg, the z-axis) based on the second ball set 219 .
  • Rotating about the tilting axis may be understood as rotating in a first direction (eg, pitch direction), and rotating about the panning axis (eg, z-axis) This may be understood as rotating in a second direction (eg, a yaw direction).
  • the prism module 210 may be referred to as a prism assembly, and/or a prism structure.
  • the prism 211 included in the prism module 210 is disposed in front of the lens assembly 330 (eg, in the -x-axis direction), and the prism 211 has one axis (eg, in the -z direction). ) may be reflected toward the lens assembly 330 .
  • the prism 211 may convert the light entering the rear surface (eg, -z direction) of the electronic device 100 by about 90° to direct the light toward the lens assembly 330 .
  • the camera module 180 may include a prism 211 and a prism holder 215 surrounding the prism connector 213 .
  • the camera module 180 includes at least two or more magnetic bodies fixed to the prism module 210 and/or the lens assembly 330 (eg, the first magnet 216 of FIG. 2 and/or the second magnet of FIG. 3 ). 2 magnets 331) may be included.
  • the camera module 180 may include at least two driving coils 350 interacting with the at least two or more magnetic bodies.
  • the at least two or more magnetic materials move integrally with the prism 211 and/or the lens assembly 330 and transmit the electromagnetic force by the at least two or more driving coils 350 to the prism 211 and/or the lens assembly 330 .
  • the camera module 180 may include at least two Hall sensors 390 .
  • At least two or more Hall sensors 390 are described below in FIG. 4 , and thus detailed descriptions thereof will be omitted. .
  • the camera module 180 may include a prism module 210 and a housing assembly 320 in which the lens assembly 330 may be mounted.
  • the housing assembly 320 may be covered by the cover 310 .
  • the camera module 180 includes a plurality of bearings, and the plurality of bearings may support rotation and/or linear motion of the lens assembly 330 .
  • the image sensor 360 is connected to a printed circuit board 370 (eg, a printed circuit board (PCB), a printed board assembly (PBA), a flexible PCB (FPCB), or a rigid-flex PCB (RFPCB)). and can be placed.
  • the image sensor 360 is disposed at the rear of the lens assembly 330 (eg, in the +x direction), and may collect light passing through the lens assembly 330 through the image sensor 360 .
  • the printed circuit board 370 may be electrically connected to an auto focus (AF) driver and an optical image stabilization (OIS) driver.
  • AF auto focus
  • OIS optical image stabilization
  • at least one processor included in the electronic device 100 eg, the processor 120 of FIG. 1
  • the electronic device 100 may perform shake correction by transmitting an electric signal corresponding to the OIS control value to at least one coil of the OIS driver.
  • at least one processor eg, the processor 120 of FIG.
  • the electronic device 100 may generate an AF control value to adjust a focal length between the subject and the camera, and the electronic device ( 100) may implement AF by transmitting an electrical signal corresponding to the AF control value to at least one coil of the AF driver.
  • the camera module 180 may include a non-volatile memory 380 .
  • the non-volatile memory 380 may be an electrically erasable and programmable read only memory (EEPROM).
  • the non-volatile memory 380 may be configured as separate hardware from the main memory.
  • the main memory may be configured as separate hardware not included in the camera module 180
  • the nonvolatile memory 380 may be included in the camera module 180 and configured as one module.
  • the non-volatile memory 380 may be disposed in a part of the camera module.
  • the non-volatile memory 380 may be attached to one surface of the housing assembly 320 .
  • the non-volatile memory 380 may be disposed outside and/or inside the housing assembly 320 .
  • the non-volatile memory 380 may be electrically and/or operatively coupled to the processor 120 .
  • the non-volatile memory 380 may be manufactured together in a module process of the camera module 180 .
  • the non-volatile memory 380 may store optical characteristics of the lens assembly 330 .
  • the non-volatile memory 380 may store a hall value according to the position of the prism 211 and an image profile value of a photographed image according to the position of the prism 211 .
  • FIG 4 is an exemplary view of the camera module 180 viewed from a bottom view and an exemplary view viewed from a side view, according to an embodiment.
  • the prism 211 may be physically coupled to the first magnet (eg, the first magnet 216 of FIG. 2 ) 410 .
  • the prism 211 may move integrally with the physically coupled first magnet 410 .
  • the prism holder eg, the prism holder 215 of FIG. 2
  • the prism 211 is the second 1 It is possible to move integrally with the magnet 410 .
  • the camera module 180 may include a first driving coil 421 , a second driving coil 423 , and a third driving coil 425 .
  • the first drive coil 421 interacts with the first Hall sensor 431
  • the second drive coil 423 interacts with the second Hall sensor 433
  • the third drive coil 425 interacts with the third may interact with the Hall sensor 435 .
  • At least one hall sensor configured to detect the position of the first magnet 410 may be disposed in the center of the at least one driving coil.
  • the first Hall sensor 431 may detect a position of the first magnet 410 in a pitch direction.
  • the second Hall sensor 433 and the third Hall sensor 435 may detect the position of the first magnet 410 in the yaw direction.
  • the at least one Hall sensor 431 , 433 , 435 measures a position of the magnet with respect to the at least one Hall sensor through interaction with an opposing magnet (eg, the first magnet 410 ). can do.
  • the at least one Hall sensor 431 , 433 , 435 is disposed at the center of the at least one driving coil 421 , 423 , 425 , and the at least one magnet provides position information for the at least one Hall sensor (eg, pitch direction, yaw direction location information) can be measured.
  • the first magnet 410 may be composed of at least two magnets. One is attached to one side of the prism connector 213 to detect the position in the pitch direction, and the other is attached to one side of the prism holder 215 to detect the position in the yaw direction. can be attached.
  • Lens shading refers to a ray passing through the center of the lens assembly 182 among rays incident on the lens assembly (eg, the lens assembly 182 of FIG. 1 ) due to the curvature of the lens.
  • 182 refers to a phenomenon in which a darker area is output as it goes toward the edge of the image by reaching the image sensor (eg, the image sensor 185 of FIG. 1 ) more than the light passing through the outer part instead of the central part.
  • the curved shape of the lens and/or the internal diaphragm of the lens can cause lens shading.
  • the processor 120 may obtain data for correcting lens shading according to the position of the reflector (eg, the prism 181 of FIG. 1 ) from the nonvolatile memory.
  • the processor 120 may obtain a lookup table for correcting lens shading from the nonvolatile memory.
  • the lookup table may include a lens shading compensation value corresponding to each position information of the prism 181 .
  • the data for correcting the lens shading and/or the lookup table may be data previously stored in a nonvolatile memory (eg, the nonvolatile memory 380 of FIG. 3 ) included in the camera module 180 .
  • Data stored in the non-volatile memory 380 may be input through a camera module process.
  • Data for correcting lens shading may include a correction function described below with reference to FIG. 7 and/or a correction lookup table.
  • the non-volatile memory may be an electrically erasable programmable read-only memory (EEPROM).
  • EEPROM electrically erasable programmable read-only memory
  • the reflector may be a prism or a mirror.
  • the processor 120 may obtain the first image frame by driving the camera module 180 .
  • the processor 120 may obtain an input for executing a camera application (eg, a user input) to drive the camera module 180 .
  • the input may include at least one of a user pressing a function key, touching a camera icon displayed on the display 110, or a user's voice input.
  • the processor 120 may sequentially acquire the second image frame.
  • the processor 120 may identify a first position of a reflector (eg, the prism 181 of FIG. 1 ) corresponding to the first image frame through at least one Hall sensor.
  • the at least one Hall sensor is configured to acquire position information of the reflector, and the processor 120 may acquire position information of the reflector through interaction with a magnet coupled to the reflector.
  • the processor 120 may identify the first position of the reflector corresponding to the time point at which the first image frame is acquired.
  • a time point at which the first image frame is acquired is a time point at which the first image frame is captured by the image sensor 185 , a time point at which the first image frame is read-out from the image sensor 185 , and/or a first time point
  • the image frame may be at least one of the time points output from the image sensor 185 .
  • the processor 120 may identify the position of the prism 181 in the first direction (eg, a pitch direction) through at least one Hall sensor.
  • the processor 120 may acquire a hall code in a first direction (eg, a pitch direction) through at least one Hall sensor.
  • the processor 120 may obtain position information of the prism 181 in a first direction (eg, a pitch direction) based on the obtained hole value.
  • the processor 120 may identify the position of the prism 181 in the second direction (eg, a yaw direction) through at least one Hall sensor.
  • the processor 120 may acquire a hall code in the second direction (eg, a yaw direction) through at least one Hall sensor.
  • the processor 120 may acquire position information of the prism 181 in a second direction (eg, a yaw direction) based on the obtained hole value.
  • the processor 120 may generate a hall code in a first direction (eg, a pitch direction) and a hall value in a second direction (eg, a yaw direction). ), the position of the prism 181 can be confirmed.
  • the position information of the prism 181 may be previously stored or set to correspond to a hall code obtained from a hall sensor. This may be further described with reference to FIG. 6 or FIG. 9 .
  • the processor 120 may perform lens shading correction on the first image frame based on the first position and the acquired data.
  • the camera module 180 may output a darker image toward the edge of the image. Accordingly, in an embodiment, the processor 120 may perform lens shading correction so that the entire region of the image frame has a uniform brightness value by increasing the brightness value of the region having a low brightness value with respect to the obtained image frame. . In an embodiment, lens shading correction may be performed on the first image frame based on the first position of the prism 181 and a lens shading correction value corresponding to the first position.
  • the processor 120 may output the first image frame on which the lens shading correction is performed as a preview through a display (eg, the display 110 of FIG. 1 ).
  • FIG. 6 is a flowchart illustrating a process of setting the camera module 180 according to an embodiment through a camera module process.
  • image capturing may be performed for each hall code in the camera module process.
  • image capturing may be performed for each position of a reflector (eg, the prism 181 of FIG. 1 ). The image capturing may be performed so that an image corresponding to each hall code is determined in the camera module process.
  • a hall value and an image profile value may be stored in a non-volatile memory.
  • image capturing is performed for each position of the reflector (eg, the prism 181 in FIG. 1 ), and a hall value indicating the position and an image profile of the image photographed at that position (image) profile) value can be obtained.
  • the image profile value may indicate a brightness value according to a pixel position of the photographed image.
  • FIG. 7 is a flowchart illustrating a process of generating a lookup table for lens shading correction in the electronic device 100 according to an exemplary embodiment. Operation 710 of FIG. 7 may be performed after operation 620 of FIG. 6 .
  • the processor 120 may boot the camera module. In an embodiment, when the power of the electronic device 100 is turned from an off state to an on state, the processor 120 may boot the camera module 180 . In an embodiment, when the camera application is executed while the electronic device 100 is powered on, the processor 120 may boot the camera module.
  • the processor 120 may read a hall code and an image profile value from a non-volatile memory (eg, EEPROM).
  • the non-volatile memory may be the non-volatile memory 380 of FIG. 3 physically coupled to the camera module 180 .
  • the hall value (hall code) may be a value obtained by converting a hall voltage to a resolution value of the sensor.
  • the processor 120 may read a hall code and an image profile value from a non-volatile memory.
  • the processor 120 may read a hall code and an image profile value from a non-volatile memory whenever the camera module 180 is booted.
  • the processor 120 moves in a first direction (eg, a pitch direction) and a second direction (eg, a yaw direction) based on a hall code.
  • a correction function can be created for
  • the processor 120 is configured to perform a first direction (eg, a pitch direction) and a second direction (eg, (yaw) direction) can be generated.
  • the processor 120 reads from a non-volatile memory (eg, EEPROM) in a first direction (eg, a hall code) and an image profile value in a first direction (eg, a pitch direction).
  • a first polynomial for pitch direction can be generated.
  • the processor 120 may generate a second polynomial for the yaw direction based on a hall value and an image profile value in the yaw direction read from a non-volatile memory (eg, EEPROM).
  • the processor 120 calculates a correction lookup table for a first direction (eg, a pitch direction) and a second direction (eg, a yaw direction). can create In other words, the processor 120 may generate a correction lookup table according to the position of the prism 181 .
  • the processor 120 may be configured to perform a first direction (eg, a pitch direction) and a second direction based on a hall value and an image profile value read from a non-volatile memory (eg, EEPROM).
  • a correction lookup table for a direction eg, a yaw direction
  • the processor 120 may generate a correction lookup table based on a correction function generated based on the hall code and the image profile value.
  • the correction lookup table may be a table for shading correction values corresponding to position information of a reflector (eg, the prism 181 of FIG. 1 ).
  • the first shading correction value is applied when the reflector (eg, the prism 181 of FIG. 1 ) is in the first position, and the reflector (eg, the prism 181 of FIG. 1 ) is the second position.
  • It may be a lookup table formed so that the second shading correction value is applied at the 2nd position.
  • the correction lookup table may be a table for shading correction values corresponding to a hall code related to the position of the reflector.
  • a hall value is a first hall value
  • a first shading correction value is applied
  • a hall value is a second hall value (hall code)
  • It may be a lookup table formed so that the second shading correction value is applied when .
  • the horizontal axis of the first graph 803 and the second graph 805 indicates a position corresponding to a number displayed on the horizontal axis of the light source image 801 , and the vertical axis indicates a brightness value.
  • the light source image 801 may be an image obtained by photographing the light source. Since at least one lens of the lens assembly (eg, the lens assembly 182 of FIG. 1 ) has a curvature, the amount of light reaching the image sensor (eg, the image sensor 185 of FIG. 1 ) is closer to the center according to the curvature rate. is the largest, and the amount of light reaching the image sensor 185 may decrease as it is deviated from the center.
  • the numbers 1 to 7 included in the light source image 801 may mean first to seventh areas in the first graph 803 and the second graph 805 .
  • the first graph 803 may be a graph showing the brightness distribution for each area of the image before lens shading correction is performed on the light source image 801 .
  • a plurality of graphs are shown, and the plurality of graphs are graphs showing a plurality of results by performing the same process along the vertical axis of the light source image 801 .
  • the brightness value is highest in the fourth region that is the center of the light source image 801 , and the brightness value decreases as the distance from the fourth region increases.
  • the second graph 805 may be a graph showing a brightness distribution for each image area after lens shading correction is performed on the light source image 801 .
  • the lens shading correction value may be a value for correcting each value of pixels of an original image.
  • FIG. 9 illustrates images taken for each position of a prism (eg, the prism 181 of FIG. 1 ) within the scannable range 920 of the electronic device 100 according to an exemplary embodiment.
  • a prism eg, the prism 181 of FIG. 1
  • the scannable range 920 may be understood as the maximum movement range of the prism 181 or the angle of view range of images captured within the maximum movement range of the prism 181 .
  • the scannable range 920 represents a scannable range for object tracking.
  • the scannable range 920 may be -10 ⁇ to +10 ⁇ in the pitch direction, and -25 ⁇ to +25 ⁇ in the yaw direction.
  • the range of the hall value or hall code may be 0 to 4095 codes on a 12-bit basis.
  • the processor 120 is approximately 0.005deg/code ( ⁇ 20deg/4096code) within -10 ⁇ to +10 ⁇ in the pitch direction, and -25 ⁇ to +25 ⁇ in the yaw direction.
  • the prism 181 may be controlled in units of about 0.0125deg/code ( ⁇ 50deg/4096code).
  • the processor 120 may perform a scan based on the acquired image data.
  • the processor 120 may detect an object through the obtained image data and perform a scan to track the detected object.
  • the processor 120 may detect the motion of the detected object based on image data acquired through the camera module 180 .
  • the processor 120 when the processor 120 detects that the detected object has moved by the first angle, the processor 120 may control the prism to track the moved object. For example, when the processor 120 detects that the object to be photographed has moved by about 2 ⁇ in the yaw direction with respect to the center of the lens, the processor 120 moves the prism corresponding to the 2 ⁇ for tracking the object. It can be rotated or moved as much as possible.
  • the first image 901 to the tenth image 910 photographed according to the position of the prism 181 are located at the position of the prism 181 within the scannable range 920 . It may be an image taken along with it.
  • the first image 901 to the tenth image 910 may be images taken according to the angle in the yaw direction of the prism 181 and the angle in the pitch direction of the prism 181 . have.
  • the first image 901 to the tenth image 910 may be determined by a hall value (code) corresponding to an angle in each direction (yaw, pitch).
  • a hall value in a yaw direction is 50
  • a hall code in a pitch direction is 50
  • the sixth image 906 is a yaw value.
  • a hall value (hall code) in the (yaw) direction may be 4050
  • a hall value (hall code) in the pitch direction may be 1850.
  • the first image 901 to the tenth image 910 may be referred to or understood as a first region of interest (ROI) (eg, ROI 1 ) to a tenth ROI (eg, ROI 10 ).
  • ROI region of interest
  • ROI 10 tenth ROI
  • FIG. 10 illustrates a brightness distribution for each area of each photographed image when images are photographed according to various positions of a prism (eg, the prism 181 of FIG. 1 ) in the electronic device 100 according to an embodiment.
  • the horizontal axis of the graphs of FIG. 10 means a position corresponding to a number displayed on the horizontal axis of an image (eg, the light source image 801 of FIG. 8 ), and the vertical axis means a brightness value.
  • a plurality of graphs are shown for each ROI, and the plurality of graphs perform the same process along the vertical axis of the image (eg, the light source image 801 of FIG. 8 ) to show a plurality of results. These are graphs.
  • FIG. 10 it can be seen that the distribution of brightness values for each area of the photographed image is different according to various positions of the prism 181 .
  • a plurality of images may be photographed within the scan range 920 of FIG. 9 , and brightness distribution of the plurality of photographed images may be represented for each area in a horizontal direction (eg, a row).
  • FIG. 10 shows a distribution of brightness values for each region (eg, row) within each image captured in the first image (eg, first ROI) to 10th image (eg, tenth ROI) 10 shown in FIG. 9 .
  • the lens shading correction value applied to one image is applied to another image as in the prior art, the brightness of the image becomes non-uniform for each position. may occur.
  • 11 is a result of performing correction by applying one lens shading correction value to images photographed according to various positions of a prism (eg, the prism 181 in FIG. 1 ) in the electronic device 100 according to an embodiment; graph can be displayed.
  • a prism eg, the prism 181 in FIG. 1
  • the graph 1101 of FIG. 11 shows lens shading correction applied to an image (eg, the fifth ROI of FIG. 9 ) corresponding to the reference position (eg, center) of the prism 181 . It is a graph showing correction of brightness values of images corresponding to the remaining positions (eg, first ROIs to fourth ROIs and sixth ROIs to tenth ROIs in FIG. 9 ) based on the values.
  • the reference position of the prism 181 may be understood as the position of the prism that injects light into the center of the lens assembly.
  • the image corresponding to the reference position of the prism 181 may be understood as an image photographed at the reference position of the prism 181 .
  • a reference image 1103 of FIG. 11 is a division of a photographed image area.
  • the reference image 1103 is an image in which upper-left, upper, upper-right, left, center, right, lower-left, lower, and lower-right are displayed for each area of the photographed image in order to assist the description of the graph 1101 .
  • the fifth image eg, the fifth ROI
  • the lens shading correction value set to correct the fifth image eg, the fifth ROI
  • the fifth image eg, the fifth ROI
  • the fourth image (eg, fourth ROI) and the sixth image (eg, sixth ROI) are corrected with a lens shading correction value set to correct the fifth image (eg, fifth ROI).
  • a lens shading correction value set to correct the fifth image eg, fifth ROI.
  • a first image eg, a first ROI
  • a third image eg, a third ROI
  • a seventh image as a lens shading correction value set to correct the fifth image (eg, a fifth ROI)
  • the image eg, the seventh ROI
  • the tenth image eg, the tenth ROI
  • FIG. 12 is a graph illustrating brightness values of images taken according to various positions of a prism 181 in the electronic device 100 according to an exemplary embodiment.
  • the graph 1201 represents a change in brightness of an image according to a change in a hall code in a pitch direction (eg, a change in a position in a prism pitch direction).
  • the brightness change according to the Hall value can be modeled with a polynomial formula, and the modeling coefficient value can be obtained from the Hall value stored in the non-volatile memory (eg EEPROM) and the image profile.
  • the graph 1201 may include a graph modeled based on brightness values obtained from ROI 2 , ROI 5 , and ROI 8 of FIG. 9 .
  • the graph 1201 may be a graph obtained by modeling with Equation 1 below, based on brightness values obtained from ROIs 2, 5, and 8 of FIG. 9 . Equation 1 is an example, and various embodiments that can be implemented by those skilled in the art are possible.
  • the graph 1203 represents a change in brightness of an image according to a change in a hall code in a yaw direction (eg, a change in a position in the yaw direction of a prism).
  • the brightness change according to the Hall value can be modeled using a polynomial formula, and the modeling coefficient value can be obtained from the Hall code and the image profile value stored in a non-volatile memory (eg, EEPROM).
  • the graph 1203 is a graph modeled based on brightness values obtained from ROI 1, ROI 2, and ROI 3 of FIG. 9, and brightness values obtained from ROI 4, ROI 5, and ROI 6 of FIG.
  • the graph 1203 is a graph obtained by modeling with Equation 2 below based on the brightness values obtained from ROI 1, ROI 2, and ROI 3 of FIG. 9, ROI 4, ROI 5, and ROI of FIG. 9 Based on the brightness values obtained in 6, the graph obtained by modeling with Equation 3 below, and the brightness values obtained in ROI 7, ROI 8, ROI 9, and ROI 10 of FIG. 9 as Equation 4 below
  • Equations 2 to 4 are examples, and various embodiments that can be implemented by those skilled in the art are possible.
  • FIG. 13 is a block diagram of an electronic device 1301 in a network environment 1300 according to various embodiments of the present disclosure.
  • the electronic device 1301 communicates with the electronic device 1302 through a first network 1398 (eg, a short-range wireless communication network) or a second network 1399 . It may communicate with the electronic device 1304 or the server 1308 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 1301 may communicate with the electronic device 1304 through the server 1308 .
  • a first network 1398 eg, a short-range wireless communication network
  • a second network 1399 e.g., a second network 1399
  • the electronic device 1301 may communicate with the electronic device 1304 through the server 1308 .
  • the electronic device 1301 includes a processor 1320 , a memory 1330 , an input module 1350 , a sound output module 1355 , a display module 1360 , an audio module 1370 , and a sensor module ( 1376), interface 1377, connection terminal 1378, haptic module 1379, camera module 1380, power management module 1388, battery 1389, communication module 1390, subscriber identification module 1396 , or an antenna module 1397 .
  • at least one of these components eg, the connection terminal 1378
  • some of these components are integrated into one component (eg, display module 1360 ). can be
  • the processor 1320 for example, executes software (eg, a program 1340) to execute at least one other component (eg, a hardware or software component) of the electronic device 1301 connected to the processor 1320 . It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1320 converts commands or data received from other components (eg, the sensor module 1376 or the communication module 1390) to the volatile memory 1332 . may store the command or data stored in the volatile memory 1332 , and store the result data in the non-volatile memory 1334 .
  • software eg, a program 1340
  • the processor 1320 converts commands or data received from other components (eg, the sensor module 1376 or the communication module 1390) to the volatile memory 1332 .
  • the volatile memory 1332 may store the command or data stored in the volatile memory 1332 , and store the result data in the non-volatile memory 1334 .
  • the processor 1320 is a main processor 1321 (eg, a central processing unit or an application processor) or a secondary processor 1323 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 1321 eg, a central processing unit or an application processor
  • a secondary processor 1323 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the auxiliary processor 1323 uses less power than the main processor 1321 or is set to be specialized for a specified function.
  • the coprocessor 1323 may be implemented separately from or as part of the main processor 1321 .
  • the coprocessor 1323 may, for example, act on behalf of the main processor 1321 while the main processor 1321 is in an inactive (eg, sleep) state, or when the main processor 1321 is active (eg, executing an application). ), together with the main processor 1321, at least one of the components of the electronic device 1301 (eg, the display module 1360, the sensor module 1376, or the communication module 1390) It is possible to control at least some of the related functions or states.
  • the coprocessor 1323 eg, an image signal processor or a communication processor
  • the auxiliary processor 1323 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1301 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 1308).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 1330 may store various data used by at least one component of the electronic device 1301 (eg, the processor 1320 or the sensor module 1376 ).
  • the data may include, for example, input data or output data for software (eg, the program 1340 ) and commands related thereto.
  • the memory 1330 may include a volatile memory 1332 or a non-volatile memory 1334 .
  • the program 1340 may be stored as software in the memory 1330 , and may include, for example, an operating system 1342 , middleware 1344 , or an application 1346 .
  • the input module 1350 may receive a command or data to be used in a component (eg, the processor 1320 ) of the electronic device 1301 from the outside (eg, a user) of the electronic device 1301 .
  • the input module 1350 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 1355 may output a sound signal to the outside of the electronic device 1301 .
  • the sound output module 1355 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
  • the display module 1360 may visually provide information to the outside (eg, a user) of the electronic device 1301 .
  • the display module 1360 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display module 1360 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 1370 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1370 acquires a sound through the input module 1350 or an external electronic device (eg, a sound output module 1355 ) directly or wirelessly connected to the electronic device 1301 .
  • the electronic device 1302) eg, a speaker or headphones
  • the sensor module 1376 detects an operating state (eg, power or temperature) of the electronic device 1301 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1376 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1377 may support one or more specified protocols that may be used for the electronic device 1301 to connect directly or wirelessly with an external electronic device (eg, the electronic device 1302 ).
  • the interface 1377 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1378 may include a connector through which the electronic device 1301 can be physically connected to an external electronic device (eg, the electronic device 1302 ).
  • the connection terminal 1378 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1379 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1379 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1380 may capture still images and moving images. According to an embodiment, the camera module 1380 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1388 may manage power supplied to the electronic device 1301 .
  • the power management module 1388 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1389 may supply power to at least one component of the electronic device 1301 .
  • the battery 1389 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1390 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1301 and an external electronic device (eg, the electronic device 1302 , the electronic device 1304 , or the server 1308 ). It can support establishment and communication performance through the established communication channel.
  • the communication module 1390 operates independently of the processor 1320 (eg, an application processor) and may include one or more communication processors that support direct (eg, wired) communication or wireless communication.
  • the communication module 1390 is a wireless communication module 1392 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1394 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 1398 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1399 (eg, legacy).
  • a first network 1398 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 1399 eg, legacy
  • the wireless communication module 1392 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1396 within a communication network, such as the first network 1398 or the second network 1399 .
  • the electronic device 1301 may be identified or authenticated.
  • the wireless communication module 1392 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 1392 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 1392 uses various techniques for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), and all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 1392 may support various requirements specified in the electronic device 1301 , an external electronic device (eg, the electronic device 1304 ), or a network system (eg, the second network 1399 ).
  • the wireless communication module 1392 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC (eg, 20 Gbps or more).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage e.g, 164 dB or less
  • U-plane latency for realizing URLLC eg, 20 Gbps or more
  • DL Downlink
  • UL uplink
  • the antenna module 1397 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1397 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1397 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1398 or the second network 1399 is connected from the plurality of antennas by, for example, the communication module 1390 . can be selected. A signal or power may be transmitted or received between the communication module 1390 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 1397 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a specified high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1301 and the external electronic device 1304 through the server 1308 connected to the second network 1399 .
  • Each of the external electronic devices 1302 or 1304 may be the same or a different type of the electronic device 1301 .
  • all or a part of operations executed by the electronic device 1301 may be executed by one or more external electronic devices 1302 , 1304 , or 1308 .
  • the electronic device 1301 may instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1301 .
  • the electronic device 1301 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 1301 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1304 may include an Internet of things (IoT) device.
  • the server 1308 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1304 or the server 1308 may be included in the second network 1399 .
  • the electronic device 1301 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 14 is a block diagram 1400 illustrating a camera module 1380 according to various embodiments.
  • the camera module 1380 includes a lens assembly 1410 , a flash 1420 , an image sensor 1430 , an image stabilizer 1440 , a memory 1450 (eg, a buffer memory), or an image signal processor. (1460).
  • the lens assembly 1410 may collect light emitted from a subject, which is an image to be captured.
  • the lens assembly 1410 may include one or more lenses.
  • the camera module 1380 may include a plurality of lens assemblies 1410 . In this case, the camera module 1380 may form, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 1410 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties that are different from the lens properties of .
  • the lens assembly 1410 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 1420 may emit light used to enhance light emitted or reflected from the subject.
  • the flash 1420 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp.
  • the image sensor 1430 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 1410 into an electrical signal.
  • the image sensor 1430 is, for example, one image sensor selected from among image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, the same It may include a plurality of image sensors having properties, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor 1430 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 1440 moves at least one lens or the image sensor 1430 included in the lens assembly 1410 in a specific direction or Operation characteristics of the image sensor 1430 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken.
  • the image stabilizer 1440 is, according to an embodiment, the image stabilizer 1440 is a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 1380 . Such a movement of the camera module 1380 or the electronic device 1301 may be detected using .
  • the image stabilizer 1440 may be implemented as, for example, an optical image stabilizer.
  • the memory 1450 may temporarily store at least a portion of the image acquired through the image sensor 1430 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, Bayer-patterned image or high-resolution image) is stored in the memory 1450 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display device 1360 .
  • the acquired original image eg, Bayer-patterned image or high-resolution image
  • a copy image corresponding thereto eg, a low-resolution image
  • the memory 1450 may be configured as at least a part of the memory 1330 or as a separate memory operated independently of the memory 1330 .
  • the image signal processor 1460 may perform one or more image processing on an image acquired through the image sensor 1430 or an image stored in the memory 1450 .
  • the one or more image processes may include, for example, depth map generation, three-dimensional modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring, sharpening, or softening.
  • the image signal processor 1460 may include at least one of components included in the camera module 1380 (eg, an image sensor). 1430), for example, exposure time control, readout timing control, etc.
  • the image processed by the image signal processor 1460 is stored back in the memory 1450 for further processing.
  • the image signal processor 1460 may be configured as at least a part of the processor 1320 or as a separate processor operated independently of the processor 1320.
  • the image signal processor 1460 may include the processor 1320 and a separate processor, at least one image processed by the image signal processor 1460 may be displayed through the display device 1360 as it is or after additional image processing is performed by the processor 1320 .
  • the electronic device 1301 may include a plurality of camera modules 1380 each having different properties or functions.
  • at least one of the plurality of camera modules 1380 may be a wide-angle camera, and at least the other may be a telephoto camera.
  • at least one of the plurality of camera modules 1380 may be a front camera, and at least the other may be a rear camera.
  • the electronic device 100 (eg, the electronic device 1301 of FIG. 13 ) includes at least one lens (eg, the lens assembly 182 of FIG. 1 , the lens assembly 330 of FIG. 3 ), the A reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. )), at least one Hall sensor 390 for checking the position information of the reflector (eg, the first Hall sensor 431, the second Hall sensor 433, and the third Hall sensor 435 of FIG. 4); and a camera module 180 including a non-volatile memory 380 for storing hole data corresponding to the location information, and at least one processor operatively connected to the camera module 180 ( 120) (eg, the processor 1320 of FIG. 13 ).
  • the camera module 180 120
  • the processor 1320 of FIG. 13 the processor 1320 of FIG. 13 .
  • the at least one processor 120 may obtain data for correcting lens shading according to the position of the reflector from the non-volatile memory 380 .
  • the at least one processor 120 may obtain a first image frame by driving the camera module 180 .
  • the at least one processor may identify a first position of the reflector corresponding to the first image frame through the at least one Hall sensor 390 .
  • the at least one processor may perform lens shading correction on the first image frame based on the first position and the acquired data in response to identifying the first position.
  • the at least one processor 120 is a first of the reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4 ) through the first Hall sensor 431 ).
  • the angle of the reflector in the direction may be checked, and the angle of the reflector in the second direction of the reflector may be confirmed through the second Hall sensor 433 .
  • the first direction may be a pitch direction of the reflector, and the second direction may be a yaw direction of the reflector.
  • the at least one processor 120 is a first of the reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4 ) through the first Hall sensor 431 ).
  • a first hall code in the direction may be checked, and a second hall code in the second direction of the reflector may be checked through the second Hall sensor.
  • the at least one processor 120 may acquire at least one image frame by driving the camera module 180 .
  • the at least one processor 120 may detect an object based on the acquired image frame.
  • the at least one processor 120 moves the reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) within the first range. can be controlled in
  • the non-volatile memory 380 may include one of a shading correction function or a correction lookup table corresponding to a position of the reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ). At least one can be stored.
  • the data for correcting the lens shading may include at least a shading correction function or a correction lookup table.
  • the data for correcting the lens shading may be calculated based on the hole data and an image profile value indicating a brightness distribution of an image.
  • the at least one processor 120 may acquire a second image frame that is a next frame of the first image frame.
  • the at least one processor 120 transmits the reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4 ) corresponding to the second image frame through the at least one Hall sensor 390 . )) of the second position can be confirmed.
  • the at least one processor 120 may perform lens shading correction on the second image frame based on the second position and the acquired data.
  • the at least one processor 120 may apply a first lens shading correction value corresponding to the first position to the first image frame.
  • the at least one processor 120 may perform the lens shading correction by applying a second lens shading correction value corresponding to the second position to the second image frame.
  • the reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) may include at least one of a prism and a mirror.
  • the method of operating the electronic device 100 does not compare data for correcting lens shading according to positions of a reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ).
  • the first of the reflectors (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) through the first Hall sensor 431 ) It may include an operation of confirming the angle of the reflector in the direction, and an operation of confirming the angle of the reflector in the second direction of the reflector through the second Hall sensor 433 .
  • the first of the reflectors eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4
  • the first Hall sensor 431 identifying a first hall code in a direction, and identifying a second hall code in a second direction of the reflector through a second Hall sensor 433 .
  • the method of operating the electronic device 100 includes an operation of driving the camera module 180 to acquire at least one image frame, an operation of detecting an object based on the acquired image frame, and the object
  • the operation of controlling the movement of the reflector eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) within a first range may be included.
  • the method of operating the electronic device 100 includes acquiring a second image frame that is a frame next to the first image frame, and corresponding to the second image frame through the at least one Hall sensor 390 .
  • the second position of the reflector eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4
  • the second position and performing the lens shading correction on the second image frame based on the acquired data.
  • the method of operating the electronic device 100 includes applying a first lens shading correction value corresponding to the first position to the first image frame, and applying the second lens shading correction value to the second image frame. and performing the lens shading correction by applying a second lens shading correction value corresponding to the position.
  • the electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other such components, and refer to those components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of the present document may include a unit implemented in hardware, software, or firmware, for example, and interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, a program 1340) including
  • a processor eg, processor 1320
  • a device eg, electronic device 1301
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

At least one processor of an electronic apparatus may: obtain, from a non-volatile memory, data for correcting lens shading according to the position of a reflector; obtain a first image frame by driving a camera module; identify a first position of the reflector corresponding to the first image frame through at least one hall sensor; and in response to the identifying of the first position, correct lens shading of the first image frame on the basis of the first position and the obtained data. Various other embodiments identified by the specification are possible.

Description

카메라 촬영 시 스캔하는 방법 및 그 전자 장치Scanning method and electronic device for camera shooting
본 문서에서 개시되는 실시 예들은 카메라 촬영 시 스캔하는 방법 및 그 전자 장치에 관한 것이다.Embodiments disclosed in this document relate to a method of scanning when photographing by a camera and an electronic device thereof.
스마트 폰과 같은 전자 장치는 상기 디지털 카메라를 소형화한 카메라 모듈을 포함할 수 있다. 사용자가 얇은 스마트 폰을 선호함에 따라, 이러한 사용자의 요구를 만족시키기 위해 스마트 폰과 같은 전자 장치에 탑재되는 카메라 모듈이 소형화되고 있다. 다만, 카메라 모듈의 성능을 유지하면서 카메라 모듈을 소형화 하는 것은 한계가 있으므로, 잠망경 방식의 카메라(periscope camera)가 채용될 수 있다. 잠망경 방식의 카메라는 광의 방향을 전환할 수 있는 프리즘과 같은 반사체를 포함할 수 있다.An electronic device such as a smart phone may include a camera module in which the digital camera is miniaturized. As users prefer a thin smart phone, a camera module mounted in an electronic device such as a smart phone is miniaturized in order to satisfy the user's needs. However, since there is a limit to downsizing the camera module while maintaining the performance of the camera module, a periscope camera may be employed. A periscope-type camera may include a reflector, such as a prism, capable of redirecting light.
또한, 대부분의 전자 장치는 카메라 모듈을 통해 객체 추적(예: 스캔 기능)을 수행하고 있다. 스캔 기능을 수행함에 있어서, 프리즘 또는 렌즈의 움직임이 불가피하고, 이에 따라 명암의 변화가 없는 균일한 피사체와 조명 조건에서도 이미지 위치별로 다른 밝기로 촬영되는 등 렌즈 쉐이딩 특성이 열화될 수 있다. 따라서, 전자 장치는 카메라 모듈이 획득한 이미지가 균일한 밝기를 가지도록 이미지에 대해 렌즈 쉐이딩 보정(LSC; lens shading correction)을 수행할 수 있다.Also, most electronic devices perform object tracking (eg, a scan function) through a camera module. In performing the scan function, movement of the prism or lens is inevitable, and accordingly, lens shading characteristics may be deteriorated, such as taking pictures with different brightness for each image position even under a uniform subject and lighting conditions without a change in contrast. Accordingly, the electronic device may perform lens shading correction (LSC) on the image so that the image acquired by the camera module has uniform brightness.
카메라 모듈에 포함된 프리즘은 피치(pitch) 방향, 요(yaw) 방향에서 이동 범위가 제한되어 있어서, 카메라 모듈을 이용한 스캔 기능이 제공되기 어려웠다. 그리고 프리즘의 고정된 위치에서만 광원을 촬영하여 하나의 이미지를 얻고 이 이미지로부터 하나의 쉐이딩 보정 값을 추출하여 이를 적용하였다. 반면에, 최근에는 프리즘을 적극적으로 회전시켜 스캔 기능을 활용하고 있다. 스캔 기능을 통해 프리즘이 넓은 범위(예: 약 20˚~25˚)에서 움직여야 하는 경우, 프리즘의 다양한 위치에서 획득된 이미지들에 대해 하나의 쉐이딩 보정 값을 적용하면 정확한 렌즈 쉐이딩 보정이 이루어지기 어렵다. 따라서, 실시간으로 광학적인 변화를 정확하게 검출하여 쉐이딩 특성 변화를 효과적으로 보정하는 기술이 요구된다.Since the movement range of the prism included in the camera module is limited in the pitch direction and the yaw direction, it is difficult to provide a scan function using the camera module. And one image was obtained by photographing the light source only at a fixed position of the prism, and one shading correction value was extracted from this image and applied. On the other hand, recently, the scan function is being used by actively rotating the prism. When the prism needs to move in a wide range (eg, about 20˚ to 25˚) through the scan function, it is difficult to accurately correct lens shading if one shading correction value is applied to images acquired at various positions of the prism. . Accordingly, there is a need for a technique for effectively correcting a change in shading characteristics by accurately detecting an optical change in real time.
본 개시의 다양한 실시 예는, 프리즘의 여러 위치에 대응되는 렌즈 쉐이딩 보정 값들을 미리 설정하여, 스캔 기능을 수행하는 동안 변화되는 프리즘의 위치에 따라 렌즈 쉐이딩 보정을 수행하는 전자 장치 및 전자 장치의 제어 방법을 제공할 수 있다.Various embodiments of the present disclosure provide an electronic device that performs lens shading correction according to a position of a prism that is changed while performing a scan function by presetting lens shading correction values corresponding to various positions of a prism and control of the electronic device method can be provided.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는 적어도 하나의 렌즈, 상기 적어도 하나의 렌즈의 중심축을 기준으로 제1 범위 내에서 입사광을 조절하여 화각(FOV, field of view)을 변경시키는 반사체, 상기 반사체의 위치 정보를 확인하는 적어도 하나의 홀 센서, 및 상기 위치 정보와 대응되는 홀(hall) 데이터를 저장하는 비휘발성 메모리를 포함하는 카메라 모듈을 포함할 수 있다. 전자 장치는 상기 카메라 모듈과 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함할 수 있다. 전자 장치의 상기 적어도 하나의 프로세서는 상기 반사체의 위치에 따른 렌즈 쉐이딩을 보정하기 위한 데이터를 상기 비휘발성 메모리로부터 획득하고, 상기 카메라 모듈을 구동하여 제1 이미지 프레임을 획득하고, 상기 적어도 하나의 홀 센서를 통해 상기 제1 이미지 프레임에 대응하는 상기 반사체의 제1 위치를 확인(identify)하고, 상기 제1 위치를 확인하는 것에 응답하여, 상기 제1 위치 및 상기 획득한 데이터에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행할 수 있다.An electronic device according to an embodiment disclosed in this document includes at least one lens, a reflector for changing a field of view (FOV) by adjusting incident light within a first range based on a central axis of the at least one lens; and a camera module including at least one Hall sensor for checking the location information of the reflector, and a non-volatile memory for storing hall data corresponding to the location information. The electronic device may include at least one processor operatively connected to the camera module. The at least one processor of the electronic device obtains data for correcting lens shading according to the position of the reflector from the non-volatile memory, drives the camera module to obtain a first image frame, and the at least one hole identify a first position of the reflector corresponding to the first image frame through a sensor, and in response to identifying the first position, the first position based on the first position and the acquired data Lens shading correction may be performed on the image frame.
일 실시 예에 따른 전자 장치의 동작 방법은 반사체의 위치에 따른 렌즈 쉐이딩을 보정하기 위한 데이터를 비휘발성 메모리로부터 획득하는 동작, 카메라 모듈을 구동하여 제1 이미지 프레임을 획득하는 동작, 적어도 하나의 홀 센서를 통해 상기 제1 이미지 프레임에 대응하는 상기 반사체의 제1 위치를 확인하는 동작, 및 상기 제1 위치를 확인하는 것에 응답하여, 상기 제1 위치 및 상기 획득한 데이터에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행하는 동작을 포함할 수 있다.An operating method of an electronic device according to an embodiment includes an operation of acquiring data for correcting lens shading according to a position of a reflector from a nonvolatile memory, an operation of driving a camera module to acquire a first image frame, and at least one hole identifying a first position of the reflector corresponding to the first image frame through a sensor, and in response to identifying the first position, the first image based on the first position and the acquired data It may include an operation of performing lens shading correction on the frame.
본 문서에 개시되는 다양한 실시 예들에 따르면, 프리즘의 위치에 맞는 쉐이딩 보정 값을 적용할 수 있다.According to various embodiments disclosed in this document, a shading correction value suitable for the position of the prism may be applied.
또한, 다양한 실시 예에 따르면, 카메라가 넓은 범위에 대하여 스캔을 할 때, 이미지의 밝기를 균일하게 할 수 있다.Also, according to various embodiments, when the camera scans a wide range, the brightness of the image may be uniform.
또한, 다양한 실시 예에 따르면, 쉐이딩 보정 값을 카메라 모듈의 비휘발성 메모리에 저장하여 해당 카메라 모듈을 채용하는 다양한 전자 장치에 적용할 수 있다.Also, according to various embodiments, the shading correction value may be stored in the non-volatile memory of the camera module and applied to various electronic devices employing the corresponding camera module.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects directly or indirectly identified through this document may be provided.
도 1은 일 실시 예에 따른 전자 장치를 나타낸다.1 illustrates an electronic device according to an embodiment.
도 2는 일 실시 예에 따른 카메라 모듈을 나타낸다.2 shows a camera module according to an embodiment.
도 3은 일 실시 예에 따른 카메라 모듈의 분해 사시도를 나타낸다.3 is an exploded perspective view of a camera module according to an embodiment.
도 4는 일 실시 예에 따른 카메라 모듈을 바텀 뷰(bottom view)에서 바라본 예시도과 사이드 뷰(side view)에서 바라본 예시도이다.4 is an exemplary view viewed from a bottom view and an exemplary view viewed from a side view of the camera module according to an embodiment.
도 5는 일 실시 예에 따른 전자 장치에서, 프리즘의 위치에 따라 렌즈 쉐이딩 보정을 수행하는 과정을 나타낸 흐름도이다.5 is a flowchart illustrating a process of performing lens shading correction according to a position of a prism in an electronic device according to an exemplary embodiment.
도 6은 카메라 모듈 공정을 통해 일 실시 예에 따른 카메라 모듈이 세팅되는 과정을 나타낸 흐름도이다.6 is a flowchart illustrating a process of setting a camera module according to an embodiment through a camera module process.
도 7은 일 실시 예에 따른 전자 장치에서, 렌즈 쉐이딩 보정을 위한 룩업 테이블을 생성하는 과정을 나타낸 흐름도이다.7 is a flowchart illustrating a process of generating a lookup table for lens shading correction in an electronic device according to an exemplary embodiment.
도 8은 일 실시 예에 따른 전자 장치에서, 광원 이미지를 촬영한 경우, 이미지 영역 별 밝기 분포를 나타낸 그래프를 나타낸다.8 is a graph illustrating a brightness distribution for each image area when a light source image is captured by the electronic device according to an exemplary embodiment.
도 9는 일 실시 예에 따른 전자 장치의 스캔 가능 범위 내에서 프리즘의 위치 별로 이미지들을 촬영한 것을 나타낸다.9 illustrates images taken for each position of a prism within a scannable range of an electronic device according to an exemplary embodiment.
도 10은 일 실시 예에 따른 전자 장치에서, 프리즘의 여러 위치에 따라 이미지를 촬영 시, 촬영된 각 이미지의 영역 별 밝기 분포를 나타낸다.10 is a diagram illustrating a brightness distribution for each area of a photographed image when an image is photographed according to various positions of a prism in an electronic device according to an exemplary embodiment.
도 11은 일 실시 예에 따른 전자 장치에서, 프리즘의 여러 위치에 따라 촬영된 이미지를 하나의 렌즈 쉐이딩 보정 값을 적용하여 보정을 수행한 결과 그래프를 나타낼 수 있다.11 is a graph illustrating a result of performing correction by applying one lens shading correction value to images captured according to various positions of a prism in an electronic device according to an embodiment.
도 12는 일 실시 예에 따른 전자 장치에서, 프리즘의 여러 위치에 따라 촬영된 이미지의 밝기 값을 나타내는 그래프이다.12 is a graph illustrating brightness values of images captured according to various positions of a prism in an electronic device according to an embodiment.
도 13은 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.13 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure;
도 14는 다양한 실시 예들에 따른 카메라 모듈을 예시하는 블럭도이다.14 is a block diagram illustrating a camera module according to various embodiments.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. Hereinafter, various embodiments of the present document will be described with reference to the accompanying drawings. However, this document is not intended to be limited to specific embodiments, and it should be understood that various modifications, equivalents, and/or alternatives of the embodiments of the present invention are included.
도 1은 일 실시 예에 따른 전자 장치(100)와 카메라 모듈(180)에 대한 구조를 나타낸다.1 illustrates a structure of an electronic device 100 and a camera module 180 according to an embodiment.
도 1은 일 실시 예에 따른 카메라 모듈(180)(예: 도 13의 카메라 모듈(1380))을 장착한 전자 장치(100)(예: 도 13의 전자 장치(1301))의 외관 및 카메라 모듈(180)을 개략적으로 나타낸 도면이다. 도 1의 실시 예는 모바일 기기, 특히, 스마트 폰을 전제로 도시 및 설명되었으나, 다양한 전자 기기 또는 모바일 기기들 중 카메라를 탑재한 전자 기기에 적용될 수 있음은 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 것이다.1 is a view of an electronic device 100 (eg, the electronic device 1301 of FIG. 13 ) mounted with a camera module 180 (eg, the camera module 1380 of FIG. 13 ) according to an embodiment, and a camera module; (180) is a diagram schematically showing. Although the embodiment of FIG. 1 has been illustrated and described on the premise of a mobile device, in particular, a smart phone, it will be appreciated by those skilled in the art that it can be applied to various electronic devices or electronic devices equipped with a camera among mobile devices. will be clearly understood.
도 1을 참고하면, 일 실시 예에 따른 전자 장치(100)의 전면에는 디스플레이(110)(예: 도 13의 디스플레이 모듈(1360))가 배치될 수 있다. 일 실시 예에서, 디스플레이(110)는 전자 장치(100)의 전면의 대부분을 차지할 수 있다. 전자 장치(100)의 전면에는 디스플레이(110), 및 디스플레이(110)의 적어도 일부 가장자리를 둘러싸는 베젤(bezel)(190) 영역이 배치될 수 있다. 디스플레이(110)는 평면 영역(flat area)과 평면 영역에서 전자 장치(100)의 측면을 향해 연장되는 곡면 영역(curved area)을 포함할 수 있다. 도 1에 도시된 전자 장치(100)는 하나의 예시이며, 다양한 실시 예가 가능하다. 예를 들어, 전자 장치(100)의 디스플레이(110)는 곡면 영역 없이 평면 영역만 포함하거나 양측이 아닌 한 쪽 가장자리에만 곡면 영역을 구비할 수 있다. 또한 일 실시 예에서, 곡면 영역은 전자 장치의 후면으로 연장되어 전자 장치(100)는 추가적인 평면 영역을 구비할 수도 있다.Referring to FIG. 1 , a display 110 (eg, the display module 1360 of FIG. 13 ) may be disposed on the front surface of the electronic device 100 according to an embodiment. In an embodiment, the display 110 may occupy most of the front surface of the electronic device 100 . A display 110 and a bezel 190 region surrounding at least some edges of the display 110 may be disposed on the front surface of the electronic device 100 . The display 110 may include a flat area and a curved area extending from the flat area toward the side of the electronic device 100 . The electronic device 100 illustrated in FIG. 1 is an example, and various embodiments are possible. For example, the display 110 of the electronic device 100 may include only a flat area without a curved area, or may include a curved area only at one edge instead of both sides. Also, in an embodiment, the curved area may extend toward the rear surface of the electronic device, so that the electronic device 100 may include an additional planar area.
일 실시 예에서 전자 장치(100)는 추가적으로 스피커(speaker), 리시버, 전면 카메라, 근접 센서, 또는 홈 키 등을 포함할 수 있다. 일 실시 예에 따른 전자 장치(100)는 후면 커버(150)가 전자 장치의 본체와 일체화되어 제공될 수도 있다. 또 다른 실시 예에서, 후면 커버(150)가 전자 장치(100)의 본체로부터 분리되어, 배터리를 교체할 수 있는 형태를 가질 수 있다. 후면 커버(150)는 배터리 커버 또는 배면 커버로 참조될 수도 있다.In an embodiment, the electronic device 100 may additionally include a speaker, a receiver, a front camera, a proximity sensor, or a home key. The electronic device 100 according to an embodiment may be provided in which the rear cover 150 is integrated with the main body of the electronic device. In another embodiment, the rear cover 150 may be separated from the main body of the electronic device 100 to have a form in which the battery can be replaced. The back cover 150 may be referred to as a battery cover or a back cover.
일 실시 예에서, 디스플레이(110)의 일 영역(170)에 사용자의 지문 인식을 위한 지문 센서(171)가 포함될 수 있다. 지문 센서(171)는 디스플레이(110)의 아래 층에 배치됨으로써, 사용자에 의해 시인되지 않거나, 시인이 어렵게 배치될 수 있다. 또한, 지문 센서(171) 외에 추가적인 사용자/생체 인증을 위한 센서가 디스플레이(110)의 일부 영역에 배치될 수 있다. 다른 실시 예에서, 사용자/생체 인증을 위한 센서는 베젤(190)의 일 영역에 배치될 수 있다. 예를 들어, 홍채 인증을 위한 IR 센서가 디스플레이(110)의 일 영역을 통해 노출되거나, 베젤(190)의 일 영역을 통해 노출될 수 있다.In an embodiment, a fingerprint sensor 171 for recognizing a user's fingerprint may be included in one area 170 of the display 110 . Since the fingerprint sensor 171 is disposed on a layer below the display 110 , the fingerprint sensor 171 may not be recognized by the user or may be difficult to recognize. In addition, a sensor for additional user/biometric authentication in addition to the fingerprint sensor 171 may be disposed in a portion of the display 110 . In another embodiment, a sensor for user/biometric authentication may be disposed on an area of the bezel 190 . For example, the IR sensor for iris authentication may be exposed through one area of the display 110 or exposed through one area of the bezel 190 .
일 실시 예에서, 전자 장치(100)의 전면의 일 영역(160)에는 전면 카메라(161)가 배치될 수 있다. 도 1의 실시 예에서는 전면 카메라(161)가 디스플레이(110)의 일 영역을 통해 노출되는 것으로 도시되었으나, 다른 실시 예에서 전면 카메라(161)가 베젤(190)을 통해 노출될 수 있다. 전자 장치(100)는 하나 이상의 전면 카메라(161)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 제1 전면 카메라 및 제2 전면 카메라와 같이 2개의 전면 카메라를 포함할 수 있다. 일 실시 예에서, 제1 전면 카메라와 제2 전면 카메라는 동등한 사양(예: 화소)을 가지는 동종의 카메라일 수 있으나, 제1 전면 카메라와 제2 전면 카메라는 다른 사양의 카메라로 구현될 수 있다. 전자 장치(100)는 2개의 전면 카메라를 통해 듀얼 카메라와 관련된 기능(예: 3D 촬영, 자동 초점(auto focus) 등)을 지원할 수 있다. 상기 언급된 전면 카메라에 대한 설명은 전자 장치(100)의 후면 카메라에 동일 또는 유사하게 적용될 수 있다.In an embodiment, the front camera 161 may be disposed in one area 160 of the front of the electronic device 100 . In the embodiment of FIG. 1 , the front camera 161 is shown to be exposed through one area of the display 110 , but in another embodiment, the front camera 161 may be exposed through the bezel 190 . The electronic device 100 may include one or more front cameras 161 . For example, the electronic device 100 may include two front cameras, such as a first front camera and a second front camera. In an embodiment, the first front camera and the second front camera may be cameras of the same type having the same specifications (eg, pixels), but the first front camera and the second front camera may be implemented as cameras of different specifications. . The electronic device 100 may support a function related to a dual camera (eg, 3D imaging, auto focus, etc.) through two front cameras. The above-mentioned description of the front camera may be equally or similarly applied to the rear camera of the electronic device 100 .
일 실시 예에서, 디스플레이(110)의 일 영역(160)의 배면(예: -z 방향을 향하는 면)에, 전면 카메라(161)가 상기 일 영역(160)을 향하도록 배치될 수 있다. 예를 들어, 전면 카메라(161)는 일 영역(160)으로 시각적으로 노출되지 않을 수 있고, 감춰진 디스플레이 배면 카메라(UDC; under display camera)를 포함할 수 있다.In an embodiment, the front camera 161 may be disposed on the rear surface (eg, the side facing the -z direction) of the one region 160 of the display 110 to face the one region 160 . For example, the front camera 161 may not be visually exposed to the one area 160 , and may include a hidden under display camera (UDC).
일 실시 예에 따르면, 전면 카메라(161)와 적어도 일부 대면하는 디스플레이(110)의 일 영역(160)은 콘텐트를 표시하는 영역의 일부로써, 지정된 투과율을 갖는 투과 영역으로 형성될 수도 있다. 일 실시 예에 따르면, 투과 영역은 약 5% 내지 약 20% 범위의 투과율을 갖도록 형성될 수 있다. 예를 들면, 투과 영역은 이미지 센서(예: 도 13의 이미지 센서(1330))로 결상되어 화상을 생성하기 위한 광이 통과하는, 전면 카메라(161)의 유효 영역(예: 화각 영역(FOV, field of view))과 중첩되는 영역을 포함할 수 있다. 예를 들어, 디스플레이(110)의 투과 영역은 주변보다 픽셀의 밀도 및/또는 배선 밀도가 낮은 영역을 포함할 수 있다.According to an embodiment, an area 160 of the display 110 that at least partially faces the front camera 161 is a part of an area for displaying content, and may be formed as a transmissive area having a specified transmittance. According to an embodiment, the transmissive region may be formed to have a transmittance in a range of about 5% to about 20%. For example, the transmissive area is formed by an image sensor (eg, the image sensor 1330 of FIG. 13 ) and an effective area of the front camera 161 (eg, the field of view (FOV), through which light for generating an image passes; field of view)) and overlapping areas may be included. For example, the transmissive area of the display 110 may include an area having a lower pixel density and/or wiring density than the surrounding area.
일 실시 예에서, 전자 장치(100)는 플래시와 같이 촬영을 보조하는 각종 하드웨어나 센서(163)가 추가적으로 배치될 수 있다. 예를 들어, 피사체와 전자 장치(100) 사이의 거리를 감지하기 위한 거리 센서(예: TOF 센서) 등이 더 포함될 수 있다. 상기 거리 센서는 전면 카메라 및/또는 후면 카메라에 모두 적용될 수 있다. 상기 거리 센서는 별도로 배치되거나 포함되어 전면 카메라 및/또는 후면 카메라에 배치될 수 있다.In an embodiment, in the electronic device 100 , various hardware or sensors 163 to assist photographing, such as a flash, may be additionally disposed. For example, a distance sensor (eg, TOF sensor) for detecting a distance between the subject and the electronic device 100 may be further included. The distance sensor may be applied to both a front camera and/or a rear camera. The distance sensor may be separately disposed or included and disposed on the front camera and/or the rear camera.
일 실시 예에서, 전자 장치(100)의 측면부에는 적어도 하나의 물리 키가 배치될 수 있다. 예를 들어, 디스플레이(110)를 ON/OFF하거나 전자 장치(100)의 전원을 ON/OFF하기 위한 제1 기능 키(151)가 전자 장치(100)의 전면을 기준으로 우측 가장자리에 배치될 수 있다. 일 실시 예에서, 전자 장치(100)의 볼륨을 제어하거나 화면 밝기 등을 제어하기 위한 제2 기능 키(152)가 전자 장치(100)의 전면을 기준으로 좌측 가장자리에 배치될 수 있다. 이 외에도 추가적은 버튼이나 키가 전자 장치(100)의 전면이나 후면에도 배치될 수 있다. 예를 들어, 전면의 베젤(190) 중 하단 영역에 특정 기능에 맵핑된 물리 버튼이나 터치 버튼이 배치될 수 있다.In an embodiment, at least one physical key may be disposed on a side portion of the electronic device 100 . For example, the first function key 151 for turning on/off the display 110 or turning on/off the power of the electronic device 100 may be disposed on the right edge with respect to the front of the electronic device 100 . have. In an embodiment, the second function key 152 for controlling the volume or screen brightness of the electronic device 100 may be disposed on the left edge with respect to the front surface of the electronic device 100 . In addition to this, additional buttons or keys may be disposed on the front or rear of the electronic device 100 . For example, a physical button or a touch button mapped to a specific function may be disposed in a lower region of the front bezel 190 .
도 1을 참조하면, 일 실시 예에 따른 전자 장치(100)는 전자 장치(100)의 후면(예: +z 방향을 향하는 면)에 적어도 하나의 카메라 모듈, 플래시, 및 거리 센서와 같은 센서들을 포함할 수 있다. 카메라 모듈(180)은 렌즈 어셈블리(182)(예: 도 14의 렌즈 어셈블리(1410)), AF/OIS 캐리어 어셈블리(183), 적외선 차단 필터(infra-red cut filter)(184), 이미지 센서(185)(예: 도 14의 이미지 센서(1430)) 및 이미지 시그널 프로세서(ISP; image signal processor)(187)(예: 도 14의 이미지 시그널 프로세서(1460))를 포함할 수 있다. Referring to FIG. 1 , an electronic device 100 according to an embodiment includes at least one camera module, a flash, and sensors such as a distance sensor on a rear surface (eg, a surface facing the +z direction) of the electronic device 100 . may include The camera module 180 includes a lens assembly 182 (eg, the lens assembly 1410 of FIG. 14 ), an AF/OIS carrier assembly 183 , an infrared cut filter 184 , and an image sensor ( 185) (eg, the image sensor 1430 of FIG. 14 ) and an image signal processor (ISP) 187 (eg, the image signal processor 1460 of FIG. 14 ).
일 실시 예에서, 렌즈 어셈블리(182), AF/OIS 캐리어 어셈블리(183), 및 이미지 센서(185)는 전자 장치(100)로 입사되는 광의 방향과 평행하게 배치되는 것이 아니라, 전자 장치(100)로 입사되는 광의 방향과 실질적으로 수직하도록 배치될 수 있다. 예를 들면, 전자 장치(100)로 입사되는 광의 방향(101)(예: -z 방향)과 실질적으로 수직하도록 배치하여 전자 장치(100)의 두께가 줄어들 수 있다. 카메라 모듈(180)에 포함된 프리즘(181)은 반사체의 역할을 하여, 입사되는 광의 방향(101)을 반사되는 방향(102)으로 변경하여 렌즈 어셈블리(182), AF/OIS 캐리어 어셈블리(183), 및 이미지 센서(185)에 광이 지나가도록 동작할 수 있다. 예를 들어, 프리즘(181)은 -z 방향으로 입사하는 광을 반사하여 광의 방향을 +x 방향으로 변경할 수 있다. 이러한 구조적 특성상, 전자 장치(100)는 프리즘(181)의 움직임을 제어하여 흔들림 보정을 수행할 수 있다. 일 실시 예에서, 프리즘(181)은 미러로 대체될 수 있다.In an embodiment, the lens assembly 182 , the AF/OIS carrier assembly 183 , and the image sensor 185 are not disposed parallel to the direction of light incident to the electronic device 100 , but the electronic device 100 . It may be disposed to be substantially perpendicular to the direction of the light incident to the . For example, the thickness of the electronic device 100 may be reduced by disposing it to be substantially perpendicular to a direction 101 (eg, a -z direction) of light incident on the electronic device 100 . The prism 181 included in the camera module 180 serves as a reflector and changes the direction 101 of the incident light to the direction 102 to be reflected, so that the lens assembly 182 and the AF/OIS carrier assembly 183 are included. , and the image sensor 185 may operate to pass light. For example, the prism 181 may reflect light incident in the -z direction to change the direction of the light to the +x direction. Due to this structural characteristic, the electronic device 100 may perform shake correction by controlling the movement of the prism 181 . In one embodiment, the prism 181 may be replaced with a mirror.
일 실시 예에서, 렌즈 어셈블리(182)는 전면 카메라와 후면 카메라에 따라 렌즈의 개수, 배치, 및/또는 종류 등이 서로 다를 수 있다. 렌즈 어셈블리의 타입에 따라 전면 카메라와 후면 카메라는 서로 다른 특성(예: 초점 거리, 최대 배율 등)을 가질 수 있다. 상기 렌즈는 광축을 따라 전, 후로 움직일 수 있으며, 초점 거리를 변화시켜 피사체가 되는 대상 객체가 선명하게 찍힐 수 있도록 동작할 수 있다.In an embodiment, the lens assembly 182 may have different numbers, arrangements, and/or types of lenses depending on the front camera and the rear camera. Depending on the type of lens assembly, the front camera and the rear camera may have different characteristics (eg, focal length, maximum magnification, etc.). The lens may move forward and backward along the optical axis, and may operate to change a focal length so that a target object, which is a subject, can be clearly captured.
일 실시 예에서, 카메라 모듈(180)은 광축 상에 정렬된 적어도 하나 이상의 렌즈를 실장하는 렌즈 어셈블리(182)와 광축을 중심으로 렌즈 어셈블리(182)의 둘레를 적어도 일부 둘러싸는, 적어도 하나의 코일을 실장하는 AF/OIS 캐리어 어셈블리(183)를 포함할 수 있다. In an embodiment, the camera module 180 includes a lens assembly 182 for mounting at least one or more lenses aligned on an optical axis and at least one coil that at least partially surrounds the periphery of the lens assembly 182 about the optical axis. It may include an AF / OIS carrier assembly 183 for mounting the.
일 실시 예에서, 적외선 차단 필터(184)는 이미지 센서(185)의 상면(예: -x 방향)에 배치될 수 있다. 렌즈를 통과한 피사체의 상은 적외선 차단 필터(184)에 의해 일부 필터링된 후 이미지 센서(185)에 의해 감지될 수 있다.In an embodiment, the infrared cut filter 184 may be disposed on the upper surface (eg, -x direction) of the image sensor 185 . The image of the subject passing through the lens may be partially filtered by the infrared cut filter 184 and then detected by the image sensor 185 .
일 실시 예에서, 이미지 센서(185)는 CMOS(complementary metal oxide semiconductor) 센서 또는 CCD(charged coupled device) 센서일 수 있다. 이미지 센서(185)에는 복수의 개별 픽셀들(pixels)이 집적되며, 각 개별 픽셀은 마이크로 렌즈(micro lens), 컬러 필터 및 포토다이오드(photodiode)를 포함할 수 있다. 각 개별 픽셀은 일종의 광검출기로서 입력되는 광을 전기적 신호로 변환시킬 수 있다. 광검출기는 일반적으로 캡쳐된 광의 파장을 스스로 검출할 수 없고 컬러 정보를 결정할 수 없다. 상기 광검출기는 포토다이오드를 포함할 수 있다. In an embodiment, the image sensor 185 may be a complementary metal oxide semiconductor (CMOS) sensor or a charged coupled device (CCD) sensor. A plurality of individual pixels are integrated in the image sensor 185 , and each individual pixel may include a micro lens, a color filter, and a photodiode. Each individual pixel is a kind of photodetector that can convert incoming light into an electrical signal. Photodetectors generally cannot detect the wavelength of the captured light by themselves and cannot determine color information. The photodetector may include a photodiode.
일 실시 예에서, 이미지 센서(185)는 커넥터(connector)(186)에 의해 인쇄회로기판(188)과 연결된 이미지 시그널 프로세서(187)와 전기적으로 연결될 수 있다. 상기 커넥터(186)로는 연성 인쇄회로 기판(FPCB) 또는 케이블(cable) 등이 사용될 수 있다. 렌즈 어셈블리(182)를 통해 입사된 피사체의 광 정보는 이미지 센서(185)에 의해 전기적 신호로 변환되어 이미지 시그널 프로세서(187)로 입력될 수 있다. 일 실시 예에서, 이미지 시그널 프로세서(187)는 전자 장치(100) 내에서 프로세서(120)와 독립적으로 배치되거나, 프로세서(120)의 일부로서 구동될 수 있다.In an embodiment, the image sensor 185 may be electrically connected to the image signal processor 187 connected to the printed circuit board 188 by a connector 186 . A flexible printed circuit board (FPCB) or a cable may be used as the connector 186 . The light information of the subject incident through the lens assembly 182 may be converted into an electrical signal by the image sensor 185 and input to the image signal processor 187 . In an embodiment, the image signal processor 187 may be disposed independently of the processor 120 in the electronic device 100 or may be driven as a part of the processor 120 .
일 실시 예에서, 카메라 모듈(180)은 전자 장치(100)의 후면뿐만 아니라, 전면에 배치될 수 있다. 또한 전자 장치(100)는 카메라의 성능 향상을 위해 한 개의 카메라 모듈(180)뿐만 아니라, 여러 개의 카메라 모듈(180)을 포함할 수 있다. 예를 들어, 전자 장치(100)는 영상 통화 또는 셀프 카메라 촬영을 위한 전면 카메라(161)를 더 포함할 수 있다. 전면 카메라(161)는 후면 카메라 모듈에 비하여 상대적으로 낮은 화소 수를 지원할 수 있다. 전면 카메라는 후면 카메라 모듈에 비하여 상대적으로 보다 소형일 수 있다.In an embodiment, the camera module 180 may be disposed on the front side as well as the rear side of the electronic device 100 . In addition, the electronic device 100 may include a plurality of camera modules 180 as well as one camera module 180 to improve camera performance. For example, the electronic device 100 may further include a front camera 161 for video call or self-camera photography. The front camera 161 may support a relatively low number of pixels compared to the rear camera module. The front camera may be relatively smaller than the rear camera module.
도 1에 도시된 전자 장치(100)는 하나의 예시에 해당하며, 본 문서에 개시된 기술적 사상이 적용되는 장치의 형태를 제한하는 것은 아니다. 본 문서에 개시되는 기술적 사상은, 제1 방향을 향하는 제1 카메라 모듈과, 제1 방향과 다른 방향을 향하는 제2 카메라 모듈을 구비한 다양한 사용자 장치에 적용 가능하다. 예를 들어, 플렉서블 디스플레이 및 힌지 구조를 채용하여, 가로 방향으로 폴딩이 가능하거나 세로 방향으로 폴딩이 가능한 폴더블 전자 장치나, 태블릿 또는 노트북에도 본 문서에 개시되는 기술적 사상이 적용될 수 있다. 또한, 같은 방향을 향하는 제1 카메라 모듈과 제2 카메라 모듈이, 장치의 회전, 접힘, 변형 등을 통해 다른 방향을 향하도록 배치되는 것이 가능한 경우에도 본 기술적 사상은 적용될 수 있다. 예를 들면, 도시된 예의 전자 장치(100)는 바형(bar type), 또는 평판형(plate type)의 외관을 도시하고 있지만, 본 문서의 다양한 실시 예들은 이에 한정되지 않는다. 예를 들어, 도시된 전자 장치는 롤러블 전자 장치의 일부일 수 있다. 롤러블 전자 장치(rollable electronic device)는 디스플레이(110)의 굽힘 변형이 가능해, 디스플레이(110)의 적어도 일부분이 말아지거나(wound or rolled), 전자 장치(100)의 내부로 수납될 수 있는 전자 장치를 의미할 수 있다. 롤러블 전자 장치는 사용자의 필요에 따라, 디스플레이(110)를 펼침으로써 또는 디스플레이(110)의 더 넓은 면적을 외부로 노출시킴으로써 화면 표시 영역을 확장하여 사용할 수 있다. 디스플레이(110)는 슬라이드 아웃 디스플레이(slide-out display) 또는 익스펜더블 디스플레이(expandable display)로 지칭될 수도 있다.The electronic device 100 illustrated in FIG. 1 corresponds to one example, and the form of the device to which the technical idea disclosed in this document is applied is not limited. The technical idea disclosed in this document is applicable to various user devices including a first camera module facing a first direction and a second camera module facing a direction different from the first direction. For example, by employing a flexible display and a hinge structure, the technical idea disclosed in this document may be applied to a foldable electronic device that can be folded in a horizontal direction or a foldable electronic device in a vertical direction, a tablet, or a notebook computer. In addition, the present technical idea can be applied even when it is possible to arrange the first camera module and the second camera module facing the same direction to face different directions through rotation, folding, deformation, etc. of the device. For example, although the electronic device 100 of the illustrated example has a bar-type or plate-type appearance, various embodiments of the present disclosure are not limited thereto. For example, the illustrated electronic device may be a part of a rollable electronic device. A rollable electronic device is an electronic device capable of bending and deforming the display 110 , so that at least a portion of the display 110 is wound or rolled or accommodated inside the electronic device 100 . can mean The rollable electronic device can be used by expanding the screen display area by unfolding the display 110 or exposing a larger area of the display 110 to the outside according to a user's needs. The display 110 may also be referred to as a slide-out display or an expandable display.
도 2는 일 실시 예에 따른 카메라 모듈(180)을 나타낸다. 도 3은 일 실시 예에 따른 카메라 모듈(180)의 분해 사시도를 나타낸다.2 illustrates a camera module 180 according to an embodiment. 3 is an exploded perspective view of the camera module 180 according to an embodiment.
도 2와 도 3을 참조하면, 카메라 모듈(180)은 커버(310), 하우징 어셈블리(320), 프리즘 모듈(210), 렌즈 어셈블리(330)(예: 도 1의 렌즈 어셈블리(182)), 이미지 센서(360)(예: 도 1의 이미지 센서(185))를 포함할 수 있다.2 and 3 , the camera module 180 includes a cover 310 , a housing assembly 320 , a prism module 210 , a lens assembly 330 (eg, the lens assembly 182 of FIG. 1 ); It may include an image sensor 360 (eg, the image sensor 185 of FIG. 1 ).
일 실시 예에서, 프리즘 모듈(210)은 프리즘(211)(예: 도 1의 프리즘(181)), 프리즘 연결부(213), 프리즘 홀더(215), 제1 볼 세트(217), 및 제2 볼 세트(219)를 포함할 수 있다. 프리즘 연결부(213)는 프리즘(211)과 프리즘 홀더(215)를 연결할 수 있다. 프리즘 홀더(215)는 'U' 형상 또는 'ㄷ' 형상일 수 있으며, 프리즘 홀더(215)의 사이 공간에는 프리즘(211), 및 프리즘 연결부(213)를 포함할 수 있다. 프리즘 홀더(215)는 프리즘(211)과 물리적으로 결합되며, 프리즘(211)과 일체로 움직일 수 있다. 프리즘 홀더(215)는 프리즘(211)을 외부 충격으로부터 보호할 수 있다.In one embodiment, the prism module 210 includes a prism 211 (eg, the prism 181 of FIG. 1 ), a prism connection part 213 , a prism holder 215 , a first set of balls 217 , and a second Ball set 219 may be included. The prism connection part 213 may connect the prism 211 and the prism holder 215 . The prism holder 215 may have a 'U' shape or a 'C' shape, and a space between the prism holder 215 may include a prism 211 and a prism connection part 213 . The prism holder 215 is physically coupled to the prism 211 and may move integrally with the prism 211 . The prism holder 215 may protect the prism 211 from external impact.
일 실시 예에서, 프리즘(211)은 패닝 축(예: z축), 틸팅 축(예: y축)으로 회전할 수 있다. 예를 들어, 프리즘(211)은 제1 볼 세트(217)에 기반하여 틸팅 축(예: y축)을 기준으로 회전할 수 있다. 또한 프리즘(211)은 제2 볼 세트(219)에 기반하여 패닝 축(예: z축)을 기준으로 회전할 수 있다. 상기 틸딩 축(예: y축)을 기준으로 회전하는 것은 제1 방향(예: 피치(pitch) 방향)으로 회전하는 것으로 이해될 수 있고, 상기 패닝 축(예: z축)을 기준으로 회전하는 것은 제2 방향(예: 요(yaw) 방향)으로 회전하는 것으로 이해될 수 있다. 프리즘 모듈(210)은 프리즘 어셈블리, 및/또는 프리즘 구조체로 지칭될 수 있다.In an embodiment, the prism 211 may rotate along a panning axis (eg, a z-axis) and a tilting axis (eg, a y-axis). For example, the prism 211 may rotate based on a tilting axis (eg, a y-axis) based on the first ball set 217 . Also, the prism 211 may rotate based on the panning axis (eg, the z-axis) based on the second ball set 219 . Rotating about the tilting axis (eg, y-axis) may be understood as rotating in a first direction (eg, pitch direction), and rotating about the panning axis (eg, z-axis) This may be understood as rotating in a second direction (eg, a yaw direction). The prism module 210 may be referred to as a prism assembly, and/or a prism structure.
일 실시 예에서, 프리즘 모듈(210)에 포함된 프리즘(211)은 렌즈 어셈블리(330)의 전방(예: -x 축 방향)에 배치되며, 프리즘(211)은 일 축(예: -z 방향)으로 입사한 광을 렌즈 어셈블리(330)를 향해 반사할 수 있다. 예를 들어, 프리즘(211)은 전자 장치(100)의 후면(예: -z 방향)으로 들어온 광을 약 90˚ 전환하여, 렌즈 어셈블리(330)를 향하게 할 수 있다. 카메라 모듈(180)은 프리즘(211) 및 프리즘 연결부(213)를 감싸는 프리즘 홀더(215)를 포함할 수 있다.In an embodiment, the prism 211 included in the prism module 210 is disposed in front of the lens assembly 330 (eg, in the -x-axis direction), and the prism 211 has one axis (eg, in the -z direction). ) may be reflected toward the lens assembly 330 . For example, the prism 211 may convert the light entering the rear surface (eg, -z direction) of the electronic device 100 by about 90° to direct the light toward the lens assembly 330 . The camera module 180 may include a prism 211 and a prism holder 215 surrounding the prism connector 213 .
일 실시 예에서, 카메라 모듈(180)은 프리즘 모듈(210) 및/또는 렌즈 어셈블리(330)에 고정된 적어도 둘 이상의 자성체(예: 도 2의 제1 마그넷(216) 및/또는 도 3의 제2 마그넷(331))를 포함할 수 있다. 카메라 모듈(180)은 상기 적어도 둘 이상의 자성체와 상호작용하는 적어도 둘 이상의 구동 코일(350)을 포함할 수 있다. 상기 적어도 둘 이상의 자성체는 프리즘(211) 및/또는 렌즈 어셈블리(330)와 일체로 움직이며 상기 적어도 둘 이상의 구동 코일(350)에 의한 전자기력을 프리즘(211) 및/또는 렌즈 어셈블리(330)에 전달할 수 있다. 일 실시 예에서, 카메라 모듈(180)은 적어도 둘 이상의 홀 센서(390)를 포함할 수 있다. 적어도 둘 이상의 홀 센서(390)(예: 도 4의 1 홀 센서(431), 제2 홀 센서(433), 또는 제3 홀 센서(435))는 이하 도 4에서 언급되므로 자세한 설명은 생략한다.In an embodiment, the camera module 180 includes at least two or more magnetic bodies fixed to the prism module 210 and/or the lens assembly 330 (eg, the first magnet 216 of FIG. 2 and/or the second magnet of FIG. 3 ). 2 magnets 331) may be included. The camera module 180 may include at least two driving coils 350 interacting with the at least two or more magnetic bodies. The at least two or more magnetic materials move integrally with the prism 211 and/or the lens assembly 330 and transmit the electromagnetic force by the at least two or more driving coils 350 to the prism 211 and/or the lens assembly 330 . can In an embodiment, the camera module 180 may include at least two Hall sensors 390 . At least two or more Hall sensors 390 (eg, the first Hall sensor 431 , the second Hall sensor 433 , or the third Hall sensor 435 of FIG. 4 ) are described below in FIG. 4 , and thus detailed descriptions thereof will be omitted. .
일 실시 예에서, 카메라 모듈(180)은 프리즘 모듈(210), 및 렌즈 어셈블리(330)를 실장할 수 있는 하우징 어셈블리(320)를 포함할 수 있다. 하우징 어셈블리(320)는 커버(310)에 의하여 덮여질 수 있다. 카메라 모듈(180)은 복수의 베어링들을 포함하고, 상기 복수의 베어링들은 렌즈 어셈블리(330)의 회전 및/또는 직선 운동을 지지할 수 있다.In an embodiment, the camera module 180 may include a prism module 210 and a housing assembly 320 in which the lens assembly 330 may be mounted. The housing assembly 320 may be covered by the cover 310 . The camera module 180 includes a plurality of bearings, and the plurality of bearings may support rotation and/or linear motion of the lens assembly 330 .
일 실시 예에서, 이미지 센서(360)는 인쇄회로기판(370)(예: PCB(printed circuit board), PBA(printed board assembly), FPCB(flexible PCB) 또는 RFPCB(rigid-flexible PCB))과 연결되어 배치될 수 있다. 이미지 센서(360)는 렌즈 어셈블리(330)의 후방(예: +x 방향)에 배치되며, 렌즈 어셈블리(330)를 통과한 광을 이미지 센서(360)를 통해 수집할 수 있다.In an embodiment, the image sensor 360 is connected to a printed circuit board 370 (eg, a printed circuit board (PCB), a printed board assembly (PBA), a flexible PCB (FPCB), or a rigid-flex PCB (RFPCB)). and can be placed. The image sensor 360 is disposed at the rear of the lens assembly 330 (eg, in the +x direction), and may collect light passing through the lens assembly 330 through the image sensor 360 .
일 실시 예에서, 인쇄회로기판(370)은 AF(auto focus) 구동부, 및 OIS(optical image stabilization) 구동부와 전기적으로 연결될 수 있다. 전자 장치(100)가 흔들릴 때 전자 장치(100)에 포함된 적어도 하나의 프로세서(예: 도 1의 프로세서(120))는 전자 장치(100)의 흔들림을 보상하기 위해 OIS 제어 값을 생성할 수 있고, 전자 장치(100)는 OIS 제어 값에 대응하는 전기 신호를 OIS 구동부의 적어도 하나 이상의 코일에 전달함으로써 흔들림 보정을 수행할 수 있다. 카메라 촬영 시, 전자 장치(100)에 포함된 적어도 하나의 프로세서(예: 도 1의 프로세서(120))는 피사체와 카메라의 초점 거리를 조정하기 위해 AF 제어 값을 생성할 수 있고, 전자 장치(100)는 AF 제어 값에 대응하는 전기 신호를 AF 구동부의 적어도 하나 이상의 코일에 전달함으로써 AF를 구현할 수 있다.In an embodiment, the printed circuit board 370 may be electrically connected to an auto focus (AF) driver and an optical image stabilization (OIS) driver. When the electronic device 100 shakes, at least one processor included in the electronic device 100 (eg, the processor 120 of FIG. 1 ) may generate an OIS control value to compensate for the shaking of the electronic device 100 . In addition, the electronic device 100 may perform shake correction by transmitting an electric signal corresponding to the OIS control value to at least one coil of the OIS driver. When the camera is photographed, at least one processor (eg, the processor 120 of FIG. 1 ) included in the electronic device 100 may generate an AF control value to adjust a focal length between the subject and the camera, and the electronic device ( 100) may implement AF by transmitting an electrical signal corresponding to the AF control value to at least one coil of the AF driver.
일 실시 예에서, 카메라 모듈(180)은 비휘발성 메모리(380)를 포함할 수 있다. 일 실시 예에서, 상기 비휘발성 메모리(380)는 EEPROM(electrically erasable and programmable read only memory) 일 수 있다. 일 실시 예에서, 비휘발성 메모리(380)는 메인 메모리와 분리된 별개의 하드웨어로 구성될 수 있다. 예를 들어, 상기 메인 메모리는 카메라 모듈(180)에 포함되지 않는 별도의 하드웨어로 구성되고, 비휘발성 메모리(380)는 카메라 모듈(180)에 포함되어 하나의 모듈로 구성될 수 있다. 일 실시 예에서, 비휘발성 메모리(380)는 카메라 모듈의 일부에 배치될 수 있다. 예를 들어, 비휘발성 메모리(380)는 하우징 어셈블리(320)의 일 면에 부착될 수 있다. 비휘발성 메모리(380)는 하우징 어셈블리(320)의 외부 및/또는 내부에 배치될 수 있다. 일 실시 예에서, 비휘발성 메모리(380)는 프로세서(120)와 전기적으로 및/또는 작동적으로(operatively) 연결될 수 있다.In an embodiment, the camera module 180 may include a non-volatile memory 380 . In an embodiment, the non-volatile memory 380 may be an electrically erasable and programmable read only memory (EEPROM). In an embodiment, the non-volatile memory 380 may be configured as separate hardware from the main memory. For example, the main memory may be configured as separate hardware not included in the camera module 180 , and the nonvolatile memory 380 may be included in the camera module 180 and configured as one module. In an embodiment, the non-volatile memory 380 may be disposed in a part of the camera module. For example, the non-volatile memory 380 may be attached to one surface of the housing assembly 320 . The non-volatile memory 380 may be disposed outside and/or inside the housing assembly 320 . In one embodiment, the non-volatile memory 380 may be electrically and/or operatively coupled to the processor 120 .
일 실시 예에서, 비휘발성 메모리(380)는 카메라 모듈(180)의 모듈 공정에서 함께 제작될 수 있다. 비휘발성 메모리(380)는 렌즈 어셈블리(330)의 광학적 특성을 저장할 수 있다. 비휘발성 메모리(380)는 프리즘(211)의 위치에 따른 홀 값(hall code)과 프리즘(211)의 위치에 따라 촬영된 이미지의 이미지 프로파일 값을 저장할 수 있다. In an embodiment, the non-volatile memory 380 may be manufactured together in a module process of the camera module 180 . The non-volatile memory 380 may store optical characteristics of the lens assembly 330 . The non-volatile memory 380 may store a hall value according to the position of the prism 211 and an image profile value of a photographed image according to the position of the prism 211 .
도 4는 일 실시 예에 따른 카메라 모듈(180)을 바텀 뷰(bottom view)에서 바라본 예시도과 사이드 뷰(side view)에서 바라본 예시도이다.4 is an exemplary view of the camera module 180 viewed from a bottom view and an exemplary view viewed from a side view, according to an embodiment.
일 실시 예에서, 프리즘(211)은 제1 마그넷(예: 도 2의 제1 마그넷(216))(410)과 물리적으로 결합될 수 있다. 프리즘(211)은 물리적으로 결합된 제1 마그넷(410)과 일체로 움직일 수 있다. 구체적으로 설명하면, 제1 마그넷(410)은 프리즘 홀더(예: 도 2의 프리즘 홀더(215))에 삽입되어 있고, 프리즘(211)은 상기 프리즘 홀더에 고정되어 있으므로, 프리즘(211)은 제1 마그넷(410)과 일체로 움직일 수 있다.In an embodiment, the prism 211 may be physically coupled to the first magnet (eg, the first magnet 216 of FIG. 2 ) 410 . The prism 211 may move integrally with the physically coupled first magnet 410 . Specifically, since the first magnet 410 is inserted into the prism holder (eg, the prism holder 215 of FIG. 2 ), and the prism 211 is fixed to the prism holder, the prism 211 is the second 1 It is possible to move integrally with the magnet 410 .
일 실시 예에서, 카메라 모듈(180)은 제1 구동 코일(421), 제2 구동 코일(423), 및 제3 구동 코일(425)을 포함할 수 있다. 제1 구동 코일(421)은 제1 홀 센서(431)와 상호작용하고, 제2 구동 코일(423)은 제2 홀 센서(433)와 상호작용하고, 제3 구동 코일(425)은 제3 홀 센서(435)와 상호작용할 수 있다.In an embodiment, the camera module 180 may include a first driving coil 421 , a second driving coil 423 , and a third driving coil 425 . The first drive coil 421 interacts with the first Hall sensor 431 , the second drive coil 423 interacts with the second Hall sensor 433 , and the third drive coil 425 interacts with the third may interact with the Hall sensor 435 .
일 실시 예에서, 적어도 하나의 구동 코일의 중심부에 제1 마그넷(410)의 위치를 감지하도록 구성되는 적어도 하나의 홀 센서(hall sensor)가 배치될 수 있다. 예를 들어, 제1 홀 센서(431)는 제1 마그넷(410)의 피치(pitch) 방향의 위치를 감지할 수 있다. 예를 들어, 제2 홀 센서(433), 및 제3 홀 센서(435)는 제1 마그넷(410)의 요(yaw) 방향의 위치를 감지할 수 있다.In an embodiment, at least one hall sensor configured to detect the position of the first magnet 410 may be disposed in the center of the at least one driving coil. For example, the first Hall sensor 431 may detect a position of the first magnet 410 in a pitch direction. For example, the second Hall sensor 433 and the third Hall sensor 435 may detect the position of the first magnet 410 in the yaw direction.
일 실시 예에서, 적어도 하나의 홀 센서(431, 433, 435)는 대향하는 마그넷(예: 제1 마그넷(410))과 상호작용을 통해 상기 마그넷의 상기 적어도 하나의 홀 센서에 대한 위치를 측정할 수 있다. 다시 말해서, 상기 적어도 하나의 홀 센서(431, 433, 435)는 적어도 하나의 구동 코일(421, 423, 425)의 중심부에 배치되어, 적어도 하나의 마그넷의 상기 적어도 하나의 홀 센서에 대한 위치 정보(예: pitch 방향, yaw 방향의 위치 정보)를 측정할 수 있다.In an embodiment, the at least one Hall sensor 431 , 433 , 435 measures a position of the magnet with respect to the at least one Hall sensor through interaction with an opposing magnet (eg, the first magnet 410 ). can do. In other words, the at least one Hall sensor 431 , 433 , 435 is disposed at the center of the at least one driving coil 421 , 423 , 425 , and the at least one magnet provides position information for the at least one Hall sensor (eg, pitch direction, yaw direction location information) can be measured.
일 실시 예에서, 제1 마그넷(410)은 적어도 두 개의 마그넷으로 구성될 수 있다. 하나는 상기 피치(pitch) 방향의 위치를 감지하기 위해 프리즘 연결부(213)의 일 측면에 부착되고, 다른 하나는 상기 요(yaw) 방향의 위치를 감지하기 위해 프리즘 홀더(215)의 일 측면에 부착될 수 있다.In one embodiment, the first magnet 410 may be composed of at least two magnets. One is attached to one side of the prism connector 213 to detect the position in the pitch direction, and the other is attached to one side of the prism holder 215 to detect the position in the yaw direction. can be attached.
도 5는 일 실시 예에 따른 전자 장치(100)에서, 프리즘(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 위치에 따라 렌즈 쉐이딩 보정을 수행하는 과정을 나타낸 흐름도이다. 렌즈 쉐이딩(lens shading)이란, 렌즈의 곡률로 인하여 렌즈 어셈블리(예: 도 1의 렌즈 어셈블리(182))에 입사하는 광선(ray) 중 렌즈 어셈블리(182)의 중심부를 통과하는 광선이 렌즈 어셈블리(182)의 중심부가 아닌 외곽부를 통과하는 광선보다 이미지 센서(예: 도 1의 이미지 센서(185))에 더 많이 도달하여 이미지의 가장 자리 쪽으로 갈수록 어두운 영역이 출력되는 현상을 말한다. 렌즈의 곡면 형상 및/또는 렌즈의 내부 조리개가 렌즈 쉐이딩을 일으키는 원인이 될 수 있다.5 illustrates a process of performing lens shading correction according to the positions of a prism (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) in the electronic device 100 according to an embodiment. flow chart shown. Lens shading refers to a ray passing through the center of the lens assembly 182 among rays incident on the lens assembly (eg, the lens assembly 182 of FIG. 1 ) due to the curvature of the lens. 182) refers to a phenomenon in which a darker area is output as it goes toward the edge of the image by reaching the image sensor (eg, the image sensor 185 of FIG. 1 ) more than the light passing through the outer part instead of the central part. The curved shape of the lens and/or the internal diaphragm of the lens can cause lens shading.
일 실시 예에 따른 동작 510에서, 프로세서(120)는 반사체(예: 도 1의 프리즘(181))의 위치에 따른 렌즈 쉐이딩을 보정하기 위한 데이터를 비휘발성 메모리로부터 획득할 수 있다. 프로세서(120)는 렌즈 쉐이딩을 보정하기 위한 룩업 테이블을 비휘발성 메모리로부터 획득할 수 있다. 상기 룩업 테이블은 프리즘(181)의 각 위치 정보에 대응되는 렌즈 쉐이딩 보상 값을 포함할 수 있다. 상기 렌즈 쉐이딩을 보정하기 위한 데이터 및/또는 상기 룩업 테이블은 카메라 모듈(180)에 포함된 비휘발성 메모리(예: 도 3의 비휘발성 메모리(380))에 미리 저장된 데이터일 수 있다. 상기 비휘발성 메모리(380)에 저장된 데이터는 카메라 모듈 공정을 통해 입력될 수 있다. 렌즈 쉐이딩을 보정하기 위한 데이터는 이하 도 7에서 기술되는 보정 함수, 및/또는 보정 룩업 테이블을 포함할 수 있다. In operation 510 according to an embodiment, the processor 120 may obtain data for correcting lens shading according to the position of the reflector (eg, the prism 181 of FIG. 1 ) from the nonvolatile memory. The processor 120 may obtain a lookup table for correcting lens shading from the nonvolatile memory. The lookup table may include a lens shading compensation value corresponding to each position information of the prism 181 . The data for correcting the lens shading and/or the lookup table may be data previously stored in a nonvolatile memory (eg, the nonvolatile memory 380 of FIG. 3 ) included in the camera module 180 . Data stored in the non-volatile memory 380 may be input through a camera module process. Data for correcting lens shading may include a correction function described below with reference to FIG. 7 and/or a correction lookup table.
일 실시 예에서, 상기 비휘발성 메모리는 EEPROM(electrically erasable programmable read-only memory)일 수 있다. 일 실시 예에서, 상기 반사체는 프리즘 또는 미러일 수 있다.In an embodiment, the non-volatile memory may be an electrically erasable programmable read-only memory (EEPROM). In an embodiment, the reflector may be a prism or a mirror.
일 실시 예에 따른 동작 520에서, 프로세서(120)는 카메라 모듈(180)을 구동하여 제1 이미지 프레임을 획득할 수 있다. 프로세서(120)는 카메라 어플리케이션을 실행하는 입력(예: 사용자의 입력)을 획득하여 카메라 모듈(180)을 구동할 수 있다. 상기 입력은 사용자가 기능키를 누르는 것, 디스플레이(110)에 표시된 카메라 아이콘을 터치하는 것, 또는 사용자의 음성 입력 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 제1 이미지 프레임을 획득한 후 순차적으로 제2 이미지 프레임을 획득할 수 있다.In operation 520 according to an embodiment, the processor 120 may obtain the first image frame by driving the camera module 180 . The processor 120 may obtain an input for executing a camera application (eg, a user input) to drive the camera module 180 . The input may include at least one of a user pressing a function key, touching a camera icon displayed on the display 110, or a user's voice input. After acquiring the first image frame, the processor 120 may sequentially acquire the second image frame.
일 실시 예에 따른 동작 530에서, 프로세서(120)는 적어도 하나의 홀 센서를 통해 제1 이미지 프레임에 대응하는 반사체(예: 도 1의 프리즘(181))의 제1 위치를 확인할 수 있다. 상기 적어도 하나의 홀 센서는 상기 반사체의 위치 정보를 획득하기 위한 구성으로, 프로세서(120)는 상기 반사체에 결합된 마그넷과 상호 작용을 통해 상기 반사체의 위치 정보를 획득할 수 있다. 다시 말해서, 프로세서(120)는 제1 이미지 프레임이 획득되는 시점에 대응되는 상기 반사체의 제1 위치를 확인할 수 있다. 제1 이미지 프레임이 획득되는 시점은 제1 이미지 프레임이 이미지 센서(185)에 캡쳐되는 시점, 제1 이미지 프레임이 이미지 센서(185)에서 리드아웃(read-out)되는 시점, 및/또는 제1 이미지 프레임이 이미지 센서(185)에서 출력되는 시점 중 적어도 하나일 수 있다.In operation 530 according to an embodiment, the processor 120 may identify a first position of a reflector (eg, the prism 181 of FIG. 1 ) corresponding to the first image frame through at least one Hall sensor. The at least one Hall sensor is configured to acquire position information of the reflector, and the processor 120 may acquire position information of the reflector through interaction with a magnet coupled to the reflector. In other words, the processor 120 may identify the first position of the reflector corresponding to the time point at which the first image frame is acquired. A time point at which the first image frame is acquired is a time point at which the first image frame is captured by the image sensor 185 , a time point at which the first image frame is read-out from the image sensor 185 , and/or a first time point The image frame may be at least one of the time points output from the image sensor 185 .
일 실시 예에서, 프로세서(120)는 적어도 하나의 홀 센서를 통해 제1 방향(예: 피치(pitch) 방향)의 프리즘(181)의 위치를 확인할 수 있다. 프로세서(120)는 적어도 하나의 홀 센서를 통해 제1 방향(예: 피치(pitch) 방향)에서의 홀 값(hall code)을 획득할 수 있다. 프로세서(120)는 상기 획득된 홀 값에 기반하여 제1 방향(예: 피치(pitch) 방향)의 프리즘(181)의 위치 정보를 획득할 수 있다.In an embodiment, the processor 120 may identify the position of the prism 181 in the first direction (eg, a pitch direction) through at least one Hall sensor. The processor 120 may acquire a hall code in a first direction (eg, a pitch direction) through at least one Hall sensor. The processor 120 may obtain position information of the prism 181 in a first direction (eg, a pitch direction) based on the obtained hole value.
일 실시 예에서, 프로세서(120)는 적어도 하나의 홀 센서를 통해 제2 방향(예: 요(yaw) 방향)에서의 프리즘(181)의 위치를 확인할 수 있다. 프로세서(120)는 적어도 하나의 홀 센서를 통해 제2 방향(예: 요(yaw) 방향)에서의 홀 값(hall code)을 획득할 수 있다. 프로세서(120)는 상기 획득된 홀 값에 기반하여 제2 방향(예: 요(yaw) 방향)의 프리즘(181)의 위치 정보를 획득할 수 있다.In an embodiment, the processor 120 may identify the position of the prism 181 in the second direction (eg, a yaw direction) through at least one Hall sensor. The processor 120 may acquire a hall code in the second direction (eg, a yaw direction) through at least one Hall sensor. The processor 120 may acquire position information of the prism 181 in a second direction (eg, a yaw direction) based on the obtained hole value.
일 실시 예에서, 프로세서(120)는 제1 방향(예: 피치(pitch) 방향)에서의 홀 값(hall code), 제2 방향(예: 요(yaw) 방향)에서의 홀 값(hall code)에 대응되는 프리즘(181)의 위치를 확인할 수 있다. 일 실시 예에서, 프리즘(181)의 위치 정보는 홀 센서로부터 획득된 홀 값(hall code)에 대응되도록 미리 저장되거나 또는 설정될 수 있다. 이에 대하여는 도 6 또는 도 9에서 추가적으로 설명될 수 있다.In an embodiment, the processor 120 may generate a hall code in a first direction (eg, a pitch direction) and a hall value in a second direction (eg, a yaw direction). ), the position of the prism 181 can be confirmed. In an embodiment, the position information of the prism 181 may be previously stored or set to correspond to a hall code obtained from a hall sensor. This may be further described with reference to FIG. 6 or FIG. 9 .
일 실시 예에 따른 동작 540에서, 프로세서(120)는 상기 제1 위치 및 상기 획득한 데이터에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행할 수 있다.In operation 540 according to an embodiment, the processor 120 may perform lens shading correction on the first image frame based on the first position and the acquired data.
일 실시 예에서, 렌즈 쉐이딩으로 인하여 카메라 모듈(180)은 이미지의 가장 자리 쪽으로 갈수록 어두운 이미지를 출력할 수 있다. 따라서, 일 실시 예에서, 프로세서(120)는 획득된 이미지 프레임에 대하여 밝기 값이 낮은 영역은 밝기 값을 올려주어 이미지 프레임의 전체 영역이 균일한 밝기 값을 가지도록 렌즈 쉐이딩 보정을 수행할 수 있다. 일 실시 예에서, 프리즘(181)의 상기 제1 위치와 상기 제1 위치에 대응하는 렌즈 쉐이딩 보정 값에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 할 수 있다.In an embodiment, due to lens shading, the camera module 180 may output a darker image toward the edge of the image. Accordingly, in an embodiment, the processor 120 may perform lens shading correction so that the entire region of the image frame has a uniform brightness value by increasing the brightness value of the region having a low brightness value with respect to the obtained image frame. . In an embodiment, lens shading correction may be performed on the first image frame based on the first position of the prism 181 and a lens shading correction value corresponding to the first position.
일 실시 예에서, 프로세서(120)는 렌즈 쉐이딩 보정이 수행된 상기 제1 이미지 프레임을 디스플레이(예: 도 1의 디스플레이(110))를 통해 프리뷰로서 출력할 수 있다.In an embodiment, the processor 120 may output the first image frame on which the lens shading correction is performed as a preview through a display (eg, the display 110 of FIG. 1 ).
도 6은 카메라 모듈 공정을 통해 일 실시 예에 따른 카메라 모듈(180)이 세팅되는 과정을 나타낸 흐름도이다.6 is a flowchart illustrating a process of setting the camera module 180 according to an embodiment through a camera module process.
일 실시 예에 따른 동작 610에서, 카메라 모듈 공정에서 홀 값(hall code) 별로 이미지 촬영이 수행될 수 있다. 카메라 모듈 공정에서 반사체(예: 도 1의 프리즘(181))의 위치 별로 이미지 촬영이 수행될 수 있다. 카메라 모듈 공정에서 홀 값(hall code) 별로 대응되는 이미지가 결정되도록 상기 이미지 촬영이 수행될 수 있다.In operation 610 according to an embodiment, image capturing may be performed for each hall code in the camera module process. In the camera module process, image capturing may be performed for each position of a reflector (eg, the prism 181 of FIG. 1 ). The image capturing may be performed so that an image corresponding to each hall code is determined in the camera module process.
일 실시 예에 따른 동작 620에서, 카메라 모듈 공정에서 홀 값(hall code) 및 이미지 프로파일 값이 비휘발성 메모리에 저장될 수 있다. 다시 말해서, 카메라 모듈 공정에서 반사체(예: 도 1의 프리즘(181))의 위치 별로 이미지 촬영이 수행되고, 그 위치를 나타내는 홀 값(hall code)과 그 위치에서 촬영된 이미지의 이미지 프로파일(image profile) 값을 획득할 수 있다. 이미지 프로파일 값은 상기 촬영된 이미지의 픽셀 위치에 따른 밝기 값을 나타낼 수 있다.In operation 620 according to an embodiment, in the camera module process, a hall value and an image profile value may be stored in a non-volatile memory. In other words, in the camera module process, image capturing is performed for each position of the reflector (eg, the prism 181 in FIG. 1 ), and a hall value indicating the position and an image profile of the image photographed at that position (image) profile) value can be obtained. The image profile value may indicate a brightness value according to a pixel position of the photographed image.
도 7은 일 실시 예에 따른 전자 장치(100)에서, 렌즈 쉐이딩 보정을 위한 룩업 테이블을 생성하는 과정을 나타낸 흐름도이다. 도 7의 동작 710은 도 6의 동작 620 이후에 수행될 수 있다.7 is a flowchart illustrating a process of generating a lookup table for lens shading correction in the electronic device 100 according to an exemplary embodiment. Operation 710 of FIG. 7 may be performed after operation 620 of FIG. 6 .
일 실시 예에 따른 동작 710에서, 프로세서(120)는 카메라 모듈을 부팅할 수 있다. 일 실시 예에서, 프로세서(120)는 전자 장치(100)의 전원이 off 상태에서 on 상태로 되는 경우, 카메라 모듈(180)을 부팅할 수 있다. 일 실시 예에서, 프로세서(120)는 전자 장치(100)의 전원이 on 상태에서 카메라 어플리케이션이 실행되는 경우, 카메라 모듈을 부팅할 수 있다. In operation 710 according to an embodiment, the processor 120 may boot the camera module. In an embodiment, when the power of the electronic device 100 is turned from an off state to an on state, the processor 120 may boot the camera module 180 . In an embodiment, when the camera application is executed while the electronic device 100 is powered on, the processor 120 may boot the camera module.
일 실시 예에 따른 동작 720에서, 프로세서(120)는 비휘발성 메모리(예: EEPROM)에서 홀 값(hall code) 및 이미지 프로파일 값을 읽을 수 있다. 상기 비휘발성 메모리는 카메라 모듈(180)에 물리적으로 결합된 도 3의 비휘발성 메모리(380)일 수 있다. 홀 값(hall code)은 홀(hall) 전압을 센서의 분해능 값을 변환한 값일 수 있다. 일 실시 예에서, 프로세서(120)는 카메라 모듈(180)이 부팅되는 경우, 비휘발성 메모리에서 홀 값(hall code) 및 이미지 프로파일 값을 읽을 수 있다. 일 실시 예에서, 프로세서(120)는 카메라 모듈(180)이 부팅될 때마다 비휘발성 메모리에서 홀 값(hall code) 및 이미지 프로파일 값을 읽을 수 있다.In operation 720 according to an embodiment, the processor 120 may read a hall code and an image profile value from a non-volatile memory (eg, EEPROM). The non-volatile memory may be the non-volatile memory 380 of FIG. 3 physically coupled to the camera module 180 . The hall value (hall code) may be a value obtained by converting a hall voltage to a resolution value of the sensor. In an embodiment, when the camera module 180 is booted, the processor 120 may read a hall code and an image profile value from a non-volatile memory. In an embodiment, the processor 120 may read a hall code and an image profile value from a non-volatile memory whenever the camera module 180 is booted.
일 실시 예에 따른 동작 730에서, 프로세서(120)는 홀 값(hall code)에 기반하여 제1 방향(예: 피치(pitch) 방향), 및 제2 방향(예: 요(yaw) 방향)에 대한 보정 함수를 생성할 수 있다. 프로세서(120)는 비휘발성 메모리(예: EEPROM)에서 읽어 들인 홀 값(hall code) 및 이미지 프로파일 값에 기반하여 제1 방향(예: 피치(pitch) 방향), 및 제2 방향(예: 요(yaw) 방향)에 대한 보정 함수를 생성할 수 있다. 예를 들어, 프로세서(120)는 비휘발성 메모리(예: EEPROM)에서 읽어 들인 제1 방향(예: 피치(pitch) 방향)의 홀 값(hall code) 및 이미지 프로파일 값에 기반하여 제1 방향(예: 피치(pitch) 방향)에 대한 제1 다항식을 생성할 수 있다. 프로세서(120)는 비휘발성 메모리(예: EEPROM)에서 읽어 들인 요(yaw) 방향의 홀 값(hall code) 및 이미지 프로파일 값에 기반하여 요(yaw) 방향에 대한 제2 다항식을 생성할 수 있다.In operation 730 according to an embodiment, the processor 120 moves in a first direction (eg, a pitch direction) and a second direction (eg, a yaw direction) based on a hall code. A correction function can be created for The processor 120 is configured to perform a first direction (eg, a pitch direction) and a second direction (eg, (yaw) direction) can be generated. For example, the processor 120 reads from a non-volatile memory (eg, EEPROM) in a first direction (eg, a hall code) and an image profile value in a first direction (eg, a pitch direction). Example: A first polynomial for pitch direction) can be generated. The processor 120 may generate a second polynomial for the yaw direction based on a hall value and an image profile value in the yaw direction read from a non-volatile memory (eg, EEPROM). .
일 실시 예에 따른 동작 740에서, 프로세서(120)는 제1 방향(예: 피치(pitch) 방향), 및 제2 방향(예: 요(yaw) 방향)에 대한 보정 룩업 테이블(lookup table)을 생성할 수 있다. 다시 말해서, 프로세서(120)는 프리즘(181)의 위치에 따른 보정 룩업 테이블을 생성할 수 있다.In operation 740 according to an embodiment, the processor 120 calculates a correction lookup table for a first direction (eg, a pitch direction) and a second direction (eg, a yaw direction). can create In other words, the processor 120 may generate a correction lookup table according to the position of the prism 181 .
일 실시 예에서, 프로세서(120)는 비휘발성 메모리(예: EEPROM)에서 읽어 들인 홀 값(hall code) 및 이미지 프로파일 값에 기반하여 제1 방향(예: 피치(pitch) 방향), 및 제2 방향(예: 요(yaw) 방향)에 대한 보정 룩업 테이블(lookup table)을 생성할 수 있다. 프로세서(120)는 상기 홀 값(hall code) 및 상기 이미지 프로파일 값에 기반하여 생성된 보정 함수에 기반하여 보정 룩업 테이블을 생성할 수 있다. In an embodiment, the processor 120 may be configured to perform a first direction (eg, a pitch direction) and a second direction based on a hall value and an image profile value read from a non-volatile memory (eg, EEPROM). A correction lookup table for a direction (eg, a yaw direction) can be generated. The processor 120 may generate a correction lookup table based on a correction function generated based on the hall code and the image profile value.
일 실시 예에서, 상기 보정 룩업 테이블은 반사체(예: 도 1의 프리즘(181))의 위치 정보에 대응하는 쉐이딩 보정 값에 대한 테이블일 수 있다. 예를 들어, 상기 보정 룩업 테이블은 반사체(예: 도 1의 프리즘(181))이 제1 위치일 때 제1 쉐이딩 보정 값이 적용되고, 반사체(예: 도 1의 프리즘(181))이 제2 위치일 때 제2 쉐이딩 보정 값이 적용되도록 형성된 룩업 테이블 일 수 있다. 일 실시 예에서, 상기 보정 룩업 테이블은 상기 반사체의 위치와 관련된 홀 값(hall code)에 대응하는 쉐이딩 보정 값에 대한 테이블일 수 있다. 예를 들어, 상기 보정 룩업 테이블은 홀 값(hall code)이 제1 홀 값(hall code)일 때 제1 쉐이딩 보정 값이 적용되고, 홀 값(hall code)이 제2 홀 값(hall code)일 때 제2 쉐이딩 보정 값이 적용되도록 형성된 룩업 테이블 일 수 있다.In an embodiment, the correction lookup table may be a table for shading correction values corresponding to position information of a reflector (eg, the prism 181 of FIG. 1 ). For example, in the correction lookup table, the first shading correction value is applied when the reflector (eg, the prism 181 of FIG. 1 ) is in the first position, and the reflector (eg, the prism 181 of FIG. 1 ) is the second position. It may be a lookup table formed so that the second shading correction value is applied at the 2nd position. In an embodiment, the correction lookup table may be a table for shading correction values corresponding to a hall code related to the position of the reflector. For example, in the correction lookup table, when a hall value is a first hall value, a first shading correction value is applied, and a hall value is a second hall value (hall code) It may be a lookup table formed so that the second shading correction value is applied when .
도 8은 일 실시 예에 따른 전자 장치에서, 광원 이미지를 촬영한 경우, 이미지 영역 별 밝기 분포를 나타낸 그래프를 나타낸다. 제1 그래프(803)와 제2 그래프(805)의 가로축은 광원 이미지(801)의 가로축에 표시된 숫자에 대응되는 위치를 의미하고, 세로축은 밝기 값을 의미한다.8 is a graph illustrating a brightness distribution for each image area when a light source image is captured by the electronic device according to an exemplary embodiment. The horizontal axis of the first graph 803 and the second graph 805 indicates a position corresponding to a number displayed on the horizontal axis of the light source image 801 , and the vertical axis indicates a brightness value.
일 실시 예에서, 광원 이미지(801)는 광원을 촬영한 이미지일 수 있다. 렌즈 어셈블리(예: 도 1의 렌즈 어셈블리(182))의 적어도 하나의 렌즈는 굴곡이 있으므로, 굴곡률에 따라 중심에 가까울수록 이미지 센서(예: 도 1의 이미지 센서(185))에 도달하는 광량이 가장 많고, 중심에서 벗어날수록 이미지 센서(185)에 도달하는 광량이 줄어들 수 있다. 일 실시 예에서, 광원 이미지(801)에 포함된 숫자 1 내지 숫자 7은, 이하 제1 그래프(803)와 제2 그래프(805)에서 제1 영역 내지 제7 영역을 의미할 수 있다.In an embodiment, the light source image 801 may be an image obtained by photographing the light source. Since at least one lens of the lens assembly (eg, the lens assembly 182 of FIG. 1 ) has a curvature, the amount of light reaching the image sensor (eg, the image sensor 185 of FIG. 1 ) is closer to the center according to the curvature rate. is the largest, and the amount of light reaching the image sensor 185 may decrease as it is deviated from the center. In an embodiment, the numbers 1 to 7 included in the light source image 801 may mean first to seventh areas in the first graph 803 and the second graph 805 .
일 실시 예에서, 제1 그래프(803)는 광원 이미지(801)에 대하여 렌즈 쉐이딩 보정을 하기 전 이미지의 영역별 밝기 분포를 나타낸 그래프일 수 있다. 제1 그래프(803)를 참조하면, 복수 개의 그래프들이 나타나고, 상기 복수 개의 그래프들은 상기 광원 이미지(801)의 세로축에 따라 동일한 과정을 수행하여 복수 개의 결과를 나타낸 그래프들이다. 제1 그래프(803)를 참조하면, 광원 이미지(801)의 중심인 제4 영역에서 밝기 값이 가장 높고, 제4 영역에서 멀어질수록 밝기 값이 낮아지는 것을 알 수 있다.In an embodiment, the first graph 803 may be a graph showing the brightness distribution for each area of the image before lens shading correction is performed on the light source image 801 . Referring to the first graph 803 , a plurality of graphs are shown, and the plurality of graphs are graphs showing a plurality of results by performing the same process along the vertical axis of the light source image 801 . Referring to the first graph 803 , it can be seen that the brightness value is highest in the fourth region that is the center of the light source image 801 , and the brightness value decreases as the distance from the fourth region increases.
일 실시 예에서, 제2 그래프(805)는 광원 이미지(801)에 대하여 렌즈 쉐이딩 보정을 수행한 후 이미지 영역별 밝기 분포를 나타낸 그래프일 수 있다. 렌즈의 광학적 특성에 따라 제1 그래프(803)와 같이 렌즈 쉐이딩 보정 값은 원시 이미지(original)의 픽셀들 각각의 값을 보정하기 위한 값일 수 있다.In an embodiment, the second graph 805 may be a graph showing a brightness distribution for each image area after lens shading correction is performed on the light source image 801 . According to the optical characteristics of the lens, as shown in the first graph 803 , the lens shading correction value may be a value for correcting each value of pixels of an original image.
도 9는 일 실시 예에 따른 전자 장치(100)의 스캔 가능 범위(920) 내에서 프리즘(예: 도 1의 프리즘(181))의 위치 별로 이미지들을 촬영한 것을 나타낸다.9 illustrates images taken for each position of a prism (eg, the prism 181 of FIG. 1 ) within the scannable range 920 of the electronic device 100 according to an exemplary embodiment.
일 실시 예에서, 스캔 가능 범위(920)는 프리즘(181)의 최대 이동 범위 또는 프리즘(181)의 최대 이동 범위 내에서 촬영된 이미지들의 화각 범위로 이해될 수 있다. 일 실시 예에서, 스캔 가능 범위(920)는 객체 추적을 위한 스캔 가능 범위를 나타낸다. 스캔 가능 범위(920)는 피치(pitch) 방향으로 -10˚~ +10˚일 수 있고, 요(yaw) 방향으로 -25˚~ +25˚일 수 있다. 홀 값 또는 홀 코드(hall code)의 범위는 12비트 기준으로 0 ~ 4095 코드일 수 있다. 다시 말하면, 프로세서(120)는 피치(pitch) 방향으로 -10˚~ +10˚ 내에서 약 0.005deg/code(≒ 20deg/4096code), 및 요(yaw) 방향으로 -25˚~ +25˚내에서, 약 0.0125deg/code(≒ 50deg/4096code) 단위로 프리즘(181)을 제어할 수 있다.In an embodiment, the scannable range 920 may be understood as the maximum movement range of the prism 181 or the angle of view range of images captured within the maximum movement range of the prism 181 . In an embodiment, the scannable range 920 represents a scannable range for object tracking. The scannable range 920 may be -10˚ to +10˚ in the pitch direction, and -25˚ to +25˚ in the yaw direction. The range of the hall value or hall code may be 0 to 4095 codes on a 12-bit basis. In other words, the processor 120 is approximately 0.005deg/code (≒ 20deg/4096code) within -10˚ to +10˚ in the pitch direction, and -25˚ to +25˚ in the yaw direction. , the prism 181 may be controlled in units of about 0.0125deg/code (≈50deg/4096code).
일 실시 예에서, 프로세서(120)는 획득된 이미지 데이터에 기반하여 스캔을 수행할 수 있다. 프로세서(120)는 획득된 이미지 데이터를 통해 객체를 검출하고, 상기 검출된 객체를 추적하기 위한 스캔을 수행할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(180)을 통해 획득된 이미지 데이터에 기반하여 검출된 객체의 움직임을 감지할 수 있다.In an embodiment, the processor 120 may perform a scan based on the acquired image data. The processor 120 may detect an object through the obtained image data and perform a scan to track the detected object. For example, the processor 120 may detect the motion of the detected object based on image data acquired through the camera module 180 .
일 실시 예에서, 프로세서(120)는 상기 검출된 객체가 제1 각도만큼 움직인 것을 감지한 경우, 프로세서(120)는 상기 움직인 객체를 추적하기 위해 프리즘을 제어할 수 있다. 예를 들어, 프로세서(120)는 촬영의 대상이 되는 객체가 렌즈의 중심을 기준으로 요(yaw) 방향으로 2˚정도 움직인 것을 감지한 경우, 객체 추적을 위해 프리즘을 상기 2˚에 상응하는 만큼 회전 내지 이동시킬 수 있다.In an embodiment, when the processor 120 detects that the detected object has moved by the first angle, the processor 120 may control the prism to track the moved object. For example, when the processor 120 detects that the object to be photographed has moved by about 2˚ in the yaw direction with respect to the center of the lens, the processor 120 moves the prism corresponding to the 2˚ for tracking the object. It can be rotated or moved as much as possible.
일 실시 예에서, 도 9를 참조하면, 프리즘(181)의 위치에 따라 촬영된 제1 이미지(901) 내지 제10 이미지(910)는 스캔 가능 범위(920) 내에서 프리즘(181)의 위치에 따라 촬영된 이미지일 수 있다. 예를 들어, 제1 이미지(901) 내지 제10 이미지(910)는 프리즘(181)의 요(yaw) 방향의 각도, 프리즘(181)의 피치(pitch) 방향의 각도에 따라 촬영된 이미지일 수 있다. In one embodiment, referring to FIG. 9 , the first image 901 to the tenth image 910 photographed according to the position of the prism 181 are located at the position of the prism 181 within the scannable range 920 . It may be an image taken along with it. For example, the first image 901 to the tenth image 910 may be images taken according to the angle in the yaw direction of the prism 181 and the angle in the pitch direction of the prism 181 . have.
일 실시 예에서, 제1 이미지(901) 내지 제10 이미지(910)는 각 방향(yaw, pitch)의 각도에 대응되는 홀 값(code)에 의하여 결정될 수 있다. 예를 들어, 제1 이미지(901)는 요(yaw) 방향의 홀 값(hall code)이 50, 피치(pitch) 방향의 홀 값(hall code)이 50이고, 제6 이미지(906)는 요(yaw) 방향의 홀 값(hall code)이 4050, 피치(pitch) 방향의 홀 값(hall code)이 1850일 수 있다. 제1 이미지(901) 내지 제10 이미지(910)는 제1 ROI(region of interest)(예: ROI 1) 내지 제10 ROI(예: ROI 10)로 지칭되거나 이해될 수 있다. 아래 [표 1]을 참조하면, 제1 이미지(901) 내지 제10 이미지(910)에 대응되는 각도, 및 홀 값이 표시될 수 있다.In an embodiment, the first image 901 to the tenth image 910 may be determined by a hall value (code) corresponding to an angle in each direction (yaw, pitch). For example, in the first image 901, a hall value in a yaw direction is 50, a hall code in a pitch direction is 50, and the sixth image 906 is a yaw value. A hall value (hall code) in the (yaw) direction may be 4050, and a hall value (hall code) in the pitch direction may be 1850. The first image 901 to the tenth image 910 may be referred to or understood as a first region of interest (ROI) (eg, ROI 1 ) to a tenth ROI (eg, ROI 10 ). Referring to [Table 1] below, angles and hole values corresponding to the first image 901 to the tenth image 910 may be displayed.
위치location 요(yaw) 방향yaw direction 피치(pitch) 방향pitch direction
홀 값(code)Hall value (code) 각도(deg)angle (deg) 홀 값(code)Hall value (code) 각도(deg)angle (deg)
제1 ROI first ROI 5050 17.817.8 5050 5.95.9
제2 ROI2nd ROI 20502050 0.50.5 5050 5.95.9
제3 ROI3rd ROI 40504050 15.115.1 5050 5.95.9
제4 ROI 4th ROI 5050 15.515.5 18501850 00
제5 ROI5th ROI 20502050 0.40.4 18501850 00
제6 ROI6th ROI 40504050 15.815.8 18501850 00
제7 ROI 7th ROI 5050 15.415.4 40504050 7.67.6
제8 ROI8th ROI 12501250 1.61.6 40504050 7.67.6
제9 ROI9th ROI 26502650 4.34.3 40504050 7.67.6
제10 ROI10th ROI 40504050 15.515.5 40504050 7.67.6
도 10은 일 실시 예에 따른 전자 장치(100)에서, 프리즘(예: 도 1의 프리즘(181))의 여러 위치에 따라 이미지를 촬영 시, 촬영된 각 이미지의 영역 별 밝기 분포를 나타낸다. 도 10의 그래프들의 가로축은 이미지(예: 도 8의 광원 이미지(801))의 가로축에 표시된 숫자에 대응되는 위치를 의미하고, 세로축은 밝기 값을 의미한다. 도 10의 그래프들을 참조하면, ROI마다 복수 개의 그래프들이 보여지고, 상기 복수 개의 그래프들은 상기 이미지(예: 도 8의 광원 이미지(801))의 세로축에 따라 동일한 과정을 수행하여 복수 개의 결과를 나타낸 그래프들이다.도 10을 참조하면, 프리즘(181)의 여러 위치에 따라 촬영된 이미지의 영역별 밝기 값 분포가 다른 것을 확인할 수 있다. 다시 말해서, 도 10은 도 9의 스캔 범위(920) 안에서 복수 개의 이미지들을 촬영하고, 촬영된 복수 개의 이미지들을 가로 방향(예: row)의 영역 별로 밝기 분포를 나타낼 수 있다. 예를 들어, 도 10은 도 9에 나타낸 제1 이미지(예: 제1 ROI) 내지 제10 이미지(예: 제10 ROI) 10에서 촬영된 각 이미지 내에서 영역(예: row) 별 밝기 값 분포를 나타낼 수 있다.10 illustrates a brightness distribution for each area of each photographed image when images are photographed according to various positions of a prism (eg, the prism 181 of FIG. 1 ) in the electronic device 100 according to an embodiment. The horizontal axis of the graphs of FIG. 10 means a position corresponding to a number displayed on the horizontal axis of an image (eg, the light source image 801 of FIG. 8 ), and the vertical axis means a brightness value. Referring to the graphs of FIG. 10 , a plurality of graphs are shown for each ROI, and the plurality of graphs perform the same process along the vertical axis of the image (eg, the light source image 801 of FIG. 8 ) to show a plurality of results. These are graphs. Referring to FIG. 10 , it can be seen that the distribution of brightness values for each area of the photographed image is different according to various positions of the prism 181 . In other words, in FIG. 10 , a plurality of images may be photographed within the scan range 920 of FIG. 9 , and brightness distribution of the plurality of photographed images may be represented for each area in a horizontal direction (eg, a row). For example, FIG. 10 shows a distribution of brightness values for each region (eg, row) within each image captured in the first image (eg, first ROI) to 10th image (eg, tenth ROI) 10 shown in FIG. 9 . can represent
도 10을 참조하면, 프리즘의 여러 위치에 따라 촬영된 이미지 별로 밝기 편차가 달라서 종래의 기술처럼 하나의 이미지에 적용되는 렌즈 쉐이딩 보정 값을 다른 이미지에 그대로 적용하면 이미지의 밝기가 위치별로 불균일해지는 문제가 발생할 수 있다.Referring to FIG. 10 , since the brightness deviation is different for each image taken according to the various positions of the prism, if the lens shading correction value applied to one image is applied to another image as in the prior art, the brightness of the image becomes non-uniform for each position. may occur.
도 11은 일 실시 예에 따른 전자 장치(100)에서, 프리즘(예: 도 1의 프리즘(181))의 여러 위치에 따라 촬영된 이미지를 하나의 렌즈 쉐이딩 보정 값을 적용하여 보정을 수행한 결과 그래프를 나타낼 수 있다.11 is a result of performing correction by applying one lens shading correction value to images photographed according to various positions of a prism (eg, the prism 181 in FIG. 1 ) in the electronic device 100 according to an embodiment; graph can be displayed.
도 11을 참조하면, 도 11의 그래프(1101)는, 프리즘(181)의 기준 위치(예: 중심(center))에 대응하는 이미지(예: 도 9의 제5 ROI)에 적용되는 렌즈 쉐이딩 보정 값에 기반하여, 나머지 위치에 대응하는 이미지(예: 도 9의 제1 ROI 내지 제4 ROI, 및 제6 ROI 내지 제10 ROI)의 밝기 값을 보정한 것을 나타낸 그래프이다. 일 실시 예에서, 프리즘(181)의 기준 위치는 렌즈 어셈블리의 중심으로 광을 입사시키는 프리즘의 위치로 이해될 수 있다. 일 실시 예에서, 프리즘(181)의 기준 위치에 대응하는 이미지는, 상기 프리즘(181)의 기준 위치에서 촬영된 이미지로 이해될 수 있다.Referring to FIG. 11 , the graph 1101 of FIG. 11 shows lens shading correction applied to an image (eg, the fifth ROI of FIG. 9 ) corresponding to the reference position (eg, center) of the prism 181 . It is a graph showing correction of brightness values of images corresponding to the remaining positions (eg, first ROIs to fourth ROIs and sixth ROIs to tenth ROIs in FIG. 9 ) based on the values. In an embodiment, the reference position of the prism 181 may be understood as the position of the prism that injects light into the center of the lens assembly. In an embodiment, the image corresponding to the reference position of the prism 181 may be understood as an image photographed at the reference position of the prism 181 .
도 11을 참조하면, 도 11의 참조 이미지(1103)는 촬영된 이미지의 영역을 구분한 것이다. 참조 이미지(1103)는 그래프(1101)의 설명을 보조하기 위하여, 촬영된 이미지의 영역 별로 좌상, 상, 우상, 좌, 중앙, 우, 좌하, 하, 우하가 표시된 이미지이다.Referring to FIG. 11 , a reference image 1103 of FIG. 11 is a division of a photographed image area. The reference image 1103 is an image in which upper-left, upper, upper-right, left, center, right, lower-left, lower, and lower-right are displayed for each area of the photographed image in order to assist the description of the graph 1101 .
도 11을 참조하면, 제5 이미지(예: 제5 ROI)를 보정하도록 설정된 렌즈 쉐이딩 보정 값으로 상기 제5 이미지(예: 제5 ROI)를 보정한 결과, 제5 이미지(예: 제5 ROI)의 모든 영역(좌상, 상, 우상, 좌, 중앙, 우, 좌하, 하, 및 우하)의 밝기 값이 기준 값인 100%로 보정된 것을 알 수 있다.Referring to FIG. 11 , as a result of correcting the fifth image (eg, the fifth ROI) with the lens shading correction value set to correct the fifth image (eg, the fifth ROI), the fifth image (eg, the fifth ROI) ), it can be seen that the brightness values of all areas (top left, top, top right, left, center, right, bottom left, bottom, and bottom right) are corrected to 100%, which is the reference value.
도 11을 참조하면, 제5 이미지(예: 제5 ROI)를 보정하도록 설정된 렌즈 쉐이딩 보정 값으로 제4 이미지(예: 제4 ROI), 및 제6 이미지(예: 제6 ROI)를 보정한 결과, 보정하려던 것보다 덜 보정된 것을 확인할 수 있다.Referring to FIG. 11 , the fourth image (eg, fourth ROI) and the sixth image (eg, sixth ROI) are corrected with a lens shading correction value set to correct the fifth image (eg, fifth ROI). As a result, it can be seen that the correction is less than what was intended to be corrected.
도 11을 참조하면, 제5 이미지(예: 제5 ROI)를 보정하도록 설정된 렌즈 쉐이딩 보정 값으로 제1 이미지(예: 제1 ROI) 내지 제3 이미지(예: 제3 ROI), 및 제7 이미지(예: 제7 ROI) 내지 제10 이미지(예: 제10 ROI)를 보정한 결과, 과보정(over compensation)이 된 것을 알 수 있다.Referring to FIG. 11 , a first image (eg, a first ROI) to a third image (eg, a third ROI), and a seventh image as a lens shading correction value set to correct the fifth image (eg, a fifth ROI) As a result of correcting the image (eg, the seventh ROI) to the tenth image (eg, the tenth ROI), it can be seen that over-compensation is performed.
도 12는 일 실시 예에 따른 전자 장치(100)에서, 프리즘(181)의 여러 위치에 따라 촬영된 이미지의 밝기 값을 나타내는 그래프이다.12 is a graph illustrating brightness values of images taken according to various positions of a prism 181 in the electronic device 100 according to an exemplary embodiment.
일 실시 예에서, 그래프(1201)는 피치(pitch) 방향의 홀 값(hall code) 변화(예: 프리즘 피치 방향에서의 위치 변화)에 따른 이미지의 밝기 변화를 나타낸다. 홀 값에 따른 밝기 변화는 다항식으로 모델링 할 수 있으며 모델링의 계수 값은 비휘발성 메모리(예: EEPROM)에 저장된 홀 값과 이미지 프로파일로부터 구할 수 있다. 예를 들어, 그래프(1201)는 도 9의 ROI 2, ROI 5, ROI 8에서 획득된 밝기 값에 기반하여 모델링된 그래프를 포함할 수 있다. 예를 들면, 그래프(1201)는 도 9의 ROI 2, ROI 5, ROI 8에서 획득된 밝기 값을 기반으로, 이하의 수학식 1로 모델링하여 획득된 그래프일 수 있다. 수학식 1은 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예들이 가능하다.In an embodiment, the graph 1201 represents a change in brightness of an image according to a change in a hall code in a pitch direction (eg, a change in a position in a prism pitch direction). The brightness change according to the Hall value can be modeled with a polynomial formula, and the modeling coefficient value can be obtained from the Hall value stored in the non-volatile memory (eg EEPROM) and the image profile. For example, the graph 1201 may include a graph modeled based on brightness values obtained from ROI 2 , ROI 5 , and ROI 8 of FIG. 9 . For example, the graph 1201 may be a graph obtained by modeling with Equation 1 below, based on brightness values obtained from ROIs 2, 5, and 8 of FIG. 9 . Equation 1 is an example, and various embodiments that can be implemented by those skilled in the art are possible.
Figure PCTKR2022004334-appb-img-000001
Figure PCTKR2022004334-appb-img-000001
일 실시 예에서, 그래프(1203)는 요(yaw) 방향의 홀 값(hall code) 변화(예: 프리즘 요 방향에서의 위치 변화)에 따른 이미지의 밝기 변화를 나타낸다. 홀 값에 따른 밝기 변화는 다항식으로 모델링 할 수 있으며, 모델링의 계수 값은 비휘발성 메모리(예: EEPROM)에 저장된 홀 값(hall code)과 이미지 프로파일 값으로부터 구할 수 있다. 예를 들어, 그래프(1203)는 도 9의 ROI 1, ROI 2, ROI 3에서 획득된 밝기 값에 기반하여 모델링된 그래프, 도 9의 ROI 4, ROI 5, ROI 6에서 획득된 밝기 값에 기반하여 모델링된 그래프, 및 도 9의 ROI 7, ROI 8, ROI 9, ROI 10에서 획득된 밝기 값에 기반하여 모델링된 그래프를 포함할 수 있다. 예를 들면, 그래프(1203)는 도 9의 ROI 1, ROI 2, ROI 3에서 획득된 밝기 값을 기반으로 이하의 수학식 2로 모델링하여 획득된 그래프, 도 9의 ROI 4, ROI 5, ROI 6에서 획득된 밝기 값을 기반으로 이하의 수학식 3으로 모델링하여 획득된 그래프, 및 도 9의 ROI 7, ROI 8, ROI 9, ROI 10에서 획득된 밝기 값을 기반으로 이하의 수학식 4로 모델링하여 획득된 그래프를 포함 수 있다. 수학식 2 내지 수학식 4는 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예들이 가능하다.In an embodiment, the graph 1203 represents a change in brightness of an image according to a change in a hall code in a yaw direction (eg, a change in a position in the yaw direction of a prism). The brightness change according to the Hall value can be modeled using a polynomial formula, and the modeling coefficient value can be obtained from the Hall code and the image profile value stored in a non-volatile memory (eg, EEPROM). For example, the graph 1203 is a graph modeled based on brightness values obtained from ROI 1, ROI 2, and ROI 3 of FIG. 9, and brightness values obtained from ROI 4, ROI 5, and ROI 6 of FIG. 9 are based on , and a graph modeled based on the brightness values obtained from ROI 7, ROI 8, ROI 9, and ROI 10 of FIG. 9 may be included. For example, the graph 1203 is a graph obtained by modeling with Equation 2 below based on the brightness values obtained from ROI 1, ROI 2, and ROI 3 of FIG. 9, ROI 4, ROI 5, and ROI of FIG. 9 Based on the brightness values obtained in 6, the graph obtained by modeling with Equation 3 below, and the brightness values obtained in ROI 7, ROI 8, ROI 9, and ROI 10 of FIG. 9 as Equation 4 below A graph obtained by modeling may be included. Equations 2 to 4 are examples, and various embodiments that can be implemented by those skilled in the art are possible.
Figure PCTKR2022004334-appb-img-000002
Figure PCTKR2022004334-appb-img-000002
Figure PCTKR2022004334-appb-img-000003
Figure PCTKR2022004334-appb-img-000003
Figure PCTKR2022004334-appb-img-000004
Figure PCTKR2022004334-appb-img-000004
도 13은 다양한 실시 예들에 따른 네트워크 환경(1300) 내의 전자 장치(1301)의 블록도이다.13 is a block diagram of an electronic device 1301 in a network environment 1300 according to various embodiments of the present disclosure.
도 13을 참조하면, 네트워크 환경(1300)에서 전자 장치(1301)는 제1 네트워크(1398)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1302)와 통신하거나, 또는 제2 네트워크(1399)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1304) 또는 서버(1308)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1301)는 서버(1308)를 통하여 전자 장치(1304)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1301)는 프로세서(1320), 메모리(1330), 입력 모듈(1350), 음향 출력 모듈(1355), 디스플레이 모듈(1360), 오디오 모듈(1370), 센서 모듈(1376), 인터페이스(1377), 연결 단자(1378), 햅틱 모듈(1379), 카메라 모듈(1380), 전력 관리 모듈(1388), 배터리(1389), 통신 모듈(1390), 가입자 식별 모듈(1396), 또는 안테나 모듈(1397)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1301)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1378))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1376), 카메라 모듈(1380), 또는 안테나 모듈(1397))은 하나의 구성요소(예: 디스플레이 모듈(1360))로 통합될 수 있다.Referring to FIG. 13 , in a network environment 1300 , the electronic device 1301 communicates with the electronic device 1302 through a first network 1398 (eg, a short-range wireless communication network) or a second network 1399 . It may communicate with the electronic device 1304 or the server 1308 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 1301 may communicate with the electronic device 1304 through the server 1308 . According to an embodiment, the electronic device 1301 includes a processor 1320 , a memory 1330 , an input module 1350 , a sound output module 1355 , a display module 1360 , an audio module 1370 , and a sensor module ( 1376), interface 1377, connection terminal 1378, haptic module 1379, camera module 1380, power management module 1388, battery 1389, communication module 1390, subscriber identification module 1396 , or an antenna module 1397 . In some embodiments, at least one of these components (eg, the connection terminal 1378 ) may be omitted or one or more other components may be added to the electronic device 1301 . In some embodiments, some of these components (eg, sensor module 1376 , camera module 1380 , or antenna module 1397 ) are integrated into one component (eg, display module 1360 ). can be
프로세서(1320)는, 예를 들면, 소프트웨어(예: 프로그램(1340))를 실행하여 프로세서(1320)에 연결된 전자 장치(1301)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1320)는 다른 구성요소(예: 센서 모듈(1376) 또는 통신 모듈(1390))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1332)에 저장하고, 휘발성 메모리(1332)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1334)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(1320)는 메인 프로세서(1321)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1323)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1301)가 메인 프로세서(1321) 및 보조 프로세서(1323)를 포함하는 경우, 보조 프로세서(1323)는 메인 프로세서(1321)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1323)는 메인 프로세서(1321)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 1320, for example, executes software (eg, a program 1340) to execute at least one other component (eg, a hardware or software component) of the electronic device 1301 connected to the processor 1320 . It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1320 converts commands or data received from other components (eg, the sensor module 1376 or the communication module 1390) to the volatile memory 1332 . may store the command or data stored in the volatile memory 1332 , and store the result data in the non-volatile memory 1334 . According to an embodiment, the processor 1320 is a main processor 1321 (eg, a central processing unit or an application processor) or a secondary processor 1323 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor). For example, when the electronic device 1301 includes the main processor 1321 and the auxiliary processor 1323 , the auxiliary processor 1323 uses less power than the main processor 1321 or is set to be specialized for a specified function. can The coprocessor 1323 may be implemented separately from or as part of the main processor 1321 .
보조 프로세서(1323)는, 예를 들면, 메인 프로세서(1321)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1321)를 대신하여, 또는 메인 프로세서(1321)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1321)와 함께, 전자 장치(1301)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1360), 센서 모듈(1376), 또는 통신 모듈(1390))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(1323)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1380) 또는 통신 모듈(1390))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(1323)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(1301) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1308))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. The coprocessor 1323 may, for example, act on behalf of the main processor 1321 while the main processor 1321 is in an inactive (eg, sleep) state, or when the main processor 1321 is active (eg, executing an application). ), together with the main processor 1321, at least one of the components of the electronic device 1301 (eg, the display module 1360, the sensor module 1376, or the communication module 1390) It is possible to control at least some of the related functions or states. According to an embodiment, the coprocessor 1323 (eg, an image signal processor or a communication processor) may be implemented as a part of another functionally related component (eg, the camera module 1380 or the communication module 1390). have. According to an embodiment, the auxiliary processor 1323 (eg, a neural network processing device) may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1301 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 1308). The learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited The artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example. The artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
메모리(1330)는, 전자 장치(1301)의 적어도 하나의 구성요소(예: 프로세서(1320) 또는 센서 모듈(1376))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1340)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1330)는, 휘발성 메모리(1332) 또는 비휘발성 메모리(1334)를 포함할 수 있다. The memory 1330 may store various data used by at least one component of the electronic device 1301 (eg, the processor 1320 or the sensor module 1376 ). The data may include, for example, input data or output data for software (eg, the program 1340 ) and commands related thereto. The memory 1330 may include a volatile memory 1332 or a non-volatile memory 1334 .
프로그램(1340)은 메모리(1330)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1342), 미들 웨어(1344) 또는 어플리케이션(1346)을 포함할 수 있다. The program 1340 may be stored as software in the memory 1330 , and may include, for example, an operating system 1342 , middleware 1344 , or an application 1346 .
입력 모듈(1350)은, 전자 장치(1301)의 구성요소(예: 프로세서(1320))에 사용될 명령 또는 데이터를 전자 장치(1301)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1350)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다. The input module 1350 may receive a command or data to be used in a component (eg, the processor 1320 ) of the electronic device 1301 from the outside (eg, a user) of the electronic device 1301 . The input module 1350 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
음향 출력 모듈(1355)은 음향 신호를 전자 장치(1301)의 외부로 출력할 수 있다. 음향 출력 모듈(1355)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output module 1355 may output a sound signal to the outside of the electronic device 1301 . The sound output module 1355 may include, for example, a speaker or a receiver. The speaker can be used for general purposes such as multimedia playback or recording playback. The receiver can be used to receive incoming calls. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
디스플레이 모듈(1360)은 전자 장치(1301)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1360)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(1360)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. The display module 1360 may visually provide information to the outside (eg, a user) of the electronic device 1301 . The display module 1360 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device. According to an embodiment, the display module 1360 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
오디오 모듈(1370)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(1370)은, 입력 모듈(1350)을 통해 소리를 획득하거나, 음향 출력 모듈(1355), 또는 전자 장치(1301)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1302))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.The audio module 1370 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1370 acquires a sound through the input module 1350 or an external electronic device (eg, a sound output module 1355 ) directly or wirelessly connected to the electronic device 1301 . The electronic device 1302) (eg, a speaker or headphones) may output a sound.
센서 모듈(1376)은 전자 장치(1301)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(1376)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 1376 detects an operating state (eg, power or temperature) of the electronic device 1301 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do. According to an embodiment, the sensor module 1376 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
인터페이스(1377)는 전자 장치(1301)가 외부 전자 장치(예: 전자 장치(1302))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(1377)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 1377 may support one or more specified protocols that may be used for the electronic device 1301 to connect directly or wirelessly with an external electronic device (eg, the electronic device 1302 ). According to an embodiment, the interface 1377 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
연결 단자(1378)는, 그를 통해서 전자 장치(1301)가 외부 전자 장치(예: 전자 장치(1302))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(1378)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 1378 may include a connector through which the electronic device 1301 can be physically connected to an external electronic device (eg, the electronic device 1302 ). According to an embodiment, the connection terminal 1378 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
햅틱 모듈(1379)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(1379)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 1379 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense. According to an embodiment, the haptic module 1379 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
카메라 모듈(1380)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1380)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 1380 may capture still images and moving images. According to an embodiment, the camera module 1380 may include one or more lenses, image sensors, image signal processors, or flashes.
전력 관리 모듈(1388)은 전자 장치(1301)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(1388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 1388 may manage power supplied to the electronic device 1301 . According to an embodiment, the power management module 1388 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
배터리(1389)는 전자 장치(1301)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(1389)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 1389 may supply power to at least one component of the electronic device 1301 . According to an embodiment, the battery 1389 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
통신 모듈(1390)은 전자 장치(1301)와 외부 전자 장치(예: 전자 장치(1302), 전자 장치(1304), 또는 서버(1308)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1390)은 프로세서(1320)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1390)은 무선 통신 모듈(1392)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1394)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(1398)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(1399)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1304)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1392)은 가입자 식별 모듈(1396)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(1398) 또는 제2 네트워크(1399)와 같은 통신 네트워크 내에서 전자 장치(1301)를 확인 또는 인증할 수 있다. The communication module 1390 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1301 and an external electronic device (eg, the electronic device 1302 , the electronic device 1304 , or the server 1308 ). It can support establishment and communication performance through the established communication channel. The communication module 1390 operates independently of the processor 1320 (eg, an application processor) and may include one or more communication processors that support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 1390 is a wireless communication module 1392 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1394 (eg, : It may include a local area network (LAN) communication module, or a power line communication module). A corresponding communication module among these communication modules is a first network 1398 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1399 (eg, legacy). It may communicate with the external electronic device 1304 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or WAN). These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other. The wireless communication module 1392 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1396 within a communication network, such as the first network 1398 or the second network 1399 . The electronic device 1301 may be identified or authenticated.
무선 통신 모듈(1392)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1392)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1392)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1392)은 전자 장치(1301), 외부 전자 장치(예: 전자 장치(1304)) 또는 네트워크 시스템(예: 제2 네트워크(1399))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(1392)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.The wireless communication module 1392 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR). NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)). The wireless communication module 1392 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example. The wireless communication module 1392 uses various techniques for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), and all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna. The wireless communication module 1392 may support various requirements specified in the electronic device 1301 , an external electronic device (eg, the electronic device 1304 ), or a network system (eg, the second network 1399 ). According to an embodiment, the wireless communication module 1392 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC (eg, 20 Gbps or more). Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
안테나 모듈(1397)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1397)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1397)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(1398) 또는 제2 네트워크(1399)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1390)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1390)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1397)의 일부로 형성될 수 있다. The antenna module 1397 may transmit or receive a signal or power to the outside (eg, an external electronic device). According to an embodiment, the antenna module 1397 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern. According to an embodiment, the antenna module 1397 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1398 or the second network 1399 is connected from the plurality of antennas by, for example, the communication module 1390 . can be selected. A signal or power may be transmitted or received between the communication module 1390 and an external electronic device through the selected at least one antenna. According to some embodiments, other components (eg, a radio frequency integrated circuit (RFIC)) other than the radiator may be additionally formed as a part of the antenna module 1397 .
다양한 실시 예에 따르면, 안테나 모듈(1397)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.According to various embodiments, the antenna module 1397 may form a mmWave antenna module. According to one embodiment, the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a specified high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method between peripheral devices (eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)) and a signal ( e.g. commands or data) can be exchanged with each other.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(1399)에 연결된 서버(1308)를 통해서 전자 장치(1301)와 외부의 전자 장치(1304)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1302, 또는 1304) 각각은 전자 장치(1301)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(1301)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1302, 1304, 또는 1308) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1301)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1301)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1301)로 전달할 수 있다. 전자 장치(1301)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1301)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(1304)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1308)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(1304) 또는 서버(1308)는 제2 네트워크(1399) 내에 포함될 수 있다. 전자 장치(1301)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. According to an embodiment, the command or data may be transmitted or received between the electronic device 1301 and the external electronic device 1304 through the server 1308 connected to the second network 1399 . Each of the external electronic devices 1302 or 1304 may be the same or a different type of the electronic device 1301 . According to an embodiment, all or a part of operations executed by the electronic device 1301 may be executed by one or more external electronic devices 1302 , 1304 , or 1308 . For example, when the electronic device 1301 needs to perform a function or service automatically or in response to a request from a user or other device, the electronic device 1301 may instead of executing the function or service itself. Alternatively or additionally, one or more external electronic devices may be requested to perform at least a part of the function or the service. One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1301 . The electronic device 1301 may process the result as it is or additionally and provide it as at least a part of a response to the request. For this purpose, for example, cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used. The electronic device 1301 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing. In another embodiment, the external electronic device 1304 may include an Internet of things (IoT) device. The server 1308 may be an intelligent server using machine learning and/or neural networks. According to an embodiment, the external electronic device 1304 or the server 1308 may be included in the second network 1399 . The electronic device 1301 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
도 14는 다양한 실시 예들에 따른 카메라 모듈(1380)을 예시하는 블럭도(1400)이다.14 is a block diagram 1400 illustrating a camera module 1380 according to various embodiments.
도 14를 참조하면, 카메라 모듈(1380)은 렌즈 어셈블리(1410), 플래쉬(1420), 이미지 센서(1430), 이미지 스태빌라이저(1440), 메모리(1450)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(1460)를 포함할 수 있다. 렌즈 어셈블리(1410)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(1410)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1380)은 복수의 렌즈 어셈블리(1410)들을 포함할 수 있다. 이런 경우, 카메라 모듈(1380)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(1410)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(1410)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.Referring to FIG. 14 , the camera module 1380 includes a lens assembly 1410 , a flash 1420 , an image sensor 1430 , an image stabilizer 1440 , a memory 1450 (eg, a buffer memory), or an image signal processor. (1460). The lens assembly 1410 may collect light emitted from a subject, which is an image to be captured. The lens assembly 1410 may include one or more lenses. According to an embodiment, the camera module 1380 may include a plurality of lens assemblies 1410 . In this case, the camera module 1380 may form, for example, a dual camera, a 360 degree camera, or a spherical camera. Some of the plurality of lens assemblies 1410 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties that are different from the lens properties of . The lens assembly 1410 may include, for example, a wide-angle lens or a telephoto lens.
플래쉬(1420)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시 예에 따르면, 플래쉬(1420)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(1430)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(1410)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시 예에 따르면, 이미지 센서(1430)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(1430)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.The flash 1420 may emit light used to enhance light emitted or reflected from the subject. According to an embodiment, the flash 1420 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp. The image sensor 1430 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 1410 into an electrical signal. According to an embodiment, the image sensor 1430 is, for example, one image sensor selected from among image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, the same It may include a plurality of image sensors having properties, or a plurality of image sensors having different properties. Each image sensor included in the image sensor 1430 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
이미지 스태빌라이저(1440)는 카메라 모듈(1380) 또는 이를 포함하는 전자 장치(1301)의 움직임에 반응하여, 렌즈 어셈블리(1410)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(1430)를 특정한 방향으로 움직이거나 이미지 센서(1430)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일 실시 예에 따르면, 이미지 스태빌라이저(1440)는, 일 실시 예에 따르면, 이미지 스태빌라이저(1440)는 카메라 모듈(1380)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(1380) 또는 전자 장치(1301)의 그런 움직임을 감지할 수 있다. 일 실시 예에 따르면, 이미지 스태빌라이저(1440)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(1450)는 이미지 센서(1430)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(1450)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(1360)를 통하여 프리뷰 될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(1450)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(1460)에 의해 획득되어 처리될 수 있다. 일 실시 예에 따르면, 메모리(1450)는 메모리(1330)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.In response to the movement of the camera module 1380 or the electronic device 1301 including the same, the image stabilizer 1440 moves at least one lens or the image sensor 1430 included in the lens assembly 1410 in a specific direction or Operation characteristics of the image sensor 1430 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken. According to an embodiment, the image stabilizer 1440 is, according to an embodiment, the image stabilizer 1440 is a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 1380 . Such a movement of the camera module 1380 or the electronic device 1301 may be detected using . According to an embodiment, the image stabilizer 1440 may be implemented as, for example, an optical image stabilizer. The memory 1450 may temporarily store at least a portion of the image acquired through the image sensor 1430 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, Bayer-patterned image or high-resolution image) is stored in the memory 1450 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display device 1360 . Thereafter, when a specified condition is satisfied (eg, a user input or a system command), at least a portion of the original image stored in the memory 1450 may be obtained and processed by, for example, the image signal processor 1460 . According to an embodiment, the memory 1450 may be configured as at least a part of the memory 1330 or as a separate memory operated independently of the memory 1330 .
이미지 시그널 프로세서(1460)는 이미지 센서(1430)를 통하여 획득된 이미지 또는 메모리(1450)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(1460)는 카메라 모듈(1380)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(1430))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(1460)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(1450)에 다시 저장되거나 카메라 모듈(1380)의 외부 구성 요소(예: 메모리(1330), 표시 장치(1360), 전자 장치(1302), 전자 장치(1304), 또는 서버(1308))로 제공될 수 있다. 일 실시 예에 따르면, 이미지 시그널 프로세서(1460)는 프로세서(1320)의 적어도 일부로 구성되거나, 프로세서(1320)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(1460)가 프로세서(1320)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(1460)에 의해 처리된 적어도 하나의 이미지는 프로세서(1320)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(1360)를 통해 표시될 수 있다.The image signal processor 1460 may perform one or more image processing on an image acquired through the image sensor 1430 or an image stored in the memory 1450 . The one or more image processes may include, for example, depth map generation, three-dimensional modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring, sharpening, or softening. Additionally or alternatively, the image signal processor 1460 may include at least one of components included in the camera module 1380 (eg, an image sensor). 1430), for example, exposure time control, readout timing control, etc. The image processed by the image signal processor 1460 is stored back in the memory 1450 for further processing. or may be provided as an external component of the camera module 1380 (eg, the memory 1330 , the display device 1360 , the electronic device 1302 , the electronic device 1304 , or the server 1308 ). According to an example, the image signal processor 1460 may be configured as at least a part of the processor 1320 or as a separate processor operated independently of the processor 1320. The image signal processor 1460 may include the processor 1320 and a separate processor, at least one image processed by the image signal processor 1460 may be displayed through the display device 1360 as it is or after additional image processing is performed by the processor 1320 .
일 실시 예에 따르면, 전자 장치(1301)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(1380)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(1380)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(1380)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.According to an embodiment, the electronic device 1301 may include a plurality of camera modules 1380 each having different properties or functions. In this case, for example, at least one of the plurality of camera modules 1380 may be a wide-angle camera, and at least the other may be a telephoto camera. Similarly, at least one of the plurality of camera modules 1380 may be a front camera, and at least the other may be a rear camera.
일 실시 예에서, 전자 장치(100)(예: 도 13의 전자 장치(1301))는 적어도 하나의 렌즈(예: 도 1의 렌즈 어셈블리(182), 도 3의 렌즈 어셈블리(330)), 상기 적어도 하나의 렌즈의 중심축을 기준으로 제1 범위 내에서 입사광을 조절하여 화각(FOV, field of view)을 변경시키는 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211)), 상기 반사체의 위치 정보를 확인하는 적어도 하나의 홀 센서(390)(예: 도 4의 제1 홀 센서(431), 제2 홀 센서(433), 제3 홀 센서(435)), 및 상기 위치 정보와 대응되는 홀(hall) 데이터를 저장하는 비휘발성 메모리(380)를 포함하는 카메라 모듈(180), 및 상기 카메라 모듈(180)과 작동적으로(operatively) 연결된 적어도 하나의 프로세서(120)(예: 도 13의 프로세서(1320))를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는 상기 반사체의 위치에 따른 렌즈 쉐이딩을 보정하기 위한 데이터를 상기 비휘발성 메모리(380)로부터 획득할 수 있다. 상기 적어도 하나의 프로세서(120)는 상기 카메라 모듈(180)을 구동하여 제1 이미지 프레임을 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 적어도 하나의 홀 센서(390)를 통해 상기 제1 이미지 프레임에 대응하는 상기 반사체의 제1 위치를 확인(identify)할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 위치를 확인하는 것에 응답하여, 상기 제1 위치 및 상기 획득한 데이터에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행할 수 있다.In an embodiment, the electronic device 100 (eg, the electronic device 1301 of FIG. 13 ) includes at least one lens (eg, the lens assembly 182 of FIG. 1 , the lens assembly 330 of FIG. 3 ), the A reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. )), at least one Hall sensor 390 for checking the position information of the reflector (eg, the first Hall sensor 431, the second Hall sensor 433, and the third Hall sensor 435 of FIG. 4); and a camera module 180 including a non-volatile memory 380 for storing hole data corresponding to the location information, and at least one processor operatively connected to the camera module 180 ( 120) (eg, the processor 1320 of FIG. 13 ). The at least one processor 120 may obtain data for correcting lens shading according to the position of the reflector from the non-volatile memory 380 . The at least one processor 120 may obtain a first image frame by driving the camera module 180 . The at least one processor may identify a first position of the reflector corresponding to the first image frame through the at least one Hall sensor 390 . The at least one processor may perform lens shading correction on the first image frame based on the first position and the acquired data in response to identifying the first position.
일 실시 예에서, 상기 적어도 하나의 프로세서(120)는 제1 홀 센서(431)를 통해 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 제1 방향에서의 상기 반사체의 각도를 확인하고, 제2 홀 센서(433)를 통해 상기 반사체의 제2 방향에서의 상기 반사체의 각도를 확인할 수 있다. 상기 제1 방향은 상기 반사체의 피치(pitch) 방향이고, 상기 제2 방향은 상기 반사체의 요(yaw) 방향일 수 있다.In one embodiment, the at least one processor 120 is a first of the reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4 ) through the first Hall sensor 431 ). The angle of the reflector in the direction may be checked, and the angle of the reflector in the second direction of the reflector may be confirmed through the second Hall sensor 433 . The first direction may be a pitch direction of the reflector, and the second direction may be a yaw direction of the reflector.
일 실시 예에서, 상기 적어도 하나의 프로세서(120)는 제1 홀 센서(431)를 통해 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 제1 방향에서의 제1 홀 코드(hall code)를 확인하고, 제2 홀 센서를 통해 상기 반사체의 제2 방향에서의 제2 홀 코드(hall code)를 확인할 수 있다.In one embodiment, the at least one processor 120 is a first of the reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4 ) through the first Hall sensor 431 ). A first hall code in the direction may be checked, and a second hall code in the second direction of the reflector may be checked through the second Hall sensor.
일 실시 예에서, 상기 적어도 하나의 프로세서(120)는 상기 카메라 모듈(180)을 구동하여 적어도 하나의 이미지 프레임을 획득할 수 있다. 상기 적어도 하나의 프로세서(120)는 상기 획득된 이미지 프레임에 기반하여 객체를 검출할 수 있다. 상기 적어도 하나의 프로세서(120)는 상기 객체를 검출한 것에 응답하여, 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 움직임을 상기 제1 범위 내에서 제어할 수 있다.In an embodiment, the at least one processor 120 may acquire at least one image frame by driving the camera module 180 . The at least one processor 120 may detect an object based on the acquired image frame. In response to detecting the object, the at least one processor 120 moves the reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) within the first range. can be controlled in
일 실시 예에서, 상기 비휘발성 메모리(380)는 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 위치에 대응되는 쉐이딩 보정 함수 또는 보정 룩업 테이블 중 적어도 하나를 저장할 수 있다.In an embodiment, the non-volatile memory 380 may include one of a shading correction function or a correction lookup table corresponding to a position of the reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ). At least one can be stored.
일 실시 예에서, 상기 렌즈 쉐이딩을 보정하기 위한 데이터는 적어도 쉐이딩 보정 함수 또는 보정 룩업 테이블(lookup table)을 포함할 수 있다.In an embodiment, the data for correcting the lens shading may include at least a shading correction function or a correction lookup table.
일 실시 예에서, 상기 렌즈 쉐이딩을 보정하기 위한 데이터는 상기 홀 데이터 및 이미지의 밝기 분포를 나타내는 이미지 프로파일 값에 기반하여 계산될 수 있다.In an embodiment, the data for correcting the lens shading may be calculated based on the hole data and an image profile value indicating a brightness distribution of an image.
일 실시 예에서, 상기 적어도 하나의 프로세서(120)는 상기 제1 이미지 프레임의 다음 프레임인 제2 이미지 프레임을 획득할 수 있다. 상기 적어도 하나의 프로세서(120)는 상기 적어도 하나의 홀 센서(390)를 통해 상기 제2 이미지 프레임에 대응하는 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 제2 위치를 확인할 수 있다. 상기 적어도 하나의 프로세서(120)는 상기 제2 위치를 확인하는 것에 응답하여, 상기 제2 위치 및 상기 획득한 데이터에 기반하여 상기 제2 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행할 수 있다.In an embodiment, the at least one processor 120 may acquire a second image frame that is a next frame of the first image frame. The at least one processor 120 transmits the reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4 ) corresponding to the second image frame through the at least one Hall sensor 390 . )) of the second position can be confirmed. In response to identifying the second position, the at least one processor 120 may perform lens shading correction on the second image frame based on the second position and the acquired data.
일 실시 예에서, 상기 적어도 하나의 프로세서(120)는 상기 제1 이미지 프레임에 대하여 상기 제1 위치에 대응하는 제1 렌즈 쉐이딩 보정 값을 적용할 수 있다. 상기 적어도 하나의 프로세서(120)는 상기 제2 이미지 프레임에 대하여 상기 제2 위치에 대응하는 제2 렌즈 쉐이딩 보정 값을 적용하여 상기 렌즈 쉐이딩 보정을 수행할 수 있다.In an embodiment, the at least one processor 120 may apply a first lens shading correction value corresponding to the first position to the first image frame. The at least one processor 120 may perform the lens shading correction by applying a second lens shading correction value corresponding to the second position to the second image frame.
일 실시 예에서, 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))는 프리즘 또는 미러 중 적어도 하나를 포함할 수 있다.In an embodiment, the reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) may include at least one of a prism and a mirror.
일 실시 예에서, 전자 장치(100)의 동작 방법은 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 위치에 따른 렌즈 쉐이딩을 보정하기 위한 데이터를 비휘발성 메모리(380)로부터 획득하는 동작, 카메라 모듈(180)을 구동하여 제1 이미지 프레임을 획득하는 동작, 적어도 하나의 홀 센서(390)를 통해 상기 제1 이미지 프레임에 대응하는 상기 반사체의 제1 위치를 확인하는 동작, 및 상기 제1 위치를 확인하는 것에 응답하여, 상기 제1 위치 및 상기 획득한 데이터에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행하는 동작을 포함할 수 있다.In an embodiment, the method of operating the electronic device 100 does not compare data for correcting lens shading according to positions of a reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ). An operation of acquiring from the volatile memory 380 , an operation of acquiring a first image frame by driving the camera module 180 , and an operation of acquiring a first image frame of the reflector corresponding to the first image frame through at least one Hall sensor 390 . determining a position; and in response to identifying the first position, performing lens shading correction on the first image frame based on the first position and the acquired data.
일 실시 예에서, 전자 장치(100)의 동작 방법은 제1 홀 센서(431)를 통해 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 제1 방향에서의 상기 반사체의 각도를 확인하는 동작, 및 제2 홀 센서(433)를 통해 상기 반사체의 제2 방향에서의 상기 반사체의 각도를 확인하는 동작을 포함할 수 있다.In an exemplary embodiment, in the method of operating the electronic device 100 , the first of the reflectors (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) through the first Hall sensor 431 ) It may include an operation of confirming the angle of the reflector in the direction, and an operation of confirming the angle of the reflector in the second direction of the reflector through the second Hall sensor 433 .
일 실시 예에서, 전자 장치(100)의 동작 방법은 제1 홀 센서(431)를 통해 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 제1 방향에서의 제1 홀 코드(hall code)를 확인하는 동작, 및 제2 홀 센서(433)를 통해 상기 반사체의 제2 방향에서의 제2 홀 코드(hall code)를 확인하는 동작을 포함할 수 있다.In an exemplary embodiment, in the method of operating the electronic device 100 , the first of the reflectors (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) through the first Hall sensor 431 ) identifying a first hall code in a direction, and identifying a second hall code in a second direction of the reflector through a second Hall sensor 433 . have.
일 실시 예에서, 전자 장치(100)의 동작 방법은 상기 카메라 모듈(180)을 구동하여 적어도 하나의 이미지 프레임을 획득하는 동작, 상기 획득된 이미지 프레임에 기반하여 객체를 검출하는 동작, 및 상기 객체를 검출한 것에 응답하여, 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 움직임을 제1 범위 내에서 제어하는 동작을 포함할 수 있다.In an embodiment, the method of operating the electronic device 100 includes an operation of driving the camera module 180 to acquire at least one image frame, an operation of detecting an object based on the acquired image frame, and the object In response to detecting , the operation of controlling the movement of the reflector (eg, the prism 181 of FIG. 1 and the prism 211 of FIGS. 2 to 4 ) within a first range may be included.
일 실시 예에서, 전자 장치(100)의 동작 방법은 상기 제1 이미지 프레임의 다음 프레임인 제2 이미지 프레임을 획득하는 동작, 상기 적어도 하나의 홀 센서(390)를 통해 상기 제2 이미지 프레임에 대응하는 상기 반사체(예: 도 1의 프리즘(181), 도 2 내지 도 4의 프리즘(211))의 제2 위치를 확인하는 동작, 및 상기 제2 위치를 확인하는 것에 응답하여, 상기 제2 위치 및 상기 획득한 데이터에 기반하여 상기 제2 이미지 프레임에 대하여 상기 렌즈 쉐이딩 보정을 수행하는 동작을 포함할 수 있다.In an embodiment, the method of operating the electronic device 100 includes acquiring a second image frame that is a frame next to the first image frame, and corresponding to the second image frame through the at least one Hall sensor 390 . In response to confirming the second position of the reflector (eg, the prism 181 of FIG. 1 , the prism 211 of FIGS. 2 to 4 ), and confirming the second position, the second position and performing the lens shading correction on the second image frame based on the acquired data.
일 실시 예에서, 전자 장치(100)의 동작 방법은 상기 제1 이미지 프레임에 대하여 상기 제1 위치에 대응하는 제1 렌즈 쉐이딩 보정 값을 적용하는 동작, 및 상기 제2 이미지 프레임에 대하여 상기 제2 위치에 대응하는 제2 렌즈 쉐이딩 보정 값을 적용하여 상기 렌즈 쉐이딩 보정을 수행하는 동작을 포함할 수 있다.In an embodiment, the method of operating the electronic device 100 includes applying a first lens shading correction value corresponding to the first position to the first image frame, and applying the second lens shading correction value to the second image frame. and performing the lens shading correction by applying a second lens shading correction value corresponding to the position.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.The electronic device according to various embodiments disclosed in this document may be a device of various types. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device. The electronic device according to the embodiment of the present document is not limited to the above-described devices.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.The various embodiments of this document and the terms used therein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various modifications, equivalents, or substitutions of the embodiments. In connection with the description of the drawings, like reference numerals may be used for similar or related components. The singular form of the noun corresponding to the item may include one or more of the item, unless the relevant context clearly dictates otherwise. As used herein, "A or B", "at least one of A and B", "at least one of A or B", "A, B or C", "at least one of A, B and C", and "A , B, or C," each of which may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof. Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish the component from other such components, and refer to those components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
본 문서의 다양한 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term “module” used in various embodiments of the present document may include a unit implemented in hardware, software, or firmware, for example, and interchangeably with terms such as logic, logic block, component, or circuit. can be used A module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(1301)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1336) 또는 외장 메모리(1338))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1301))의 프로세서(예: 프로세서(1320))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.According to various embodiments of the present document, one or more instructions stored in a storage medium (eg, internal memory 1336 or external memory 1338) readable by a machine (eg, electronic device 1301) may be implemented as software (eg, a program 1340) including For example, a processor (eg, processor 1320 ) of a device (eg, electronic device 1301 ) may call at least one command among one or more commands stored from a storage medium and execute it. This makes it possible for the device to be operated to perform at least one function according to the called at least one command. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, the method according to various embodiments disclosed in this document may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones). In the case of online distribution, at least a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a memory of a relay server.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. . According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Claims (15)

  1. 전자 장치에 있어서,In an electronic device,
    적어도 하나의 렌즈, 상기 적어도 하나의 렌즈의 중심축을 기준으로 제1 범위 내에서 입사광을 조절하여 화각(FOV, field of view)을 변경시키는 반사체, 상기 반사체의 위치 정보를 확인하는 적어도 하나의 홀 센서, 및 상기 위치 정보와 대응되는 홀(hall) 데이터를 저장하는 비휘발성 메모리를 포함하는 카메라 모듈; 및At least one lens, a reflector for changing a field of view (FOV) by adjusting incident light within a first range with respect to the central axis of the at least one lens, and at least one Hall sensor for confirming position information of the reflector and a camera module including a non-volatile memory for storing hall data corresponding to the location information; and
    상기 카메라 모듈과 작동적으로(operatively) 연결된 적어도 하나의 프로세서를 포함하고,at least one processor operatively connected to the camera module;
    상기 적어도 하나의 프로세서는:The at least one processor comprises:
    상기 반사체의 위치에 따른 렌즈 쉐이딩을 보정하기 위한 데이터를 상기 비휘발성 메모리로부터 획득하고,acquiring data for correcting lens shading according to the position of the reflector from the non-volatile memory;
    상기 카메라 모듈을 구동하여 제1 이미지 프레임을 획득하고,Acquire a first image frame by driving the camera module,
    상기 적어도 하나의 홀 센서를 통해 상기 제1 이미지 프레임에 대응하는 상기 반사체의 제1 위치를 확인(identify)하고,identify a first position of the reflector corresponding to the first image frame through the at least one Hall sensor;
    상기 제1 위치를 확인하는 것에 응답하여, 상기 제1 위치 및 상기 획득한 데이터에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행하는, 전자 장치.In response to identifying the first position, the electronic device performs lens shading correction on the first image frame based on the first position and the acquired data.
  2. 청구항 1에 있어서,The method according to claim 1,
    상기 적어도 하나의 프로세서는 제1 홀 센서를 통해 상기 반사체의 제1 방향에서의 상기 반사체의 각도를 확인하고, 제2 홀 센서를 통해 상기 반사체의 제2 방향에서의 상기 반사체의 각도를 확인하고,The at least one processor determines the angle of the reflector in a first direction of the reflector through a first Hall sensor, and determines the angle of the reflector in a second direction of the reflector through a second Hall sensor,
    상기 제1 방향은 상기 반사체의 피치(pitch) 방향이고, 상기 제2 방향은 상기 반사체의 요(yaw) 방향인, 전자 장치.The first direction is a pitch direction of the reflector, and the second direction is a yaw direction of the reflector.
  3. 청구항 1에 있어서,The method according to claim 1,
    상기 적어도 하나의 프로세서는 제1 홀 센서를 통해 상기 반사체의 제1 방향에서의 제1 홀 코드(hall code)를 확인하고, 제2 홀 센서를 통해 상기 반사체의 제2 방향에서의 제2 홀 코드(hall code)를 확인하는, 전자 장치.The at least one processor identifies a first Hall code in a first direction of the reflector through a first Hall sensor and a second Hall code in a second direction of the reflector through a second Hall sensor An electronic device that verifies (hall code).
  4. 청구항 1에 있어서,The method according to claim 1,
    상기 적어도 하나의 프로세서는 상기 카메라 모듈을 구동하여 적어도 하나의 이미지 프레임을 획득하고,The at least one processor drives the camera module to obtain at least one image frame,
    상기 획득된 이미지 프레임에 기반하여 객체를 검출하고,detecting an object based on the obtained image frame,
    상기 객체를 검출한 것에 응답하여, 상기 반사체의 움직임을 상기 제1 범위 내에서 제어하는, 전자 장치.In response to detecting the object, the electronic device to control the movement of the reflector within the first range.
  5. 청구항 1에 있어서,The method according to claim 1,
    상기 비휘발성 메모리는 상기 반사체의 위치에 대응되는 쉐이딩 보정 함수 또는 보정 룩업 테이블 중 적어도 하나를 저장하는, 전자 장치.The non-volatile memory stores at least one of a shading correction function and a correction lookup table corresponding to the position of the reflector.
  6. 청구항 1에 있어서,The method according to claim 1,
    상기 렌즈 쉐이딩을 보정하기 위한 데이터는 적어도 쉐이딩 보정 함수 또는 보정 룩업 테이블(lookup table)을 포함하는, 전자 장치.The data for correcting the lens shading includes at least a shading correction function or a correction lookup table.
  7. 청구항 1에 있어서,The method according to claim 1,
    상기 렌즈 쉐이딩을 보정하기 위한 데이터는 상기 홀 데이터 및 이미지의 밝기 분포를 나타내는 이미지 프로파일 값에 기반하여 계산되는, 전자 장치.The data for correcting the lens shading is calculated based on the hole data and an image profile value representing a brightness distribution of an image.
  8. 청구항 1에 있어서,The method according to claim 1,
    상기 적어도 하나의 프로세서는:The at least one processor comprises:
    상기 제1 이미지 프레임의 다음 프레임인 제2 이미지 프레임을 획득하고,obtaining a second image frame that is the next frame of the first image frame;
    상기 적어도 하나의 홀 센서를 통해 상기 제2 이미지 프레임에 대응하는 상기 반사체의 제2 위치를 확인하고,confirming a second position of the reflector corresponding to the second image frame through the at least one Hall sensor;
    상기 제2 위치를 확인하는 것에 응답하여, 상기 제2 위치 및 상기 획득한 데이터에 기반하여 상기 제2 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행하는, 전자 장치.In response to confirming the second position, the electronic device performs lens shading correction on the second image frame based on the second position and the acquired data.
  9. 청구항 8에 있어서,9. The method of claim 8,
    상기 적어도 하나의 프로세서는:The at least one processor comprises:
    상기 제1 이미지 프레임에 대하여 상기 제1 위치에 대응하는 제1 렌즈 쉐이딩 보정 값을 적용하고, applying a first lens shading correction value corresponding to the first position to the first image frame;
    상기 제2 이미지 프레임에 대하여 상기 제2 위치에 대응하는 제2 렌즈 쉐이딩 보정 값을 적용하여 상기 렌즈 쉐이딩 보정을 수행하는, 전자 장치.and performing the lens shading correction by applying a second lens shading correction value corresponding to the second position to the second image frame.
  10. 청구항 1에 있어서,The method according to claim 1,
    상기 반사체는 프리즘 또는 미러 중 적어도 하나를 포함하는, 전자 장치.wherein the reflector comprises at least one of a prism or a mirror.
  11. 전자 장치의 동작 방법에 있어서,A method of operating an electronic device, comprising:
    반사체의 위치에 따른 렌즈 쉐이딩을 보정하기 위한 데이터를 비휘발성 메모리로부터 획득하는 동작;acquiring data for correcting lens shading according to a position of a reflector from a non-volatile memory;
    카메라 모듈을 구동하여 제1 이미지 프레임을 획득하는 동작;obtaining a first image frame by driving the camera module;
    적어도 하나의 홀 센서를 통해 상기 제1 이미지 프레임에 대응하는 상기 반사체의 제1 위치를 확인하는 동작; 및identifying a first position of the reflector corresponding to the first image frame through at least one Hall sensor; and
    상기 제1 위치를 확인하는 것에 응답하여, 상기 제1 위치 및 상기 획득한 데이터에 기반하여 상기 제1 이미지 프레임에 대하여 렌즈 쉐이딩 보정을 수행하는 동작을 포함하는, 방법.in response to identifying the first position, performing lens shading correction on the first image frame based on the first position and the acquired data.
  12. 청구항 11에 있어서,12. The method of claim 11,
    제1 홀 센서를 통해 상기 반사체의 제1 방향에서의 상기 반사체의 각도를 확인하는 동작; 및checking an angle of the reflector in a first direction of the reflector through a first Hall sensor; and
    제2 홀 센서를 통해 상기 반사체의 제2 방향에서의 상기 반사체의 각도를 확인하는 동작을 포함하는, 방법.ascertaining an angle of the reflector in a second direction of the reflector via a second Hall sensor.
  13. 청구항 11에 있어서,12. The method of claim 11,
    제1 홀 센서를 통해 상기 반사체의 제1 방향에서의 제1 홀 코드(hall code)를 확인하는 동작; 및identifying a first hall code in a first direction of the reflector through a first Hall sensor; and
    제2 홀 센서를 통해 상기 반사체의 제2 방향에서의 제2 홀 코드(hall code)를 확인하는 동작을 포함하는, 방법.identifying a second hall code in a second direction of the reflector via a second Hall sensor.
  14. 청구항 11에 있어서,12. The method of claim 11,
    상기 카메라 모듈을 구동하여 적어도 하나의 이미지 프레임을 획득하는 동작;obtaining at least one image frame by driving the camera module;
    상기 획득된 이미지 프레임에 기반하여 객체를 검출하는 동작; 및detecting an object based on the acquired image frame; and
    상기 객체를 검출한 것에 응답하여, 상기 반사체의 움직임을 제1 범위 내에서 제어하는 동작을 포함하는, 방법.in response to detecting the object, controlling movement of the reflector within a first range.
  15. 청구항 11에 있어서,12. The method of claim 11,
    상기 렌즈 쉐이딩을 보정하기 위한 데이터는 적어도 쉐이딩 보정 함수 또는 보정 룩업 테이블을 포함하는, 방법.The data for correcting lens shading comprises at least a shading correction function or correction lookup table.
PCT/KR2022/004334 2021-04-14 2022-03-28 Scanning method during photographing with camera and electronic apparatus therefor WO2022220444A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0048662 2021-04-14
KR1020210048662A KR20220142205A (en) 2021-04-14 2021-04-14 Method for scanning in shooting and electronic device thereof

Publications (1)

Publication Number Publication Date
WO2022220444A1 true WO2022220444A1 (en) 2022-10-20

Family

ID=83639823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004334 WO2022220444A1 (en) 2021-04-14 2022-03-28 Scanning method during photographing with camera and electronic apparatus therefor

Country Status (2)

Country Link
KR (1) KR20220142205A (en)
WO (1) WO2022220444A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240223916A1 (en) * 2023-01-04 2024-07-04 Gentex Corporation System and method of correcting radial color distortion in an image captured by an image sensor through a transflective coating

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328123A (en) * 1992-05-26 1993-12-10 Canon Inc Image reader
JPH11305278A (en) * 1998-04-20 1999-11-05 Asahi Optical Co Ltd Image blurring correction camera and control method for the same
JP2001298656A (en) * 2000-04-13 2001-10-26 Nec Corp Image pickup device
KR20090027338A (en) * 2007-09-12 2009-03-17 삼성전자주식회사 System and method for compensating ligth pathway by driving curved prism composed of refraction facet
JP2021027431A (en) * 2019-08-01 2021-02-22 日本電産サンキョー株式会社 Optical unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328123A (en) * 1992-05-26 1993-12-10 Canon Inc Image reader
JPH11305278A (en) * 1998-04-20 1999-11-05 Asahi Optical Co Ltd Image blurring correction camera and control method for the same
JP2001298656A (en) * 2000-04-13 2001-10-26 Nec Corp Image pickup device
KR20090027338A (en) * 2007-09-12 2009-03-17 삼성전자주식회사 System and method for compensating ligth pathway by driving curved prism composed of refraction facet
JP2021027431A (en) * 2019-08-01 2021-02-22 日本電産サンキョー株式会社 Optical unit

Also Published As

Publication number Publication date
KR20220142205A (en) 2022-10-21

Similar Documents

Publication Publication Date Title
WO2022124642A1 (en) Camera module for supporting optical zoom, and electronic device comprising same
WO2022039424A1 (en) Image stabilization method and electronic device therefor
EP3931635A1 (en) Folded camera and electronic device including the same
WO2022092706A1 (en) Method for taking photograph by using plurality of cameras, and device therefor
WO2022139391A1 (en) Camera module and electronic device comprising same
WO2022149654A1 (en) Electronic device for performing image stabilization, and operating method therefor
WO2022220444A1 (en) Scanning method during photographing with camera and electronic apparatus therefor
WO2022119218A1 (en) Method and electronic device for correcting camera shake
WO2022235043A1 (en) Electronic device comprising plurality of cameras and operating method therefor
WO2022245129A1 (en) Object tracking method and electronic apparatus therefor
WO2022196993A1 (en) Electronic device and method for capturing image by using angle of view of camera module
WO2021235747A1 (en) Electronic device comprising camera and microphone, and operation method thereof
WO2022220621A1 (en) Electronic device comprising reflector and lens assembly
WO2021251631A1 (en) Electronic device including focus adjustment function and method thereof
WO2022270870A1 (en) Method for performing photographing multi-directionally via one camera and electronic device thereof
WO2021230507A1 (en) Method and device for providing imaging guidance
WO2022211304A1 (en) Electronic device comprising camera module
WO2022231251A1 (en) Image processing method and electronic device for supporting same
WO2022240186A1 (en) Image distortion correction method and electronic device therefor
WO2022225248A1 (en) Method and electronic device for image stabilization during image capturing
WO2023043132A1 (en) Electronic device for applying bokeh effect to image and operation method of same
WO2022203355A1 (en) Electronic device including plurality of cameras
WO2022154164A1 (en) Electronic device capable of adjusting angle of view and operating method therefor
WO2021230567A1 (en) Image capturing method using plurality of cameras, and electronic device therefor
WO2022186511A1 (en) Electronic device including rear cover and camera module

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788300

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22788300

Country of ref document: EP

Kind code of ref document: A1