RU2730183C1 - Модуль камеры, способ и устройство обработки, электронное устройство и носитель информации - Google Patents

Модуль камеры, способ и устройство обработки, электронное устройство и носитель информации Download PDF

Info

Publication number
RU2730183C1
RU2730183C1 RU2019134154A RU2019134154A RU2730183C1 RU 2730183 C1 RU2730183 C1 RU 2730183C1 RU 2019134154 A RU2019134154 A RU 2019134154A RU 2019134154 A RU2019134154 A RU 2019134154A RU 2730183 C1 RU2730183 C1 RU 2730183C1
Authority
RU
Russia
Prior art keywords
readout signal
camera module
light
diffractive
accordance
Prior art date
Application number
RU2019134154A
Other languages
English (en)
Inventor
Кунь МА
Original Assignee
Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд. filed Critical Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд.
Application granted granted Critical
Publication of RU2730183C1 publication Critical patent/RU2730183C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Изобретение относится к модулю камеры, способу и устройству обработки, электронному устройству и носителю информации. Техническим результатом является уменьшение размеров устройства формирования 3D информации на основе захватываемого изображения. Результат достигается тем, что модуль камеры содержит датчик изображения; дифракционную структуру, частично покрывающую светочувствительные пиксели на датчике изображения и используемую для рассеивания падающих лучей, облучающих покрытые светочувствительные пиксели, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей; и структуру для обработки сигналов, получающую первый считываемый сигнал, соответствующий светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и получающего второй считываемый сигнал, соответствующий дифракционным лучам, для формирования 3D информации. 5 н. и 10 з.п. ф-лы, 11 ил.

Description

Область, к которой относится изобретение
[0001] Настоящее изобретение относится к области технологий терминалов, и, более конкретно, к модулю камеры, способу и устройству обработки, электронному устройству и носителю информации.
Предпосылки создания изобретения
[0002] Двумерное (2D) изображение можно собирать и формировать с помощью модуля камеры в электронном устройстве. С развитием технологий трехмерного (3D) распознавания лиц и технологий дополненной реальности также существует потребность в сборе 3D информации с помощью электронного устройства.
[0003] В предшествующем уровне техники функция сбора 3D информации, основанная на структурированном освещении или времяпролетной технологии (Time-of-Flight, TOF), могла быть реализована посредством добавления компонента для сбора 3D информации в электронное устройство, но он занимает дополнительное пространство в электронном устройстве.
Сущность изобретения
[0004] Настоящее изобретение предлагает модуль камеры, способ и устройство обработки, электронное устройство и носитель данных для устранения недостатков предшествующего уровня техники.
[0005] В соответствии с первым аспектом форм осуществления настоящего изобретения, предлагается модуль камеры, содержащий:
[0006] датчик изображения;
[0007] дифракционную структуру, покрывающую часть светочувствительные пикселей на датчике изображения и выполненную с возможностью рассеивать падающие лучи, облучающие покрытые светочувствительные пиксели, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей; и
[0008] структуру для обработки сигналов, сконфигурированную для получения первого считываемого сигнала, соответствующего светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и получения второго считываемого сигнала, соответствующего дифракционным лучам, для формирования 3D информации.
[0009] Опционально, дифракционная структура содержит множество дифракционных областей, и каждая дифракционная областей покрывает один или более светочувствительных пикселей.
[0010] Опционально, дифракционные области отделены друг от друга, так что один и тот же светочувствительный пиксель принимает только дифракционные лучи, формируемые в одной дифракционной области.
[0011] Опционально, светочувствительные пиксели на датчике изображения составляют матрицу светочувствительных пикселей, и множество дифракционных областей равномерно распределено над матрицей светочувствительных пикселей.
[0012] Опционально, светочувствительные пиксели на датчике изображения составляют матрицу светочувствительных пикселей, и плотность распределения дифракционных областей в центральной области матрицы светочувствительных пикселей выше, чем в краевой области.
[0013] Опционально, дифракционная структура включает в себя дифракционную линзу или дифракционную пленку.
[0014] Опционально, модуль камеры дополнительно содержит цветной фильтр, покрывающий светочувствительный пиксель датчика изображения;
[0015] при этом дифракционная структура расположена между светочувствительным пикселем и цветным фильтром, или дифракционная структура расположена со стороны цветного фильтра, удаленной от светочувствительного пикселя.
[0016] Согласно второму аспекту форм осуществления настоящего изобретения, предлагается электронное устройство, содержащее: модуль камеры, описанный в любой из вышеупомянутых форм осуществления.
[0017] Опционально, по меньшей мере одна из фронтальной камеры и задней камеры электронного устройства содержит модуль камеры.
[0018] Опционально, устройство дополнительно содержит:
[0019] процессор, который соответственно получает первый считываемый сигнал и второй считываемый сигнал, подаваемые на выход модулем камеры, чтобы формировать 2D изображение в соответствии с первым считываемым сигналом и формировать 3D информацию в соответствии со вторым считываемым сигналом.
[0020] Согласно третьему аспекту форм осуществления настоящего изобретения, предлагается способ обработки, применяемый к электронному устройству, описанному в любой из вышеупомянутых форм осуществления, включающий в себя:
получение первого считываемого сигнала и второго считываемого сигнала, выводимых модулем камеры;
[0022] формирование 2D изображения в соответствии с первым считываемым сигналом; и
[0023] формирование 3D информации в соответствии со вторым считываемым сигналом.
[0024] Опционально, формирование 2D изображения в соответствии с первым считываемым сигналом включает в себя:
[0025] обработку первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения;
[0026] или проведение компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработку сигнала, полученного посредством компенсации сигнала, и первого считываемого сигнала для формирования 2D изображения.
[0027] Опционально, 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним светочувствительным пикселем, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.
[0028] В соответствии с четвертым аспектом форм осуществления настоящего изобретения предлагается устройство обработки, применяемое в электронном устройстве, описанном в любой из приведенных выше форм осуществления, содержащее:
[0029] блок сбора данных для получения первого считываемого сигнала и второго считываемого сигнала, выводимого модулем камеры;
[0030] блок формирования изображения для формирования 2D изображения в соответствии с первым считываемым сигналом; и
[0031] блок формирования информации для формирования 3D информации в соответствии со вторым считываемым сигналом.
[0032] Опционально, модуль формирования изображения содержит субблок обработки или субблок компенсации;
[0033] субблок обработки сконфигурирован для обработки первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения; и
[0034] субблок компенсации сконфигурирован для проведения компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработки полученного с помощью компенсации сигнала и первого считываемого сигнала для формирования 2D изображения.
[0035] Опционально, 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним светочувствительным пикселем, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.
[0036] Согласно пятому аспекту форм осуществления настоящего изобретения, предлагается электронное устройство, содержащее:
[0037] процессор; и
[0038] память для хранения команд, исполняемых процессором;
[0039] при этом процессор реализует способ, описанный в любой из вышеприведенных форм осуществления, посредством выполнения исполняемых команд.
[0040] В соответствии с шестым аспектом форм осуществления настоящего изобретения предлагается машиночитаемый носитель данных, на котором хранятся машинные команды, причем команды исполняются процессором для реализации этапов способа, описанного в любой из вышеприведенных форм осуществления изобретения.
[0041] Следует понимать, что приведенное выше общее описание и последующее подробное описание являются только иллюстративными и пояснительными и не могут ограничивать настоящее изобретение.
Краткое описание чертежей
[0042] Прилагаемые чертежи, которые включены в настоящее описание и составляют его часть, иллюстрируют формы осуществления в соответствии с изобретением и вместе с описанием служат для объяснения принципов изобретения.
[0043] Фиг. 1 является схемой, иллюстрирующей модуль камеры в соответствии с примером осуществления изобретения.
[0044] Фиг. 2 представляет собой вид в разрезе модуля камеры, показанный в соответствии с примером осуществления изобретения.
[0045] Фиг. 3 представляет собой вид в разрезе другого модуля камеры, показанный в соответствии с примером осуществления изобретения.
[0046] Фиг. 4 является схемой, иллюстрирующей равномерное распределение дифракционных областей согласно примеру осуществления изобретения.
[0047] Фиг. 5 представляет собой схему, иллюстрирующую другое равномерное распределение дифракционных областей в соответствии с примером осуществления изобретения.
[0048] Фиг. 6 является схемой, иллюстрирующей случайное распределение дифракционных областей согласно примеру осуществления изобретения.
[0049] Фиг. 7 является схемой, иллюстрирующей упорядоченное распределение дифракционных областей в соответствии с примером осуществления изобретения.
[0050] Фиг. 8 является блок-схемой, иллюстрирующей способ обработки согласно примеру осуществления изобретения.
[0051] На фиг. 9 показана блок-схема, иллюстрирующая устройство обработки в соответствии с примером осуществления изобретения.
[0052] На фиг. 10 показана блок-схема, иллюстрирующая другое устройство обработки в соответствии с примером осуществления изобретения.
[0053] На фиг. 11 показана блок-схема, иллюстрирующая устройство обработки в соответствии с примером осуществления изобретения.
Подробное описание
[0054] Ссылки теперь будут делаться формы осуществления изобретения, примеры которых проиллюстрированы на прилагаемых чертежах. Когда нижеследующее описание относится к чертежам, одинаковые номера позиций на разных чертежах обозначают одинаковые или подобные элементы, если не указано иное. Способы реализации, описанные в следующих примерах осуществления изобретения, не представляют все способы реализации в соответствии с настоящей заявкой. Напротив, они являются просто примерами устройств и способов в соответствии с некоторыми аспектами настоящей заявки, описанными в прилагаемой формуле изобретения.
[0055] Термины, используемые в настоящей заявке, предназначены только для описания конкретных форм осуществления изобретения и не предназначены для ограничения настоящей заявки. Используемые в настоящей заявке и прилагаемой формуле изобретения формы единственного числа также предназначены для включения форм множественного числа, если контекст явно не указывает другое. Также следует понимать, что термин "и/или", используемый в данном документе, относится к любым и всем возможным комбинациям одного или нескольких связанных перечисленных элементов и охватывает их.
[0056] Следует понимать, что хотя термины первый, второй, третий и т.д. могут быть использованы в настоящей заявке для описания различной информации, такая информации не должна ограничиваться этими терминами. Эти термины используются только для того, чтобы отличать информацию одинакового вида одну от другой. Например, не отступая от объема настоящей заявки, первая информация также может упоминаться как вторая информация, и аналогично, вторая информация также может упоминаться как первая информация. В зависимости от контекста слово "если", используемое в данном документе, может интерпретироваться как "в момент…", или "когда", или "в ответ на определение".
[0057] Фиг. 1 является схемой, иллюстрирующей модуль камеры согласно примеру осуществления изобретения. Как показано на фиг. 1, модуль камеры содержит датчик 1 изображения, дифракционную структуру 2 и структуру 3 обработки сигналов. Датчик 1 изображения содержит множество светочувствительных пикселей, и эти светочувствительные пиксели образуют светочувствительные пиксельные матрицы R (красный), G (зеленый) и В (синий), как показано на фиг. 1, для восприятия лучей, облучающих датчик 1 изображения. Дифракционная структура 2 может покрывать частично светочувствительные пиксели на датчике 1 изображения. Например, пиксельная матрица на фиг. 1 содержит 64 светочувствительных пикселя, при этом дифракционная структура 2 покрывает 16 светочувствительных пикселей, и может рассеивать падающие лучи, облучающие покрытые светочувствительные пиксели, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей (то есть один светочувствительный пиксель может принимать дифракционные лучи одной или более фаз). Структура 3 обработки сигналов может получать первый считываемый сигнал, соответствующий светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и структура 3 обработки сигналов может получать второй считываемый сигнал, соответствующий дифракционным лучам, для формирования 3D информации.
[0058] Таким образом, электронное устройство может иметь функции сбора 2D изображения и 3D информации путем выполнения модуля камеры на основе настоящего изобретения в электронном устройстве без дополнительной установки отдельного компонента для сбора 3D информации, избегая занятия дополнительного пространства для электронного устройства. Поскольку дифракционная структура 2 покрывает только часть светочувствительных пикселей датчика 1 изображения, влияние на формирование 2D изображения можно максимально уменьшить на основе обеспечения сбора 3D информации так, чтобы избежать уменьшения качества 2D изображения.
[0059] В одной из форм осуществления изобретения дифракционная структура 2 может быть изготовлена из любого материала, способного реализовать функцию дифракции, и не ограничивается настоящим изобретением. Например, дифракционная структура 2 может представлять собой дифракционную линзу; для другого примера, дифракционная структура 2 может представлять собой дифракционную пленку и тому подобное.
[0060] В одной из форм осуществления изобретения в датчике 1 изображения для расположения RBG светочувствительных пикселей используется матрица Байера, как показано на фиг. 1, но настоящее изобретение также применимо к любым другим видам способов расположения пикселей в предшествующем уровне техники, таких как расположение пикселей RGBW, расположение пикселей X-Trans и т.д., что не ограничивается настоящим изобретением.
[0061] В технических решениях настоящего изобретения необходимо только обеспечить, чтобы дифракционная структура 2 могла преломлять лучи, облучающие датчик 1 изображения (лучи, облучающие светочувствительные пиксели, покрытые дифракционной структурой 2), то есть, дифракционная структура 2 может быть расположена перед датчиком 1 изображения независимо от соотношения положений между дифракционной структурой 2 и другими структурами в модуле камеры. Например, фиг. 2 - вид в разрезе модуля камеры, проиллюстрированного в соответствии с примером осуществления изобретения. Как показано на фиг. 2, модуль камеры может дополнительно содержать цветной фильтр 4 в дополнение к датчику 1 изображения и дифракционной структуре 2. Дифракционная структура 2 может быть расположена на стороне цветного фильтра 4, удаленной от датчика изображения 1 (или светочувствительного пикселя), то есть дифракционная структура 2, цветной фильтр 4 и датчик 1 изображения последовательно уложены друг на друга. Для другого примера фиг. 3 представляет собой вид в разрезе другого модуля камеры, проиллюстрированного в соответствии с примером осуществления изобретения. Как показано на фиг. 3, дифракционная структура 2 может быть расположена между датчиком 1 изображения (или светочувствительным пикселем) и цветным фильтром 4.
[0062] В технических решениях настоящего изобретения дифракционная структура 2 может содержать множество дифракционных областей 20, например, четыре дифракционные области 20 в форме осуществления изобретения, как показано на фиг. 1, в то время как другие формы осуществления могут содержать другое число (одну или более) дифракционных областей 20, что не ограничивается настоящим изобретением. Каждая дифракционная область 20 может иметь любую форму, такую как окружность или эллипс, прямоугольник и тому подобное, как показано на фиг. 1, что не ограничено настоящим изобретением.
[0063] Со ссылкой на формы осуществления, показанные на фиг. 2 и 3, множество дифракционных областей 20, содержащихся в дифракционной структуре 2, часто располагаются в одном слое, расстояние между каждой дифракционной областью 20 и датчиком 1 изображения одинаково, и эти дифракционные области 20 могут быть отделены друг от друга или могут быть соединены в единое целое с помощью прозрачного материала, что не ограничено настоящим изобретением.
[0064] Фиг. 4 является схемой, иллюстрирующей равномерное распределение дифракционных областей согласно примеру осуществления изобретения. Как показано на фиг. 4, дифракционная структура 2 может включать в себя четыре дифракционные области 20, и эти дифракционные области 20 могут быть равномерно распределены над матрицей пикселей, сформированной датчиком 1 изображения, так что воздействие дифракционной структуры 2 на 2D изображение также равномерно распределяется по различным позициям, что позволяет избежать значительного локального воздействия на 2D изображение. Аналогично, фиг. 5 представляет собой схематическое изображение, иллюстрирующее другое равномерное распределение дифракционных областей в соответствии с примером осуществления изобретения. Как показано на фиг. 5, дифракционная структура 2 может содержать пять дифракционных областей 20, которые могут быть равномерно распределены над матрицей пикселей, сформированной датчиком 1 изображения.
[0065] В дополнение к различным количествам дифракционных областей 20, количества светочувствительных пикселей, покрываемых каждой дифракционной областью 20 в формах осуществления изобретения, как показано на фиг. 4 и 5, тоже разные. Например, каждая дифракционная область 20 на фиг. 4 может покрывать четыре светочувствительные области, и каждая дифракционная область 20 на фиг. 5 может покрывать девять или более светочувствительных областей. Каждая дифракционная область 20 в технических решениях настоящего изобретения может покрывать один или более светочувствительных пикселей, и настоящее изобретение не ограничивает число покрываемых светочувствительных пикселей.
[0066] Фиг. 6 является схемой, иллюстрирующей случайное распределение дифракционных областей согласно примеру осуществления изобретения. Как показано на фиг. 6, когда дифракционная структура 2 содержит множество дифракционных областей 20, эти дифракционные области 20 могут быть случайным образом распределены выше матрицы пикселей, образованной датчиком 1 изображения, лишь бы соответствующая функция дифракции могла быть реализована, и 2D изображение и 3D информация могли быть сформированы.
[0067] Фиг. 7 является схемой, иллюстрирующей упорядоченное распределение областей дифракции в соответствии с примером осуществления изобретения. В матрице светочувствительных пикселей, состоящей из светочувствительных пикселей на датчике 1 изображения, плотность распределения множества дифракционных областей 20 в центральной области матрицы светочувствительных пикселей может быть выше, чем в краевой области. Например, в форме осуществления изобретения, показанной на фиг. 7, семь дифракционных областей 20 распределены в центральной области, и только четыре дифракционных области 20 расположены в краевой области, так что больше 3D информации может быть получено в более важной центральной области, что способствует повышению точности распознавания в таких сценариях как 3D распознавание лиц.
[0068] Следует отметить, что, когда дифракционная структура 2 содержит множество дифракционных областей 20, эти дифракционные области 20 могут быть отделены друг от друга, так что один и тот же светочувствительный пиксель может получать только дифракционные лучи, сформированные одной дифракционной областью 20, чтобы избежать облучения одного и того же светочувствительного пикселя дифракционными лучами, сформированными множеством дифракционных областей 20, таким образом гарантируя, что окончательно полученная 3D информация имеет достаточную точность.
[0069] В технических решениях настоящего изобретения модуль камеры на основе любой одной из описанных выше форм осуществления изобретения может быть применен в электронном устройстве, например, модуль камеры может быть использован в качестве фронтальной камеры или задней камеры электронного устройства или может одновременно использоваться как фронтальная камера, так и задняя камера (одна и та же камера может использоваться как фронтальная и задняя; или часть нескольких камер используется в качестве фронтальных камер, а остальные используются в качестве задних камер), так что модуль камеры может не только использоваться для захвата 2D изображения, но также может использоваться для формирования 3D информации. Электронное устройство может быть мобильным телефоном, планшетным компьютером, ноутбуком, носимым устройством и т.п., что не ограничено настоящим изобретением.
[0070] В одной из форм осуществления изобретения процессор электронного устройства может получать первый считываемый сигнал и второй считываемый сигнал, выводимые модулем камеры, для формирования 2D изображения в соответствии с первым считываемым сигналом и формирования 3D информации в соответствии со вторым считываемым сигналом. Логика обработки процессором подробно описана ниже со ссылкой на фиг. 8.
[0071] Фиг. 8 является блок-схемой, иллюстрирующей способ обработки в соответствии с примером осуществления изобретения. Как показано на фиг. 8, способ применяется к вышеупомянутому электронному устройству и может включать в себя следующие этапы.
[0072] На этапе 802 получают первый считываемый сигнал и второй считываемый сигнал, выводимые модулем камеры.
[0073] В одной из форм осуществления изобретения модуль камеры имеет возможность выводить первый считываемый сигнал и второй считываемый сигнал одновременно. В одной из форм осуществления изобретения модуль камеры может выводить за один раз только первый считываемый сигнал или второй считываемый сигнал, или может выводить первый считываемый сигнал и второй считываемый сигнал одновременно, что зависит от требований процессора в электронном устройстве.
[0074] В одной из форм осуществления изобретения модуль камеры может выводить первый считываемый сигнал и второй считываемый сигнал одновременно, в то время как процессор может, в соответствии с фактическими потребностями, выбирать формирование 2D изображения в соответствии с первым считываемым сигналом или формирование 3D информации в соответствии со вторым считываемым сигналом, или формирование 2D изображения и 3D информации одновременно.
[0075] На этапе 804А 2D изображение формируется в соответствии с первым считываемым сигналом.
[0076] В одной из форм осуществления изобретения процессор может непосредственно обрабатывать первый считываемый сигнал и второй считываемый сигнал для формирования 2D изображения.
[0077] В одной из форм осуществления, поскольку второй считываемый сигнал содержит 3D информацию, которая может неблагоприятно влиять на 2D изображение, компенсация сигнала может выполняться для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и полученный скомпенсированный сигнал и первый считываемый сигнал обрабатывается для формирования 2D изображения. Вышеуказанный процесс компенсации может состоять в том, чтобы корректировать второй считываемый сигнал на основе первого считываемого сигнала или полностью отбрасывать второй считываемый сигнал и интерполировать и восстанавливать светочувствительные пиксели, принимающие дифракционные лучи, основываясь только на первом считываемом сигнале.
[0078] На этапе 804В 3D информация формируется в соответствии со вторым считываемым сигналом.
[0079] В одной из форм осуществления изобретения 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним из светочувствительных пикселей, близким к любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от любого светочувствительного пикселя. Например, когда формируется 3D информация в определенной позиции, делается опора на второй считываемый сигнал, воспринимаемый светочувствительным пикселем, удаленным от этой позиции, что способствует улучшению базы между полученными пикселями 3D информации и повышению точности формируемой 3D информации.
[0080] В одной из форм осуществления изобретения могут быть использованы решения, применяемые для формирования 3D информации в предшествующем уровне техники, чтобы позволить процессору формировать 3D информацию на основе второго считываемого сигнала, соответствующего дифракционным лучам. Настоящее изобретение не ограничивает решений по формированию 3D информации. Например, принцип формирования 3D информации может включать в себя: разделение светочувствительных пикселей на множество групп, где одна группа светочувствительных пикселей содержит по меньшей мере один пиксель, одна сторона которого покрыта дифракционной структурой 2, как показано на фиг. 1, и по меньшей мере один из других пикселей, покрытый дифракционной структурой 2 с другой стороны, так что вторые считываемые сигналы, воспринимаемые этими пикселями, могут быть объединены в одну группу для имитации ситуации приема луча, соответствующей бинокулярной камере, таким образом вычисляя соответствующую 3D информацию (такую как глубина снимаемого объекта).
[0081] В соответствии с вышеописанными формами осуществления способа обработки, настоящее изобретение дополнительно предлагает формы осуществления устройства обработки.
[0082] На фиг. 9 представлена блок-схема, иллюстрирующая устройство обработки в соответствии с примером осуществления изобретения. Как показано на фиг. 9, устройство содержит:
[0083] блок 91 сбора информации для получения первого считываемого сигнала и второго считываемого сигнала, выдаваемого модулем камеры;
[0084] блок 92 формирования изображения для формирования 2D изображения в соответствии с первым считываемым сигналом; и
[0085] блок 93 формирования информации для формирования 3D информации в соответствии со вторым считываемым сигналом.
[0086] В одной из форм осуществления изобретения, 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним из светочувствительных пикселей, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.
[0087] Фиг. 10 - это блок-схема, иллюстрирующая другое устройство обработки согласно примеру осуществления изобретения. Эта форма осуществления основана на предыдущей форме осуществления изобретения, как показано на фиг. 9, и блок 92 формирования изображения дополнительно содержит субблок 921 обработки или субблок 922 компенсации.
[0088] Субблок 921 обработки сконфигурирован для обработки первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения; и
[0089] субблок 922 компенсации сконфигурирован для выполнения компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработки полученного скомпенсированного сигнала и первого считываемого сигнала для формирования 2D изображения.
[0090] Что касается устройств в вышеупомянутых формах осуществления, конкретные способы выполнения операций для отдельных модулей были подробно описаны в формах осуществления, касающихся способов, и здесь не будут подробно описываться.
[0091] Поскольку формы осуществления устройства в основном соответствуют формам осуществления способа, за подробностями можно обратиться к формам осуществления способа. Формы осуществления устройства, описанные выше, являются только примерами, в которых блоки, показанные как отдельные части, могут быть или не быть физически разделены, и могут быть или не быть физическими блоками, то есть могут быть расположены в одном месте или могут быть распределены по сети. Некоторые или все блоки могут быть выбраны в соответствии с фактическими потребностями для достижения целей решений настоящего изобретения. Специалисты в данной области техники могут понять и реализовать их без каких-либо творческих усилий.
[0092] Настоящее изобретение дополнительно относится к устройству обработки, содержащему: процессор и память для хранения команд, исполняемых процессором; где процессор сконфигурирован для реализации любого одного из способов обработки в вышеописанных формах осуществления посредством управления исполняемыми командами.
[0093] Настоящее изобретение дополнительно предлагает терминал, содержащий память и одну или более программ, при этом одна или более программ хранятся в памяти и сконфигурированы для выполнения одним или более процессорами для выполнения следующих операций: получения первого считываемого сигнала и второго считываемого сигнала, подаваемых на выход модулем камеры; формирования 2D изображения в соответствии с первым считываемым сигналом; и формирования 3D информации в соответствии со вторым считываемым сигналом.
[0094] В одной из форм осуществления изобретения формирование 2D изображения в соответствии с первым считываемым сигналом включает в себя:
[0095] обработку первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения;
[0096] или выполнение компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом и обработку полученного компенсированного сигнала и первого считываемого сигнала для формирования 2D изображения.
[0097] В одной из форм осуществления изобретения 3D информация в соответствующей позиции любого светочувствительного пикселя формируется с помощью второго считываемого сигнала, который воспринимается по меньшей мере одним из светочувствительных пикселей, близким к этому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от этого любого светочувствительного пикселя.
[0098] Фиг. 11 является схемой, иллюстрирующей устройство 1100 обработки согласно примеру осуществления изобретения. Например, устройство 1100 может быть мобильным телефоном, компьютером, цифровым широковещательным терминалом, устройством обмена сообщениями, игровой приставкой, планшетным компьютером, медицинским устройством, гаджетом для фитнеса, персональным цифровым помощником и т.п.
[0099] Как показано на фиг. 11, устройство 1100 может содержать один или более из следующих компонентов: компонент 1102 обработки, память 1104, компонент 1106 питания, мультимедийный компонент 1108, аудиокомпонент 1110, интерфейс 1112 ввода/вывода (Input/Output, I/O), компонент 1114 датчиков и компонент 1116 связи.
[00100] Компонент 1102 обработки обычно управляет общими операциями устройства 1100, такими как операциями, связанными с отображением данных, телефонными разговорами, передачей данных, операциями камеры и операциями записи. Компонент 1102 обработки может содержать один или более процессоров 1120, чтобы выполнять команды для выполнения всех или части этапов в вышеописанных способах. Кроме того, компонент 1102 обработки может включать в себя один или более модулей, которые обеспечивают взаимодействие между компонентом 1102 обработки и другими компонентами. Например, компонент 1102 обработки может содержать мультимедийный модуль для обеспечения взаимодействия между мультимедийным компонентом 1108 и компонентом 1102 обработки.
[00101] Память 1104 сконфигурирована для хранения данных различных видов для поддержки работы устройства 1100. Примеры таких данных включают в себя команды для некоторых приложений или способов, используемых в устройстве 1100, контактные данные, данные телефонной книги, сообщения, изображения, видео и т.д. Память 1104 может быть реализована с использованием энергозависимых или энергонезависимых запоминающих устройств любого типа, таких как статическое запоминающее устройство с произвольной выборкой (Static Random Access Memory, SRAM), электрически-стираемое программируемое постоянное запоминающее устройство (Electrically Erasable Programmable Read-Only Memory, EEPROM), стираемое программируемое постоянное запоминающее устройство (Erasable Programmable Read-Only Memory, EPROM), программируемое постоянное запоминающее устройство (Programmable Read-Only Memory, PROM), постоянное запоминающее устройство (Read-Only Memory, ROM), магнитная память, флэш-память, магнитный или оптический диск, или их комбинации.
[00102] Компонент 1106 питания обеспечивает питание для различных компонентов устройства 1100. Компонент 1106 питания может содержать систему управления мощностью, один или более источников питания и другие компоненты, связанные с генерацией, управлением и распределением энергии в устройстве 1100.
[00103] Мультимедийный компонент 1108 содержит экран, который обеспечивает выходной интерфейс между устройством 1100 и пользователем. В некоторых формах осуществления экран может содержать дисплей на жидких кристаллах (Liquid Crystal Display, LCD) и сенсорную панель (Touch Panel, TP). Если на экране есть сенсорная панель, он может быть реализован как сенсорный экран для приема входных сигналов от пользователя. Сенсорная панель содержит один или более датчиков касания для восприятия касаний, скольжений и жестов на сенсорной панели. Датчики касания могут воспринимать не только порог действия касания или скольжения, но также и воспринимать длительность и давление, связанные с действием касания или скольжения. В некоторых формах осуществления мультимедийный компонент 1108 содержит фронтальную камеру и/или заднюю камеру. Фронтальная камера и/или задняя камера могут принимать внешние мультимедийные данные, когда устройство 1100 находится в рабочем режиме, таком как режим фотографирования или режим видео. Каждая из фронтальной камеры и задней камеры может иметь фиксированную систему оптического объектива или иметь возможности фокусировки и оптического изменения масштаба изображения. Модуль камеры, основанный на технических решениях настоящего изобретения, может быть применен в качестве фронтальной камеры и/или задней камеры, и модуль камеры имеет функции сбора 2D изображений и 3D информации и может выбирать 2D изображения и/или 3D информацию в соответствии с актуальными потребностями.
[00104] Аудиокомпонент 1110 сконфигурирован для вывода и/или ввода звуковых сигналов. Например, аудиокомпонент 1110 содержит микрофон (MIC), сконфигурированный для приема внешнего звукового сигнала, когда устройство 1100 находится в рабочем режиме, таком как режим разговора, режим записи и режим распознавания речи. Принятый звуковой сигнал далее может записываться в память 1104 или передаваться через компонент 1116 связи. В некоторых формах осуществления изобретения аудиокомпонент 1110 может дополнительно содержать громкоговоритель для вывода звуковых сигналов.
[00105] Интерфейс 1112 ввода/вывода обеспечивает интерфейс между компонентом 1102 обработки и периферийными интерфейсными модулями, такими как клавиатура, сенсорный круг Click Wheel, кнопки и тому подобное. Кнопки могут включать в себя, но не ограничиваются ими, кнопку начального положения, кнопку громкости, кнопку пуска и кнопку блокировки.
[00106] Компонент 1114 датчиков содержит один или более датчиков для оценки состояния различных аспектов устройства 1100. Например, компонент 1114 датчиков может обнаруживать открытое/закрытое состояние устройства 1100, относительное расположение компонентов, например, дисплея и клавиатуры устройства 1100, изменение в положении устройства 1100 или компонента устройства 1100, наличие или отсутствие контакта пользователя с устройством 1100, ориентацию или ускорение/замедление устройства 1100 и изменение температуры устройства 1100. Компонент 1114 датчиков может включать в себя датчик присутствия, сконфигурированный для обнаружения присутствия близлежащих объектов без какого-либо физического контакта. Компонент 1114 датчиков может содержать также фотоприемник, такой как формирователь изображения на комплементарной структуре металл-оксид-полупроводник (Complementary Metal-Oxide-Semiconductor, CMOS) или приборе с зарядовой связью (Charge Coupled Device, CCD) для использования в приложениях обработки изображений. В некоторых формах осуществления изобретения компонент 1114 датчиков может содержать также датчик ускорения, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.
[00107] Компонент 1116 связи сконфигурирован для обеспечения проводной или беспроводной связи между устройством 1100 и другими устройствами. Устройство 1100 может получать доступ к беспроводной сети на основе стандарта связи, такого как WiFi, системы подвижной связи второго поколения (2G) или третьего поколения (3G), или их комбинации. В одном примере осуществления изобретения компонент 1116 связи принимает широковещательный сигнал или связанную с вещанием информацию от внешней широковещательной системы управления через широковещательный канал. В одном примере осуществления изобретения компонент 1116 связи дополнительно содержит модуль радиосвязи ближнего действия (Near Field Communication, NFC) для осуществления ближней связи. Например, модуль NFC может быть реализован на основе технологии радиочастотной идентификации (Radio Frequency Identification, RFID), технологии Ассоциации по передаче данных в инфракрасном диапазоне (Infrared Data Association, IrDA), сверхширокополосной технологии (Ultra-Wideband, UWB), технологии Bluetooth (ВТ) и других технологий.
[00108] В примерах форм осуществления устройство 1100 может быть реализовано одной или более специализированными интегральными схемами (Application Specific Integrated Circuit, ASIC), процессорами цифровой обработки сигналов (Digital Signal Processors, DSP), устройствами для цифровой обработки сигналов (Digital Signal Processing Device, DSPD), программируемыми логическими устройствами (Programmable Logic Device, PLD), программируемыми пользователем вентильными матрицами (Field Programmable Gate Array, FPGA), контроллерами, микроконтроллерами, микропроцессорами или другими электронными компонентами для выполнения описанных выше способов.
[00109] В примерах осуществления изобретения предлагается также машиночитаемый носитель информации, содержащий команды, такие как включенные в память 1104, исполняемые процессором 1120 в устройстве 1100, для выполнения вышеописанных способов. Например, машиночитаемый носитель информации может быть постоянным запоминающим устройством (Read Only Memory, ROM), запоминающим устройством с произвольной выборкой (Random Access Memory, RAM), запоминающим устройством на компакт диске (Compact Disk-Read Only Memory, CD ROM), магнитной лентой, гибким диском, оптическим запоминающим устройством и тому подобным.
[00110] Другие формы осуществления настоящего изобретения будут очевидны для специалистов в данной области техники после рассмотрения описания и применения на практике изобретения, раскрытого здесь. Данная заявка предназначена для охвата любых вариантов, применений или адаптаций настоящего изобретения в соответствии с его общими принципами и включает такие отступления от настоящего описания, которые соответствуют известной или обычной практике в данной области техники. Предполагается, что описание и примеры приведены только в качестве примеров, с истинным объемом и сущностью изобретения, указанными в следующей формуле изобретения.
[00111] Понятно, что настоящее изобретение не ограничено точной конструкцией, которая была описана выше и проиллюстрирована на прилагаемых чертежах, и что различные модификации и изменения могут быть сделаны без отступления от его объема. Объем настоящего изобретения ограничивается только прилагаемой формулой изобретения.

Claims (32)

1. Модуль камеры, содержащий:
датчик изображения, содержащий множество светочувствительных пикселей;
дифракционную структуру, покрывающую часть множества светочувствительных пикселей и выполненную с возможностью рассеивать падающие лучи, облучающие упомянутую часть множества светочувствительных пикселей, в дифракционные лучи с различными фазами, падающие на один или более светочувствительных пикселей упомянутой части множества светочувствительных пикселей; и
процессор обработки сигналов, сконфигурированный для получения первого считываемого сигнала, соответствующего светочувствительному пикселю, который не принимает дифракционные лучи, для формирования 2D изображения, и получения второго считываемого сигнала, соответствующего дифракционным лучам, для формирования 3D информации.
2. Модуль камеры по п. 1, в котором дифракционная структура содержит множество дифракционных областей, и каждая дифракционная область покрывает один или более светочувствительных пикселей.
3. Модуль камеры по п. 2, в котором дифракционные области отделены друг от друга, так что любой из упомянутых одного или более светочувствительных пикселей принимает только дифракционные лучи, формируемые в одной дифракционной области.
4. Модуль камеры по п. 2, в котором светочувствительные пиксели составляют матрицу светочувствительных пикселей, и множество дифракционных областей равномерно распределены над матрицей светочувствительных пикселей.
5. Модуль камеры по п. 2, в котором светочувствительные пиксели составляют матрицу светочувствительных пикселей, и центральная область матрицы светочувствительных пикселей имеет более высокую плотность распределения дифракционных областей, чем краевая область матрицы светочувствительных пикселей.
6. Модуль камеры по п. 1, в котором дифракционная структура представляет собой дифракционную линзу или дифракционную пленку.
7. Модуль камеры по п. 1, который дополнительно содержит цветной фильтр, покрывающий по меньшей мере некоторые из множества светочувствительных пикселей;
при этом дифракционная структура расположена между светочувствительными пикселями и цветным фильтром, или дифракционная структура расположена со стороны цветного фильтра, удаленной от светочувствительных пикселей.
8. Электронное устройство, содержащее модуль камеры по любому из пп. 1-7.
9. Электронное устройство по п. 8, в котором фронтальная камера и/или задняя камера электронного устройства содержит упомянутый модуль камеры.
10. Электронное устройство по п. 8, дополнительно содержащее:
процессор, сконфигурированный для получения первого считываемого сигнала и второго считываемого сигнала, выводимых модулем камеры, для формирования 2D изображения в соответствии с первым считываемым сигналом и формирования 3D информации в соответствии со вторым считываемым сигналом.
11. Способ обработки, применяемый к электронному устройству по любому из пп. 8-10, включающий:
получение первого считываемого сигнала и второго считываемого сигнала, выводимых модулем камеры;
формирование 2D изображения в соответствии с первым считываемым сигналом; и
формирование 3D информации в соответствии со вторым считываемым сигналом.
12. Способ по п. 11, в котором формирование 2D изображения в соответствии с первым считываемым сигналом включает в себя:
обработку первого считываемого сигнала и второго считываемого сигнала для формирования 2D изображения;
или выполнение компенсации сигнала для светочувствительных пикселей, принимающих дифракционные лучи, в соответствии с первым считываемым сигналом, и обработку сигнала, полученного посредством компенсации сигнала, и первого считываемого сигнала для формирования 2D изображения.
13. Способ по п. 11, в котором формирование 3D информации в соответствии со вторым считываемым сигналом содержит:
формирование 3D информации в соответствующей позиции любого светочувствительного пикселя согласно второму считываемому сигналу, который воспринят по меньшей мере одним светочувствительным пикселем, близким к упомянутому любому светочувствительному пикселю, и светочувствительным пикселем, удаленным от упомянутого любого светочувствительного пикселя.
14. Устройство обработки, применяемое в электронном устройстве по любому из пп. 8-10, содержащее:
блок сбора данных для получения первого считываемого сигнала и второго считываемого сигнала, выводимого модулем камеры;
блок формирования изображения для формирования 2D изображения в соответствии с первым считываемым сигналом; и
блок формирования информации для формирования 3D информации в соответствии со вторым считываемым сигналом.
15. Электронное устройство, содержащее:
процессор; и
память для хранения команд, исполняемых процессором;
причем процессор осуществляет способ по любому из пп. 11-13 путем выполнения этих исполняемых команд.
RU2019134154A 2018-09-10 2018-11-16 Модуль камеры, способ и устройство обработки, электронное устройство и носитель информации RU2730183C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811052620.4 2018-09-10
CN201811052620.4A CN110891131A (zh) 2018-09-10 2018-09-10 摄像头模组、处理方法及装置、电子设备、存储介质
PCT/CN2018/116016 WO2020052063A1 (zh) 2018-09-10 2018-11-16 摄像头模组、处理方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
RU2730183C1 true RU2730183C1 (ru) 2020-08-19

Family

ID=67981858

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019134154A RU2730183C1 (ru) 2018-09-10 2018-11-16 Модуль камеры, способ и устройство обработки, электронное устройство и носитель информации

Country Status (7)

Country Link
US (1) US11425299B2 (ru)
EP (1) EP3621289B1 (ru)
JP (1) JP6946416B2 (ru)
KR (1) KR102285442B1 (ru)
CN (1) CN110891131A (ru)
RU (1) RU2730183C1 (ru)
WO (1) WO2020052063A1 (ru)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246073B (zh) * 2020-03-23 2022-03-25 维沃移动通信有限公司 成像装置、方法及电子设备
CN115250320B (zh) * 2021-04-28 2024-06-14 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0367241A2 (en) * 1988-10-31 1990-05-09 The University Of Rochester Diffractive optical imaging lens systems
WO2007052262A2 (en) * 2005-10-31 2007-05-10 Xtr- Extreme Reality An apparatus method and system for imaging
US20130147919A1 (en) * 2011-12-09 2013-06-13 California Institute Of Technology Multi-View Difraction Grating Imaging With Two-Dimensional Displacement Measurement For Three-Dimensional Deformation Or Profile Output
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
EP2806643A1 (en) * 2012-01-16 2014-11-26 Sony Corporation Solid-state image sensor and camera system
US9131222B2 (en) * 2010-02-16 2015-09-08 Sony Corporation Phase difference detection method, program, and device
RU2595759C2 (ru) * 2014-07-04 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для захвата изображения и одновременного извлечения глубины
US9445018B2 (en) * 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
US20160316144A1 (en) * 2013-09-11 2016-10-27 Lytro, Inc. Image capture device having light field image capture mode, 2d image capture mode, and intermediate capture mode
US9712764B2 (en) * 2012-06-01 2017-07-18 Ostendo Technologies, Inc. Spatio-temporal light field cameras
RU2673953C2 (ru) * 2014-09-25 2018-12-03 Карл Цайсс Медитек Аг Мультифокальная интраокулярная линза с увеличенной глубиной резкости

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2689459Y (zh) * 2003-12-19 2005-03-30 鸿富锦精密工业（深圳）有限公司 图像传感器
WO2011106327A2 (en) * 2010-02-23 2011-09-01 California Institute Of Technology High resolution imaging devices with wide field and extended focus
JP2012212978A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像素子および撮像装置
CN102494771A (zh) * 2011-12-14 2012-06-13 中国科学院光电研究院 一种衍射光学成像***及包含该衍射光学成像***的成像光谱仪
JP6309459B2 (ja) * 2012-02-15 2018-04-11 ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーＨｅｐｔａｇｏｎ Ｍｉｃｒｏ Ｏｐｔｉｃｓ Ｐｔｅ．Ｌｔｄ． ストライプ照明の飛行時間型カメラ
US20130229712A1 (en) * 2012-03-02 2013-09-05 Google Inc. Sandwiched diffractive optical combiner
JP5942697B2 (ja) * 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
US9402067B2 (en) * 2012-10-22 2016-07-26 Samsung Electronics Co., Ltd. Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
EP3029931A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing Image sensor unit and imaging apparatus
JP6608148B2 (ja) 2015-02-24 2019-11-20 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
CN108156360A (zh) * 2018-01-29 2018-06-12 信利光电股份有限公司 一种具有3d效果的摄像模组结构

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0367241A2 (en) * 1988-10-31 1990-05-09 The University Of Rochester Diffractive optical imaging lens systems
WO2007052262A2 (en) * 2005-10-31 2007-05-10 Xtr- Extreme Reality An apparatus method and system for imaging
US9131222B2 (en) * 2010-02-16 2015-09-08 Sony Corporation Phase difference detection method, program, and device
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US20130147919A1 (en) * 2011-12-09 2013-06-13 California Institute Of Technology Multi-View Difraction Grating Imaging With Two-Dimensional Displacement Measurement For Three-Dimensional Deformation Or Profile Output
EP2806643A1 (en) * 2012-01-16 2014-11-26 Sony Corporation Solid-state image sensor and camera system
US9712764B2 (en) * 2012-06-01 2017-07-18 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US20160316144A1 (en) * 2013-09-11 2016-10-27 Lytro, Inc. Image capture device having light field image capture mode, 2d image capture mode, and intermediate capture mode
US9445018B2 (en) * 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
RU2595759C2 (ru) * 2014-07-04 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для захвата изображения и одновременного извлечения глубины
RU2673953C2 (ru) * 2014-09-25 2018-12-03 Карл Цайсс Медитек Аг Мультифокальная интраокулярная линза с увеличенной глубиной резкости

Also Published As

Publication number Publication date
KR20200032025A (ko) 2020-03-25
CN110891131A (zh) 2020-03-17
JP2021502004A (ja) 2021-01-21
WO2020052063A1 (zh) 2020-03-19
US20200084374A1 (en) 2020-03-12
US11425299B2 (en) 2022-08-23
JP6946416B2 (ja) 2021-10-06
EP3621289A1 (en) 2020-03-11
KR102285442B1 (ko) 2021-08-04
EP3621289B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
US10311649B2 (en) Systems and method for performing depth based image editing
US10511758B2 (en) Image capturing apparatus with autofocus and method of operating the same
CN106651955B (zh) 图片中目标物的定位方法及装置
US9959484B2 (en) Method and apparatus for generating image filter
US10419661B2 (en) Shooting method and shooting device
CN105580348A (zh) 摄像装置及摄像方法
CN104221369A (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
JP6738904B2 (ja) カメラ感光素子、カメラ及び撮影端末
US20140085422A1 (en) Image processing method and device
CN104885440A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
RU2730183C1 (ru) Модуль камеры, способ и устройство обработки, электронное устройство и носитель информации
CN104903769A (zh) 图像处理装置、摄像装置、程序及图像处理方法
KR102506363B1 (ko) 정확히 2개의 카메라를 갖는 디바이스 및 이 디바이스를 사용하여 2개의 이미지를 생성하는 방법
EP3518533A1 (en) Holographic projection device, method, apparatus, and computer readable storage medium
EP3933502A1 (en) Optical processing apparatus, camera module, electronic device and capturing method
US11140341B2 (en) Camera module and mobile terminal having the camera module
WO2023098552A1 (zh) 图像传感器、信号处理方法、装置、摄像模组及电子设备
CN107005652A (zh) 摄像装置、摄像方法及图像处理程序
US11516389B2 (en) Image sensing device, method and device, electronic apparatus and medium
CN112822465B (zh) 一种终端设备及图像处理方法
CN114095672A (zh) 成像***、方法及电子设备
CN118102133A (zh) 一种图像传感器、图像对焦方法、电子设备及存储介质
CN113965688A (zh) 图像传感器、摄像模组、摄像装置及控制方法