JP2022543783A - イメージセンサー、カメラモジュール及びカメラモジュールを含む光学機器 - Google Patents

イメージセンサー、カメラモジュール及びカメラモジュールを含む光学機器 Download PDF

Info

Publication number
JP2022543783A
JP2022543783A JP2022506533A JP2022506533A JP2022543783A JP 2022543783 A JP2022543783 A JP 2022543783A JP 2022506533 A JP2022506533 A JP 2022506533A JP 2022506533 A JP2022506533 A JP 2022506533A JP 2022543783 A JP2022543783 A JP 2022543783A
Authority
JP
Japan
Prior art keywords
bayer pattern
image
processor
resolution
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022506533A
Other languages
English (en)
Inventor
キム，デヒョン
パク，ジョンア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of JP2022543783A publication Critical patent/JP2022543783A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一実施例に、イメージセンサーは、光を受信して、第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成するイメージセンシング部及び前記イメージセンシング部から前記第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを受信した後、受信した前記第２ベイヤーパターンを基に前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成するプロセッサを含むことができる。【選択図】図５

Description

本発明は、イメージセンサー、カメラモジュール及びカメラモジュールを含む光学機器に関する発明であって、より具体的にはイメージセンサーに含まれている別途のプロセッサを利用しては映像処理を行う技術に関する発明である。
技術が発展するにつれ、カメラ装置の小型化が可能になって、小型カメラ装置は、スマートフォンをはじめとする携帯電話やＰＤＡなど様々なＩＴ機器に適用されて用いられている。このようなカメラ装置はＣＣＤやＣＭＯＳなどのイメージセンサーを主な部品として製作されていて、画像の大きさを調節するために焦点調整可能に製造されている。
このようなカメラ装置は、複数のレンズとアクチュエータ（Ａｃｔｕａｔｏｒ）を含んで構成されて、アクチュエータが、各々のレンズを移動させて、その相対的な距離を変化させることによって、光学的な焦点距離が調節される方式で対象体に対する物体を撮影することができる。
具体的に、カメラ装置は、外部から受信した光信号を電気信号に変換するイメージセンサーとイメージセンサーで光を集光させるレンズとＩＲ（Ｉｎｆｒａｒｅｄ）フィルター、これらを内部に含むハウジング及びイメージセンサーの信号を処理する印刷回路基板などを含んでいて、アクチュエータは、ＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）アクチュエータまたはＭｅｍｓ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）アクチュエータなどのアクチュエータによってレンズの焦点距離が調節される。
一方、技術発展によって解像度が高いイメージの実現が可能になるにつれ、遠くにある対象体を撮影したイメージを高解像度で実現することができる技術に対する要求も増えている。
一般にカメラは、遠くにある対象体を撮影するためにズーム（Ｚｏｏｍ）機能が搭載されているが、ズーム機能は、大きくカメラ内部の実際のレンズが移動して対象体を拡大する光学ズームと、対象体を撮影した画像データの一部画面をデジタル処理方式で拡大表示する効果を得るデジタルズーム方式に分けられる。
レンズの移動を利用して、対象体に対するイメージを得る光学ズームの場合、比較的高い解像度を有するイメージが取得できるが、これはカメラ内部の構造が複雑になって部品追加によって費用が増加する問題が存在する。また、光学ズームを利用して対象体を拡大できる領域は限界があって、このような部分についてはソフトウェアで補正をする技術などが開発されている。
このような方法この他にも、ボイスコイルモータ（ＶＣＭ，Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）またはＭＥＭＳ（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）技術でセンサーを揺らすセンサーシフト（Ｓｈｉｆｔ）技術、レンズをＶＣＭなどで揺らすピクセル情報を得るＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）技術、センサーとレンズとの間のフィルター（Ｆｉｌｔｅｒ）を揺らす技術など、カメラ内部の部品を動かす方式でピクセル情報をさらに多く生成して高解像度イメージを実現する技術が存在する。
しかしこのような技術の短所は、多くの時差のデータを合成するので、動く物体を撮影した場合、モーションブラー（Ｍｏｔｉｏｎ Ｂｌｕｒ）や、アーチファクト（Ａｒｔｉｆａｃｔ）のような現象が発生する可能性があって、これによりイメージの画質を低下させる問題が発生する可能性がある。
一方、ＴＶで一般に用いられているソフトウェアアルゴリズムを利用した高解像度の実現技術は、シングルフレームＳＲ（Ｓｉｎｇｌｅ－Ｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）またはマルチフレームＳＲ（Ｍｕｌｔｉ－ｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）技術などが存在する。
このような技術の場合、アーチファクト（Ａｒｔｉｆａｃｔ）問題は発生しないが、モバイル、車両、ＩｏＴなど小型カメラ装置が適用できる装置には適用しにくいアルゴリズムであり、また、このような技術を実現するためには、別途のイメージプロセッサが必要である。
しかしこのような合成アルゴリズムを行うためのソフトウェアは、一般に、処理しなければならないデータの量が多いので、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）でも、リアルタイムで処理しにくい問題点が存在して、たとえＡＰがこのような機能を行うことができたとしても、このようなＡＰは値が高く製造単価が増加する問題点が存在した。
従って、本発明は前述した通り従来技術が持っていた問題点を解決するために考案された発明であって、ＡＰで処理する映像処理の少なくとも一部分をイメージセンサーに搭載されている別途のプロセッサを利用して前処理を行うことによって、高価なＡＰを搭載しなくても同じ機能を行うことができるカメラモジュール及びこれを含む光学機器を提供するためである。
また、ＡＰで映像処理をする前にイメージセンサーから受信したベイヤーパターンに対する情報を基に外部に出力しなければならない映像に対する前処理を行うことによって、ＡＰが処理しなければならない負担を減らすことができるカメラモジュール及びこれを含む光学機器を提供するためである。
一実施例に係るイメージセンサーは、光を受信して第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成するイメージセンシング部及び前記イメージセンシング部から前記第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを受信した後、受信した前記第２ベイヤーパターンを基に前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成するプロセッサを含むことができる。
前記イメージセンシング部から前記第１ベイヤーパターンを受信した後、前記第１ベイヤーパターンの少なくとも一部を分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）または再配列（Ｒｅ－ａｒｒａｎｇｅ）して前記第２ベイヤーパターンを生成する整列部；を含むイメージセンサー。
前記プロセッサは、前記整列部から受信した前記第２ベイヤーパターンを基に前記第３ベイヤーパターンを生成することができる。
前記プロセッサは、前記第１ベイヤーパターンに対してＳＲ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）またはズーム（Ｚｏｏｍ）を実施して前記第２ベイヤーパターンを出力することができる。
前記プロセッサは、ディープラーニング（Ｄｅｅｐ－Ｌｅａｒｎｉｎｇ）を行って獲得されたアルゴリズムに基づいて前記第２ベイヤーパターンに対する映像処理を実施して前記第３ベイヤーパターンを出力することができる。
別の実施例に係るカメラモジュールは、光を受信して第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成するイメージセンシング部及び前記イメージセンシング部から前記第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを受信した後、受信した前記第２ベイヤーパターンを基に前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成するプロセッサを含むことができる。
前記カメラモジュールは、イメージセンシング部から前記第１ベイヤーパターンを受信した後、前記第１ベイヤーパターンの少なくとも一部を分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）または再配列（Ｒｅ－ａｒｒａｎｇｅ）して、前記第２ベイヤーパターンを生成する整列部を含むことができる。
前記プロセッサは、前記整列部から受信した前記第２ベイヤーパターンを基に前記第３ベイヤーパターンを生成することができる。
前記プロセッサは、ディープラーニング（Ｄｅｅｐ－Ｌｅａｒｎｉｎｇ）を行って獲得されたアルゴリズムに基づいて前記第２ベイヤーパターンに対する映像処理を実施して前記第３ベイヤーパターンを出力することができる。
さらに別の実施例に係る光学機器は、光を受信して第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成するイメージセンシング部、前記イメージセンサーから出力される映像情報を受信するＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）及び前記第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを基に、前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成するプロセッサを含み、前記映像情報は、前記第３ベイヤーパターンに対応する情報を含むことができる。
前記プロセッサは、前記ＡＰから前記映像情報を受信した後、受信した前記映像情報を基に前記第１ベイヤーパターンから前記第２ベイヤーパターンに設定する範囲を設定し、設定された範囲を基に前記第３ベイヤーパターンを生成することができる。
前記プロセッサは、前記第３ベイヤーパターンを前記ＡＰで出力することができる。
前記映像情報は、前記第１ベイヤーパターンに対するズーム（Ｚｏｏｍ）情報を含み、前記プロセッサは、前記ズームに対する情報に基に前記第２ベイヤーパターンの範囲を設定することができる。
前記光学機器は、外部に映像を表示するディスプレイをさらに備え、前記第２ベイヤーパターンの範囲は、前記ディスプレイによって表示される領域に対応することができる。
前記プロセッサは、前記ＡＰとは別途にカメラモジュール内部に独立的に実装されることができる。
一実施例に係るイメージセンサー、カメラモジュール及びこれを含む光学機器は、ＡＰで処理する映像処理の一部分をイメージセンサーに搭載されている別途のプロセッサを利用して行うことによって、高価なＡＰを装着しなくても効率よく映像処理ができるため、比較的経済的にカメラモジュール及びこれを含む光学機器を製造できる効果が存在する。
また、ネットワーク構成は、最適化させる方式で高解像度イメージを生成するため、比較的大きさが小さい小型チップ（Ｃｈｉｐ）で実現でき、本技術が適用されたチップをカメラ装置に搭載する方式で本技術の実施ができるので、ズーム機能がないカメラ装置または特定倍率に対する固定ズームだけサポートするカメラ装置に本技術を適用させて連続ズーム機能を使用することができる。
また、前処理を行うプロセッサは、ディープラーニング過程を介して最も適した形で映像処理を行うことができるアルゴリズムを利用して、ＡＰが行う一部機能を代わりに行うことができて、ＡＰがリアルタイムで処理しなければならないデータの量を減らすことができ、これにより、ＡＰの消費電力を低くして、ＡＰを円滑に作動させることができる効果が存在する。
一実施例に係るイメージセンサーの一部構成要素を図示したブロック図である。 一実施例に係るディープラーニングトレーニングの実行過程を図示した図面である。 一実施例に係るプロセッサを通過した第３ベイヤーパターンを有しているイメージを図示した図面である。 別の実施例に係る光学機器の一部構成要素を図示したブロック図である。 別の実施例に係るイメージセンサーの一部構成要素を図示したブロック図である。 別の実施例に係るイメージセンサーの一部構成要素を図示したブロック図である。 一実施例に係る光学機器の制御方法を図示した順序図である。
本明細書に記載された実施例と図面に図示された構成は、開示された発明の好ましい一例であり、本出願の出願時点において本明細書の実施例と図面を代替できる様々な変形例があり得る。
また、本明細書で使った用語は、実施例を説明するために使われたもので、開示された発明を制限及び／または限定しようとする意図ではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。
本明細書で、「含む」、「備える」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたのが存在することを指定しようとすることであって、一つまたはそれ以上の別の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加の可能性を予め排除することなく、本明細書で使った「第１」、「第２」等のように序数を含む用語は、様々な構成要素を説明するのに使われることができるが、前記構成要素は、前記用語によって限定されない。
以下では、添付した図面を参考にして、本発明の実施例について本発明が属する技術分野において通常の知識を有する者が容易に実施できるように詳細に説明する。また、図面で本発明を明確に説明するために説明と関係ない部分は省略する。
図１は、一実施例に係るイメージセンサー２００の一部構成要素を図示したブロック図である。
図１を参照すると、一実施例に他のイメージセンサー２００は、外部対象体に対するイメージを取得するイメージセンシング部２１０とイメージセンシング部２１０が取得したイメージを整列または合成して新しいイメージを生成する整列部２２０及び整列部２２０から受信したイメージを基にディープラーニングを行うプロセッサ２３０を含むことができる。
イメージセンシング部２１０は、カメラモジュール１００に実装されているレンズ１２０を介して入ってくる光を電気信号に変化する装置を含むことができる。具体的に、センシング部２１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のような様々な種類のイメージセンサーを含むことができる。
具体的に、イメージセンシング部２１０は、レンズ１２０を介して得た情報を基に第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成して、生成された第１ベイヤーパターンを整列部２２０に送信することができる。
通常のカメラ装置あるいはカメラ装置は、イメージセンサーからベイヤーパターンの伝達を受けて色をつける過程（色補間過程、Ｃｏｌｏｒ ＩｎｔｅｒｐｏｌａｔｉｏｎあるいはＤｅｍｏｓａｉｃｉｎｇ）を経てイメージ形態のデータを出力することができるが、ここでベイヤーパターンとは、カメラモジュール１００またはカメラモジュール１００に含まれた光信号を電気信号に変換するイメージセンシング部２１０が出力する加工されなかったデータ（Ｒａｗ Ｄａｔａ）を意味する。
これについて具体的に説明すると、カメラモジュール１００に含まれたレンズ１２０を介して伝達される光信号は、イメージセンサーに配置されたＲ、Ｇ、Ｂ色を検出できる画素を介して電気信号に変換されることができる。例えば、カメラモジュール１００の仕様が５００万画素だとすると、Ｒ、Ｇ、Ｂ色を感知できる画素が５００万個含まれたイメージセンサーが含まれていると見ることができる。
尚、イメージセンサーの画素数が５００万個の場合、実際に各画素がすべての色（ｃｏｌｏｒ）を感知するのではなく、白黒の明るさだけを感知する単色（ｍｏｎｏｃｈｒｏｍｅ）画素が、Ｒ、Ｇ、Ｂフィルターのいずれかと結合されていると見ることができる。即ち、イメージセンサーは、画素数だけ配列された単色画素セル上にＲ、Ｇ、Ｂカラーフィルターが特定のパターンを有して配置されている。
従って、Ｒ、Ｇ、Ｂ色パターンが使用者（即ち、人）の視覚特性に応じて交差して配置されるが、これをベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）と呼ぶ。
一般にベイヤーパターンは、イメージ形態のデータよりデータの量が小さい。従って、高仕様のプロセッサを有していないカメラ装置が装着された装置でも、イメージ形態のデータより比較的速くベイヤーパターンのイメージ情報を伝送して受信できて、これを基に様々な解像度を有するイメージに変換させることができる長所が存在する。
一例で、カメラ装置が車両に搭載されて、カメラ装置が１００Ｍｂｉｔ／ｓの全二重（Ｆｕｌｌ－ｄｕｐｌｅｘ）伝送速度を有する低電圧差動信号方式（ＬＶＤＳ）が利用される環境内でも、イメージ処理をするのに多くのプロセッサが必要ではなく、過負荷がかからなく車両を利用する運転者または運転者の安全に危害にならない。
また、車両内通信網によって伝達されるデータの大きさを減らすことができて、自律走行車両に適用しても車両に配置された複数のカメラの作動に応じた通信方式、通信速度などにより発生する問題を除去できる効果が存在する。
図１に戻ってイメージセンサー２００について説明すると、整列部２２０は、イメージセンシング部２１０が取得したイメージを整列または合成して、新しいイメージを生成することができる。
具体的に、整列部２２０は、イメージセンシング部２１０から第１ベイヤーパターンを受信した後、第１ベイヤーパターンの全部または一部を分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）または再配列（Ｒｅ－ａｒｒａｎｇｅ）して、第２ベイヤーパターンを生成して、生成された第２ベイヤーパターンをプロセッサ２３０に送信することができる。従って、第２ベイヤーパターンは、第１ベイヤーパターンと同じかそれより小さいサイズを有することができる。
一般に映像処理を行う場合、使用者が願わない領域は除いて使用者が希望する領域に対してのみ映像処理を実施することが、システムの過負荷を減らして効率的に映像処理を行うことができる。
従って、整列部２２０は、イメージセンシング部２１０から受信した第１ベイヤーパターン中映像処理を実施しなければならない領域に対してのみプロセッサ２３０が映像処理を実施することができるよう、第１ベイヤーパターンの少なくとも一部を分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）または再配列（Ｒｅ－ａｒｒａｎｇｅ）して、第２ベイヤーパターンを生成して、生成された第２ベイヤーパターンをプロセッサ２３０に送信することができる。
尚、整列部２２０は、ベイヤーパターンの解像度は変わらないので、一般に第１ベイヤーパターンと第２ベイヤーパターンの解像度は同じ解像度を有していると見ることができる。
プロセッサ２３０は、イメージセンシング部２１０から第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを受信した後、受信した第２ベイヤーパターンに基づいて前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成することができる。
具体的に、プロセッサ２３０は、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）トレーニングによって生成されたアルゴリズムを利用して、イメージセンシング部２１０から受信した第１解像度を有する第２ベイヤーパターンを第１ベイヤーパターンより高い解像度を有する第３解像度値を有する第３ベイヤーパターンを生成することができ、第３ベイヤーパターンの解像度の値は、使用者の目的に応じて使用者が自由に設定変更することができる。
また、プロセッサ２３０は、受信した第１ベイヤーパターンに対してＳＲ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）またはズーム（Ｚｏｏｍ）を実施して、これに基づいた第２ベイヤーパターンを生成することもある。
従って、一実施例に係るイメージセンサー２００またはカメラモジュール１００は、図面には図示しなかったが、第３ベイヤーパターンに対する情報の入力を受ける入力部をさらに含むことができ、使用者はこれによって希望する解像度に対する情報をイメージセンサー２００またはカメラモジュール１００に伝送することができる。
例えば、使用者は、解像度が高いイメージを得たい場合、第３解像度を第１解像度と差が大きい解像度に設定することができ、比較的速い時間内に新しいイメージを取得したい場合、第１解像度と解像度の差が大きく出ない解像度に第３解像度値を自由に設定することができる。
図１では、整列部２２０とプロセッサ２３０を別々の構成要素で図示したが、これに限定されず整列部２２０が行う役割をプロセッサ２３０が同時に行ってもよい。
また、プロセッサ２３０は、プロセッサを介して実行される少なくとも一つのプログラム命令が保存されたメモリー（Ｍｅｍｏｒｙ、図示せず）を介して実現されることができる。
具体的に、メモリーはＳラム、Ｄラムなどの揮発性メモリーを含むことができる。但し、これに限定されず、場合によっては、メモリーは、フラッシュメモリ、ロム（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、イーピーロム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、イーイーピーロム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）等の非揮発性メモリーを含んでもよい。
これまで一実施例に係るイメージセンサー２００の一般的な構成要素について調べた。以下、プロセッサ２３０に適用されるアルゴリズムの生成方法及び特徴について調べる。
一実施例に係るイメージセンサー２００のプロセッサ２３０に適用されるアルゴリズムは、入力されたイメージの解像度より高い解像度を有するイメージを生成するアルゴリズムであって、ディープラーニングトレーニングを繰り返し行って生成された最適なアルゴリズムを意味する。
ディープラーニングとは、深層学習とも表現するが、色々な非線形転換手法の組み合わせを介して高い水準の抽象化（ａｂｓｔｒａｃｔｉｏｎｓ、多量のデータや複雑な資料の中で核心的な内容または機能を要約する作業）を試みる機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）に関するアルゴリズムの集合を意味する。
具体的に、ディープラーニングは、ある学習データをコンピュータが理解できる形態（例えば、イメージの場合はピクセル（Ｐｉｘｅｌ）情報を列ベクトルで表現するなど）で表現（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）してこれを学習に適用するために多くの研究（どのようにすればより良い表現手法を作ってまたどのようにこれらを学習するモデルを作るか）に対する学習手法で、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）及びＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋｓ）などの学習手法を含むことができる。
一例で、ディープラーニングはまず周辺環境を認知して、現在の環境状態をプロセッサに伝達することができる。プロセッサは、これに合う行動（Ａｃｔｉｏｎ）を行って、環境は再びその行動に応じた補償値をプロセッサに知らせる。そして、プロセッサは、補償値を最大にするの行動を選ぶ。このような過程を介して学習過程が繰り返し進行できる。
先に説明した通り、ディープラーニングを行いながら利用される学習データは、実際の解像度が低いベイヤーイメージを解像度が高いベイヤーイメージに変換しながら得た結果であることもあり、シミュレーションを介して得た情報であることもある。
仮に、シミュレーション過程を行う場合、シミュレーションの環境に合わせて（イメージの背景、色の種類など）調整することによって、より速くデータを取得することができる。以下、図３と図４のより、一実施例に係るプロセッサ２３０に適用されるアルゴリズムが生成される方法について具体的に調べる。
図３は、一実施例に係るディープラーニングトレーニングの実行過程を図示した図面で、図４は、一実施例に係るプロセッサを通過した第３ベイヤーパターンを有しているイメージを図示した図面である。
図３のディープラーニングは、深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＤＮＮ）アルゴリズムが適用されたディープラーニングであって、ＤＮＮアルゴリズムが適用されるにつれ新しい解像度を有するイメージを生成する過程を図示した図面である。
深層ニューラルネットワーク（ＤＮＮ）は入力層（ｉｎｐｕｔ ｌａｙｅｒ）と出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）の間に多重の隠匿層（ｈｉｄｄｅｎ ｌａｙｅｒ）が存在する深層（ｄｅｅｐ）ニューラルネットワーク、動物の視覚皮質の構造と類似してニューロンの間の連結パターンを形成するコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎａｌ）ニューラルネットワーク、時間に応じて毎瞬間ごとにニューラルネットワークを積んであげる回帰（ｒｅｃｕｒｒｅｎｔ）ニューラルネットワークで具体化されることができる。
具体的に、ＤＮＮはコンボリューション（Ｃｏｎｖｏｌｕｔｉｏｎ）とサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を繰り返してデータの量を減らし、歪曲させてニューラルネットワークを分類する。即ち、ＤＮＮは、特徴抽出と分類行為を介して分類結果を出力するが、主にイメージを分析するのに用いられて、コンボリューションは映像フィルタリングを意味する。
図３を参照して、ＤＮＮアルゴリズムが適用されたプロセッサ２３０が行う過程を説明すると、プロセッサ２３０は、第１解像度を有する第１ベイヤーパターン１０を基に倍率を高めようとする領域に対してコンボリューションとサブサンプリング（Ｓｕｂ－Ｓａｍｐｌｉｎｇ）を行う。
倍率を高めるとは、イメージセンシング部２１０が取得したイメージ中特定の部分だけを拡大することを意味する。従って、使用者によって選択されなかった部分は、使用者が関心がない部分であるため、解像度を高める過程を行う必要がないため、使用者によって選択された部分に対してのみコンボリューションとサブサンプリング過程を行うことができる。
サブサンプリングは、映像の大きさを減らす過程を意味する。一例で、サブサンプリングは、マックス－プール（Ｍａｘ Ｐｏｏｌ）方法を使うことができる。マックス－プールは、該当領域で最大値を選択する手法であって、ニューロンが最も大きい信号に反応するのと類似する。サブサンプリングは、ノイズを減少させて、学習の速度を増加させることができる長所が存在する。
コンボリューションとサブサンプリングが行われると、図３に図示されたように、複数のイメージ２０が出力されることができる。その後出力されたイメージを基にアップスケール（Ｕｐ Ｓｃａｌｅ）方式で利用して互いに異なる特徴を有する複数のイメージを出力させることができる。アップスケール方式は、互いに異なるｒ＾２個のフィルターを利用してイメージをｒ＊ｒ倍にスケールを高めることを意味する。
アップスケールにより複数のイメージが図３に図示されたように出力されると（３０）、プロセッサ２３０は、このようなイメージを基に再組み合わせをして最終的に第２解像度を有する第２ベイヤーイメージ４０を出力することができる。
従って、図３に図示されたように第１解像度を有するイメージ１０で使用者が特定領域を選択した場合、その領域に対してのみプロセッサ２３０は、先に説明したディープラーニングを行うことができて、行われた結果、図３に図示されたように第２解像度を有するベイヤーイメージ４０が生成されることができる。
一般に、ディープラーニングをすることができるプロセッサを小型のチップで実現するためには、ディープラーニングのプロセスとメモリーゲート（ｇａｔｅ） 数が最小化になるべきであって、ここでゲート数に最も大きく影響を与える要素は、アルゴリズム複雑度とクロック（Ｃｌｏｃｋ）当たり処理されるデータ量であり、プロセッサが処理するデータの量は入力解像度により変わる。
従って、一実施例に係るプロセッサ２３０は、ゲートの数を減らすために入力解像度を減らした後、後ほどアップスケーリング（Ｕｐ Ｓｃａｉｌｉｎｇ）する方式で高配率のイメージを生成するので、より速くイメージを生成できる長所が存在する。
例えば、入力解像度が８Ｍｐ（Ｍｅｇａ Ｐｉｘｅｌ）のイメージを２倍ズームにするとすれば、１／４領域（２Ｍｐ）を基に横と縦を各々２倍ずつアップスケーリング（Ｕｐ ｓｃａｉｌｉｎｇ）して２倍ズームをする。そして、１／４領域（２Ｍｐ）を１／４ダウンスケーリング（ｄｏｗｎ ｓｃａｌｉｎｇ）して解像度が０．５Ｍｐであるイメージをディープラーニング処理入力データとして使用した後に、生成されたイメージを基に横と縦を各々４倍ずつアップスケーリング（Ｕｐ ｓｃａｉｌｉｎｇ）する方式で４倍ズームをすると、２倍ズームをしたのと同じ領域のズーム映像を生成することができる。
従って、一実施例に係るプロセッサ２３０は、入力解像度損失による性能低下を防止するために、ディープラーニングが解像度損失に対応する倍率だけ学習をさせてイメージを生成するので、性能低下を最小化できる長所が存在する。
また、高解像度のイメージを実現するためのディープラーニング基盤のアルゴリズムは、一般にフレームバッファー（Ｆｒａｍｅ Ｂｕｆｆｅｒ）を使用するが、フレームバッファーの場合、通常のＰＣ及びサーバーでは、その特性上リアルタイム駆動が難しい問題が存在するが、一実施例に係るプロセッサ２３０は、ディープラーニングを介してすでに生成されているアルゴリズム適用するので、低仕様カメラ装置及びこれを含む様々な装置に簡単に適用が可能である。また、一実施例に係るプロセッサ２３０は、このようなアルゴリズムを具体的に適用することにおいて、いくつかのラインバッファー（Ｌｉｎｅ Ｂｕｆｆｅｒ）だけを使用する方式で高解像度を実現するので、比較的大きさが小さい小型チップ（Ｃｈｉｐ）でプロセッサを実現することができる効果も存在する。
また、本明細書でディープラーニングを行うことは、先に図３で説明した通り、解像度を高めるための最適なアルゴリズムを生成するために、推論または繰り返し学習によりアルゴリズムを生成する過程を意味することができるが、同時にこのような過程によって生成されたアルゴリズムを実行することもディープラーニングを行うと見ることができる。
図４は、別の実施例に係る光学機器４００の一部構成要素を図示したブロック図である。図４を参照すると、一実施例に係る光学機器４００は、イメージセンサー２００、イメージセンサーを含むカメラモジュール１００及びＩＳＰ３１０を含んでいるＡＰ３００を含むことができる。
具体的に、カメラモジュール１００は、フィルター１１０、レンズ１２０、アクチュエータ１３０、ドライバーＩＣ１４０、イメージセンサー２００を含むことができる。
イメージセンサー２００とイメージセンサー２００が含んでいるイメージセンシング部２１０、整列部２２０及びプロセッサ２３０は、図１で説明した構成と同じ役割をする構成要素であるため、これについての説明は省略する。
カメラモジュール１００のフィルター１１０は、外部から流入する光を選択的に遮断する役割をして、一般にレンズ１２０の上部に位置することができる。
レンズ１２０は、ガラスのように透明な物質の面を球面に細かく研いで物体から来る光を集めたり発散させたりして、光学的な像を結ぶようにする装置であって、カメラモジュール１００に使われる一般的なレンズ１２０は、複数の互いに異なる特徴を有するレンズを備えることができる。
アクチュエータ１３０は、レンズ１２０またはレンズ１２０を含む鏡筒の位置を調節して焦点を調節することができる。例えば、アクチュエータ１３０はＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）方式であってよく、レンズ１２０は、可変焦点レンズを含むことができる。
アクチュエータ１３０が可変焦点レンズを含む場合、ドライバーＩＣ１４０は、可変焦点レンズを駆動することができる。
ドライバーＩＣ（１４０、Ｄｒｉｖｅｒ ＩＣ）は、画面に文字や映像イメージが表示されるようにパネルに駆動信号及びデータを電気信号で提供する半導体（ＩＣ）を意味し、後述するがドライバーＩＣ１４０は、光学機器４００の様々な位置に配置されることができる。また、ドライバーＩＣ（１４０、Ｄｒｉｖｅｒ ＩＣ）は、アクチュエータ１３０を駆動することができる。
ＡＰ３００（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）は、モバイル用メモリーチップであり、光学機器４００で各種アプリケーシヨン作動とグラフィック処理を担当する核心半導体を意味する。
ＡＰ３００は、コンピュータの中央処理装置（ＣＰＵ）の機能とメモリー、ハードディスク、グラフィックカードなど、その他の装備の連結を制御するチップセットの機能をともに含んでいるＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）形態で実現されることができる。
映像信号処理部（ＩＳＰ，Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）３１０は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）通信を利用してプロセッサ２３０が生成した第２ベイヤーイメージを受信して映像信号処理過程を行うことができる。
映像信号処理部３１０は、映像信号を処理しながら複数のサブ過程を含むことができる。例えば、受信した映像に対してガンマ値補正（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）をしたり、色補正（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ）、自動露出（ａｕｔｏ ｅｘｐｏｓｕｒｅ ｃｏｒｒｅｃｔｉｏｎ）、自動ホワイト値補正（ａｕｔｏ ｗｈｉｔｅ ｂａｌａｎｃｅ）過程中少なくとも一つ以上を行ったりすることができる。
また、一実施例に係るプロセッサ２３０は、イメージセンシング部２１０が出力してＡＰ３００に送信した情報を再びＡＰ３００から受信した後、このような映像情報を基に第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成することができる。
具体的に、プロセッサ２３０は、ＡＰ３００から映像情報を受信した後、受信した前記映像情報を基に前記第１ベイヤーパターンから前記第２ベイヤーパターンに設定した範囲を設定して、設定された範囲を基に前記第３ベイヤーパターンを生成して、生成した第３ベイヤーパターンをＡＰ３００に送信することができる。
尚、映像情報は、前記第１ベイヤーパターンに対するズーム（Ｚｏｏｍ）情報を含み、外部に映像を表示するディスプレイ（図示せず）によって表示される領域に対する情報を含むことができる。即ち、ズームに対する情報とは、使用者がより高い解像度で見ようとする領域を意味し、ディスプレイによって表示される領域とのは、撮影したイメージ中ディスプレイに表示される一部のイメージを意味する。
従って、一実施例に係るプロセッサ２３０は、このような情報を基に映像処理をする必要がない部分に対しては、映像処理を実施せず、映像処理をしなければならない領域に対してのみ選択的に映像処理を行うことができて、効率性を高めることができる。
例えば、８ＭＰ解像度を有するイメージセンサーでズームにより関心領域がイメージの１／４に該当する場合、８ＭＰサイズを有するイメージの容量が８ＭＰに入ってくるのと、ズームによる関心領域（全体イメージの１／４）に該当する２ＭＰだけ入ってくるのは、プロセッサの作動に多くの影響を与える。即ち、関心領域でない部分まで映像処理をすることは、その時間が多く消費されて、プロセッサの稼動に過負荷を与えることができるためである。
しかし、一実施例に係るプロセッサ２３０は、ＡＰ３００から受信した情報を基に映像処理をする必要がない部分に対しては映像処理を実施せず、映像処理をしなければならない領域に対してのみ選択的に映像処理を行うので、より効果的に映像処理ができる効果が存在する。また、一実施例に係るイメージセンサー２００は、センサー内部で自らＳＲ機能を統合して行うので、メモリーの使用効率性を高めることができて、イメージセンサー２００の３Ｓｔａｃｋ構造のＤＲＡＭ使用により、リアルタイム性確保のための別途の重複メモリーＳｔａｃｋ構造を避けることができる効果が存在する。
一般にピクセル情報をより多く生成して高解像度イメージを実現する技術の場合、シングルフレームＳＲ（Ｓｉｎｇｌｅ－Ｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）またはマルチフレームＳＲ（Ｍｕｌｔｉ－ｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）技術などが存在するが、このような技術の場合、アーチファクト（Ａｒｔｉｆａｃｔ）問題は発生しないが、モバイル、車両、ＩｏＴなど小型カメラ装置が適用されることができる装置には適用しにくいアルゴリズムであり、また、このような技術を実現するためには別途のイメージプロセッサが必要である。
しかしこのような合成アルゴリズムを行うためのソフトウェアは、一般に処理しなければならないデータの量が多いので、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）においてもリアルタイムで処理しにくい問題点が存在する。たとえＡＰがこのような機能を行うことができでて、このようなＡＰは高価で製造単価が増加する問題点が存在した。
しかし一実施例に係るカメラモジュール１００または光学機器４００は、図４に図示されるように、イメージセンサー２００にＡＰ３００で処理する映像処理の一部分を行うことができるプロセッサ２３０が含まれているので、高価なＡＰを装着しなくても効率的に映像処理ができるため、比較的経済的にカメラモジュール及び光学機器を製造できる効果が存在する。
また、ＡＰ３００で映像処理をする前に、イメージセンサー２００がベイヤーパターンに対する情報を基に映像に対する前処理を行うことによって、ＡＰ３００が処理しなければならないデータの量を減らすことができる効果が存在する。従って、このような構造及び順序によってＡＰ３００の消費電力を低くして、ＡＰ３００をより円滑に作動させることができる効果が存在する。
即ち、従来技術の場合、イメージセンサーとプロセッサ及びＡＰ間の通信連結をするためには、「イメージセンサー出力（ＭＩＰＩ ｔｘ）－チップ入力（ＭＩＰＩ ｒｘ）－チップ出力（ＭＩＰＩ ｔｘ）－ＡＰ入力（ＭＩＰＩ ｒｘ）」構造が必要であったが、一実施例に係る光学機器４００は、イメージセンサー２００内部に前処理機能を行うプロセッサ２３０を有して、プロセッサ２３０によって生成された情報は既に存在したイメージセンサー出力（ＭＩＰＩ ｔｘ）２５０を介して出力できるため、設計を比較的簡単にすることができる効果が存在する。
従って、一実施例に係る光学機器４００は、従来の「イメージセンサー出力（ＭＩＰＩ ｔｘ）－チップ入力（ＭＩＰＩ ｒｘ）－チップ出力（ＭＩＰＩ ｔｘ）－ＡＰ入力（ＭＩＰＩ ｒｘ）」構造から「チップ入力（ＭＩＰＩ ｒｘ）－チップ出力（ＭＩＰＩ ｔｘ）」部分が削除されることができる。そして、このようなイメージセンサー２００との統合によりＭＩＰＩ ＩＰに対する費用が節減できて、経済的にカメラモジュール及び光学機器を製作することができ、設計の自由度も増加させることができる。
また、イメージセンサー２００の内部で共有した様々なデータ情報をチップで共に共有することによって、ＡＰ３００の制御信号も単一化して通信できて、イメージセンサー２００にすでにあるＥＥＰＲＯＭやＦｌａｓｈ ｍｅｍｏｒｙなどを共に使用することで、メモリーも節約することができる。
また、イメージセンサー２００は、簡単なＩＳＰ機能も含まれているが、このような機能を映像データに活用すると、より多様なディープラーニング映像データベースが生成できて、最終性能を向上させることができる効果も存在する。
図６は、さらに別の実施例に係るイメージセンサー２００の一部構成要素を図示したブロック図である。
図６は、イメージセンサー２００の図１のイメージセンサー２００をさらに具体化した図面に該当し、図１と重複する説明は省略する。
一般にイメージセンシング部２１０から入力された後、内部ブロックなどを通過して処理された高容量のイメージローデータをＡＰ３００に送るためには、高速のＭＩＰＩインターフェースを活用しなければならない。従って、図５でのＰＬＬ（Ｐｈａｓｅ Ｌｏｏｐ Ｌｏｃｋｅｄ）２５３は、このような機能をする構成要素であって、数Ｇｂｐｓの速度を出すために周波数文醜及逓倍の役割を行うことができる。
ＯＴＰ２５４は、イメージセンシング部２１０とＳＲアルゴリズムの特定パラメーターを保存するためのメモリー空間を意味する。
Ｉ２Ｃ２５５は、ＡＰ３００からカメラモジュール１００の使用者の操作に応じた命令を出力するために使われるインターフェースで、一般に２Ｌｉｎｅ（ＳＣＬ，ＳＤＡ）に連結されるＢｕｓ構造を有している。
Ｉｎｔｅｒｎａｌ ＬＤＯ（Ｌｏｗ Ｄｒｏｐ Ｖｏｌｔａｇｅ Ｏｕｔ）＆ＰＯＲ２５７でＩｎｔｅｒｎａｌ ＬＤＯは、イメージセンシング部２１０に電源を供給する役割をすることができ、ＰＯＲの場合、ＡＰ３００の動作命令と同時にＰｏｗｅｒ Ｓａｖｉｎｇ Ｍｏｄｅで円滑な動作のためのリセット機能を行うことができる。
図７は、一実施例に係る光学機器４００の制御方法を図示した順序図である。
図７を参照すると、光学機器４００は、外部から受信した対象体に対する情報を基に第１ベイヤーパターンを生成することができる（Ｓ１０）。
その後、ＡＰから映像処理を実施する領域に対する情報を受信した後、第１ベイヤーパターン中映像処理を実施する少なくとも一部領域を第２ベイヤーパターンで生成する（Ｓ２０、Ｓ３０）。
その後、ディープラーニングを行って、第２ベイヤーパターンの解像度より高い解像度を有する第３ベイヤーパターンを生成した後、生成された第３ベイヤーパターンをＡＰに送信することができる。
これまで図面により、イメージセンサー２００、カメラモジュール１００及びカメラモジュールを含む光学機器４００について調べた。
従来技術により映像処理のために合成アルゴリズムを行うためのソフトウェアは、一般に処理しなければならないデータの量が多いため、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）でもリアルタイムで処理しにくい問題点が存在する。たとえＡＰがこのような機能を行うことができたとしても、このようなＡＰは、高価で製造単価が増加する問題点が存在した。
しかし一実施例に係るカメラモジュール１００または光学機器４００は、イメージセンサー２００にＡＰ３００で処理する映像処理の一部分を行うことができるプロセッサが含まれているので、高価なＡＰを装着しなくても効率的に映像処理ができるため、比較的経済的にカメラモジュール及び光学機器を製造できる効果が存在する。
即ち、ＡＰ３００で映像処理をする前に、イメージセンサー２００がベイヤーパターンに対する情報を基に映像に対する前処理を行うことによって、ＡＰ３００が処理しなければならないデータの量を減らすことができる効果が存在する。従って、このような構造及び順序によって、ＡＰ３００の消費電力を低くし、ＡＰ３００をより円滑に作動させることができる効果が存在する。
また、一実施例に係るカメラモジュール１００は、ネットワーク構成を最適化させる方式で高解像度イメージを生成するので、比較的大きさが小さい小型チップ（Ｃｈｉｐ）で実現できて、本技術が適用されたチップをカメラ装置に搭載する方式で本技術の実施ができるので、ズーム機能がないカメラ装置または特定倍率に対する固定ズームだけサポートするカメラ装置に本技術を適用させて連続ズーム機能を使用することができる。
これまで、実施例がたとえ限定された実施例と図面によって説明されたが、該当技術分野において通常の知識を有する者は、前記記載から様々な修正及び変更が可能である。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合または組み合わせられたり、他の構成要素または均等物によって代替されたり置換されても適切な結果が達成されることができる。従って、別の実施例及び特許請求範囲と均等なものなども後述する特許請求範囲の範囲に属する。

Claims (10)

  1. 光を受信して第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成するイメージセンシング部と；
    前記イメージセンシング部から前記第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを受信した後、受信した前記第２ベイヤーパターンを基に前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成するプロセッサと；を含むイメージセンサー。
  2. 前記イメージセンシング部から前記第１ベイヤーパターンを受信した後、前記第１ベイヤーパターンの少なくとも一部を分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）または再配列（Ｒｅ－ａｒｒａｎｇｅ）して、前記第２ベイヤーパターンを生成する整列部を含む、請求項１に記載のイメージセンサー。
  3. 前記プロセッサは、
    前記整列部から受信した前記第２ベイヤーパターンを基に前記第３ベイヤーパターンを生成する、請求項２に記載のイメージセンサー。
  4. 前記プロセッサは、
    前記第１ベイヤーパターンに対してＳＲ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）またはズーム（Ｚｏｏｍ）を実施して前記第２ベイヤーパターンを出力する請求項１に記載のイメージセンサー。
  5. 前記プロセッサは、
    ディープラーニング（Ｄｅｅｐ－Ｌｅａｒｎｉｎｇ）を行って獲得されたアルゴリズムに基づいて前記第２ベイヤーパターンに対する映像処理を実施して前記第３ベイヤーパターンを出力する、請求項１に記載のイメージセンサー。
  6. 光を受信して第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成するイメージセンシング部と；
    前記イメージセンシング部から前記第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを受信した後、受信した前記第２ベイヤーパターンを基に前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成するプロセッサと；を含む、カメラモジュール。
  7. 前記イメージセンシング部から前記第１ベイヤーパターンを受信した後、前記第１ベイヤーパターンの少なくとも一部を分解（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）または再配列（Ｒｅ－ａｒｒａｎｇｅ）して、前記第２ベイヤーパターンを生成する整列部を含み、
    前記プロセッサは、前記整列部から受信した前記第２ベイヤーパターンを基に前記第３ベイヤーパターンを生成する、請求項６に記載のカメラモジュール。
  8. 前記プロセッサは、
    ディープラーニング（Ｄｅｅｐ－Ｌｅａｒｎｉｎｇ）を行って獲得されたアルゴリズムに基づいて前記第２ベイヤーパターンに対する映像処理を実施して前記第３ベイヤーパターンを出力する、請求項５に記載のカメラモジュール。
  9. 光を受信して、第１解像度を有する第１ベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）を生成するイメージセンシング部と；
    イメージセンサーから出力される映像情報を受信するＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）と；
    前記第１ベイヤーパターンの少なくとも一部である第２ベイヤーパターンを基に、前記第２ベイヤーパターンより高い解像度を有する第３ベイヤーパターンを生成するプロセッサと；を含み、
    前記映像情報は、前記第３ベイヤーパターンに対応する情報を含む、光学機器。
  10. 前記プロセッサは、
    前記ＡＰから前記映像情報を受信した後、受信した前記映像情報を基に前記第１ベイヤーパターンから前記第２ベイヤーパターンに設定する範囲を設定して、設定された範囲を基に前記第３ベイヤーパターンを生成する、請求項９に記載の光学機器。
JP2022506533A 2019-08-09 2020-08-05 イメージセンサー、カメラモジュール及びカメラモジュールを含む光学機器 Pending JP2022543783A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190097830A KR102213765B1 (ko) 2019-08-09 2019-08-09 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
KR10-2019-0097830 2019-08-09
PCT/KR2020/010361 WO2021029599A1 (ko) 2019-08-09 2020-08-05 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기

Publications (1)

Publication Number Publication Date
JP2022543783A true JP2022543783A (ja) 2022-10-14

Family

ID=74559963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022506533A Pending JP2022543783A (ja) 2019-08-09 2020-08-05 イメージセンサー、カメラモジュール及びカメラモジュールを含む光学機器

Country Status (7)

Country Link
US (1) US20220224852A1 (ja)
EP (1) EP4013039A4 (ja)
JP (1) JP2022543783A (ja)
KR (1) KR102213765B1 (ja)
CN (1) CN114208147B (ja)
TW (1) TW202121887A (ja)
WO (1) WO2021029599A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924589B2 (en) * 2019-12-27 2024-03-05 Semiconductor Energy Laboratory Co., Ltd. Imaging system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850729B1 (ko) * 2000-07-06 2008-08-06 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 데이터 해상도를 향상시키는 방법 및 장치
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
JP5230381B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像装置の制御方法
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8970718B2 (en) * 2012-07-12 2015-03-03 Gopro, Inc. Image capture accelerator
KR20150077646A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
US10229478B2 (en) * 2014-09-26 2019-03-12 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
WO2017126899A2 (en) * 2016-01-19 2017-07-27 Samsung Electronics Co., Ltd. Methods and systems for reconstructing a high frame rate high resolution video
KR101791573B1 (ko) * 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
JP6236731B1 (ja) * 2017-03-10 2017-11-29 株式会社ツバサファクトリー 超解像度処理装置、超解像度処理方法およびコンピュータプログラム
RU2652722C1 (ru) * 2017-05-03 2018-04-28 Самсунг Электроникс Ко., Лтд. Обработка данных для сверхразрешения
KR102326165B1 (ko) * 2017-08-23 2021-11-16 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
KR102385188B1 (ko) * 2017-09-29 2022-04-12 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
WO2019104705A1 (zh) * 2017-12-01 2019-06-06 华为技术有限公司 图像处理的方法和设备
KR102530752B1 (ko) * 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법

Also Published As

Publication number Publication date
CN114208147A (zh) 2022-03-18
CN114208147B (zh) 2023-07-25
WO2021029599A1 (ko) 2021-02-18
KR102213765B1 (ko) 2021-02-08
US20220224852A1 (en) 2022-07-14
EP4013039A1 (en) 2022-06-15
TW202121887A (zh) 2021-06-01
EP4013039A4 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
US10445402B1 (en) Fast and energy-efficient region of interest pooling for object detection with convolutional neural network
RU2432614C2 (ru) Устройство обработки изображения, способ обработки изображения и программа
US11468539B2 (en) Image processing device and imaging device
US20240119561A1 (en) Image processing device and image processing method
WO2016019238A1 (en) Piecewise perspective transform engine
CN100465994C (zh) 按比例缩小数字矩阵图像的方法及装置
KR102494123B1 (ko) 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
KR102242939B1 (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
US20220224852A1 (en) Image sensor, camera module, and optical device comprising camera module
US11825214B2 (en) Camera device and image generation method of camera device
CN114270799B (zh) 相机装置以及相机装置的图像生成方法
KR20100037392A (ko) 디지털 영상 촬영 장치
KR102371944B1 (ko) 카메라 장치 및 카메라 장치의 이미지 생성 방법
JP4522956B2 (ja) カメラシステム制御装置、そのプログラムおよびコンピュータ読取可能な記録媒体、カメラシステム、ならびにカメラシステムの制御方法
KR20210044648A (ko) 영상 처리 장치 및 이를 포함하는 광학 기기
US11363209B1 (en) Systems and methods for camera zoom
US20240013362A1 (en) Image processing method, image processing apparatus, learning apparatus, manufacturing method of learned model, and storage medium
KR20220159852A (ko) 이미지 처리 모듈
JP2006319406A (ja) カメラモジュール
KR20210047070A (ko) 이미지 처리 장치 및 이미지 처리 방법
KR101145701B1 (ko) 자동초점 기능이 내장된 고정초점 카메라 모듈

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240712