JP7379884B2 - 撮像装置、画像処理システム、方法およびプログラム - Google Patents
撮像装置、画像処理システム、方法およびプログラム Download PDFInfo
- Publication number
- JP7379884B2 JP7379884B2 JP2019119671A JP2019119671A JP7379884B2 JP 7379884 B2 JP7379884 B2 JP 7379884B2 JP 2019119671 A JP2019119671 A JP 2019119671A JP 2019119671 A JP2019119671 A JP 2019119671A JP 7379884 B2 JP7379884 B2 JP 7379884B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- imaging
- imaging device
- spherical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 152
- 238000012545 processing Methods 0.000 title claims description 85
- 238000000034 method Methods 0.000 title claims description 35
- 238000012937 correction Methods 0.000 claims description 59
- 230000003287 optical effect Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 24
- 230000010365 information processing Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 30
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 150000001875 compounds Chemical class 0.000 description 9
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- VJTAZCKMHINUKO-UHFFFAOYSA-M chloro(2-methoxyethyl)mercury Chemical compound [Cl-].COCC[Hg+] VJTAZCKMHINUKO-UHFFFAOYSA-M 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Description
複数の撮像手段が撮像した画像を繋ぎ合わせて、出力画像を生成する生成手段を含み、
前記複数の撮像手段が撮像した各画像の明暗差が所定の値以上である場合に、前記生成手段における繋ぎ合わせる処理を無効にし、かつ、各画像を一方向に並べて配置した出力画像を生成するモードを有する、撮像装置が提供される。
以下、図1~図4を参照しながら、本実施形態による全天球撮像システム1の全体構成について説明する。図1は、本実施形態による全天球撮像システム1の構成図である。本実施形態による全天球撮像システム1には、全天球撮像装置10と、情報処理装置50とが含まれる。全天球撮像装置10は、複数の広角レンズ画像や魚眼レンズ画像などを撮像し、当該全天球撮像装置10を中心とした全天球画像を撮像する装置である。情報処理装置50は、全天球撮像装置10と通信し、全天球撮像値10の操作や、撮像した画像の受信などを行う端末である。図1では、情報処理装置50の例としてスマートフォン端末を示しているが、特に実施形態を限定するものではない。なお、全天球撮像装置10および情報処理装置50の詳細については、後述する。
図5は、本実施形態における全天球撮像装置10における画像処理全体の流れを説明する図であり、主要な機能ブロックが示されている。図5に示すように、撮像素子22Aおよび撮像素子22Bの各々によって、所定の露出条件パラメータのもとで画像が撮像される。続いて、撮像素子22Aおよび撮像素子22Bの各々から出力された画像に対し、図3に示したISP108A,108Bにより、第1画像信号処理(処理1)の処理が行われる。第1画像信号処理の処理としては、オプティカル・ブラック(OB)補正処理、欠陥画素補正処理、リニア補正処理、シェーディング補正処理および領域分割平均処理が実行され、その結果はメモリに保存される。
以下、図6を参照しながら、全天球画像の生成および生成される全天球画像について説明する。図6(A)は、全天球画像生成における各画像のデータ構造および画像のデータフローを説明する。まず、撮像素子22A,22B各々で直接撮像される画像は、全天球のうちの概ね半球を視野に収めた画像である。レンズ光学系20に入射した光は、所定の射影方式に従って撮像素子22の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す2次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図6(A)において「部分画像A」および「部分画像B」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼レンズ画像として構成される。
ここで、図7および図8を参照しながら、モーションセンサ120からの情報を利用して行われる天頂補正および回転補正について説明する。
Claims (9)
- 複数の撮像手段が撮像した複数の画像の重複領域に基づく繋ぎ位置検出処理によって、全天球画像を生成する全天球画像生成手段と、
前記複数の撮像手段が撮像した複数の画像の明暗差が所定の値以上である場合に、前記全天球画像生成手段における前記繋ぎ位置検出処理を無効にし、かつ、各画像を一方向に並べて配置した左右並列配置型画像を生成する左右並列配置型画像生成手段
を有する、撮像装置。 - 前記複数の撮像手段が撮像した複数の画像の明暗差が所定の値以上である場合に、各画像について各撮像手段の光軸回りの回転に対する天頂補正をする補正手段をさらに含む、請求項1に記載の撮像装置。
- 前記複数の撮像手段が撮像した複数の画像の明暗差が所定の値以上である場合に、前記左右並列配置型画像生成手段は、各撮像手段が撮像した各画像の間に境界線を挿入した左右並列配置型画像を生成することを特徴とする、請求項1または2に記載の撮像装置。
- 前記複数の撮像手段が撮像した各画像は、広角レンズ画像または魚眼レンズ画像であり、
前記全天球画像生成手段が生成する前記全天球画像は、前記広角レンズ画像または前記魚眼レンズ画像に基づいて生成された全天球画像である、請求項1~3のいずれか1項に記載の撮像装置。 - 前記複数の撮像手段はそれぞれ撮像光学系を有し、
前記複数の撮像手段の撮像面は相反して配置されており、かつ、前記撮像光学系の光軸は合致している、請求項1~4のいずれか1項に記載の撮像装置。 - 複数の撮像手段が撮像した複数の画像の重複領域に基づく繋ぎ位置検出処理によって、全天球画像を生成する全天球画像生成手段と、
前記複数の撮像手段が撮像した複数の画像の明暗差が所定の値以上である場合に、前記全天球画像生成手段における前記繋ぎ位置検出処理を無効にし、かつ、各画像を一方向に並べて配置した左右並列配置型画像を生成する左右並列配置型画像生成手段
を有する、画像処理システム。 - 複数の撮像手段が撮像した複数の画像の重複領域に基づく繋ぎ位置検出処理によって、全天球画像を生成する全天球画像生成ステップと、
前記複数の撮像手段が撮像した複数の画像の明暗差が所定の値以上である場合に、前記全天球画像生成ステップにおける前記繋ぎ位置検出処理を無効にし、かつ、各画像を一方向に並べて配置した左右並列配置型画像を生成する左右並列配置型画像生成ステップ
を有する、方法。 - 複数の撮像手段が撮像した複数の画像を繋ぎ合わせて、全天球画像を出力する撮像装置が実行するプログラムであって、前記撮像装置を
複数の撮像手段が撮像した複数の画像の重複領域に基づく繋ぎ位置検出処理によって、前記全天球画像を生成する全天球画像生成手段と、
前記複数の撮像手段が撮像した複数の画像の明暗差が所定の値以上である場合に、前記全天球画像生成手段における前記繋ぎ位置検出処理を無効にし、かつ、各画像を一方向に並べて配置した左右並列配置型画像を生成する左右並列配置型画像生成手段
として機能させる、プログラム。 - 複数の撮像手段を含む撮像装置が撮像した複数の画像を繋ぎ合わせて、全天球画像を出力する情報処理装置が実行するプログラムであって、前記情報処理装置を、
複数の撮像手段が撮像した複数の画像の重複領域に基づく繋ぎ位置検出処理によって、前記全天球画像を生成する全天球画像生成手段と、
前記複数の撮像手段が撮像した複数の画像の明暗差が所定の値以上である場合に、前記全天球画像生成手段における前記繋ぎ位置検出処理を無効にし、かつ、各画像を一方向に並べて配置した左右並列配置型画像を生成する左右並列配置型画像生成手段
として機能させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019119671A JP7379884B2 (ja) | 2019-06-27 | 2019-06-27 | 撮像装置、画像処理システム、方法およびプログラム |
US16/902,286 US11122202B2 (en) | 2019-06-27 | 2020-06-16 | Imaging device, image processing system, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019119671A JP7379884B2 (ja) | 2019-06-27 | 2019-06-27 | 撮像装置、画像処理システム、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021005829A JP2021005829A (ja) | 2021-01-14 |
JP7379884B2 true JP7379884B2 (ja) | 2023-11-15 |
Family
ID=74043926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019119671A Active JP7379884B2 (ja) | 2019-06-27 | 2019-06-27 | 撮像装置、画像処理システム、方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11122202B2 (ja) |
JP (1) | JP7379884B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017212510A (ja) | 2016-05-24 | 2017-11-30 | 株式会社リコー | 画像管理装置、プログラム、画像管理システム及び情報端末 |
JP2019088015A (ja) | 2019-01-16 | 2019-06-06 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法およびプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4307934B2 (ja) * | 2003-08-13 | 2009-08-05 | 株式会社トプコン | 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法 |
JP5148989B2 (ja) * | 2007-12-27 | 2013-02-20 | イーストマン コダック カンパニー | 撮像装置 |
JP5775074B2 (ja) * | 2009-07-07 | 2015-09-09 | トムソン ライセンシングThomson Licensing | 3次元(3d)投影用の明度補正のための方法及びシステム |
JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
KR102022444B1 (ko) * | 2013-02-21 | 2019-09-18 | 삼성전자주식회사 | 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말 |
KR101657039B1 (ko) | 2013-08-28 | 2016-09-12 | 가부시키가이샤 리코 | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 |
JP6467787B2 (ja) * | 2014-05-27 | 2019-02-13 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法およびプログラム |
JP5846549B1 (ja) * | 2015-02-06 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム |
JP5920507B1 (ja) | 2015-03-10 | 2016-05-18 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
JP6256513B2 (ja) | 2016-04-13 | 2018-01-10 | 株式会社リコー | 撮像システム、撮像装置、方法およびプログラム |
US11039066B2 (en) * | 2018-06-28 | 2021-06-15 | Canon Kabushiki Kaisha | Image pickup apparatus having a plurality of settable image capturing modes, method for controlling the same, and non-transitory computer-readable storage medium |
-
2019
- 2019-06-27 JP JP2019119671A patent/JP7379884B2/ja active Active
-
2020
- 2020-06-16 US US16/902,286 patent/US11122202B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017212510A (ja) | 2016-05-24 | 2017-11-30 | 株式会社リコー | 画像管理装置、プログラム、画像管理システム及び情報端末 |
JP2019088015A (ja) | 2019-01-16 | 2019-06-06 | 株式会社リコー | 画像処理システム、撮像装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200412948A1 (en) | 2020-12-31 |
US11122202B2 (en) | 2021-09-14 |
JP2021005829A (ja) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6927382B2 (ja) | 撮像システム、方法、プログラム、動画表示装置および画像処理装置。 | |
JP6115606B2 (ja) | 撮像装置および撮像システム | |
JP6065474B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
JP5971207B2 (ja) | 画像調整装置、画像調整方法およびプログラム | |
JP5843033B1 (ja) | 撮像システム、撮像装置、プログラムおよびシステム | |
JP6455601B2 (ja) | 制御システム、撮像装置、およびプログラム | |
JP6119235B2 (ja) | 撮像制御装置、撮像システム、撮像制御方法およびプログラム | |
JP7383911B2 (ja) | 撮像システム、画像処理装置、撮像装置およびプログラム | |
JP6299116B2 (ja) | 撮像装置、撮像方法および記録媒体 | |
JP7424076B2 (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム | |
JP7247609B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP7306089B2 (ja) | 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム | |
JP7379884B2 (ja) | 撮像装置、画像処理システム、方法およびプログラム | |
JP7451888B2 (ja) | 撮像装置、撮像システム、方法およびプログラム | |
JP2013192088A (ja) | 撮像装置、制御方法および制御プログラム | |
JP6811935B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2022143122A (ja) | 画像処理方法、撮像制御方法、プログラム、画像処理装置および撮像装置 | |
JP2020078065A (ja) | 撮像装置、情報処理装置、補正量設定方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7379884 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |