JP5909990B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP5909990B2 JP5909990B2 JP2011233883A JP2011233883A JP5909990B2 JP 5909990 B2 JP5909990 B2 JP 5909990B2 JP 2011233883 A JP2011233883 A JP 2011233883A JP 2011233883 A JP2011233883 A JP 2011233883A JP 5909990 B2 JP5909990 B2 JP 5909990B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- book
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 57
- 238000005259 measurement Methods 0.000 claims description 47
- 238000012937 correction Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000003702 image correction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 12
- 238000005452 bending Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 239000000758 substrate Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Landscapes
- Television Signal Processing For Recording (AREA)
- Facsimile Scanning Arrangements (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
本発明は、撮像装置および撮像方法に関し、特に書籍の湾曲歪を補正して撮影することができる撮像装置および撮像方法に関する。 The present invention relates to an image pickup apparatus and an image pickup method, and more particularly to an image pickup apparatus and an image pickup method capable of taking an image while correcting the bending distortion of a book.
近年、携帯情報端末(タブレット型携帯端末、電子ペーパー等)の普及により、紙の書籍を電子化して携帯情報端末に取り込んで(この電子化は一般に「自炊」とも称される。)閲覧する機会が増加して来ている。 In recent years, with the widespread use of portable information terminals (tablet type portable terminals, electronic paper, etc.), an opportunity to digitize a paper book and take it in a portable information terminal (this digitization is also generally referred to as “self-catering”). Is increasing.
書籍を電子化する際にはフラットベットスキャナが用いられているが、デジタルカメラの方がより手軽な操作で電子化することができる。
しかしながら、デジタルカメラで書籍を撮影する際には書籍の取り込み面を上面にして机上等にページを開いた状態にする必要があるが、その際、見開き部分(綴じ部)に湾曲を生じ、湾曲部に印刷された内容が見難くなるといった問題点があった。また、書籍を机等の上に見開き状態で置き、上方から撮影する場合、通常の被写体を撮影する際の撮影方向(縦横)の検出に使用されている加速度センサの情報では、デジタルカメラと書籍の撮影方向の関係を検出することができない。さらに、上面から書籍を読み取る装置として専用の装置(公的な図書館の業務用等に利用されるもの)があるが、大きな占有面積が必要となり、個人用には向いていない。
When a book is digitized, a flatbed scanner is used, but a digital camera can be digitized with a simpler operation.
However, when photographing a book with a digital camera, it is necessary to open the page on a desk or the like with the book reading surface as the top surface. At that time, the spread portion (binding portion) is curved and curved. There was a problem that it was difficult to see the contents printed on the copy. Also, when a book is placed in a spread state on a desk or the like and shot from above, the information of the acceleration sensor used for detecting the shooting direction (vertical and horizontal) when shooting a normal subject is based on the digital camera and the book. The relationship between the shooting directions cannot be detected. Furthermore, although there is a dedicated device (used for public library business etc.) as a device for reading books from the top surface, it requires a large area and is not suitable for personal use.
ここで、従来における書籍を撮影する技術として、特許文献1(特開平08−242347号公報)には、据え置き型のブックスキャナーの基本構成に関する発明で、書籍の綴じ部の湾曲を検出する為に原稿台に書籍の側面が撮像される位置にミラーを設けた構成が開示されている。更に、原稿台の高さも検出するようにしている。
しかしながら、特許文献1に記載の構成では、綴じ部の湾曲を検出するための検出手段を書籍の側面に別途有しているため装置の大型化、高コスト化を招来する等の問題がある。
Here, as a conventional technique for photographing a book, Patent Document 1 (Japanese Patent Application Laid-Open No. 08-242347) discloses an invention relating to a basic configuration of a stationary book scanner, in order to detect a bending of a binding portion of a book. A configuration is disclosed in which a mirror is provided at a position where the side of a book is imaged on a document table. Further, the height of the document table is also detected.
However, the configuration described in Patent Document 1 has problems such as an increase in the size and cost of the apparatus because a detection means for detecting the bending of the binding portion is separately provided on the side of the book.
また、特許文献2(特許第4162501号公報)には、被写体の立体形状を測定する形状測定部を有する撮像手段により、見開き状態で設置した書籍を撮影する際、前記形状測定部の検出結果から書籍の綴じ部を検出する構成が開示されている。特許文献2に記載の構成では、検出した綴じ部が拡大されるようにズームし、高解像に撮像し、全体撮影した画像の綴じ部の画像を置き換え、更に、前記形状測定部による綴じ部の湾曲状態の検出結果から、湾曲歪を平面に補正する。
しかしながら、特許文献2に記載の構成では、前記撮像手段は支持台に固定される構成であり、ポータビリティに劣る、装置構成上の制約が生じる等の問題がある。また、前記形状測定部は投光手段により所定のパターン光を投影し、その投影位置から形状を検出するため、所定のパターン光を投影する装置を要し、装置の大型化、高コスト化を招来する等の問題がある。さらに、高解像に撮像すること等を要し、データ容量が大幅に増大するという問題がある。
Further, in Patent Document 2 (Japanese Patent No. 4162501), when a book placed in a spread state is photographed by an imaging unit having a shape measuring unit that measures a three-dimensional shape of a subject, the detection result of the shape measuring unit is used. A configuration for detecting a binding portion of a book is disclosed. In the configuration described in Patent Document 2, zooming is performed so that the detected binding portion is enlarged, high-resolution imaging is performed, the image of the binding portion of the entire image is replaced, and further, the binding portion by the shape measurement unit The bending distortion is corrected to a plane from the detection result of the bending state.
However, the configuration described in Patent Document 2 has a configuration in which the imaging unit is fixed to a support base, resulting in poor portability and restrictions on the device configuration. Further, the shape measuring unit projects a predetermined pattern light by the light projecting means and detects a shape from the projection position, and therefore requires a device for projecting the predetermined pattern light, which increases the size and cost of the device. There are problems such as inviting. In addition, there is a problem that the data capacity is greatly increased because it is necessary to capture images with high resolution.
本発明は、以上の従来技術における問題に鑑みてなされたものであり、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストである撮像装置および撮像方法を提供することを目的とする。 The present invention has been made in view of the above-described problems in the prior art, and can correct a curved distortion of a book image without significantly increasing the data capacity, obtain an image with less distortion, and has excellent portability. It is an object of the present invention to provide an imaging apparatus and an imaging method that are small and low cost.
上記課題を解決するために本発明に係る撮像装置は、撮像素子と、該撮像素子に被写体の像を結像させる撮影レンズ系と、前記撮像素子の信号から画像データを生成する画像生成手段と、前記画像データを記録する記録手段と、前記被写体の距離を多点測距し測距データを取得する測距手段と、前記被写体として書籍を撮影する書籍撮影モードと、前記書籍撮影モードで得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御手段と、を備え、前記測距手段は、二次元における一方向に対する距離の変化量に応じて、異なる分解能に変換した前記測距データを取得することを特徴とする。
また、上記課題を解決するために本発明に係る撮像方法は、撮影レンズ系を介して被写体の像を撮像素子に結像させ、該撮像素子の信号から画像データを生成する画像生成工程と、前記画像データを記録する記録工程と、前記被写体の距離を多点測距し測距データを取得する測距工程と、前記被写体として書籍を撮影する書籍撮影モードを設定する工程と、前記書籍撮影モードで得られた画像データを、前記測距工程により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備え、前記測距工程では、二次元における一方向に対する距離の変化量に応じて、異なる分解能に変換した前記測距データを取得することを特徴とする。
Imaging device according to the present invention in order to solve the above SL problem, an imaging device, an imaging lens system for forming an image of an object on the image sensor, the image generation means for generating image data from the signal of the imaging device Recording means for recording the image data; distance measuring means for measuring the distance of the subject by multipoint distance measurement to obtain distance measurement data; a book photographing mode for photographing a book as the subject; and the book photographing mode. Control means for correcting curvature distortion based on the distance measurement data obtained by the distance measurement means, and the distance measurement means according to the amount of change in distance in one direction in two dimensions. Then, the distance measurement data converted into different resolutions are acquired.
Further, in order to solve the above problems, an imaging method according to the present invention includes an image generation step of forming an image of a subject on an imaging device via a photographing lens system and generating image data from a signal of the imaging device; A recording step for recording the image data, a ranging step for measuring the distance of the subject at multiple points to obtain ranging data, a step for setting a book photographing mode for photographing a book as the subject, and the book photographing A control step of correcting the curvature distortion based on the distance measurement data acquired in the distance measurement step, and the distance change amount in one direction in two dimensions in the distance measurement step. The distance measurement data converted into different resolutions is acquired according to the above.
本発明によれば、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストである撮像装置および撮像方法を提供することができる。 According to the present invention, there is provided an imaging apparatus and an imaging method capable of correcting a curving distortion of a book image without acquiring a significant increase in data capacity, obtaining an image with less distortion, excellent in portability, small and low cost. can do.
本発明に係る撮像装置は、撮像素子11と、該撮像素子11に被写体の像を結像させる撮影レンズ系2と、前記撮像素子11の信号から画像データを生成する画像生成手段12と、前記画像データを記録する記録手段と、前記被写体の距離を二次元方向で多点測距し測距データを取得する測距手段3と、前記被写体として書籍を撮影する書籍撮影モードが設定可能な撮影モード選択手段と、前記書籍撮影モードが選択されて得られた画像データを、前記測距手段3により取得した測距データに基づいて湾曲歪を補正する制御手段14と、を備えることを特徴とする。 An image pickup apparatus according to the present invention includes an image pickup element 11, a photographing lens system 2 that forms an image of a subject on the image pickup element 11, an image generation unit 12 that generates image data from a signal from the image pickup element 11, and Recording means for recording image data, distance measuring means 3 for measuring the distance of the subject in a two-dimensional direction to obtain distance measurement data, and photography capable of setting a book photographing mode for photographing a book as the subject Comprising: a mode selection unit; and a control unit 14 that corrects the curvature distortion of the image data obtained by selecting the book photographing mode based on the distance measurement data acquired by the distance measurement unit 3. To do.
ここで、超高速高精度AF技術が用いられた測距装置が搭載されたデジタルカメラCX5(株式会社リコー製)が既に上市されている。この超高速高精度AF技術は、同一基板上の複数の撮像素子のうちから2つの撮像素子を利用して、三角測距の原理で測距を行うものであり、被写体の二次元の距離画像を取得することができる。
本発明では、前記超高速高精度AF技術等を利用し、ユーザが書籍を見開き状態で撮影する際に綴じ部が湾曲して見難くなる点をその距離画像(立体形状)を計測して補正(引き伸ばし処理)することで見易い画像に変換することができる。このとき、カメラの撮影モードに書籍撮影モードを設け、書籍撮影モードが選択された際に、これらの処理が行われるようにすることで、非書籍画像は通常どおり撮影できるようにすることが好ましい。
また本発明では、前記距離画像により、書籍の湾曲方向から書籍とカメラとの相対的な向きを検出し、書籍撮影モードで撮影した画像を表示する際には検出された相対的な向きに応じて、画像の表示向きを変えることができることが好ましい。
Here, a digital camera CX5 (manufactured by Ricoh Co., Ltd.) on which a distance measuring device using ultra-high speed and high precision AF technology is mounted has already been put on the market. This ultra-high speed and high-precision AF technology uses two image sensors out of a plurality of image sensors on the same substrate to perform distance measurement based on the principle of triangulation, and provides a two-dimensional distance image of a subject. Can be obtained.
In the present invention, the distance image (three-dimensional shape) is corrected by using the ultra-high-speed high-precision AF technology, etc., by measuring the distance image (three-dimensional shape) of a point where the binding portion is difficult to view when the user shoots the book in a spread state. By performing (stretching process), it can be converted into an easy-to-see image. At this time, it is preferable that the book photographing mode is provided in the photographing mode of the camera so that when the book photographing mode is selected, these processes are performed so that the non-book image can be photographed as usual. .
In the present invention, the distance image is used to detect the relative orientation between the book and the camera from the curving direction of the book, and when the image photographed in the book photographing mode is displayed, the relative orientation is detected. It is preferable that the display direction of the image can be changed.
次に、本発明に係る撮像装置および撮像方法についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
Next, the imaging device and the imaging method according to the present invention will be described in more detail.
Although the embodiments described below are preferred embodiments of the present invention, various technically preferable limitations are attached thereto, but the scope of the present invention is intended to limit the present invention in the following description. Unless otherwise described, the present invention is not limited to these embodiments.
図1は、本発明に係る撮像装置の一実施の形態としてのデジタルカメラにおける構成例を示す正面図、図2は、図1に示したデジタルカメラのシステム構成の概要を示すブロック図である。また、図3は、図1に示したデジタルカメラが備える測距部(測距装置)の構成を示す概略側断面図、図4は、図1に示したデジタルカメラが備える測距部(測距装置)の構成を示す概略正面図である。 FIG. 1 is a front view showing a configuration example of a digital camera as an embodiment of an imaging apparatus according to the present invention, and FIG. 2 is a block diagram showing an outline of a system configuration of the digital camera shown in FIG. 3 is a schematic sectional side view showing the configuration of the distance measuring unit (ranging device) provided in the digital camera shown in FIG. 1, and FIG. 4 is a distance measuring unit (measured by the digital camera shown in FIG. 1). It is a schematic front view which shows the structure of a distance apparatus.
(デジタルカメラの外観構成)
図1に示すように、本実施形態に係るデジタルカメラ1の正面(前面)側には、撮影レンズ系2、測距手段としての測距装置3の前面側のレンズアレイ4等が配置されている。レンズアレイ4の表面には、所定の間隔で左右に配置した第1の測距用レンズ5aと、第2の測距用レンズ5bが一体に形成されている。撮像レンズ系2と第1、第2の測距用レンズ5a,5bの各光軸は平行である。
(Appearance structure of digital camera)
As shown in FIG. 1, on the front (front) side of the digital camera 1 according to the present embodiment, a photographing lens system 2, a lens array 4 on the front side of a distance measuring device 3 as distance measuring means, and the like are arranged. Yes. On the surface of the lens array 4, a first distance measuring lens 5a and a second distance measuring lens 5b, which are arranged on the left and right sides at a predetermined interval, are integrally formed. The optical axes of the imaging lens system 2 and the first and second distance measuring lenses 5a and 5b are parallel to each other.
(デジタルカメラ1のシステム構成)
図2に示すように、このデジタルカメラ1は、複数のレンズ群を有する撮影レンズ系2、シャッタ機能を有する絞りユニット10、撮影レンズ系2を通して入射される被写体像が受光面上に結像する固体撮像素子としてのCCDイメージセンサ11、CCDイメージセンサ11の各画素から出力される撮像信号(電気信号)を取り込み、表示や記録が可能な画像データに変換処理する画像生成手段である信号処理部12、操作部(レリーズボタン7、撮影モード選択手段である撮影モード切換ボタン8(図1参照)等)13からの操作入力情報に基づき、ROM(不図示)に記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う制御部14、信号処理部12で生成された撮影中の被写体の画像データを表示する、および、後述するメモリカード18より読み出した画像データを表示する表示手段である液晶モニタ(LCD)15、撮影レンズ系2のフォーカスレンズ群を駆動するフォーカスレンズ駆動部16、絞りユニット10を駆動する絞りユニット駆動部17、及び被写体までの距離を測距する外測式の前記測距装置3等を備えている。画像処理部12で生成された画像データは、記録手段(不図示)により着脱自在なメモリカード18に記録される。
なお、撮影モード切換ボタン8は被写体として書籍を撮影する書籍撮影モードが設定可能である。
(System configuration of digital camera 1)
As shown in FIG. 2, the digital camera 1 has a photographing lens system 2 having a plurality of lens groups, a diaphragm unit 10 having a shutter function, and a subject image incident through the photographing lens system 2 formed on a light receiving surface. A CCD image sensor 11 serving as a solid-state image sensor, and a signal processing unit that is an image generation unit that captures an imaging signal (electric signal) output from each pixel of the CCD image sensor 11 and converts it into image data that can be displayed or recorded 12. Based on operation input information from the operation unit 13 (release button 7, shooting mode switching button 8 (see FIG. 1) which is a shooting mode selection means, etc.) 13, based on a control program stored in a ROM (not shown). The control unit 14 that performs system control and the like of the entire digital camera 1 and the image data of the subject being shot generated by the signal processing unit 12 are displayed. A liquid crystal monitor (LCD) 15 that is a display means for displaying image data read from a memory card 18 to be described later, a focus lens driving unit 16 that drives the focus lens group of the photographing lens system 2, and an aperture that drives the aperture unit 10. The unit driving unit 17 and the external measuring type distance measuring device 3 for measuring the distance to the subject are provided. The image data generated by the image processing unit 12 is recorded on a removable memory card 18 by a recording means (not shown).
The shooting mode switching button 8 can set a book shooting mode for shooting a book as a subject.
(測距装置3の構成)
図3、図4に示すように、測距装置3は、前面側(正面側、図3の上側)が開口した筐体20と、この筐体20の前面側に前記第1、第2の測距用レンズ5a,5bが一列(デジタルカメラ1の左右方向)に一体に形成された透明樹脂材からなる長方形状のレンズアレイ4と、レンズアレイ4と対向する筐体20内の背面側(図3の下側)に配置された薄板状の撮像素子基板21と、撮像素子基板21上に配置された平面状(二次元状)の測距用撮像素子22a,22bと、撮像素子基板21の背面に配置された回路基板24を備えている。
(Configuration of ranging device 3)
As shown in FIGS. 3 and 4, the distance measuring device 3 includes a housing 20 whose front side (front side, upper side in FIG. 3) is open, and the first and second sides on the front side of the housing 20. A rectangular lens array 4 made of a transparent resin material in which distance measuring lenses 5a and 5b are integrally formed in a row (left and right direction of the digital camera 1), and a rear surface side in the housing 20 facing the lens array 4 ( A thin plate-shaped image sensor substrate 21 disposed on the lower side of FIG. 3, planar (two-dimensional) ranging image sensors 22 a and 22 b disposed on the image sensor substrate 21, and the image sensor substrate 21. The circuit board 24 is provided on the back surface of the circuit board.
平面状の一対の測距用撮像素子22a,22bは、第1、第2の測距用レンズ5a,5bとそれぞれ対向するようにして配置されている。
測距用撮像素子22a,22bの平面状の各受光面は同じサイズで、同一画素数を有している。また、測距用撮像素子22a,22bとの間には、所定の隙間が設けられている。
撮像素子基板21上の測距用撮像素子22a,22bは、半導体ウェハ上に周知の半導体プロセスによって一体に形成された撮像素子(本実施の形態ではCCDであるが、CMOS等の撮像素子であってもよい)であり、多数の受光素子(画素)が格子状に配列されている。
The pair of distance-measuring imaging elements 22a and 22b are arranged so as to face the first and second distance-measuring lenses 5a and 5b, respectively.
The planar light receiving surfaces of the distance measuring imaging elements 22a and 22b have the same size and the same number of pixels. In addition, a predetermined gap is provided between the distance measuring image sensors 22a and 22b.
The distance measuring image pickup devices 22a and 22b on the image pickup device substrate 21 are image pickup devices integrally formed on a semiconductor wafer by a known semiconductor process (in this embodiment, a CCD, but an image pickup device such as a CMOS). And a large number of light receiving elements (pixels) are arranged in a grid pattern.
第1、第2の測距用レンズ5a,5bの各光軸は平行であり、測距用撮像素子22a,22bの各受光面の対角中心と前記各レンズ(第1、第2の測距用レンズ5a,5b)の光軸が略一致するように位置決めされている。
第1、第2の測距用レンズ5a,5bは、該第1、第2の測距用レンズ5a,5bに入射する被写体光が測距用撮像素子22a,22b表面に結像するような焦点距離を有している。
また、第1、第2の測距用レンズ5a,5bの各画角が、撮影レンズ系2の画角と略同じになるように構成されている。これにより、測距装置3は、CCDイメージセンサ11の全受光面(撮像領域)に対応した画面全体の測距を行うことができる。
The optical axes of the first and second ranging lenses 5a and 5b are parallel to each other, and the diagonal centers of the respective light receiving surfaces of the ranging imaging elements 22a and 22b and the respective lenses (first and second measuring lenses). The distance lenses 5a and 5b) are positioned so that their optical axes substantially coincide.
The first and second distance measuring lenses 5a and 5b allow subject light incident on the first and second distance measuring lenses 5a and 5b to form an image on the surfaces of the distance image sensors 22a and 22b. Has a focal length.
Further, the field angles of the first and second distance measuring lenses 5 a and 5 b are configured to be substantially the same as the field angle of the photographing lens system 2. As a result, the distance measuring device 3 can measure the entire screen corresponding to all the light receiving surfaces (imaging regions) of the CCD image sensor 11.
回路基板24には、測距用演算部25等が設けられ、測距用演算部25は、測距用撮像素子22a,22bの各画素から出力される画素出力信号を取り込み、測距用撮像素子22a,22bにそれぞれ結像された被写体像間のずれ(視差)を算出して、被写体までの距離を算出する。 The circuit board 24 is provided with a ranging calculation unit 25 and the like. The ranging calculation unit 25 takes in pixel output signals output from the pixels of the ranging imaging elements 22a and 22b, and performs ranging imaging. A distance (parallax) between subject images formed on the elements 22a and 22b is calculated, and a distance to the subject is calculated.
ここで、測距装置3による測距原理について図5を参照しながら詳細に簡単に説明する。図5は本発明に係る撮像装置の一実施の形態における測距原理を説明するための図である。
図5に示すように、第1の測距用レンズ5aを通して得られた被写体像a1と第2の測距用レンズ5bを通して得られた被写体像a2は、被写体A上の同一点が視差△だけずれて測距用撮像素子22a,22b表面にそれぞれ結像し、複数の受光素子(画素)で受光されて電気信号に変換される。
そして、前記視差を△、第1、第2の測距用レンズ5a,5bの光軸間の距離(基線長)をD、第1、第2の測距用レンズ5a,5bと被写体A間の距離をL、第1、第2の測距用レンズ5a,5bの焦点距離をfとし、L≫fであるときは、下記の式(1)が成り立つ。
Here, the principle of distance measurement by the distance measuring device 3 will be briefly described in detail with reference to FIG. FIG. 5 is a diagram for explaining the principle of distance measurement in the embodiment of the imaging apparatus according to the present invention.
As shown in FIG. 5, in the subject image a1 obtained through the first distance measuring lens 5a and the subject image a2 obtained through the second distance measuring lens 5b, the same point on the subject A is only parallax Δ. The images are shifted and imaged on the surfaces of the distance measuring imaging elements 22a and 22b, respectively, and received by a plurality of light receiving elements (pixels) and converted into electric signals.
The parallax is Δ, the distance between the optical axes of the first and second distance measuring lenses 5a and 5b (base line length) is D, and the distance between the first and second distance measuring lenses 5a and 5b and the subject A is D. Is L, the focal lengths of the first and second distance measuring lenses 5a and 5b are f, and when L >> f, the following equation (1) is established.
L=D・f/△ …式(1) L = D · f / Δ Expression (1)
よって、Dとfは既知であるので、測距用演算回路25により、測距用撮像素子22a,22bの画素(受光素子)からそれぞれ出力される画素出力信号から周知の算出方法で前記視差△を算出することで、第1、第2の測距用レンズ5a,5bと被写体間の距離Lを算出することができる。
なお、第1、第2の測距用レンズ5a,5bの光軸間の距離(基線長)Dが短すぎると、視差△が小さくなって被写体までの距離Lを精度よく算出できなくなる。
Therefore, since D and f are known, the parallax Δ is calculated by a known calculation method from the pixel output signals respectively output from the pixels (light receiving elements) of the ranging imaging elements 22a and 22b by the ranging arithmetic circuit 25. Is calculated, the distance L between the first and second distance measuring lenses 5a and 5b and the subject can be calculated.
If the distance (base line length) D between the optical axes of the first and second distance measuring lenses 5a and 5b is too short, the parallax Δ becomes small and the distance L to the subject cannot be accurately calculated.
なお、本発明における測距手段は、上述したような撮影レンズ系と異なる光学系を有する測距センサにより測距し、被写体の距離を二次元方向で多点測距し測距データを取得するものに限られるものではない。即ち、撮像素子上の被写体像による山登り方式(撮影レンズの焦点距離を微少に変化させながらコントラストのピークを求める方法)により測距して測距データを取得してもよく、撮影レンズ系を通った光線の一部を複数のラインセンサに導いて位相差方式で測距して測距データを取得してもよい。 The distance measuring means in the present invention measures the distance by a distance measuring sensor having an optical system different from the above-described photographic lens system, and obtains distance measurement data by measuring the distance of the subject in a two-dimensional direction. It is not limited to things. In other words, distance measurement data may be obtained by ranging by a hill-climbing method using a subject image on the image sensor (a method of obtaining a contrast peak while slightly changing the focal length of the photographing lens). A part of the light beam may be guided to a plurality of line sensors, and the distance measurement data may be obtained by measuring the distance by the phase difference method.
(書籍撮影モードの第1の実施の形態)
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第1の実施の形態について説明する。
図6(a)は綴じ部が湾曲した形状となる書籍を示す図であり、図6(b)は図6(a)に示す書籍の距離画像データを示す斜視図であり、図6(c)は図6(a)に示す書籍の距離画像データを示すグラフである。
(First embodiment of book photographing mode)
Next, a first embodiment of a book shooting mode that is a feature of the imaging apparatus according to the present invention will be described.
FIG. 6A is a view showing a book having a curved binding portion, FIG. 6B is a perspective view showing distance image data of the book shown in FIG. 6A, and FIG. ) Is a graph showing distance image data of the book shown in FIG.
書籍を見開き状態で置くと図6(a)に示したように綴じ部(書籍の見開き中心)が湾曲した形状となり、撮影画像に歪が生じる。この状態で前記測距用撮像素子により測距を行うと図6(a)右側ページは図6(b)に斜視で示した各画素の距離画像データのように計測される。綴じ部の湾曲は平面状の一方向に対して大きな距離画像の変化を有しているので、図6(c)に示したようにXa方向にはデータ量が必要であるが、Ya方向には距離の変化が少ない為、歪を補正する為にはより少ないデータ量で十分である。 When the book is set in a spread state, the binding portion (the spread center of the book) is curved as shown in FIG. 6A, and the captured image is distorted. When the distance is measured by the distance measuring image sensor in this state, the right page in FIG. 6A is measured as the distance image data of each pixel shown in perspective in FIG. 6B. Since the curvature of the binding portion has a large change in the distance image with respect to one planar direction, a data amount is required in the Xa direction as shown in FIG. 6C, but in the Ya direction. Since there is little change in distance, a smaller amount of data is sufficient to correct distortion.
本発明では撮影時に得られた距離画像は、距離の変化が大きい方向には分解能の大きいデータとし、距離の変化が小さい方向には分解能の低いデータに変換して測距データとして記録することが好ましい。例えば、図6(c)で得られた立体形状を用いて補正を行うことで、図7(a)の補正前の歪んだ画像を図7(b)の歪みの少ない画像に補正することが可能になる。 In the present invention, the distance image obtained at the time of photographing can be recorded as distance measurement data by converting the data with high resolution in the direction where the change in distance is large and converting the data into low resolution in the direction where the change in distance is small. preferable. For example, by performing correction using the three-dimensional shape obtained in FIG. 6C, the distorted image before correction in FIG. 7A can be corrected to an image with less distortion in FIG. 7B. It becomes possible.
なお、書籍の撮影画像において歪補正が必要となる領域は書籍の撮影領域のみであるため、書籍の撮影領域以外の部分(原稿設置面等)の歪補正は不要である。
したがって、歪補正に必要な測距データは書籍の外周のエッジに囲まれた領域であるため、書籍の領域を背景画像とのコントラストから検出し、得られた測距データから、書籍の領域の測距データ(書籍の外周のエッジに囲まれた領域の測距データ)を抽出する。そして、抽出した測距データ(書籍の見開き中心までの距離)を用いて後述する書籍の領域の湾曲歪を補正する。
It should be noted that in the photographed image of the book, the only area where distortion correction is required is the book photography area, so that distortion correction of parts other than the book photography area (such as the document placement surface) is unnecessary.
Therefore, since the distance measurement data necessary for distortion correction is an area surrounded by the outer peripheral edge of the book, the area of the book is detected from the contrast with the background image, and from the obtained distance measurement data, the area of the book area is detected. Ranging data (ranging data of the area surrounded by the outer edge of the book) is extracted. And the curvature distortion of the area | region of a book mentioned later is correct | amended using the extracted ranging data (distance to the spread center of a book).
ここで、湾曲歪みの補正について説明する。図8(a)を用いて縦方向の伸長処理について説明する。縦方向の伸長処理により撮影画像の縦方向の歪みを除去する。この伸長処理は、画素列毎に伸長率を算出し、画像の中心線X0から距離に応じてそれぞれの画素列において上下方向に画素をマッピングしていくことによって行なう。
先ず、前記測距用撮像素子により画素列毎に画像の奥行き方向の距離を求める。ここで、被写体が書籍の場合であって且つ撮像部に対して正対して載置してあったとすると、本来撮像入力画像中のそれぞれの列の画素、即ち図6(a)に示す縦方向に並んだ画素は同じ奥行き距離を持つはずである。しかしながらノイズ等の影響により、画素毎に奥行き距離にバラつきが検出される場合があり、その場合は画素間の平均値を求める。平均値を求める場合は、被写体上の点のみを使う必要があるため、画像の中心付近の画素を用いたり、高さが一定値以上の部分の画素を用いたりする。このようにして求めた画像のY軸(X0)に相当する被写体上の各点の奥行き距離をD0、i番目の列に相当する被写体上の各点の奥行き距離をDiとすると、以下の式(2)に従ってi番目の画素列の、j番目の画素行の画素位置Pij1を列方向に移動させ、Pij2として再配置する処理を行う。
Here, correction of bending distortion will be described. The vertical extension process will be described with reference to FIG. The vertical distortion of the captured image is removed by the vertical expansion process. This expansion process is performed by calculating the expansion rate for each pixel column and mapping the pixels in each pixel column in the vertical direction according to the distance from the center line X0 of the image.
First, the distance in the depth direction of the image is obtained for each pixel row by the distance measuring image sensor. Here, if the subject is a book and is placed facing the imaging unit, the pixels in each column in the originally captured input image, that is, the vertical direction shown in FIG. Pixels aligned in should have the same depth distance. However, due to the influence of noise or the like, variation in the depth distance may be detected for each pixel. In this case, an average value between the pixels is obtained. When obtaining the average value, it is necessary to use only points on the subject, so pixels near the center of the image are used, or pixels whose height is a certain value or more are used. When the depth distance of each point on the subject corresponding to the Y axis (X0) of the image thus obtained is D0 and the depth distance of each point on the subject corresponding to the i-th column is Di, the following equation According to (2), the pixel position Pij1 of the j-th pixel row of the i-th pixel column is moved in the column direction and rearranged as Pij2.
Pij2=Pij1・(Di/D0) …式(2) Pij2 = Pij1 · (Di / D0) (2)
この再配置処理と、各画素間の補完処理により、縦方向の歪、即ち撮像素子と被写体との間の距離の相違(書籍を開いた見開き状態の場合、図6(a)に示す綴じ部を支点として書面が湾曲し、その結果盛り上がった部分は他の部分に比して撮像部に近くなる現象等による)に起因する遠近要因による歪が除去された画像が得られる。 Due to the rearrangement process and the interpolation process between the pixels, the distortion in the vertical direction, that is, the difference in the distance between the image sensor and the subject (in the case of the spread state in which the book is opened, the binding portion shown in FIG. The document is curved with the fulcrum as the fulcrum, and as a result, the raised portion is obtained by removing distortion caused by the perspective factor due to a phenomenon that is closer to the imaging unit than other portions.
更に、各行の画素を、その方向、即ち横方向に適当な量だけ伸長すれば横方向の歪も除去出来る。図8(b)に示したように、被写体画像のY軸(X0)からの距離に応じて、行方向に画素を再配置して、横方向に画像を伸長する。以下にその具体的な方法について説明する。 Further, if the pixels in each row are extended by an appropriate amount in the direction, that is, the horizontal direction, the horizontal distortion can be removed. As shown in FIG. 8B, the pixels are rearranged in the row direction in accordance with the distance from the Y axis (X0) of the subject image, and the image is expanded in the horizontal direction. The specific method will be described below.
図8(c)は、ある画素行内の画素Pi0〜Pi3に相当する3次元位置空間上における被写体上の点の位置を白丸(中抜きの丸)で示している。ここで、Pi0はX0上の点である。
先ず、これら点における隣接する点間の距離L01〜L23を求める。そして、再配置すべき画素の再配置後の位置を、画像の中心線X0からの距離として、縮尺を合わせて順次足し合せていくことで決定する。例えば、Pi3は、(L01+L12+L23)・f/Fの位置に再配置される(伸長前の画素位置である黒丸から、伸長後の画素位置である灰色丸に移動する)。ここで、fは該当する光学系の焦点距離、Fはその光学中心から画像の中心点に相当する被写体上の点迄の奥行き距離である。
FIG. 8C shows the positions of the points on the subject in the three-dimensional position space corresponding to the pixels Pi0 to Pi3 in a certain pixel row by white circles (outlined circles). Here, Pi0 is a point on X0.
First, distances L01 to L23 between adjacent points in these points are obtained. Then, the position after the rearrangement of the pixels to be rearranged is determined as a distance from the center line X0 of the image by sequentially adding the scales together. For example, Pi3 is rearranged at a position of (L01 + L12 + L23) · f / F (moves from a black circle that is a pixel position before expansion to a gray circle that is a pixel position after expansion). Here, f is the focal length of the corresponding optical system, and F is the depth distance from the optical center to a point on the subject corresponding to the center point of the image.
この再配置処理と、各画素間の補完処理により、横方向の歪が除去された画像が生成される。尚、画像は適宜拡大あるいは縮小されるように補正しても良い。その場合には補正時に一律に適当な係数によって画素数を増減すれば良い。 By the rearrangement process and the interpolation process between the pixels, an image from which lateral distortion is removed is generated. The image may be corrected so as to be enlarged or reduced as appropriate. In that case, the number of pixels may be increased or decreased uniformly by an appropriate coefficient at the time of correction.
これらの処理を行うことで、図7(b)に示したように歪が補正された結果が得られる。
換言すると、制御手段により書籍撮影モードが選択されて得られた画像データを、測距手段により取得した測距データに基づいて湾曲歪を補正することで、歪が補正された画像が得られる。
By performing these processes, a result in which distortion is corrected as shown in FIG. 7B is obtained.
In other words, the image data obtained by selecting the book photographing mode by the control means is corrected for the curvature distortion based on the distance measurement data acquired by the distance measurement means, thereby obtaining an image in which the distortion is corrected.
本発明における処理フローを図11に示す。カメラを撮影可能状態にすることをスタートとし、撮影モード切替ダイヤルにより書籍撮影モードが選択された場合(S1−1)、測距用撮像素子により距離画像(二次元の距離データ)が取得できるように準備を行う(S1−2)。この状態でシャッタレリーズにより画像取り込みが開始(S1−3)、終了(S1−4)し、その後、得られた距離画像に対して、書籍の歪補正に必要な測距データに変換(S1−5)し、画像データと測距データとの対応付けを行った上で記録手段により保存される(S1−6)。
また、画像データのフォーマットとしてExif(Exchangeable Image File Format)を使用し、前記書籍の歪補正に必要な測距データを埋め込んで記録するようにしても良い。撮像装置にて書籍を撮影する際に取得した距離データを画像データに埋め込んで記録することで、画像データと距離データが分離して、補正できなくなるような問題が生じないようになる。
A processing flow in the present invention is shown in FIG. When the camera is ready to shoot, and the book shooting mode is selected by the shooting mode switching dial (S1-1), the distance image (two-dimensional distance data) can be acquired by the distance measuring image sensor. (S1-2). In this state, image capturing starts (S1-3) and ends (S1-4) by shutter release, and then the obtained distance image is converted into distance measurement data necessary for correcting distortion of the book (S1- 5), the image data and the distance measurement data are associated with each other and stored by the recording means (S1-6).
Further, Exif (Exchangeable Image File Format) may be used as the image data format, and ranging data necessary for correcting the distortion of the book may be embedded and recorded. By embedding and recording the distance data acquired when the book is photographed by the imaging device, the problem that the image data and the distance data are separated and cannot be corrected does not occur.
なお、他の実施の形態として、(S1−5)の後に、書籍の歪補正に必要な測距データにより制御手段で画像データの湾曲歪を補正し、この湾曲歪の補正後の画像データを記録手段に記録してもよい。(S1−6’)
湾曲歪の補正後の画像データを記録することで、測距データを保存する必要がなくなる。また、湾曲歪の補正後の画像データが記録されているため、画像データを表示する際には湾曲歪の補正後の画像しか表示されないものの、表示のたびに毎回制御手段により湾曲歪の補正を行うことを要しないため処理が少なくてすむ。
As another embodiment, after (S1-5), the curvature distortion of the image data is corrected by the control means based on the distance measurement data necessary for the distortion correction of the book, and the corrected image data of the distortion distortion is obtained. You may record on a recording means. (S1-6 ′)
Recording the image data after correcting the curvature distortion eliminates the need to store the distance measurement data. Further, since the image data after correction of the curvature distortion is recorded, only the image after the correction of the curvature distortion is displayed when the image data is displayed, but each time the display is performed, the correction of the curvature distortion is performed by the control means. Less processing is required because there is no need to do so.
さらにその他の実施の形態として、測距センサによる検出結果(測距データ)から書籍の湾曲歪を充分に検出することができない場合、書籍の印刷情報(罫線、文字等)に基づいて書籍の湾曲歪を検出し、補正する構成を備えても良い。測距センサによる測距が出来なかった場合にも湾曲歪が補正できるため好ましい。 As yet another embodiment, when the distortion of the book cannot be sufficiently detected from the detection result (ranging data) by the distance measuring sensor, the book is curved based on the print information (ruled lines, characters, etc.) of the book. You may provide the structure which detects and correct | amends distortion. This is also preferable because curvature distortion can be corrected even when distance measurement cannot be performed by the distance measurement sensor.
(書籍撮影モードの第2の実施の形態)
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第2の実施の形態について説明する。
第2の実施の形態は、上記第1の実施の形態で取得された画像を撮像装置に設けられたLCD等の画像表示手段により表示する際の表示方法に関する。図12に処理フローを示す。
撮像装置において画像表示モードが選択されることをスタートとし、表示画像が書籍撮影モードで撮影されたデータである場合(S2−1)、対応する測距データを抽出し(S2−2)、上記第1の実施の形態で説明した書籍の湾曲歪み補正処理に基づいた補正を行い(S2−3)、補正画像を表示(S2−4)する。
本実施の形態によれば、書籍撮影モードで撮影された書籍画像を再生する際に、湾曲歪が補正された歪の少ない画像を自動的に表示できるようになる。
(Second embodiment of book shooting mode)
Next, a second embodiment of the book photographing mode that is a feature of the imaging apparatus according to the present invention will be described.
The second embodiment relates to a display method when the image acquired in the first embodiment is displayed by an image display means such as an LCD provided in an imaging apparatus. FIG. 12 shows a processing flow.
When the image display mode is selected in the imaging device and the display image is data photographed in the book photographing mode (S2-1), the corresponding distance measurement data is extracted (S2-2), and the above Correction based on the curvature distortion correction processing of the book described in the first embodiment is performed (S2-3), and a corrected image is displayed (S2-4).
According to the present embodiment, when a book image shot in the book shooting mode is played back, an image with less distortion with corrected curvature distortion can be automatically displayed.
また、ここでは図示していないが、補正画像をそのまま保存できるようなメニューや、画像の表示向きを変更するメニュー等があり、ユーザによる操作が行えるようにしても良い。 Although not shown here, there are a menu for saving the corrected image as it is, a menu for changing the display direction of the image, and the like, which may be operated by the user.
さらに、図13に示す処理フローには、画像表示時に書籍の画像が選択された際(S3−1)、書籍の湾曲歪の補正を実行するか否かをユーザが画像補正指示手段により指示(S3−2)できるようにし、指示された場合にのみ、測距データを抽出し(S3−3)、書籍の湾曲歪の補正を行い(S3−4)、補正画像を表示(S3−5)させるようにしても良い。書籍の湾曲歪の補正の実行が指示されなかった場合は、補正しないそのままの画像データを表示する。
湾曲歪の補正を指示できるようにすることで、歪補正が必要な画像に対してのみ補正処理を実行できるようになる。
Further, in the processing flow shown in FIG. 13, when an image of a book is selected at the time of image display (S3-1), the user instructs the image correction instruction means whether or not to correct the distortion of the book (step S3-1). S3-2) Only when instructed to do so, distance measurement data is extracted (S3-3), the curvature distortion of the book is corrected (S3-4), and a corrected image is displayed (S3-5) You may make it let it. When the execution of the correction of the bending distortion of the book is not instructed, the image data as it is not corrected is displayed.
By making it possible to instruct the correction of the bending distortion, the correction process can be executed only for an image that needs to be corrected.
(書籍撮影モードの第3の実施の形態)
次に、本発明に係る撮像装置の特徴となる書籍撮影モードの第3の実施の形態について説明する。
第3の実施の形態は、書籍の湾曲形状検出結果から書籍と撮像装置の相対位置関係を判定手段により判定し、書籍の撮影画像データを表示する際、書籍の向き(相対位置関係の判定)に応じて自動的に正しい向きで表示されるようにする回転設定する処理を行う。
書籍と撮像装置との方向を自動的に検出できるようにすることで、書籍を撮影した画像を再生する際に、正しい向き(書籍を読む向き)にて再生できるようになる。
この処理について図9及び図10を参照しながらより詳細に説明する。
(Third embodiment of book shooting mode)
Next, a third embodiment of the book photographing mode that is a feature of the imaging apparatus according to the present invention will be described.
In the third embodiment, the relative position relationship between the book and the imaging device is determined by the determination unit based on the detection result of the curved shape of the book, and when the captured image data of the book is displayed, the orientation of the book (determination of the relative position relationship) Rotation is set so that the correct orientation is automatically displayed according to the screen.
By making it possible to automatically detect the direction between the book and the imaging device, it is possible to reproduce the book in the correct direction (the direction in which the book is read) when the image obtained by photographing the book is reproduced.
This process will be described in more detail with reference to FIGS.
被写体になる書籍を撮影する際、カメラを横向きで撮影する場合(図9(a)横撮影)と縦向きで撮影する場合(図9(b)縦撮影)とがある。書籍を撮影する場合には上記第1、第2の実施の形態に記載の書籍撮影モードを選択する。
書籍撮影モードでは測距用撮像素子により距離画像を取得し、書籍の歪み補正に必要な測距データを取得できる。測距データにおいて画像の縦方向の変化量と横方向の変化量を演算し、変化量が大きい方向を書籍の湾曲方向として認識する(図9(a)、(b)に太線で図示)。前記変化量としては、測距データの変動量(最大−最小)、標準偏差等、変化量を定量的に比較できる統計量とし、縦方向と横方向の大きさを比較する。
When shooting a book to be the subject, there are a case where the camera is taken in landscape orientation (FIG. 9 (a) landscape photography) and a case where the camera is photographed in portrait orientation (FIG. 9 (b) portrait photography). When photographing a book, the book photographing mode described in the first and second embodiments is selected.
In the book photographing mode, a distance image can be acquired by a distance measuring image sensor, and distance measuring data necessary for correcting distortion of the book can be acquired. In the distance measurement data, the amount of change in the vertical direction and the amount of change in the horizontal direction of the image are calculated, and the direction in which the amount of change is large is recognized as the curving direction of the book (shown in bold lines in FIGS. 9A and 9B). The amount of change is a statistic that can quantitatively compare the amount of change, such as a variation (maximum-minimum) or standard deviation of the distance measurement data, and the magnitudes in the vertical and horizontal directions are compared.
見開き原稿の形状は見開き部において、高さ方向に対して同一方向に湾曲するという共通の特徴量を有し、多くの書籍では、湾曲方向に対して直行した方向が読む上での正しい向きになっている。図9の青の太線が湾曲方向で、直行した方向が書籍の“上”(図9に図示)側になっている。このように、湾曲方向から書籍の“上“側を認識し、画像データに付与することで、図10に示したように画像を表示する際に、”上“側を画像表示手段上でも上側に表示させるようにすることで、撮影した書籍を正しい向きで表示できるようになる。 The shape of a two-page spread has a common feature that it is curved in the same direction with respect to the height direction at the two-page spread, and in many books, the direction orthogonal to the bending direction is the correct orientation for reading. It has become. The blue thick line in FIG. 9 is the curve direction, and the direction perpendicular to the “up” side (shown in FIG. 9) of the book. In this way, when the image is displayed as shown in FIG. 10 by recognizing the “up” side of the book from the curving direction and adding it to the image data, the “up” side is also the upper side on the image display means. By making it display on, the photographed book can be displayed in the correct orientation.
なお、綴じ部が水平、垂直方向に対して中途半端な傾き(例えば10°傾いているなど)のときにも同様に、自動的に垂直方向に修正することが好ましい。
また、カレンダーなどは綴じ部を中心に上下にページをめくるので自動的な回転をON/OFFする設定があることが好ましい。
Similarly, when the binding portion is inclined halfway with respect to the horizontal and vertical directions (for example, inclined by 10 °), it is preferable that the binding portion is automatically corrected in the vertical direction.
In addition, since a calendar or the like turns a page up and down around the binding portion, it is preferable to set automatic rotation ON / OFF.
以上の第1〜3の実施の形態によれば、データ容量が大幅に増大することなく書籍画像の湾曲歪を補正し歪の少ない画像が取得でき、且つ、ポータビリティに優れ、小型で低コストを達成できる。 According to the first to third embodiments described above, it is possible to correct the curving distortion of the book image without significantly increasing the data capacity and obtain an image with less distortion, and to have excellent portability, small size, and low cost. Can be achieved.
1 デジタルカメラ(撮像装置)
2 撮影レンズ系
3 測距装置
4 レンズアレイ
5a 第1の測距レンズ
5b 第2の測距レンズ
7 レリーズボタン
8 撮影モード切替ダイヤル
11 CCDイメージセンサ
12 信号処理部
13 操作部
14 制御部
15 LCD
16 フォーカスレンズ駆動部
17 絞りユニット駆動部
18 メモリカード
20 筐体
21 撮像素子基盤
22a 測距用撮像素子
22b 測距用撮像素子
24 回路基板
25 測距用演算部
A 被写体
Δ 視差
L 測距用レンズと被写体間の距離
f 焦点距離
D 光軸間の距離(基線長)
1 Digital camera (imaging device)
DESCRIPTION OF SYMBOLS 2 Shooting lens system 3 Distance measuring device 4 Lens array 5a 1st ranging lens 5b 2nd ranging lens 7 Release button 8 Shooting mode switch dial 11 CCD image sensor 12 Signal processing part 13 Operation part 14 Control part 15 LCD
16 Focus lens drive unit 17 Aperture unit drive unit 18 Memory card 20 Housing 21 Image sensor base 22a Distance image sensor 22b Distance image sensor 24 Circuit board 25 Distance calculation unit A Subject Δ Parallax L Distance lens Distance between the subject and the object f Focal distance D Distance between the optical axes (base line length)
Claims (9)
該撮像素子に被写体の像を結像させる撮影レンズ系と、
前記撮像素子の信号から画像データを生成する画像生成手段と、
前記画像データを記録する記録手段と、
前記被写体の距離を多点測距し測距データを取得する測距手段と、
前記被写体として書籍を撮影する書籍撮影モードと、
前記書籍撮影モードで得られた画像データを、前記測距手段により取得した測距データに基づいて湾曲歪を補正する制御手段と、を備え、
前記測距手段は、二次元における一方向に対する距離の変化量に応じて、異なる分解能に変換した前記測距データを取得することを特徴とする撮像装置。 An image sensor;
A taking lens system for forming an image of a subject on the image sensor;
Image generating means for generating image data from a signal of the image sensor;
Recording means for recording the image data;
Distance measuring means for measuring the distance of the subject in multiple points and obtaining distance measurement data;
A book shooting mode for shooting a book as the subject;
Control means for correcting the distortion of the image data obtained in the book photographing mode based on distance measurement data acquired by the distance measurement means;
The distance measuring means, in accordance with a change in distance with respect to one direction in two dimensions, an imaging apparatus characterized by obtaining the distance measurement data converted into different resolutions.
前記記録手段は、前記撮像素子の信号から生成された前記画像データと、前記測距手段により取得された測距データと、を対応させて記録し、
前記書籍撮影モードで得られた画像データを表示する際には、前記制御手段が前記画像データおよび前記測距データを読み出して湾曲歪を補正し、前記表示手段が当該湾曲歪を補正後の画像データを表示することを特徴とする請求項1に記載の撮像装置。 Further comprising display means for displaying the image data,
The recording means records the image data generated from the signal of the imaging element in correspondence with the distance measurement data acquired by the distance measurement means,
When displaying the image data obtained in the book photographing mode, the control means reads the image data and the distance measurement data to correct the curvature distortion, and the display means corrects the curvature distortion. The imaging apparatus according to claim 1, wherein data is displayed.
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示された場合は、前記制御手段が前記画像データの湾曲歪の補正をし、前記表示手段が当該湾曲歪を補正後の画像データを表示し、
前記画像補正指示手段により前記画像データの湾曲歪の補正の実行が指示されていない場合は、前記制御手段が前記画像データの湾曲歪の補正をせずに、前記表示手段が前記画像データを表示することを特徴とする請求項2に記載の撮像装置。 Image correction instruction means for instructing the control means to execute correction of curvature distortion of the image data;
When execution of correction of the curvature distortion of the image data is instructed by the image correction instruction means, the control means corrects the curvature distortion of the image data, and the display means corrects the curvature distortion. Display data,
When the execution of correction of the curvature distortion of the image data is not instructed by the image correction instruction means, the display means displays the image data without the control means correcting the curvature distortion of the image data. The imaging apparatus according to claim 2 , wherein:
前記画像データは、前記判定手段の判定に基づき表示方向を自動的に回転設定されて表示されることを特徴とする請求項1に記載の撮像装置。 A display unit that displays the image data recorded by the recording unit; and a determination unit that determines a relative positional relationship between the imaging device and the book,
The image pickup apparatus according to claim 1, wherein the image data is displayed with a display direction automatically set based on determination by the determination unit.
前記画像データを記録する記録工程と、
前記被写体の距離を多点測距し測距データを取得する測距工程と、
前記被写体として書籍を撮影する書籍撮影モードを設定する工程と、
前記書籍撮影モードで得られた画像データを、前記測距工程により取得した測距データに基づいて湾曲歪を補正する制御工程と、を備え、
前記測距工程では、二次元における一方向に対する距離の変化量に応じて、異なる分解能に変換した前記測距データを取得することを特徴とする撮像方法。 An image generation step of forming an image of a subject on an image sensor via a photographing lens system and generating image data from a signal of the image sensor;
A recording step for recording the image data;
A distance measuring step for measuring the distance of the subject by multipoint distance measurement and obtaining distance measurement data;
Setting a book shooting mode for shooting a book as the subject;
A control step of correcting image distortion obtained in the book photographing mode based on distance measurement data acquired by the distance measurement step;
In the distance measuring step, the distance measuring data converted into different resolutions is acquired according to a change amount of a distance in one direction in two dimensions.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233883A JP5909990B2 (en) | 2011-10-25 | 2011-10-25 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011233883A JP5909990B2 (en) | 2011-10-25 | 2011-10-25 | Imaging apparatus and imaging method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013093704A JP2013093704A (en) | 2013-05-16 |
JP2013093704A5 JP2013093704A5 (en) | 2014-09-18 |
JP5909990B2 true JP5909990B2 (en) | 2016-04-27 |
Family
ID=48616509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011233883A Active JP5909990B2 (en) | 2011-10-25 | 2011-10-25 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5909990B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6217378B2 (en) * | 2013-12-20 | 2017-10-25 | カシオ計算機株式会社 | Page image correction apparatus, page image correction method, and program |
JP6521481B2 (en) * | 2015-03-19 | 2019-05-29 | カシオ計算機株式会社 | Image correction apparatus, image correction method, program |
JP6746892B2 (en) | 2015-09-30 | 2020-08-26 | ヤマハ株式会社 | Image processing apparatus, image processing method and program |
JP6728615B2 (en) | 2015-09-30 | 2020-07-22 | ヤマハ株式会社 | IMAGE CORRECTION DEVICE, IMAGE CORRECTION METHOD, AND PROGRAM |
WO2017057694A1 (en) | 2015-09-30 | 2017-04-06 | ヤマハ株式会社 | Musical score image analysis device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1028206A (en) * | 1996-07-10 | 1998-01-27 | Minolta Co Ltd | Picture reader |
JP2001189847A (en) * | 2000-01-04 | 2001-07-10 | Minolta Co Ltd | Device and method for correcting picture tilt, and recording medium storing picture tilt correcting program |
JP2002077578A (en) * | 2000-08-30 | 2002-03-15 | Minolta Co Ltd | Apparatus and method for correcting distortion as well as distortion correction program recording computer readable recording medium |
JP4222238B2 (en) * | 2004-03-19 | 2009-02-12 | カシオ計算機株式会社 | Imaging apparatus and imaging control method |
JP2008286527A (en) * | 2007-05-15 | 2008-11-27 | Panasonic Corp | Compound eye distance measuring device |
JP5006250B2 (en) * | 2008-04-30 | 2012-08-22 | 株式会社リコー | Image correction apparatus, image correction method, image correction program, and recording medium |
-
2011
- 2011-10-25 JP JP2011233883A patent/JP5909990B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013093704A (en) | 2013-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4012710B2 (en) | Image input device | |
CN1901625B (en) | Electronic camera for capturing image as digital data | |
TWI518436B (en) | Image capturing apparatus and image processing method | |
US8233073B2 (en) | Image capturing device with improved image quality | |
JP5397751B2 (en) | Camera and image correction method | |
CN103024265B (en) | The image capture method of camera head and camera head | |
CN101836150B (en) | Image sensing apparatus | |
JP5909990B2 (en) | Imaging apparatus and imaging method | |
JP4732303B2 (en) | Imaging device | |
JP2009111813A (en) | Projector, image data acquisition method for projector, and imaging device | |
JP2013219525A (en) | Imaging device, control method therefor, and program | |
JP2003015218A (en) | Projection display device | |
JP2004343476A (en) | Image pickup device, processor of image pickup result, and method for processing same result | |
JP2012019292A (en) | Imaging inspection device of 3d camera module and imaging inspection method thereof, imaging inspection control program of 3d camera module, imaging correction method of 3d camera module, imaging correction control program of 3d camera module, readable recording medium, 3d camera module and electronic information apparatus | |
JP6098784B2 (en) | Image processing apparatus and program | |
JP2010130181A (en) | Image acquiring apparatus | |
JP5363872B2 (en) | Image correction apparatus and program thereof | |
JP3493886B2 (en) | Digital camera | |
JP4390779B2 (en) | Image input device | |
JP2014116789A (en) | Photographing device, control method therefor, and program | |
JP2005340872A (en) | Image input apparatus | |
JP5953325B2 (en) | CCD camera device | |
JP7271316B2 (en) | Imaging device and its control method | |
JP7463133B2 (en) | Area measuring device, area measuring method, and program | |
JP5444970B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160314 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5909990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |