JP2014038426A

JP2014038426A - Image processor

Info

Publication number: JP2014038426A
Application number: JP2012179722A
Authority: JP
Inventors: Yusuke Ota; 雄介太田; Takeshi Namie; 健史浪江; Takahiro Imai; 崇尋今井
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-08-14
Filing date: 2012-08-14
Publication date: 2014-02-27

Abstract

PROBLEM TO BE SOLVED: To provide an image processor which prevents influence of reflection, such as reflected light to a photographed image, and does not need time and efforts for photographing an object from a plurality of directions.SOLUTION: The image processor has a housing, two or more imaging means, attachment means for attaching the two or more imaging means to the housing, defect state determination means for determining a defect state for each of two or more photographed images acquired by the two or more imaging means, and image composition means for compensating the defect state determined by the defect state determination means and combining the two or more photographed images to generate a composite image. The attachment means has relative position changing means for changing a relative position of the two or more imaging means to the housing while holding a relative angle of the two or more imaging means to the housing.

Description

本発明は、撮影画像への光や影の映り込みの影響を抑える画像処理装置に関する。 The present invention relates to an image processing apparatus that suppresses the influence of reflection of light or shadow on a captured image.

従来から、ポスターやホワイトボード等のように表面に光沢がある被写体をカメラで撮影した場合、蛍光灯の反射光や、建物の影などが撮影画像に映り込んでしまい、内容の判読が困難になってしまうことがある。それを回避するための技術としてポスターやホワイトボード等の被写体を複数の方向から撮影し、それら複数の撮影画像を合成することで映り込みを防止する技術が既に知られている。 Conventionally, when shooting a subject with a glossy surface such as a poster or whiteboard with a camera, the reflected light of a fluorescent light or the shadow of a building is reflected in the captured image, making it difficult to interpret the contents. It may become. As a technique for avoiding this, there is already known a technique in which a subject such as a poster or a whiteboard is photographed from a plurality of directions, and the plurality of photographed images are combined to prevent reflection.

特許文献１には、撮影画像への反射光などの映り込みの影響を防止する目的で、異なる方向から被写体を複数回撮影して画像を取得し、取得した撮影画像を合成する技術が開示されている。 Patent Document 1 discloses a technique for capturing an image by capturing a subject multiple times from different directions and synthesizing the acquired captured images for the purpose of preventing the influence of reflection of reflected light or the like on the captured image. ing.

しかし、特許文献１に記載の技術においては、撮影画像への反射光などの映り込みの影響を防止するために、被写体を複数の方向から撮影すべく撮影者が移動しなければならず、時間や労力を要するという問題がある。 However, in the technique described in Patent Document 1, in order to prevent the influence of reflection of reflected light or the like on a photographed image, the photographer has to move to photograph the subject from a plurality of directions. And there is a problem of requiring labor.

そこで、本発明は、撮影画像への反射光などの映り込みの影響を防止するとともに、被写体を複数の方向から撮影する時間や労力を要することがない画像処理装置を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an image processing apparatus that prevents the influence of reflection of reflected light or the like on a photographed image and that does not require time and labor for photographing a subject from a plurality of directions. .

上記の課題を解決するため、本発明の画像処理装置は、筐体と、２以上の撮像手段と、２以上の撮像手段を筐体に取り付ける取付手段と、２以上の撮像手段により取得した２以上の撮影画像ごとの欠損状況を判定する欠損状況判定手段と、欠損状況判定手段により判定した欠損状況を補うとともに、２以上の撮影画像を合成して合成画像を生成する画像合成手段とを有する画像処理装置であって、取付手段は、２以上の撮像手段の筐体に対する相対角度を保持しつつ、２以上の撮像手段の筐体に対する相対位置を変更する相対位置変更手段を有することを特徴とする。 In order to solve the above-described problems, an image processing apparatus according to the present invention is obtained by a case, two or more imaging units, an attaching unit for attaching two or more imaging units to the case, and two or more imaging units. Defect situation determination means for determining a defect situation for each captured image, and an image composition means for supplementing the defect situation determined by the defect situation judgment means and generating a composite image by synthesizing two or more photographed images In the image processing apparatus, the attachment unit includes a relative position changing unit that changes a relative position of the two or more imaging units with respect to the housing while maintaining a relative angle of the two or more imaging units with respect to the housing. And

本発明によれば、一度の撮影で反射光の映り込みの影響を抑えた撮影画像を取得できるため、被写体を複数の方向から撮影する時間や労力を省くことができる。 According to the present invention, since it is possible to acquire a captured image that suppresses the influence of reflected light in one shooting, it is possible to save time and labor for shooting a subject from a plurality of directions.

本発明の実施形態の画像処理装置の構成例を示した模式図である。It is the schematic diagram which showed the example of a structure of the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置としてのデジタルステレオカメラの構成を示す斜視図である。1 is a perspective view illustrating a configuration of a digital stereo camera as an image processing apparatus according to an embodiment of the present invention. 本発明の実施形態の画像処理装置としてのデジタルステレオカメラの背面図である。1 is a rear view of a digital stereo camera as an image processing apparatus according to an embodiment of the present invention. 本発明の実施形態のデジタルステレオカメラの正面図および縦断面図である。It is the front view and longitudinal cross-sectional view of the digital stereo camera of embodiment of this invention. 本発明の実施形態のデジタルステレオカメラの横断面図および撮像部の回転模式図である。It is the cross-sectional view of the digital stereo camera of embodiment of this invention, and the rotation schematic diagram of an imaging part. 本発明の実施形態の画像処理装置における画像合成イメージを示す模式図である。It is a schematic diagram which shows the image composite image in the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置の機能ブロック図を示す図である。It is a figure which shows the functional block diagram of the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置における画像処理手順を示すフローチャートである。It is a flowchart which shows the image processing procedure in the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置における画像変換処理手順を示すフローチャートである。It is a flowchart which shows the image conversion process sequence in the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置における画像合成処理イメージを示す模式図である。It is a schematic diagram which shows the image composition process image in the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置における撮像部位置を変更するその他の機構を示す模式図である。It is a schematic diagram which shows the other mechanism which changes the imaging part position in the image processing apparatus of embodiment of this invention. 本発明の実施形態の画像処理装置の別の機能ブロック図を示す図である。It is a figure which shows another functional block diagram of the image processing apparatus of embodiment of this invention. ステレオカメラで撮影した左右画像を合成したときに反射光の重なり領域を修復できない様子を示す模式図である。It is a schematic diagram which shows a mode that the overlapping area | region of reflected light cannot be repaired when the left-right image image | photographed with the stereo camera is synthesize | combined. ステレオカメラの撮像部筐体を撮像部の角度を変更せずに回転させた様子を示す模式図である。It is a schematic diagram which shows a mode that the imaging part housing | casing of the stereo camera was rotated without changing the angle of an imaging part. ステレオカメラの撮像部筐体を撮像部の角度を変更せずに回転させた場合の撮像領域の様子を示す模式図である。It is a schematic diagram which shows the mode of the imaging area at the time of rotating the imaging part housing | casing of a stereo camera, without changing the angle of an imaging part.

本発明の実施形態の画像処理装置について図面を用いて以下詳細に説明する。本実施形態においては、画像処理装置としてデジタルステレオカメラを用いるが、通常のデジタルステレオカメラと異なり、２つのカメラの筐体に対する相対的な位置関係を変更できるようにしたものである。 An image processing apparatus according to an embodiment of the present invention will be described below in detail with reference to the drawings. In this embodiment, a digital stereo camera is used as an image processing apparatus. However, unlike a normal digital stereo camera, the relative positional relationship between two cameras with respect to the housing can be changed.

なぜなら、２つのカメラが水平に並んだ通常のステレオカメラを用いてホワイトボードを撮影した場合、ホワイトボード撮影画像にホワイトボードの横方向に水平な蛍光灯の映り込みがあると、画像処理においてその映り込みを完全に消すことができないからである。 This is because, when a whiteboard is shot using a normal stereo camera with two cameras arranged horizontally, if a white fluorescent lamp appears in the horizontal direction of the whiteboard, This is because the reflection cannot be completely erased.

例えば、図１４に示すような状況においては、ホワイトボードの全ての領域を修復することができない。図１４は、通常のステレオカメラを使用して撮影したホワイトボードの撮影画像に、ホワイトボードの横方向に水平であって、横長な蛍光灯の映り込みがあった場合に、撮影で得られた左右画像を合成した様子を示したものである。 For example, in the situation shown in FIG. 14, not all areas of the whiteboard can be repaired. FIG. 14 is obtained by photographing when a whiteboard photographed using a normal stereo camera includes a horizontal fluorescent light that is horizontal in the horizontal direction of the whiteboard. It shows how the left and right images are combined.

ホワイトボードの上方中央に横長な蛍光灯の映り込みがあった場合に、通常のステレオカメラで撮影すると、左カメラ画像Ｅでは、蛍光灯の映り込みが撮影画像の右寄りに映し出され、一方で右カメラ画像Ｆでは、蛍光灯の映り込みが撮影画像の左寄りに映し出される。そして、これらの左右カメラ画像を合成した合成画像Ｇにおいて、左右画像で映し出されていた蛍光灯の映り込みが重なる領域が発生する。 If there is a reflection of a long fluorescent lamp in the upper center of the whiteboard, when shooting with a normal stereo camera, the left camera image E shows the reflection of the fluorescent lamp on the right side of the shot image, while the right In the camera image F, the reflection of the fluorescent lamp is displayed on the left side of the captured image. In the synthesized image G obtained by synthesizing these left and right camera images, an area where the reflection of the fluorescent lamps projected in the left and right images overlaps occurs.

この映り込みが重なる領域に対して輝度補正を行っても元の画像を修復することは不可能である。映り込みが重なっていなければ、左右画像で何れか正常な画素と映り込みが発生した異常画素とを相互に変換して合成すればよいが、映り込みが重なってしまった領域において対応する異常画素同士を相互に変換しても修復が不可能であることは明らかである。 It is impossible to restore the original image even if the luminance correction is performed on the area where the reflections overlap. If the reflections do not overlap, either normal pixels in the left and right images and abnormal pixels in which reflections have occurred can be converted to each other and synthesized, but the corresponding abnormal pixels in the areas where the reflections overlap It is clear that repairs are impossible even if they are converted to each other.

ここで、図１５に示すように、上記のような映り込みの重なる領域を発生させないために、ステレオカメラ８００の筐体８１１に対して水平に配置された撮像部としての２つのカメラ８１３、８１４が取り付けられたカメラ部筐体８１２を９０°回転することとする。この場合、２つのカメラ８１３、８１４の何れもカメラ部筐体８１２と一緒に回転してしまうことになる。より詳細には、２つのカメラをカメラ部筐体８１２と共に右に回転させた場合、２つのカメラのカメラ筐体に対する相対角度が変わることで２つのカメラの上部が右側になるということである。 Here, as shown in FIG. 15, two cameras 813 and 814 as image pickup units arranged horizontally with respect to the casing 811 of the stereo camera 800 in order not to generate the overlapping region of the reflection as described above. Suppose that the camera unit casing 812 to which is attached is rotated by 90 °. In this case, both of the two cameras 813 and 814 rotate together with the camera unit casing 812. More specifically, when the two cameras are rotated to the right together with the camera unit casing 812, the relative angle of the two cameras with respect to the camera casing changes, so that the upper portions of the two cameras become the right side.

この場合、図１６に示すように、回転後の２つのカメラでホワイトボードを撮影しようとすると、図の破線で示すように撮像領域が９０°回転することにより、映り込み領域の重なりは解消できても、一方で横長のホワイトボードを撮影しづらくなってしまうという事態が発生することになる。 In this case, as shown in FIG. 16, when the two cameras after rotation are to be photographed, the imaging area is rotated by 90 ° as shown by the broken line in the figure, so that the overlapping of the reflection areas can be eliminated. However, on the other hand, there will be a situation where it becomes difficult to shoot a horizontally long whiteboard.

そこで、本実施形態の画像処理装置においては、２つのカメラの筐体に対する相対的な角度を保持したまま相対的な位置関係を変更できるようにして、上述の問題を解決しようとするものである。本実施形態の画像処理装置は、図１（ａ）に示すように、デジタルステレオカメラ１単体であってもよく、また、図１（ｂ）に示すように、撮像装置としてのデジタルステレオカメラ１００と、デジタルステレオカメラ１００で撮影した画像の合成処理などをＵＳＢケーブル等の有線や、無線ネットワークで接続されたノートパソコン５００などの情報処理装置で行うシステム構成であってもよい。 Therefore, in the image processing apparatus of the present embodiment, the relative positional relationship can be changed while maintaining a relative angle with respect to the housings of the two cameras, and an attempt is made to solve the above-described problem. . The image processing apparatus of the present embodiment may be a single digital stereo camera 1 as shown in FIG. 1A, or a digital stereo camera 100 as an imaging apparatus as shown in FIG. 1B. In addition, a system configuration may be used in which an image captured by the digital stereo camera 100 is combined with an information processing apparatus such as a notebook computer 500 connected via a wired or wireless network such as a USB cable.

以降の説明においては、本実施形態の画像処理装置としてデジタルステレオカメラ１単体で全ての処理を行う場合を例にとって説明するものとする。図２に示すように、本実施形態のデジタルステレオカメラ１は、カメラ筐体１１と、撮像部筐体１２と、撮像装置１３および１４と、外部記録ユニット差込部１５と、シャッターボタン１６と、電源ボタン１７とを備える。また、外部記録ユニットとしてのメモリーカード５０を外部記録ユニット差込部１５に差し込むことで撮影された画像をメモリーカード５０に記録することができる。なお、デジタルステレオカメラ１に内蔵された不図示のハードディスク等に撮影画像が記録される構成であってもよい。 In the following description, a case where all processing is performed by the digital stereo camera 1 alone as the image processing apparatus of the present embodiment will be described as an example. As shown in FIG. 2, the digital stereo camera 1 of the present embodiment includes a camera housing 11, an imaging unit housing 12, imaging devices 13 and 14, an external recording unit insertion unit 15, and a shutter button 16. And a power button 17. In addition, a photographed image can be recorded on the memory card 50 by inserting the memory card 50 as an external recording unit into the external recording unit insertion portion 15. In addition, the structure by which a picked-up image is recorded on the hard disk not shown etc. which were incorporated in the digital stereo camera 1 may be sufficient.

本実施形態のデジタルステレオカメラ１は、横長のカメラ筐体１１の前面に撮像部１３および１４をカメラ筐体１１に取り付けるための取付手段としての撮像部筐体１２を有する。本実施形態では、この撮像部筐体１２がカメラ筐体１１に対して回転する構成をとるものであるが、これについては後述するものとする。 The digital stereo camera 1 of the present embodiment has an imaging unit housing 12 as an attaching means for attaching the imaging units 13 and 14 to the camera housing 11 on the front surface of a horizontally long camera housing 11. In the present embodiment, the imaging unit housing 12 is configured to rotate with respect to the camera housing 11, which will be described later.

さらに、図３に示すように、本実施形態のデジタルステレオカメラ１は、その背面に例えば液晶などのモニタ１８を備える。このモニタ１８には、撮影された画像が表示されることは言うに及ばず、デジタルステレオカメラ１本体の各種設定画面や、後述する撮影画像における異常をユーザに知らせるアイコンなどが表示されるものである。 Further, as shown in FIG. 3, the digital stereo camera 1 of the present embodiment includes a monitor 18 such as a liquid crystal on the back surface thereof. Needless to say, captured images are displayed on the monitor 18, and various setting screens of the digital stereo camera 1, icons for notifying the user of abnormalities in captured images described later, and the like are displayed. is there.

次に、本実施形態のデジタルステレオカメラ１における撮像部１３および１４を回転させる機構について図４から図６を用いて以下説明する。図４（ａ）は、本実施形態のデジタルステレオカメラ１の正面図であり、図４（ｂ）は、撮像部筐体１２をカメラ筐体１１の前面と平行に輪切りにした縦断面図である。 Next, a mechanism for rotating the imaging units 13 and 14 in the digital stereo camera 1 of the present embodiment will be described below with reference to FIGS. FIG. 4A is a front view of the digital stereo camera 1 of the present embodiment, and FIG. 4B is a longitudinal sectional view in which the imaging unit housing 12 is cut into a ring parallel to the front surface of the camera housing 11. is there.

図４（ｂ）に示すように、撮像部筐体１２内部には、カメラ筐体１２の長手方向に平行で横一列に５つの同一径の歯車がお互いに噛み合わされた状態で搭載されている。歯車２１は、撮像部１３の中心軸に固定され、この中心軸を介して左右に回動する。また、歯車２２は、歯車２１と噛み合わされて後述する歯車２３の回動を歯車２１へ伝達するため、歯車２１および歯車２３とは逆方向に回動する。 As shown in FIG. 4B, the imaging unit housing 12 is mounted with five gears having the same diameter parallel to the longitudinal direction of the camera housing 12 and in mesh with each other. . The gear 21 is fixed to the central axis of the imaging unit 13 and rotates to the left and right via the central axis. Further, the gear 22 is meshed with the gear 21 and transmits the rotation of the gear 23 described later to the gear 21, and thus rotates in the opposite direction to the gear 21 and the gear 23.

また、歯車２３は、カメラ筐体１１の中心軸と固定され、この中心軸を介して撮像部筐体１２を左右に回動する。歯車２４は、歯車２３と噛み合わされ、歯車２３の回動を後述する歯車２５へ伝達するため、歯車２３とは逆方向に回動する。そして、歯車２５は、撮像部１４の中心軸に固定され、この中心軸を介して左右に回動する。また、歯車２５は、歯車２４に噛み合わされ、歯車２４とは逆方向、つまり歯車２３と同一方向に回動する。 The gear 23 is fixed to the central axis of the camera casing 11, and rotates the imaging unit casing 12 to the left and right via the central axis. The gear 24 is meshed with the gear 23 and transmits the rotation of the gear 23 to the gear 25 described later, and thus rotates in the opposite direction to the gear 23. The gear 25 is fixed to the central axis of the imaging unit 14 and rotates to the left and right via the central axis. The gear 25 is engaged with the gear 24 and rotates in the opposite direction to the gear 24, that is, in the same direction as the gear 23.

なお、本発明において、歯車２３を第１歯車とし、歯車２１および歯車２５を第２歯車とし、歯車２２および歯車２４を第３歯車とする。また、本発明において、カメラ筐体１１の中心軸を第１中心軸とし、撮像部１３および撮像部１４それぞれの中心軸を第２中心軸とする。さらに、本発明において、例えば、これらの歯車で撮像部筐体１２や撮像部１３並びに撮像部１４を回転させる機構全体を総称して歯車機構とし、このような歯車機構を含む撮像部のカメラ筐体１１に対する相対的な位置を変更する上位概念としての構成を相対位置変更手段とする。 In the present invention, the gear 23 is a first gear, the gear 21 and the gear 25 are second gears, and the gear 22 and the gear 24 are third gears. In the present invention, the central axis of the camera housing 11 is a first central axis, and the central axes of the imaging unit 13 and the imaging unit 14 are second central axes. Further, in the present invention, for example, the entire mechanism for rotating the imaging unit housing 12, the imaging unit 13, and the imaging unit 14 with these gears is collectively referred to as a gear mechanism, and the camera housing of the imaging unit including such a gear mechanism is used. A configuration as a superordinate concept that changes the relative position with respect to the body 11 is referred to as a relative position changing means.

本実施形態の歯車機構について、図５を用いてさらに詳細に説明する。図５（ａ）は、図４（ａ）で示した本実施形態のデジタルステレオカメラ１を上方から見たＡ−Ａ’断面図である。なお、カメラ筐体１１内部構造については説明を省略する。 The gear mechanism of the present embodiment will be described in more detail with reference to FIG. FIG. 5A is a cross-sectional view of the digital stereo camera 1 of the present embodiment shown in FIG. A description of the internal structure of the camera housing 11 is omitted.

本実施形態の歯車機構において、歯車２１から歯車２５はすべて同径サイズで、同じ歯数の歯車である。また、これらの歯車は、カメラ筐体１１の横方向に平行に直線状に配置されすべての歯車同士の歯が噛み合っているものとする。 In the gear mechanism of the present embodiment, the gears 21 to 25 are all gears having the same diameter and the same number of teeth. These gears are arranged linearly in parallel to the lateral direction of the camera housing 11 and the teeth of all the gears are engaged with each other.

上述の通り、歯車２１、歯車２３、歯車２５はそれぞれ撮像部１３、カメラ筐体１１、撮像部１４に対して不動である。またカメラ筐体１１と撮像部筐体１２を歯車２３を中心に回動させることができる。ただし、この場合のカメラ筐体１１の回動は、撮像部筐体１２が回動することに対する相対的なものである。さらに、撮像部筐体１２に対して撮像部１３と撮像部１４をそれぞれ歯車２１、歯車２５により回動させることができる。なお、本実施形態においては、例えば歯車２３を回動させるための不図示の駆動手段を備える。 As described above, the gear 21, the gear 23, and the gear 25 are immovable with respect to the imaging unit 13, the camera housing 11, and the imaging unit 14, respectively. Further, the camera housing 11 and the imaging unit housing 12 can be rotated around the gear 23. However, the rotation of the camera housing 11 in this case is relative to the rotation of the imaging unit housing 12. Further, the imaging unit 13 and the imaging unit 14 can be rotated with respect to the imaging unit housing 12 by a gear 21 and a gear 25, respectively. In the present embodiment, for example, a driving means (not shown) for rotating the gear 23 is provided.

この場合、カメラ筐体１１に対して撮像部筐体１２を角度α分回動させたとする。すると、歯車２３はカメラ筐体１１に対して不動であるため、撮像部筐体１２に対して角度−α分だけ回動する。歯車２３の回動が伝えられた、歯車２２、歯車２４はそれぞれ撮像部筐体１２に対して角度α分ずつ回動する。そのとき歯車２２、歯車２４の回動が伝えられた、歯車２１、歯車２５はそれぞれ、撮像部筐体１２に対して角度−α分回動する。つまり歯車２１、歯車２３、歯車２５は必ず同じ向きを保ち続けることになる。 In this case, it is assumed that the imaging unit housing 12 is rotated by an angle α with respect to the camera housing 11. Then, since the gear 23 is immovable with respect to the camera housing 11, the gear 23 rotates by an angle −α with respect to the imaging unit housing 12. The gear 22 and the gear 24 to which the rotation of the gear 23 is transmitted are rotated by an angle α with respect to the imaging unit housing 12. At this time, the rotation of the gear 22 and the gear 24 is transmitted, and the gear 21 and the gear 25 respectively rotate with respect to the imaging unit housing 12 by an angle −α. That is, the gear 21, the gear 23, and the gear 25 always keep the same direction.

そして、歯車２３はカメラ筐体１１に対して回動しないので、歯車２１、歯車２５もカメラ筐体に対して回動しない。したがって、歯車２１、歯車２５に対して不動な撮像部１３、撮像部１４もカメラ筐体１１に対して回動しないことになる。 Since the gear 23 does not rotate with respect to the camera housing 11, the gear 21 and the gear 25 also do not rotate with respect to the camera housing. Therefore, the imaging unit 13 and the imaging unit 14 that are immobile with respect to the gear 21 and the gear 25 are not rotated with respect to the camera housing 11.

本実施形態の歯車機構によれば、図５（ｂ）に示すように、例えば撮像部筐体１２を９０°右に回転させても、撮像部１３および撮像部１４共にカメラ筐体１１に対する相対的な角度を変えることなく、撮像部１３および撮像部１４のカメラ筐体１１に対する相対的な位置を、例えば水平の位置関係から上下の位置関係へ、変更することができる。 According to the gear mechanism of the present embodiment, as shown in FIG. 5B, for example, even when the imaging unit housing 12 is rotated 90 ° to the right, both the imaging unit 13 and the imaging unit 14 are relative to the camera housing 11. The relative positions of the imaging unit 13 and the imaging unit 14 with respect to the camera housing 11 can be changed from, for example, a horizontal positional relationship to an upper and lower positional relationship without changing the general angle.

よって、本実施形態の歯車機構によれば、図６に示すように、撮像部１３による上カメラ画像Ｂと、撮像部１４による下カメラ画像Ｃを合成した合成画像Ｄにおいて、蛍光灯の映り込み領域が重なり合うことが無くなり、上下画像で何れか正常な画素と映り込みが発生した異常画素とを相互に変換して合成することで映り込み領域を修復することが可能となる。なお、本発明において、蛍光灯の反射光や建物の影などの影響により発生する映り込み領域全般を総称して撮影画像における欠損状況とする。 Therefore, according to the gear mechanism of the present embodiment, as shown in FIG. 6, the fluorescent lamp is reflected in the composite image D obtained by combining the upper camera image B by the imaging unit 13 and the lower camera image C by the imaging unit 14. The areas do not overlap each other, and it is possible to repair the reflection area by mutually converting and synthesizing any normal pixel in the upper and lower images and the abnormal pixel in which the reflection has occurred. In the present invention, the entire reflected area generated by the influence of the reflected light of the fluorescent lamp, the shadow of the building, etc. is collectively referred to as a defect state in the photographed image.

次に、本実施形態のデジタルステレオカメラ１のハードウェア構成について図７を用いて以下説明する。まず撮像部１３は、レンズ１３１と、センサ１３２と、画像処理ユニット１３３と、ＩＦ１３４とを備える。また、撮像部１４は、レンズ１４１と、センサ１４２と、画像処理ユニット１４３と、ＩＦ１４４とを備える。 Next, the hardware configuration of the digital stereo camera 1 of the present embodiment will be described below with reference to FIG. First, the imaging unit 13 includes a lens 131, a sensor 132, an image processing unit 133, and an IF 134. The imaging unit 14 includes a lens 141, a sensor 142, an image processing unit 143, and an IF 144.

撮像部１３および撮像部１４はそれぞれのＩＦ１３４およびＩＦ１４４により、相対位置変更部２００を介して画像処理部３０と接続されている。画像処理部３０は、ＩＦ３１と、ＣＰＵ３２と、メモリ３３と、外部記録ユニット３４と、制御ユニット３５と、映像出力ユニット３６と、各ユニットを相互に接続するバス３７とを備える。 The imaging unit 13 and the imaging unit 14 are connected to the image processing unit 30 via the relative position changing unit 200 by the IF 134 and IF 144, respectively. The image processing unit 30 includes an IF 31, a CPU 32, a memory 33, an external recording unit 34, a control unit 35, a video output unit 36, and a bus 37 that connects the units to each other.

センサ１３２及びセンサ１４２は、レンズ１３１及びレンズ１４１を経由した光学像をデジタル画像に変換するＣＣＤなどのイメージセンサである。また、画像処理ユニット１３３及び画像処理ユニット１４３は、センサ１３２及びセンサ１４２で変換されて得たデジタル画像に対して各種画像処理を行うＩＳＰ（イメージ・シグナル・プロセッサ）などである。さらに、ＩＦ１３４及びＩＦ１４４は、画像処理ユニット１３３及び画像処理ユニット１４３で得られた画像や制御信号などをやり取りするインターフェースユニットである。 The sensor 132 and the sensor 142 are image sensors such as a CCD that converts an optical image that has passed through the lens 131 and the lens 141 into a digital image. The image processing unit 133 and the image processing unit 143 are an ISP (image signal processor) that performs various types of image processing on the digital image obtained by conversion by the sensor 132 and the sensor 142. Further, the IF 134 and IF 144 are interface units that exchange images and control signals obtained by the image processing unit 133 and the image processing unit 143.

画像処理部３０において、ＩＦ３１は、撮像部１３及び撮像部１４との間で画像データや制御信号などをやり取りするインターフェースユニットである。また、ＣＰＵ３２は、種々の処理を実行する中央演算部であり、メモリ３３はＣＰＵ３２の処理に必要な各種ソフトウエア、データ、フレーム画像および合成済みフレーム画像などを格納するＲＡＭやＨＤＤなどのメモリである。 In the image processing unit 30, the IF 31 is an interface unit that exchanges image data, control signals, and the like with the imaging unit 13 and the imaging unit 14. The CPU 32 is a central processing unit that executes various processes, and the memory 33 is a memory such as a RAM or HDD that stores various software, data, frame images, synthesized frame images, and the like necessary for the processing of the CPU 32. is there.

映像出力ユニット３６は、画像処理部３０に接続された背面モニタ１８などに映像信号を送る。外部記録ユニット３４は、メモリーカード５０等が差し込まれて映像信号を保存するユニットである。制御ユニット３５は、画像装置全体を制御するユニットである。他にユーザからの操作指示受付ユニットなどもあるが、本説明では省略する。 The video output unit 36 sends a video signal to the rear monitor 18 connected to the image processing unit 30. The external recording unit 34 is a unit that stores a video signal into which the memory card 50 or the like is inserted. The control unit 35 is a unit that controls the entire image apparatus. There are other operation instruction receiving units from the user, but they are omitted in this description.

次に、本発明の実施形態のデジタルステレオカメラ１などの画像処理装置における機能ブロックについて図８を用いて以下説明する。すなわち、機能ブロックとして、撮像部１３においては、センサ１３２に対応した画像取得部１３２１と、画像処理ユニット１３３に対応した画像変換部１３３１と、ＩＦ１３４に対応した変換画像伝送部１３４１があり、撮像部１４においては、センサ１４２に対応した画像取得部１４２１と、画像処理ユニット１４３に対応した画像変換部１４３１と、ＩＦ１４４に対応した変換画像伝送部１４４１がある。 Next, functional blocks in the image processing apparatus such as the digital stereo camera 1 according to the embodiment of the present invention will be described below with reference to FIG. That is, as the functional blocks, the imaging unit 13 includes an image acquisition unit 1321 corresponding to the sensor 132, an image conversion unit 1331 corresponding to the image processing unit 133, and a converted image transmission unit 1341 corresponding to the IF 134. 14 includes an image acquisition unit 1421 corresponding to the sensor 142, an image conversion unit 1431 corresponding to the image processing unit 143, and a converted image transmission unit 1441 corresponding to the IF 144.

また、画像処理部３０においては、機能ブロックとして、ＣＰＵ３２における画像合成部３２１と、欠損状況判定部３２２とがある。 In the image processing unit 30, there are an image composition unit 321 in the CPU 32 and a missing state determination unit 322 as functional blocks.

画像取得部１３２１及び画像取得部１４２１は、上述の通り、レンズ１３１及びレンズ１４１を経由した光学像を変換してデジタル画像として取得する機能ブロックである。また、画像変換部１３３１及び画像変換部１４３１は、明るさなどの画質の調整や歪曲収差補正などを行う機能ブロックである。さらに、変換画像伝送部１３４１及び変換画像伝送部１４４１は画像合成部３２１に画像を伝送する機能ブロックである。 As described above, the image acquisition unit 1321 and the image acquisition unit 1421 are functional blocks that convert an optical image that has passed through the lens 131 and the lens 141 to acquire a digital image. The image conversion unit 1331 and the image conversion unit 1431 are functional blocks that perform adjustment of image quality such as brightness and correction of distortion. Further, the converted image transmission unit 1341 and the converted image transmission unit 1441 are functional blocks that transmit images to the image composition unit 321.

画像合成部３２１は、変換画像伝送部１３４１及び変換画像伝送部１４４１から送られてきた２つの画像のうち一方の画像をもう一方の画像に対応するように座標変換をおこなったうえで合成し、照明等の影響を抑えた合成画像を作成する機能ブロックである。画像合成部３２１による具体的な処理内容については後述する。 The image composition unit 321 performs composition of the two images sent from the converted image transmission unit 1341 and the converted image transmission unit 1441 after performing coordinate conversion so as to correspond to the other image, This is a functional block for creating a composite image in which the influence of lighting or the like is suppressed. Specific processing contents by the image composition unit 321 will be described later.

欠損状況判定部３２２は、合成画像の元となった２つの画像の欠損状況としての反射光領域をそれぞれ検知し、合成画像の全画素数に対する反射光領域の重なり部分の画素数の割合が閾値以上である場合、欠損状況を補うことができない状況にあると判定し、例えば判定結果としてのアイコンを背面モニタ１８に表示させるよう映像出力ユニット３６を制御する機能ブロックである。 The defect state determination unit 322 detects the reflected light areas as the defect states of the two images that are the basis of the combined image, and the ratio of the number of pixels in the overlapping portion of the reflected light area to the total number of pixels of the combined image is a threshold value. In the case described above, it is a functional block that determines that the missing state cannot be compensated, and controls the video output unit 36 to display, for example, an icon as a determination result on the rear monitor 18.

また、欠損状況判定部３２２は、合成画像の全画素数に対する反射光領域の重なり部分の画素数の割合が閾値以下である場合、欠損状況を補うことができる状況にあると判定する機能ブロックである。欠損状況判定部３２２による具体的な処理については後述する。 In addition, the defect state determination unit 322 is a functional block that determines that the defect state can be compensated when the ratio of the number of pixels of the overlapping portion of the reflected light region to the total number of pixels of the composite image is equal to or less than a threshold value. is there. Specific processing by the missing state determination unit 322 will be described later.

次に、本実施形態の画像合成処理の処理手順について、図９のフローチャートを用いて以下説明する。まず、ユーザによる電源ボタン１７の押圧により画像処理装置としてのデジタルステレオカメラ１が起動する（ステップＳ１）。そして、デジタルステレオカメラ１が起動すると撮像部１３及び撮像部１４にて取得した撮影画像Ｐ及び撮影画像Ｑが画像合成部３２１へ送られる（ステップＳ２）。 Next, the processing procedure of the image composition processing of this embodiment will be described below using the flowchart of FIG. First, when the user presses the power button 17, the digital stereo camera 1 as an image processing device is activated (step S1). When the digital stereo camera 1 is activated, the captured image P and the captured image Q acquired by the imaging unit 13 and the imaging unit 14 are sent to the image composition unit 321 (step S2).

次に、画像合成部３２１において、撮影画像Ｐにおける、例えばホワイトボードの書き込み位置と撮影画像Ｑにおけるホワイトボードの書き込み位置が一致するように撮影画像Ｑを変形させた撮影画像Ｑ’を生成する（ステップＳ３）。本処理の詳細については後述する。 Next, the image composition unit 321 generates a captured image Q ′ obtained by deforming the captured image Q so that, for example, the whiteboard writing position in the captured image P matches the whiteboard writing position in the captured image Q (see FIG. Step S3). Details of this processing will be described later.

続いて、画像合成部３２１において、撮影画像Ｐと撮影画像Ｑ’同士で位置が対応する各画素において、輝度が低いほうの値を撮影画像Ｐと撮影画像Ｑ’の合成画像における対応する画素の輝度値として撮影画像Ｐと撮影画像Ｑ’を合成した合成画像Ｒを生成する（ステップＳ４）。なお、これに代えて、撮影画像Ｐと撮影画像Ｑ’同士で位置が対応する各画素における輝度値の平均値を、合成画像における対応する画素の輝度値として撮影画像Ｐと撮影画像Ｑ’を合成してもよい。 Subsequently, in the image composition unit 321, in each pixel corresponding to the position between the photographed image P and the photographed image Q ′, a value having a lower luminance is assigned to the corresponding pixel in the composite image of the photographed image P and the photographed image Q ′. A synthesized image R obtained by synthesizing the photographed image P and the photographed image Q ′ as a luminance value is generated (step S4). Instead of this, the average value of the luminance values of each pixel corresponding in position between the captured image P and the captured image Q ′ is used as the luminance value of the corresponding pixel in the composite image. You may synthesize.

そして、生成された合成画像Ｒが背面モニタ１８に表示される（ステップＳ５）。その後、欠損状況判定部３２２において、撮影画像Ｐと撮影画像Ｑ’に２値化処理を施し、撮影画像ごとに対応する反射光マップＳ及び反射光マップＴを生成する（ステップＳ６）。２値化処理においては、輝度値の階調を例えば２５６段階（２５５が最も明るい）とし、輝度値が２４０以上の場合、値を１とし、そうでない場合、値を０とする。 Then, the generated composite image R is displayed on the rear monitor 18 (step S5). Thereafter, the defect state determination unit 322 performs binarization processing on the captured image P and the captured image Q ′, and generates a reflected light map S and a reflected light map T corresponding to each captured image (step S <b> 6). In the binarization process, the gradation of the luminance value is, for example, 256 levels (255 is the brightest). If the luminance value is 240 or more, the value is 1. Otherwise, the value is 0.

続いて、欠損状況判定部３２２において、反射光マップＳと反射光マップＴにおける、２値化処理による値が１である領域が重なる領域の画素数Ｈをカウントし、全画素数に対する画素数Ｈの割合が閾値以上なら２つの画像がお互いに欠損を補えない状況であると判定する（ステップＳ７）。例えば閾値として０．０１等の値をとることができる。そして、全画素数に対する画素数Ｈの割合が閾値以上であるとき（ステップＳ７、Ｙｅｓ）、ステップＳ８へ移行し、そうでなければ（ステップＳ７、Ｎｏ）、ステップＳ９へ移行する。 Subsequently, the defect state determination unit 322 counts the number of pixels H in the region where the region where the value of the binarization process is 1 in the reflected light map S and the reflected light map T overlaps, and the pixel number H with respect to the total number of pixels. If the ratio is greater than or equal to the threshold, it is determined that the two images cannot compensate for each other (step S7). For example, a value such as 0.01 can be taken as the threshold value. If the ratio of the number H of pixels to the total number of pixels is equal to or greater than the threshold (Yes at Step S7), the process proceeds to Step S8, and if not (No at Step S7), the process proceeds to Step S9.

そして、欠損状況判定部３２２からの信号を受けて制御された映像出力ユニット３６により、背面モニタ１８に、２つの画像がお互いに欠損を補えない状況である旨の判定結果としてのアイコンを表示させる（ステップＳ８）。 Then, the video output unit 36 controlled by receiving the signal from the defect state determination unit 322 causes the rear monitor 18 to display an icon as a determination result indicating that the two images cannot compensate for each other. (Step S8).

また、この判定結果については、撮影画像が背面モニタ１８に表示されているとき、表示された撮影画像に重ねて表示させることも可能である。従来では、撮影した後でなければ反射光の映り込みの影響が抑えられたのか確認することができなかったが、本実施形態のようにリアルタイムで反射光領域を判定し、反射光領域が重なるかどうかを判定した結果としてのアイコンを撮影画像に重ねて表示させることで、ユーザは即座に反射光の映り込みの影響が抑えられたかどうかを確認することができる。これにより、撮影ミスが軽減することになる。 Further, the determination result can be displayed so as to overlap the displayed captured image when the captured image is displayed on the rear monitor 18. Conventionally, it was not possible to confirm whether or not the effect of reflection of reflected light was suppressed unless after photographing, but the reflected light area is determined in real time as in this embodiment, and the reflected light areas overlap. By displaying the icon as a result of determining whether or not the image is superimposed on the photographed image, the user can immediately confirm whether or not the influence of reflected light reflection is suppressed. Thereby, shooting mistakes are reduced.

一方、欠損状況判定部３２２において、全画素数に対する画素数Ｈの割合が閾値以下なら２つの画像がお互いに欠損を補える状況であると判定されるが、このとき、外部記録ユニットに合成画像を記録してもよい。これにより、ユーザが撮影する手間を省くことが可能となる。 On the other hand, if the ratio of the number of pixels H to the total number of pixels is equal to or less than the threshold value, the loss state determination unit 322 determines that the two images are in a state where each other can compensate for the loss. It may be recorded. As a result, it is possible to save the user from taking a picture.

制御ユニット３５により、画像処理中に電源ボタン１７が押圧されていたかどうかが判断され、電源ボタン１７が押圧されていた場合（ステップＳ９、Ｙｅｓ）、本処理を終了する。 The control unit 35 determines whether or not the power button 17 has been pressed during image processing. If the power button 17 has been pressed (Yes in step S9), the process ends.

ここで、ステップＳ２から次のステップＳ２直前までをひとつのループとする。同じループのステップＳ２からステップＳ９までの間にシャッターボタンが押された場合（ステップＳ１０、Ｙｅｓ）は、合成画像Ｒをメモリーカード５０に保存するとともに（ステップＳ１１）、ステップＳ２へ戻り、次の処理へ継続する。一方、シャッターボタンが押されない場合（ステップＳ１０、Ｎｏ）、合成画像Ｒを保存することなく、ステップＳ２へ戻る。 Here, one loop is made from step S2 to immediately before the next step S2. When the shutter button is pressed between step S2 and step S9 in the same loop (step S10, Yes), the composite image R is stored in the memory card 50 (step S11), and the process returns to step S2, and the next step Continue to processing. On the other hand, when the shutter button is not pressed (step S10, No), the process returns to step S2 without saving the composite image R.

次に、本実施形態の画像合成処理手順における画像Ｑから画像Ｑ’への変換処理手順について図１０を用いて以下説明する。まず、画像合成部３２１は、撮像部１３及び撮像部１４にて撮影された撮影画像Ｐ及び撮影画像Ｑを取得する（ステップＳ３１）。 Next, the conversion processing procedure from the image Q to the image Q ′ in the image synthesis processing procedure of the present embodiment will be described below with reference to FIG. First, the image composition unit 321 acquires a captured image P and a captured image Q captured by the imaging unit 13 and the imaging unit 14 (step S31).

続いて、画像合成部３２１において、撮影画像Ｐ及び撮影画像Ｑに対して四辺形認識処理がなされる（ステップＳ３２）。ここでの四辺形認識処理は、出願人によって開発されたデジタルカメラに搭載される斜め補正技術を用いるものである。この技術により、撮影時に斜め方向から撮影して歪んだ四辺形の被写体を自動認識し、正面から撮影したかのようにカメラ本体で自動的に補正・再現することが可能となる。 Subsequently, a quadrilateral recognition process is performed on the captured image P and the captured image Q in the image composition unit 321 (step S32). The quadrilateral recognition process here uses an oblique correction technique mounted on a digital camera developed by the applicant. With this technique, it is possible to automatically recognize a distorted quadrilateral subject taken from an oblique direction at the time of photographing, and automatically correct and reproduce it on the camera body as if it was photographed from the front.

次に、上記の四辺形認識処理により求められた撮影画像Ｑの四辺形の頂点座標を撮影画像Ｐの頂点座標に移すような射影変換のパラメータを求める（ステップＳ３３）。射影変換のパラメータの詳細は『http://www2.teu.ac.jp/clab/kondo/research/cadcgtext/Chap5/Chap503.html』の５．３．１『平面図形の射影変換の考え方』に記載されているが、具体的にはその中で、例えば式（５．６）のａ*、ｂ*、ｃ*のことをいう。そして、求めたパラメータを使用して画像Ｑを射影変換した画像Ｑ’を生成する（ステップＳ３４）。 Next, a projective transformation parameter is obtained such that the vertex coordinates of the quadrilateral of the photographed image Q obtained by the above-described quadrilateral recognition processing are transferred to the vertex coordinates of the photographed image P (step S33). For details of projective transformation parameters, see 5.3.1 “Concept of Projective Transformation of Planar Figures” in “http://www2.teu.ac.jp/clab/kondo/research/cadcgtext/Chap5/Chap503.html”. Specifically, among them, for example, a *, b * and c * in the formula (5.6) are mentioned. Then, an image Q ′ obtained by projective transformation of the image Q using the obtained parameters is generated (step S34).

次に、本実施形態の画像合成処理のイメージについて、図１１を用いて以下説明する。上述したように、図９におけるステップＳ２において、撮像部１３及び撮像部１４により撮影画像Ｘ及び撮影画像Ｙを取得する。撮影画像Ｙは、歪んだ状態で撮影されたものである。続いて、図９におけるステップＳ３において、画像合成部３２１により撮影画像Ｙの書き込みが撮影画像Ｘの書き込みに重なるように撮影画像Ｙに対する変換処理がなされ、撮影画像Ｙ’が生成される。 Next, an image of the image composition processing according to the present embodiment will be described below with reference to FIG. As described above, the captured image X and the captured image Y are acquired by the imaging unit 13 and the imaging unit 14 in step S2 in FIG. The captured image Y was captured in a distorted state. Subsequently, in step S3 in FIG. 9, the image composition unit 321 performs conversion processing on the captured image Y so that writing of the captured image Y overlaps writing of the captured image X, and a captured image Y ′ is generated.

そして、図９におけるステップＳ４において、画像合成部３２１により撮影画像Ｘと撮影画像Ｙ’とが、相互の欠損状況を補うように合成され、合成画像Ｚが生成される。欠損状況が画像ＸとＹ’とで重なっていない場合、書き込み情報を復元することができる。 Then, in step S4 in FIG. 9, the captured image X and the captured image Y ′ are combined by the image combining unit 321 so as to compensate for the mutual loss situation, and a combined image Z is generated. When the defect situation does not overlap between the images X and Y ′, the writing information can be restored.

次に、本実施形態の相対位置変更手段としての別の構成について図１２を用いて以下説明する。ここでは、図のように、デジタルステレオカメラ６００は、カメラ筐体６０１に撮像部６１３及び撮像部６１４を左右に摺動させてカメラ筐体６０１に対するこれら撮像部の相対位置をそれぞれ左右に変更させる２つの案内溝６２０を備える。 Next, another configuration as the relative position changing means of the present embodiment will be described below with reference to FIG. Here, as shown in the figure, the digital stereo camera 600 slides the imaging unit 613 and the imaging unit 614 to the left and right on the camera housing 601 to change the relative positions of the imaging units with respect to the camera housing 601 to the left and right, respectively. Two guide grooves 620 are provided.

この２つの案内溝６２０それぞれの長手方向に沿って、撮像部６１３及び撮像部６１４が左右にガイドされることで、撮像部６１３及び撮像部６１４のカメラ筐体６０１に対する相対角度を維持したまま、カメラ筐体６０１に対するこれら撮像部の相対位置を左右に変更させることができる。なお、本発明においては、上述した案内溝６２０によって撮像部の相対位置を変更させる構成を総称してスライド機構とする。 The imaging unit 613 and the imaging unit 614 are guided left and right along the longitudinal direction of each of the two guide grooves 620, so that the relative angle of the imaging unit 613 and the imaging unit 614 with respect to the camera housing 601 is maintained. The relative positions of these imaging units with respect to the camera housing 601 can be changed to the left and right. In the present invention, the configuration in which the relative position of the imaging unit is changed by the guide groove 620 described above is collectively referred to as a slide mechanism.

なお、ここでは、２つの案内溝６２０が左右横長で上下に平行に配置されているが、これに代えて２つの案内溝が上下縦長で左右に平行に配置され、該案内溝をガイドされる撮像部がカメラ筐体に対する相対角度を維持したまま、カメラ筐体に対する相対位置を上下に変更させる構成をとってもよい。 In this case, the two guide grooves 620 are horizontally long and are arranged in parallel in the vertical direction, but instead, the two guide grooves are vertically long and arranged in parallel in the left and right directions, and the guide grooves are guided. A configuration may be employed in which the relative position with respect to the camera housing is changed up and down while the imaging unit maintains a relative angle with respect to the camera housing.

次に、本実施形態の画像処理における他の機能ブロック図について図１３を用いて以下説明する。なお、図８と同様の構成については説明を省略する。ここでは、画像処理部３００において新たに回転部３７００を追加した構成となっている。 Next, another functional block diagram in the image processing of the present embodiment will be described below with reference to FIG. Note that a description of the same configuration as in FIG. 8 is omitted. Here, the image processing unit 300 has a configuration in which a rotation unit 3700 is newly added.

回転部３７００は、欠損状況判定部３２２０から反射光領域が重なっているとの判定結果を受けたとき、不図示の駆動手段により撮像部の位置を回転させる機能ブロックである。例えば、回転部３７００は、上述した歯車機構の例で言えば、カメラ筐体１１に固定された歯車２３を１０°時計回りに回転させるように制御する。そして、回転部３７００は、２つの画像の合成画像において反射光領域の重なり部分を生じさせないように撮像部筐体１２を回転するように歯車２３の回転を制御する。これにより、撮像部のカメラ筐体に対する相対的な位置関係を調整する手間が省ける。 The rotation unit 3700 is a functional block that rotates the position of the imaging unit by a driving unit (not shown) when the determination result that the reflected light regions overlap is received from the defect state determination unit 3220. For example, in the example of the gear mechanism described above, the rotation unit 3700 controls the gear 23 fixed to the camera housing 11 to rotate 10 ° clockwise. Then, the rotating unit 3700 controls the rotation of the gear 23 so as to rotate the imaging unit housing 12 so as not to cause an overlapping portion of the reflected light regions in the composite image of the two images. Thereby, the trouble of adjusting the relative positional relationship between the imaging unit and the camera housing can be saved.

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、本実施形態では、２つの撮像部を備えた構成を例にとって説明したが、撮像部を３つ以上備える構成であってもよい。この場合、上述した歯車機構における歯車の数や、スライド機構における案内溝の数を増やすことは言うまでも無い。 Each of the above-described embodiments is a preferred embodiment of the present invention, and various modifications can be made without departing from the scope of the present invention. For example, in the present embodiment, the configuration including two imaging units has been described as an example, but a configuration including three or more imaging units may be used. In this case, it goes without saying that the number of gears in the above-described gear mechanism and the number of guide grooves in the slide mechanism are increased.

１、６００デジタルステレオカメラ
１１、６０１カメラ筐体
１２撮像部筐体
１３、１４、１３０、１４０、６１３、６１４撮像部
１５外部記録ユニット差込部
１６シャッターボタン
１７電源ボタン
１８モニタ
２１〜２５歯車
３０、３００画像処理部
３１、１３４、１４４、３１０、１３４０、１４４０ＩＦ
３２、３２０ＣＰＵ
３３メモリ
３４、３４０外部記録ユニット
３５制御ユニット
３６、３６０映像出力ユニット
３７バス
５０メモリーカード
１３１、１４１レンズ
１３２、１４２、１３２０、１４２０センサ
１３３、１４３、１３３０、１４３０画像処理ユニット
３２１、３２１０画像合成部
３２２、３２２０欠損状況判定部
３７０回転ユニット
６２０案内溝
１３２１、１４２１、１３２１０、１４２１０画像取得部
１３３１、１４３１、１３３１０、１４３１０画像変換部
１３４１、１４４１、１３４１０、１４４１０変換画像伝送部
３７００回転部 DESCRIPTION OF SYMBOLS 1,600 Digital stereo camera 11,601 Camera housing | casing 12 Imaging part housing | casing 13, 14, 130, 140, 613, 614 Imaging part 15 External recording unit insertion part 16 Shutter button 17 Power button 18 Monitor 21-25 Gear 30 , 300 Image processing unit 31, 134, 144, 310, 1340, 1440 IF
32, 320 CPU
33 Memory 34, 340 External recording unit 35 Control unit 36, 360 Video output unit 37 Bus 50 Memory card 131, 141 Lens 132, 142, 1320, 1420 Sensor 133, 143, 1330, 1430 Image processing unit 321, 3210 Image composition unit 322, 3220 Loss state determination unit 370 Rotation unit 620 Guide groove 1321, 1421, 13210, 14210 Image acquisition unit 1331, 1431, 13310, 14310 Image conversion unit 1341, 1441, 13410, 14410 Conversion image transmission unit 3700 Rotation unit

特開２０１０−７２８１３号公報JP 2010-72813 A

Claims

筐体と、
２以上の撮像手段と、
前記２以上の撮像手段を前記筐体に取り付ける取付手段と、
前記２以上の撮像手段により取得した２以上の撮影画像ごとの欠損状況を判定する欠損状況判定手段と、
前記欠損状況判定手段により判定した欠損状況を補うとともに、前記２以上の撮影画像を合成して合成画像を生成する画像合成手段とを有する画像処理装置であって、
前記取付手段は、前記２以上の撮像手段の前記筐体に対する相対角度を保持しつつ、前記２以上の撮像手段の前記筐体に対する相対位置を変更する相対位置変更手段を有することを特徴とする画像処理装置。 A housing,
Two or more imaging means;
Attachment means for attaching the two or more imaging means to the housing;
A deficiency situation determination means for judging a deficiency situation for each of two or more captured images acquired by the two or more imaging means;
An image processing apparatus that supplements the defect situation determined by the defect situation judgment unit and has an image synthesis unit that synthesizes the two or more captured images to generate a composite image,
The attachment unit includes a relative position changing unit that changes a relative position of the two or more imaging units with respect to the casing while maintaining a relative angle of the two or more imaging units with respect to the casing. Image processing device.

前記欠損状況判定手段は、前記合成画像に２以上の欠損状況の重なり部分があると判定した場合であって、
前記合成画像の全画素数に対する前記重なり部分の画素数の割合が閾値以上であるとき、前記欠損状況を補うことができない状況であると判定し、
前記合成画像の全画素数に対する前記重なり部分の画素数の割合が閾値以下であるとき、前記欠損状況を補うことができる状況であると判定することを特徴とする請求項１記載の画像処理装置。 The missing situation determining means determines that there is an overlapping portion of two or more missing situations in the composite image,
When the ratio of the number of pixels of the overlapping portion with respect to the total number of pixels of the composite image is equal to or greater than a threshold, it is determined that the situation in which the defect situation cannot be compensated for,
The image processing apparatus according to claim 1, wherein when the ratio of the number of pixels in the overlapped portion to the total number of pixels in the composite image is equal to or less than a threshold value, the image processing apparatus determines that the situation is able to compensate for the defect situation. .

少なくとも前記２以上の撮影画像を表示する表示手段をさらに有し、
前記欠損状況を補うことができるかどうかの判定結果を前記表示手段に表示することを特徴とする請求項２記載の画像処理装置。 A display means for displaying at least the two or more captured images;
The image processing apparatus according to claim 2, wherein a determination result as to whether or not the defect situation can be compensated is displayed on the display unit.

前記表示手段は、前記撮影画像が表示されているとき、前記表示された撮影画像に重ねて前記判定結果を表示することを特徴とする請求項３記載の画像処理装置。 The image processing apparatus according to claim 3, wherein when the captured image is displayed, the display unit displays the determination result so as to overlap the displayed captured image.

前記相対位置変更手段は、前記画像合成手段により合成される合成画像において前記２以上の欠損状況の重なり部分を生じさせないように前記２以上の撮像手段の前記筐体に対する相対位置を変更することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。 The relative position changing unit changes a relative position of the two or more imaging units with respect to the casing so as not to cause an overlapping portion of the two or more missing situations in the synthesized image synthesized by the image synthesizing unit. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized.

少なくとも前記２以上の撮影画像を記録する記録手段をさらに有し、
前記欠損状況判定手段により前記欠損状況を補うことができる状況であると判定されたとき、前記合成画像を前記記録手段に記録することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。 A recording unit for recording at least the two or more captured images;
6. The composite image according to claim 1, wherein the composite image is recorded in the recording unit when it is determined that the defect state can be compensated by the defect state determination unit. Image processing apparatus.

前記画像合成手段は、前記２以上の撮影画像同士で位置が対応する２以上の画素のうち輝度が低い方の値を、前記合成画像における対応する画素の輝度値として前記２以上の撮影画像を合成することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。 The image synthesizing means uses the two or more photographed images as a luminance value of the corresponding pixel in the synthesized image with a lower luminance value of two or more pixels corresponding in position between the two or more photographed images. The image processing apparatus according to claim 1, wherein the image processing apparatus combines the images.

前記画像合成手段は、前記２以上の撮影画像同士で位置が対応する２以上の画素における輝度値の平均値を、前記合成画像における対応する画素の輝度値として前記２以上の撮影画像を合成することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。 The image synthesizing unit synthesizes the two or more photographed images using an average value of luminance values of two or more pixels corresponding to positions in the two or more photographed images as a luminance value of the corresponding pixels in the synthesized image. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

前記相対位置変更手段は、
前記筐体における第１中心軸に固定され、前記取付手段を前記第１中心軸を介して回動させる第１歯車と、
前記第１歯車と同一径であって、前記２以上の撮像手段における第２中心軸それぞれに固定され、前記２以上の撮像手段を前記第２中心軸それぞれを介して回動させる２以上の第２歯車と、
前記第１歯車および前記第２歯車と同一径であって、前記第１歯車と前記２以上の第２歯車に挟まれるように噛合される２以上の第３歯車とを有し、
前記取付手段を前記筐体に対して回動させるとき、前記第１歯車の回動に伴って前記２以上の第３歯車が前記第１歯車の回動方向と逆方向に回動し、前記２以上の第３歯車の回動に伴って前記２以上の第２歯車が前記２以上の第３歯車の回動方向と逆方向であって前記第１歯車の回動方向と同方向に回動する歯車機構であることを特徴とする請求項１から８の何れか１項に記載の画像処理装置。 The relative position changing means includes
A first gear fixed to a first central axis of the housing and rotating the attachment means via the first central axis;
Two or more second gears having the same diameter as the first gear and fixed to each of the second central axes of the two or more imaging units and rotating the two or more imaging units via the second central axes, respectively. Two gears,
Two or more third gears having the same diameter as the first gear and the second gear and meshed so as to be sandwiched between the first gear and the two or more second gears;
When the attachment means is rotated with respect to the housing, the two or more third gears rotate in a direction opposite to the rotation direction of the first gear as the first gear rotates. As the two or more third gears rotate, the two or more second gears rotate in the opposite direction to the rotation direction of the two or more third gears and in the same direction as the rotation direction of the first gear. The image processing apparatus according to claim 1, wherein the image processing apparatus is a moving gear mechanism.

前記相対位置変更手段は、前記２以上の撮像手段をガイドする２以上の案内溝を備え、前記２以上の案内溝の長手方向に前記２以上の撮像手段を摺動させるスライド機構であることを特徴とする請求項１から８の何れか１項に記載の画像処理装置。 The relative position changing means is a slide mechanism that includes two or more guide grooves that guide the two or more imaging means, and that slides the two or more imaging means in a longitudinal direction of the two or more guide grooves. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized.