JP2013207415A - Imaging system and imaging method - Google Patents
Imaging system and imaging method Download PDFInfo
- Publication number
- JP2013207415A JP2013207415A JP2012072284A JP2012072284A JP2013207415A JP 2013207415 A JP2013207415 A JP 2013207415A JP 2012072284 A JP2012072284 A JP 2012072284A JP 2012072284 A JP2012072284 A JP 2012072284A JP 2013207415 A JP2013207415 A JP 2013207415A
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- receiving surface
- laser
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、被写体までの距離を測定しつつ、被写体の画像を撮像する撮像システム及び撮像方法に関する。 The present invention relates to an imaging system and an imaging method for capturing an image of a subject while measuring a distance to the subject.
従来より、レーザを利用する測距装置と、被写体を撮像する撮像装置とを組み合わせて三次元計測を行う技術が公知である（例えば、特許文献１，２）。ここで、レーザを利用する測距装置とは、測距装置から照射された後、被写体に反射して戻ってきたレーザの反射波を捉えることにより、被写体までの距離を測定する装置である。 2. Description of the Related Art Conventionally, a technique for performing three-dimensional measurement by combining a distance measuring device using a laser and an imaging device that images a subject is known (for example, Patent Documents 1 and 2). Here, the distance measuring device using a laser is a device that measures the distance to the subject by capturing the reflected wave of the laser that has been irradiated from the distance measuring device and then reflected back to the subject.
特許文献１では、三次元画像を撮像する多眼カメラが利用され、この三次元画像から得られる距離画像と、レーザレンジファインダによる距離画像とを組み合わせることにより、被写体までの距離データが高精度に算出される。そして、これら２つの距離画像を組み合わせるに当たっては、両距離画像上の画素と画素とを位置合わせするための複雑な演算処理が実行される。具体的には、特徴点やエッジの抽出等の画像処理が実行される。 In Patent Document 1, a multi-lens camera that captures a three-dimensional image is used. By combining a distance image obtained from the three-dimensional image and a distance image obtained by a laser range finder, distance data to a subject can be obtained with high accuracy. Calculated. When combining these two distance images, a complicated calculation process for aligning the pixels on both distance images is executed. Specifically, image processing such as feature point and edge extraction is executed.
また、特許文献２では、デジタルカメラにより測定対象空間を撮像するとともに、レーザ距離計から測定対象空間の特徴点に向けて正確にレーザを照射し、特徴点までの距離を測定する。そして、レーザを特徴点に正確に照射する方法としては、測定対象空間の映像を捉えるファインダを覗きながら、レーザ距離計を動かし、レーザが照射されている点を手動で測定対象空間の特徴点に正確に一致させる方法が採られている。 In Patent Document 2, a measurement target space is imaged by a digital camera, and a laser is accurately emitted from a laser distance meter toward a feature point in the measurement target space, thereby measuring a distance to the feature point. And as a method of accurately irradiating the laser with the feature point, move the laser distance meter while looking through the finder that captures the image of the measurement target space, and manually set the point irradiated with the laser as the feature point of the measurement target space. The method of making it correspond exactly is taken.
以上のような三次元計測では、測距装置から照射されたレーザの反射点を、撮像装置により撮像される画像上の点（画素）に対応付けることが肝要である。ここで、レーザを利用する測距装置とは、測距装置から反射点までの距離を測定するものであるから、レーザの反射点と画像上の点とを対応付けることは、測距装置による距離データと、撮像装置による画像データ内の画素とを対応付けることに等しい。そして、この対応付けを実現するために、上記のとおり、特許文献１では、計算負荷の高い画像処理が実行され、特許文献２では、測距装置のレーザの照射方向を設定するための面倒な手作業が要求される。
本発明は、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることが可能な撮像システムを提供することを目的とする。
In the above three-dimensional measurement, it is important to associate the reflection point of the laser emitted from the distance measuring device with the point (pixel) on the image captured by the imaging device. Here, the distance measuring device using a laser measures the distance from the distance measuring device to the reflection point, and associating the reflection point of the laser with the point on the image is a distance by the distance measuring device. This is equivalent to associating data with pixels in image data obtained by the imaging device. And in order to implement | achieve this matching, as above-mentioned, in patent document 1, an image process with a high calculation load is performed, and in patent document 2, it is troublesome for setting the irradiation direction of the laser of a distance measuring device. Manual work is required.
The present invention provides an imaging system capable of easily associating distance data obtained by a distance measuring unit using a laser with pixels in image data obtained by an imaging unit when acquiring image data on which distance data is superimposed. With the goal.
本発明の第１観点に係る撮像システムは、照射源と、撮像部と、測定部と、画像形成部と、重畳部とを備える。照射源は、レーザを照射する。撮像部は、レーザと異なる波長領域の波に選択的に感応する第１受光面と、レーザの波長領域の波に選択的に感応する第２受光面とを有する。第２受光面は、第１受光面と同じ撮像範囲を捉える。測定部は、照射源から照射され、被写体で反射したレーザの反射波に基づいて、被写体までの距離データを測定する。画像形成部は、第１受光面で受光された波に基づいて、被写体の画像データを形成する。重畳部は、第２受光面上のレーザの反射波を受光した受光素子を特定し、画像データに含まれる、特定された受光素子に対応する画素データに距離データを対応付けることにより、画像データに距離データを重畳した合成データを生成する。 An imaging system according to a first aspect of the present invention includes an irradiation source, an imaging unit, a measuring unit, an image forming unit, and a superimposing unit. The irradiation source irradiates a laser. The imaging unit includes a first light receiving surface that is selectively sensitive to waves in a wavelength region different from that of the laser, and a second light receiving surface that is selectively sensitive to waves in the wavelength region of the laser. The second light receiving surface captures the same imaging range as the first light receiving surface. The measurement unit measures distance data to the subject based on the reflected wave of the laser emitted from the irradiation source and reflected by the subject. The image forming unit forms image data of the subject based on the wave received by the first light receiving surface. The superimposing unit identifies the light receiving element that has received the reflected wave of the laser on the second light receiving surface, and associates the distance data with the pixel data corresponding to the identified light receiving element, which is included in the image data. Synthetic data on which the distance data is superimposed is generated.
この撮像システムは、照射源から照射された後、被写体に反射して戻ってきたレーザの反射波を捉えることにより、被写体までの距離を測定する。また、この撮像システムは、異なる波長領域の波に選択的に感応する２つの受光面、すなわち、第１受光面及び第２受光面を有する。具体的には、第１受光面は、被写体の画像を形成するための波を受光する一方、第２受光面は、照射源から照射されるレーザの反射波を受光する。しかし、これら２つの受光面は、同じ撮像範囲を捉えるものであり、従って、これら２つの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有することになる。その結果、重畳部は、第２受光面上のレーザの反射波を捉えた受光素子を特定することにより、測定部で測定された距離が、第１受光面で撮像された画像上のどの画素に対応する物体までの距離であるのかを容易に判断し、この距離と画像上の特定の画素とを容易に対応付けることができる。従って、ここでは、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることができる。 This imaging system measures the distance to the subject by capturing the reflected wave of the laser that has been irradiated from the irradiation source and then reflected back to the subject. In addition, this imaging system has two light receiving surfaces that are selectively sensitive to waves in different wavelength regions, that is, a first light receiving surface and a second light receiving surface. Specifically, the first light receiving surface receives a wave for forming an image of the subject, while the second light receiving surface receives a reflected wave of a laser emitted from an irradiation source. However, these two light receiving surfaces capture the same imaging range. Therefore, light receiving elements that capture the same object point on these two light receiving surfaces have a certain correspondence. As a result, the superimposing unit specifies the light receiving element that captures the reflected wave of the laser on the second light receiving surface, so that the distance measured by the measuring unit is the pixel on the image captured by the first light receiving surface. It is possible to easily determine whether the distance is to the object corresponding to, and easily associate this distance with a specific pixel on the image. Therefore, here, when acquiring the image data on which the distance data is superimposed, the distance data obtained by the distance measuring unit using the laser can be easily associated with the pixels in the image data obtained by the imaging unit.
なお、レーザの反射波に基づいて被写体までの距離データを測定する方法としては、例えば、レーザが照射されてからその反射波が戻ってくるまでの時間や位相差、レーザの反射波が受光される受光面上の位置、レーザの反射波の強度等から算出する方法があり、当業者は公知の方法の中から任意のものを適宜選択し得る。 As a method of measuring the distance data to the subject based on the reflected wave of the laser, for example, the time and phase difference from when the laser is irradiated until the reflected wave returns, the reflected wave of the laser is received. There are methods for calculating from the position on the light receiving surface, the intensity of the reflected wave of the laser, etc., and those skilled in the art can appropriately select any one of known methods.
また、第１受光面及び第２受光面が同じ撮像範囲を有する場合には、これらの受光面の撮像範囲が完全に同じである場合だけでなく、これらの受光面の撮像範囲の一部が重複する場合も含まれるものとする。ただし、後者の場合には、重複領域内の受光素子群どうしの対応関係が一定である必要がある。なぜならば、上記のとおり、測定された距離と、撮像された画像上の特定の画素とを容易に対応付けるためには、第１受光面及び第２受光面上の同じ被写点を捉える受光素子どうしが一定の対応関係を有することが前提となるからである。なお、２つの受光面の撮像範囲が完全に同じである場合とは、例えば、２つの受光面が同じ光学系を介して入射される波を受光する場合であり、２つの受光面の撮像範囲の一部が重複する場合とは、例えば、２つの受光面が近接した異なる光学系を介してそれぞれ入射される波を受光する場合である。 Further, when the first light receiving surface and the second light receiving surface have the same imaging range, not only when the imaging ranges of these light receiving surfaces are completely the same, but also a part of the imaging ranges of these light receiving surfaces. The case of duplication is also included. However, in the latter case, the correspondence between the light receiving element groups in the overlapping region needs to be constant. This is because, as described above, in order to easily associate the measured distance with a specific pixel on the captured image, the light receiving element that captures the same subject point on the first light receiving surface and the second light receiving surface. This is because it is assumed that there is a certain correspondence between them. The case where the imaging ranges of the two light receiving surfaces are completely the same is, for example, the case where the two light receiving surfaces receive a wave incident through the same optical system, and the imaging ranges of the two light receiving surfaces. The case where a part of them overlaps is, for example, a case where two incident light waves are received via different optical systems in close proximity to each other.
本発明の第２観点に係る撮像システムは、第１観点に係る撮像システムであって、第３受光面をさらに備える。第３受光面は、レーザの反射波を受光する。測定部は、第３受光面で受光された反射波に基づいて、距離データを測定する。 The imaging system which concerns on the 2nd viewpoint of this invention is an imaging system which concerns on a 1st viewpoint, Comprising: The 3rd light-receiving surface is further provided. The third light receiving surface receives the reflected wave of the laser. The measurement unit measures distance data based on the reflected wave received by the third light receiving surface.
この撮像システムは、第１受光面及び第２受光面とは別に、被写体までの距離を測定するべくレーザの反射波を受光するための第３受光面を有する。従って、例えば、本発明の照射源、第３受光面及び測定部を１つの筐体内に有し（筐体の表面に取り付けられている場合を含む）又は同じ基板上に有し、被写体までの距離データを出力するような市販の測距センサーを、本発明に係る撮像システムに利用することも可能になる。すなわち、ここでは、測距ユニットの受光面が撮像ユニットの受光面から分離されており、撮像システムの設計の自由度が高くなる。 In addition to the first light receiving surface and the second light receiving surface, this imaging system has a third light receiving surface for receiving the reflected wave of the laser to measure the distance to the subject. Therefore, for example, the irradiation source of the present invention, the third light receiving surface, and the measurement unit are included in one casing (including a case where the irradiation source is attached to the surface of the casing) or on the same substrate, A commercially available distance measuring sensor that outputs distance data can also be used in the imaging system according to the present invention. That is, here, the light receiving surface of the distance measuring unit is separated from the light receiving surface of the imaging unit, and the degree of freedom in designing the imaging system is increased.
本発明の第３観点に係る撮像システムは、第１観点に係る撮像システムであって、測定部は、第２受光面で受光された反射波に基づいて、距離データを測定する。すなわち、ここでは、第２受光面は、被写体上でのレーザの反射点を被写体の画像上の画素に対応付ける役割と、被写体までの距離の算出用にレーザの反射波を受光する役割とを兼ねる。従って、部品点数を減らし、撮像システムの構築のコストを下げることができる。 The imaging system which concerns on the 3rd viewpoint of this invention is an imaging system which concerns on a 1st viewpoint, Comprising: A measurement part measures distance data based on the reflected wave received by the 2nd light-receiving surface. In other words, here, the second light receiving surface has both the role of associating the reflection point of the laser on the subject with the pixel on the image of the subject and the role of receiving the reflected wave of the laser for calculating the distance to the subject. . Therefore, the number of parts can be reduced and the cost for constructing the imaging system can be reduced.
本発明の第４観点に係る撮像システムは、第１観点から第３観点のいずれかに係る撮像システムであって、三次元処理部をさらに備える。三次元処理部は、合成データを参照することにより、被写体の三次元画像データを形成する。すなわち、ここでは、被写体までの距離データと被写体の画像データとを組み合わせることにより、被写体の三次元画像データを得ることができる。 An imaging system according to a fourth aspect of the present invention is the imaging system according to any one of the first to third aspects, and further includes a three-dimensional processing unit. The three-dimensional processing unit forms three-dimensional image data of the subject by referring to the composite data. That is, here, the three-dimensional image data of the subject can be obtained by combining the distance data to the subject and the image data of the subject.
本発明の第５観点に係る撮像システムは、第１観点から第４観点のいずれかに係る撮像システムであって、照射源は、レーザを走査する。測定部は、走査されたレーザの反射波に基づいて、距離データを順次測定する。重畳部は、第２受光面上の、走査されたレーザの反射波を受光した受光素子を順次特定し、順次特定される受光素子に対応する画素データに距離データを順次対応付けることにより、画像データに距離データを順次重畳する。 The imaging system which concerns on the 5th viewpoint of this invention is an imaging system which concerns on either of the 1st viewpoint to the 4th viewpoint, Comprising: An irradiation source scans a laser. The measurement unit sequentially measures the distance data based on the reflected laser wave of the scanned laser. The superimposing unit sequentially identifies the light receiving elements that receive the reflected laser beam on the second light receiving surface, and sequentially associates the distance data with the pixel data corresponding to the sequentially identified light receiving elements, thereby obtaining the image data. The distance data is sequentially superimposed on the.
ここでは、照射源からのレーザが走査されることにより、レーザの複数の反射点までの距離が測定され、画像上の複数の画素にそれぞれ対応付けられる。従って、被写体の画像をより立体的に捉えることが可能になる。なお、レーザは、線的に走査されてもよいし、面的に走査されてもよい。あるいは、数点のみが走査されるものとしてもよい。 Here, by scanning the laser from the irradiation source, the distances to the plurality of reflection points of the laser are measured, and are respectively associated with the plurality of pixels on the image. Therefore, it is possible to capture the image of the subject more three-dimensionally. Note that the laser may be scanned linearly or may be scanned planarly. Alternatively, only a few points may be scanned.
本発明の第６観点に係る撮像システムは、第１観点から第５観点のいずれかに係る撮像システムであって、第１受光面及び第２受光面に共通する光学系をさらに備える。従って、ここでは、第１受光面及び第２受光面が、同じ撮像範囲を容易に捉えることができる。 An imaging system according to a sixth aspect of the present invention is the imaging system according to any one of the first to fifth aspects, and further includes an optical system common to the first light receiving surface and the second light receiving surface. Therefore, here, the first light receiving surface and the second light receiving surface can easily capture the same imaging range.
本発明の第７観点に係る撮像システムは、第１観点から第６観点のいずれかに係る撮像システムであって、第１受光面で受光される波は、可視光線であり、レーザは、赤外線である。すなわち、ここでは、赤外線レーザにより距離が測定され、可視光線から画像が形成される。従って、人が視認することのできる画像を立体的に再現することが可能になる。 An imaging system according to a seventh aspect of the present invention is the imaging system according to any one of the first to sixth aspects, wherein the wave received by the first light receiving surface is visible light, and the laser is infrared It is. That is, here, the distance is measured by an infrared laser, and an image is formed from visible light. Therefore, an image that can be visually recognized by a person can be three-dimensionally reproduced.
本発明の第８観点に係る撮像方法は、撮像システムを用いて、被写体を撮像する撮像方法であって、照射ステップと、測定ステップと、画像形成ステップと、重畳ステップとを備える。撮像システムは、第１波長領域の波に選択的に感応する第１受光面と、第２波長領域の波に選択的に感応する第２受光面とを有する。第２受光面は、第１受光面と同じ撮像範囲を捉える。照射ステップは、第２波長領域のレーザを照射源から照射するステップである。測定ステップは、照射源から照射され、被写体で反射したレーザの反射波に基づいて、撮像システムから被写体までの距離データを測定するステップである。画像形成ステップは、第１受光面で受光された第１波長領域の波に基づいて、被写体の画像データを形成するステップである。重畳ステップは、第２受光面上の反射波を受光した受光素子を特定し、被写体の画像データに含まれる、特定された受光素子に対応する画素データに距離データを対応付けることにより、画像データに距離データを重畳した合成データを生成するステップである。 An imaging method according to an eighth aspect of the present invention is an imaging method for imaging a subject using an imaging system, and includes an irradiation step, a measurement step, an image formation step, and a superimposition step. The imaging system includes a first light receiving surface that is selectively sensitive to waves in the first wavelength region and a second light receiving surface that is selectively sensitive to waves in the second wavelength region. The second light receiving surface captures the same imaging range as the first light receiving surface. The irradiation step is a step of irradiating the laser in the second wavelength region from the irradiation source. The measurement step is a step of measuring distance data from the imaging system to the subject based on the reflected wave of the laser irradiated from the irradiation source and reflected by the subject. The image forming step is a step of forming image data of the subject based on the wave in the first wavelength region received by the first light receiving surface. The superimposing step identifies the light receiving element that has received the reflected wave on the second light receiving surface, and associates the distance data with the pixel data corresponding to the identified light receiving element included in the image data of the subject, thereby generating the image data. This is a step of generating synthesized data in which distance data is superimposed.
この撮像方法では、照射源から照射された後、被写体に反射して戻ってきたレーザの反射波を捉えることにより、被写体までの距離が測定される。また、この撮像方法で用いられる撮像システムは、異なる波長領域の波に選択的に感応する２つの受光面、すなわち、第１受光面及び第２受光面を有する。より具体的には、第１受光面は、被写体の画像を形成するための波を受光する一方、第２受光面は、照射源から照射されるレーザの反射波を受光する。しかし、これら２つの受光面は、同じ撮像範囲を捉えるものであり、従って、これら２つの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有することになる。その結果、第２受光面上のレーザの反射波を捉えた受光素子を特定することにより、測定された距離が、第１受光面で撮像された画像上のどの画素に対応する物体までの距離であるのかを容易に判断し、この距離と画像上の特定の画素とを容易に対応付けることができる。従って、ここでは、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることができる。 In this imaging method, the distance to the subject is measured by capturing the reflected wave of the laser that has been irradiated from the irradiation source and then reflected back to the subject. The imaging system used in this imaging method has two light receiving surfaces that are selectively sensitive to waves in different wavelength regions, that is, a first light receiving surface and a second light receiving surface. More specifically, the first light receiving surface receives a wave for forming an image of the subject, while the second light receiving surface receives a reflected wave of the laser emitted from the irradiation source. However, these two light receiving surfaces capture the same imaging range. Therefore, light receiving elements that capture the same object point on these two light receiving surfaces have a certain correspondence. As a result, by specifying the light receiving element that captures the reflected wave of the laser on the second light receiving surface, the measured distance is the distance to the object corresponding to which pixel on the image imaged on the first light receiving surface. This distance can be easily associated with a specific pixel on the image. Therefore, here, when acquiring the image data on which the distance data is superimposed, the distance data obtained by the distance measuring unit using the laser can be easily associated with the pixels in the image data obtained by the imaging unit.
本発明によれば、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることができる。 According to the present invention, when acquiring image data on which distance data is superimposed, distance data obtained by a distance measuring unit using a laser can be easily associated with pixels in image data obtained by an imaging unit.
以下、図面を参照しつつ、本発明の一実施形態に係る撮像システム及び撮像方法について説明する。
＜１．撮像システムの概要＞
本発明の一実施形態に係る撮像システム１は、図１に示すように、測距センサー１０と、デジタルカメラ２０とを有し、対象空間Ｓ１を撮像する。また、撮像システム１は、対象空間Ｓ１内の物体（人物Ｐ１，Ｐ２等）までの距離を計測し、距離データの重畳された画像データを生成する。ここで、距離データの重畳された画像データとは、奥行き情報を有する画像データであり、以下、合成データと呼ぶ。測距センサー１０は、レーザ式であり、対象空間Ｓ１内の物体に向けてレーザＬ１を照射し、それらの物体で反射して戻ってきたレーザＬ１の反射波Ｌ２を受光することにより、それらの物体までの距離を測定する。
Hereinafter, an imaging system and an imaging method according to an embodiment of the present invention will be described with reference to the drawings.
<1. Overview of imaging system>
As shown in FIG. 1, the imaging system 1 according to an embodiment of the present invention includes a distance measuring sensor 10 and a digital camera 20 and images a target space S1. Further, the imaging system 1 measures the distance to an object (person P1, P2, etc.) in the target space S1, and generates image data on which the distance data is superimposed. Here, the image data on which the distance data is superimposed is image data having depth information, and is hereinafter referred to as composite data. The distance measuring sensor 10 is of a laser type, irradiates a laser L1 toward an object in the target space S1, and receives a reflected wave L2 of the laser L1 reflected and returned by these objects, thereby Measure the distance to the object.
また、撮像システム１は、コンピュータ３０を有し、このコンピュータ３０には、測距センサー１０により測定された距離データと、デジタルカメラ２０により撮像された画像データとがリアルタイムに出力される。コンピュータ３０は、これらのデータを組み合わせた合成データを生成するとともに、ユーザからの指示に応じて、この合成データに基づく三次元画像データを形成する。 In addition, the imaging system 1 includes a computer 30, and distance data measured by the distance measuring sensor 10 and image data captured by the digital camera 20 are output to the computer 30 in real time. The computer 30 generates combined data combining these data, and forms three-dimensional image data based on the combined data in response to an instruction from the user.
さらに、撮像システム１は、測距センサー１０の向き及び位置を変更する位置決めユニット４０を有する。位置決めユニット４０は、コンピュータ３０により制御され、測距センサー１０の向き及び位置を変更することにより、距離を測定する対象（対象空間Ｓ１内の物体）を変化させる。 Furthermore, the imaging system 1 includes a positioning unit 40 that changes the direction and position of the distance measuring sensor 10. The positioning unit 40 is controlled by the computer 30, and changes the object (object in the target space S1) whose distance is to be measured by changing the direction and position of the distance measuring sensor 10.
＜２．各部の詳細な構成＞
＜２−１．測距センター＞
図１に示すように、測距センサー１０は、レーザＬ１を照射する照射源１１と、レーザＬ１の反射波Ｌ２を受光する受光面１２とを有する。照射源１１及び受光面１３は、同じ筐体１６内に収容されている。なお、本実施形態において、照射源１１が照射するレーザＬ１は、指向性の高い近赤外線であり、受光面１２は、照射源１１が照射するレーザＬ１の波長領域の波に選択的に感応する。受光面１２は、略同一平面上に格子状に配列され、レーザＬ１の波長領域の波のみを透過させる近赤外線フィルタや、ＣＣＤイメージセンサー等からなる受光素子群を有する。受光面１２の前方には、光を集束させるレンズ（図示されない）が配置されている。なお、特に断わらない限り、本実施形態では、「前」又は「正面」とは、撮像システム１から対象空間Ｓ１へ向かう方向を意味し、「後」又は「背面」とは、その反対の方向を意味するものとする。
<2. Detailed configuration of each part>
<2-1. Ranging Center>
As shown in FIG. 1, the distance measuring sensor 10 includes an irradiation source 11 that irradiates a laser L1, and a light receiving surface 12 that receives a reflected wave L2 of the laser L1. The irradiation source 11 and the light receiving surface 13 are accommodated in the same housing 16. In the present embodiment, the laser L1 irradiated by the irradiation source 11 is near-infrared light with high directivity, and the light receiving surface 12 selectively responds to waves in the wavelength region of the laser L1 irradiated by the irradiation source 11. . The light receiving surface 12 is arranged in a lattice pattern on substantially the same plane, and has a light receiving element group including a near infrared filter that transmits only waves in the wavelength region of the laser L1, a CCD image sensor, and the like. A lens (not shown) that focuses light is disposed in front of the light receiving surface 12. Unless otherwise specified, in this embodiment, “front” or “front” means a direction from the imaging system 1 toward the target space S1, and “rear” or “back” is the opposite direction. Means.
照射源１１は、ＬＥＤ等からなり、筐体１６の前面に配置され、レーザＬ１を前方へ照射する。照射源１１から照射されたレーザＬ１は、対象空間Ｓ１内の物体に衝突し、その衝突点で乱反射する。受光面１２は、照射源１１と同じく前方を向くように、照射源１１と同じく筐体１６の前面に配置されている。その結果、受光面１２は、対象空間Ｓ１内の物体に衝突して反射し、測距センサー１０まで戻ってきたレーザＬ１の反射波Ｌ２を安定して検出することができる。 The irradiation source 11 is composed of an LED or the like, and is disposed on the front surface of the housing 16 to irradiate the laser L1 forward. The laser L1 emitted from the irradiation source 11 collides with an object in the target space S1, and is irregularly reflected at the collision point. The light receiving surface 12 is disposed on the front surface of the housing 16 in the same manner as the irradiation source 11 so as to face the same as the irradiation source 11. As a result, the light receiving surface 12 can stably detect the reflected wave L2 of the laser L1 that collides with and reflects the object in the target space S1 and returns to the distance measuring sensor 10.
また、測距センサー１０は、測距センサー１０全体の動作を制御する制御部１３を有する。制御部１３は、筐体１６内に収容され、照射源１１及び受光面１２に接続されている。制御部１３は、照射源１１のＬＥＤを駆動する駆動回路や、受光面１２からの出力信号を処理する信号処理部等からなり、照射源１１からレーザＬ１が照射されるタイミングを制御するとともに、受光面１２でレーザＬ１の反射波Ｌ２が検出されたタイミングを監視する。そして、制御部１３は、これらのタイミングに基づいて、測距センサー１０からレーザＬ１の衝突点までの距離データを算出する。この距離データは、算出後、直ちに制御部１３からコンピュータ３０へと出力される。 In addition, the distance measuring sensor 10 includes a control unit 13 that controls the operation of the entire distance measuring sensor 10. The control unit 13 is accommodated in the housing 16 and connected to the irradiation source 11 and the light receiving surface 12. The control unit 13 includes a drive circuit that drives the LED of the irradiation source 11, a signal processing unit that processes an output signal from the light receiving surface 12, and the like, and controls the timing at which the laser L1 is irradiated from the irradiation source 11. The timing at which the reflected wave L2 of the laser L1 is detected on the light receiving surface 12 is monitored. Based on these timings, the control unit 13 calculates distance data from the distance measuring sensor 10 to the collision point of the laser L1. The distance data is output from the control unit 13 to the computer 30 immediately after the calculation.
また、測距センサー１０は、デジタルカメラ１０に近接してその直上方に、図示されない支持機構により固定的に配置されている。従って、測距センサー１０により測定された距離データは、厳密には、測距センサー１０からレーザＬ１が衝突した物体までの距離データであるものの、デジタルカメラ１０からレーザＬ１が衝突した物体までの距離データに近似し、これと見做すことができる。 The distance measuring sensor 10 is fixedly disposed near the digital camera 10 and directly above it by a support mechanism (not shown). Accordingly, the distance data measured by the distance measuring sensor 10 is strictly distance data from the distance measuring sensor 10 to the object on which the laser L1 collides, but the distance from the digital camera 10 to the object on which the laser L1 has collided. Approximate to data and can be considered as this.
＜２−２．位置決め変更ユニット＞
図１に示すように、位置決めユニット４０は、測距センサー１０の筐体１６の背面に固定された棒状の回転軸４１と、回転軸４１の動作を制御する制御部４２とを有する。回転軸４１は、軸心Ａ１の周りを回転可能であるとともに、軸心Ａ１が延びる方向に伸縮可能である。制御部４２は、回転軸４１を駆動する駆動回路や、コンピュータ３０からの制御信号を処理する信号処理部等からなり、コンピュータ３０からの制御信号に従って、この回転運動及び伸縮運動を制御する。そして、この回転運動及び伸縮運動により、測距センサー１０によるレーザＬ１の照射方向が、矢印Ｋ１の方向に沿って走査範囲Ｒ１内を段階的に隈なく走査されることになる（図２参照）。なお、走査範囲Ｒ１は、前後方向に略垂直な面内に規定される。言い換えると、制御部４２は、回転軸４１の動作を制御することにより、測距センサー１０の向き及び位置を変更し、それにより、レーザＬ１の照射方向が走査範囲Ｒ１内を左右方向に往復動しつつ、往路と復路との折り返し地点で上から下へ小刻みに移動するようにする。
<2-2. Positioning change unit>
As shown in FIG. 1, the positioning unit 40 includes a rod-shaped rotating shaft 41 fixed to the back surface of the casing 16 of the distance measuring sensor 10 and a control unit 42 that controls the operation of the rotating shaft 41. The rotation shaft 41 can rotate around the axis A1 and can expand and contract in the direction in which the axis A1 extends. The control unit 42 includes a drive circuit that drives the rotary shaft 41, a signal processing unit that processes a control signal from the computer 30, and the like, and controls the rotational motion and the expansion and contraction motion according to the control signal from the computer 30. Then, by this rotational movement and expansion / contraction movement, the irradiation direction of the laser L1 by the distance measuring sensor 10 is scanned in a stepwise manner within the scanning range R1 along the direction of the arrow K1 (see FIG. 2). . The scanning range R1 is defined in a plane substantially perpendicular to the front-rear direction. In other words, the control unit 42 changes the direction and position of the distance measuring sensor 10 by controlling the operation of the rotating shaft 41, so that the irradiation direction of the laser L 1 reciprocates in the horizontal direction within the scanning range R 1. However, it moves from top to bottom in small increments at the turnaround point between the forward path and the return path.
なお、図２中には、参考として、デジタルカメラ２０による撮像範囲Ｒ２が示されている。ここで、撮像範囲Ｒ２は、レーザＬ１の走査面（前後方向に略垂直な面）上への、対象空間Ｓ１の投影図である。そして、後述するとおり、デジタルカメラ２０の画角、すなわち、撮像範囲Ｒ２は調整可能であるが、画角が最大の時にも撮像範囲Ｒ２が走査範囲Ｒ１内に収まるように、回転軸４１の回転運動及び伸縮運動の移動範囲が設計されている。 In FIG. 2, an imaging range R2 by the digital camera 20 is shown as a reference. Here, the imaging range R2 is a projection view of the target space S1 on the scanning surface (a surface substantially perpendicular to the front-rear direction) of the laser L1. As will be described later, the angle of view of the digital camera 20, that is, the imaging range R2, can be adjusted, but the rotation shaft 41 rotates so that the imaging range R2 is within the scanning range R1 even when the angle of view is maximum. The movement range of motion and telescopic motion is designed.
＜２−３．デジタルカメラ＞
デジタルカメラ２０は、対象空間Ｓ１を可視光線に基づいて撮像するカラーカメラであり、ユーザの操作に応じて、静止画及び動画の両方を撮像することができる。図１に示すように、デジタルカメラ２０は、光学系２１と、光学系２１を介し入射した波を受光する受光面２２とを有する。本実施形態では、光学系２１には、ズームレンズ及びフォーカスレンズが含まれている。ズームレンズは、ズームボタン等の操作インターフェース（図示されない）に対するユーザの操作に従って、光学系２１の光軸Ａ２に沿って移動することにより、光学系２１で結像する画像の画角、すなわち、撮像範囲Ｒ２を拡大及び縮小させる。一方、フォーカスレンズは、フォーカスボタン等の操作インターフェース（図示されない）に対するユーザの操作に従って、光学系２１の光軸Ａ２に沿って移動することにより、光学系２１で結像する画像のピントを調整する。なお、ユーザは、画角及びピントの調整を、コンピュータ３０経由でデジタルカメラ２０に指示することも可能である。
<2-3. Digital camera>
The digital camera 20 is a color camera that captures the target space S1 based on visible light, and can capture both a still image and a moving image in accordance with a user operation. As shown in FIG. 1, the digital camera 20 includes an optical system 21 and a light receiving surface 22 that receives a wave incident through the optical system 21. In the present embodiment, the optical system 21 includes a zoom lens and a focus lens. The zoom lens moves along the optical axis A2 of the optical system 21 in accordance with a user operation on an operation interface (not shown) such as a zoom button. The range R2 is enlarged and reduced. On the other hand, the focus lens adjusts the focus of an image formed by the optical system 21 by moving along the optical axis A2 of the optical system 21 in accordance with a user operation on an operation interface (not shown) such as a focus button. . The user can also instruct the digital camera 20 via the computer 30 to adjust the angle of view and the focus.
光学系２１及び受光面２２は、デジタルカメラ２０の筐体２６内に収容されている。光学系２１は、筐体２６の前面側、すなわち、対象空間Ｓ１側に配置されており、受光面２２、光学系２１、対象空間Ｓ１は、この順番に後方から前方へ向かう方向に一直線状に配列されている。 The optical system 21 and the light receiving surface 22 are accommodated in a housing 26 of the digital camera 20. The optical system 21 is disposed on the front surface side of the casing 26, that is, on the target space S1 side, and the light receiving surface 22, the optical system 21, and the target space S1 are arranged in a straight line in the order from the rear to the front in this order. It is arranged.
図３に示すように、受光面２２は、略同一平面上に多数のフィルタ素子が格子状に配列されたフィルタ２２ａと、略同一平面上に多数のフォトダイオードが配列されたＣＣＤイメージセンサー２２ｂとを有する。そして、フィルタ２２ａに含まれるフィルタ素子と、ＣＣＤイメージセンサー２２ｂに含まれるフォトダイオードとは、１対１で対応しており、対応関係にある１のフィルタ素子と１のフォトダイオードとは、１の受光素子を形成している。また、対応関係にある１のフィルタ素子と１のフォトダイオードとは、前後方向に対面するような態様で配置されており、その結果、特定のフィルタ素子を透過した波は、特定のフォトダイオードを感光させて電荷を蓄積させる。なお、図３では、分かり易くするために、フィルタ２２ａとＣＣＤイメージセンサー２２ｂとの間の距離を大きく示しているが、実際には両者の距離は近接しているものとする。 As shown in FIG. 3, the light-receiving surface 22 includes a filter 22a in which a large number of filter elements are arranged in a grid on a substantially same plane, and a CCD image sensor 22b in which a large number of photodiodes are arranged on a substantially same plane. Have The filter elements included in the filter 22a and the photodiodes included in the CCD image sensor 22b have a one-to-one correspondence, and one filter element and one photodiode that are in a corresponding relationship are one in one. A light receiving element is formed. In addition, one filter element and one photodiode that are in a corresponding relationship are arranged in a manner facing each other in the front-rear direction. As a result, a wave that has passed through a specific filter element It is exposed to light to accumulate charge. In FIG. 3, for the sake of easy understanding, the distance between the filter 22a and the CCD image sensor 22b is shown to be large, but it is assumed that the distance between them is actually close.
図４は、フィルタ２２ａの部分拡大図である。図４に示すとおり、フィルタ２２ａでは、赤色光のみを透過させるＲフィルタ素子（図４中で「Ｒ」で示す）と、緑色光のみを透過させるＧフィルタ素子（図４中で「Ｇ」で示す）と、青色光のみを透過させるＢフィルタ素子（図４中で「Ｂ」で示す）と、レーザＬ１の波長領域の波（近赤外線）のみを透過させるＩＲフィルタ素子（図４中で「ＩＲ」で示す）とが、一定の規則に沿って同数だけ繰り返し出現するパターンで配列されている。すなわち、フィルタ２２ａとは、Ｒフィルタ素子と、Ｇフィルタ素子と、Ｂフィルタ素子と、ＩＲフィルタ素子とを１つずつ２×２のマトリクス状に並べたユニットＵＦが、格子状に配列されたものである。フィルタ２２ａに含まれるユニットＵＦは、光学系２１で撮像される画像に含まれる画素に１対１で対応する。 FIG. 4 is a partially enlarged view of the filter 22a. As shown in FIG. 4, in the filter 22a, an R filter element that transmits only red light (indicated by “R” in FIG. 4) and a G filter element that transmits only green light (indicated by “G” in FIG. 4). 4), a B filter element that transmits only blue light (indicated by “B” in FIG. 4), and an IR filter element that transmits only waves (near infrared rays) in the wavelength region of the laser L1 (in FIG. IR ”) are arranged in a pattern that repeatedly appears the same number according to a certain rule. That is, the filter 22a is an array of units UF in which R filter elements, G filter elements, B filter elements, and IR filter elements are arranged in a matrix of 2 × 2 one by one. It is. The unit UF included in the filter 22a has a one-to-one correspondence with the pixels included in the image captured by the optical system 21.
そして、以上の説明から明らかなとおり、フィルタ２２ａと、ＣＣＤイメージセンサー２２ｂとは、略同一平面上に重なるように配置される４つの受光面を形成する。４つの受光面とは、赤色光の波長領域の波に選択的に感応する多数の受光素子（Ｒ受光素子）が格子状に配列されたＲ受光面と、緑色光の波長領域の波に選択的に感応する多数の受光素子（Ｇ受光素子）が格子状に配列されたＧ受光面と、青色光の波長領域の波に選択的に感応する多数の受光素子（Ｂ受光素子）が格子状に配列されたＢ受光面と、レーザＬ１の波長領域の波（近赤外線）に選択的に感応する多数の受光素子（ＩＲ受光素子）が配列されたＩＲ受光面である。なお、Ｒ受光面と、Ｇ受光面と、Ｂ受光面との３つの受光面は、全体として、可視光線に選択的に感応するＲＧＢ受光面と捉えることができる。 As is clear from the above description, the filter 22a and the CCD image sensor 22b form four light receiving surfaces arranged so as to overlap each other on substantially the same plane. The four light-receiving surfaces are selected as an R light-receiving surface in which a large number of light-receiving elements (R light-receiving elements) that are selectively responsive to waves in the wavelength region of red light are arranged in a lattice pattern and waves in the wavelength region of green light G light-receiving surface in which a large number of light-sensitive elements (G light-receiving elements) that are sensitively arranged are arranged in a lattice pattern, and a large number of light-receiving elements (B light-receiving elements) that are selectively sensitive to waves in the wavelength region of blue light are in a lattice shape And an IR light receiving surface on which a large number of light receiving elements (IR light receiving elements) that are selectively sensitive to waves in the wavelength region of the laser L1 (near infrared rays) are arranged. Note that the three light receiving surfaces of the R light receiving surface, the G light receiving surface, and the B light receiving surface can be regarded as RGB light receiving surfaces that selectively respond to visible light as a whole.
ここで、Ｒ受光面と、Ｇ受光面と、Ｂ受光面と、ＩＲ受光面とは、共通する光学系２１を透過した波を受光する。つまり、これら４つの受光面は、同じ撮像範囲Ｒ２を捉えるものであり、従って、これら４つの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有する。 Here, the R light receiving surface, the G light receiving surface, the B light receiving surface, and the IR light receiving surface receive a wave transmitted through the common optical system 21. That is, these four light receiving surfaces capture the same imaging range R2, and therefore, the light receiving elements that capture the same object point on these four light receiving surfaces have a certain correspondence.
ところで、さらに、デジタルカメラ２０は、筐体２６内に制御部２３と、メモリ２４とを有する。制御部２３は、適当な制御回路、ＣＰＵ、ＲＡＭ、ＲＯＭ等からなり、ＲＯＭやメモリ２４内に格納されているプログラムを実行することにより、デジタルカメラ２０全体の動作を制御する。具体的には、制御部２３は、受光面２２に接続されており、受光面２２での露光のタイミングや、受光面２２上の受光素子群に蓄積された電荷を出力するタイミング等を制御する。また、制御部２３は、受光素子群から出力された電荷の量を受光素子単位で画素データに換算し、これらの画素データから対象空間Ｓ１を写す平面的な画像データを形成する。なお、以下では、Ｒ受光素子に対応する画素データをＲデータ、Ｇ受光素子に対応する画素データをＧデータ、Ｂ受光素子に対応する画素データをＢデータ、ＩＲ受光素子に対応する画素データをＩＲデータと呼ぶ。また、制御部２３には、メモリ２４が接続されている。制御部２３により形成された画像データは、メモリ２４内に蓄積されるとともに、リアルタイムにコンピュータ３０に転送される。なお、メモリ２４は、フラッシュメモリ等の不揮発性メモリである。 Incidentally, the digital camera 20 further includes a control unit 23 and a memory 24 in the housing 26. The control unit 23 includes an appropriate control circuit, CPU, RAM, ROM, and the like, and controls the operation of the entire digital camera 20 by executing a program stored in the ROM or memory 24. Specifically, the control unit 23 is connected to the light receiving surface 22 and controls the timing of exposure on the light receiving surface 22, the timing of outputting the charge accumulated in the light receiving element group on the light receiving surface 22, and the like. . Further, the control unit 23 converts the amount of charge output from the light receiving element group into pixel data in units of light receiving elements, and forms planar image data that captures the target space S1 from these pixel data. In the following, pixel data corresponding to the R light receiving element is R data, pixel data corresponding to the G light receiving element is G data, pixel data corresponding to the B light receiving element is B data, and pixel data corresponding to the IR light receiving element is This is called IR data. A memory 24 is connected to the control unit 23. The image data formed by the control unit 23 is stored in the memory 24 and transferred to the computer 30 in real time. The memory 24 is a nonvolatile memory such as a flash memory.
＜２−４．コンピュータ＞
コンピュータ３０は、画像処理プログラム２がインストールされている汎用のパーソナルコンピュータである。画像処理プログラム２は、測距センサー１０により測定された距離データ及びデジタルカメラ２０により撮像された画像データから合成データを生成したり、合成データに基づいて三次元画像データを形成したり、三次元画像データを表示部３４に表示したりするためのソフトウェアである。画像処理プログラム２は、コンピュータ３０に後述する以下の動作を実行させる。
<2-4. Computer>
The computer 30 is a general-purpose personal computer in which the image processing program 2 is installed. The image processing program 2 generates composite data from the distance data measured by the distance measuring sensor 10 and the image data captured by the digital camera 20, forms 3D image data based on the composite data, This is software for displaying image data on the display unit. The image processing program 2 causes the computer 30 to execute the following operations described later.
図１に示すように、コンピュータ３０は、制御部３１と、記憶部３２と、入力部３３と、表示部３４と、通信部３５とを有し、これらの部３１〜３５は、相互に通信可能である。本実施形態では、制御部３１は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成されており、記憶部３２は、ハードディスク等から構成されている。画像処理プログラム２は、記憶部３２内に格納されており、制御部３１は、記憶部３２から画像処理プログラムを読み出して実行することにより、重畳部３１ａ及び三次元処理部３１ｂとして動作する。重畳部３１ａ及び三次元処理部３１ｂの動作については、後述する。入力部３３は、マウスおよびキーボート等から構成されており、コンピュータ３０に対するユーザからの操作を受け付けるユーザインターフェースである。表示部３４は、液晶ディスプレイ、電子ホログラフィ方式のデバイス等から構成されており、三次元画像データ等をユーザに対し表示するユーザインターフェースである。通信部３５は、コンピュータ３０を外部機器である測距センサー１０、位置決めユニット４０及びデジタルカメラ２０に接続する通信インターフェースである。 As illustrated in FIG. 1, the computer 30 includes a control unit 31, a storage unit 32, an input unit 33, a display unit 34, and a communication unit 35, and these units 31 to 35 communicate with each other. Is possible. In this embodiment, the control part 31 is comprised from CPU, ROM, RAM, etc., and the memory | storage part 32 is comprised from the hard disk etc. The image processing program 2 is stored in the storage unit 32, and the control unit 31 reads and executes the image processing program from the storage unit 32, thereby operating as the superimposing unit 31a and the three-dimensional processing unit 31b. The operations of the superimposing unit 31a and the three-dimensional processing unit 31b will be described later. The input unit 33 includes a mouse, a keyboard, and the like, and is a user interface that receives an operation from the user on the computer 30. The display unit 34 includes a liquid crystal display, an electronic holographic device, and the like, and is a user interface that displays 3D image data and the like to the user. The communication unit 35 is a communication interface that connects the computer 30 to the distance measuring sensor 10, the positioning unit 40, and the digital camera 20 that are external devices.
＜３．撮像システムの動作＞
以下、図５を参照しつつ、撮像システム１により対象空間Ｓ１が撮像され、奥行き情報を有するカラー画像データである合成データが形成されるまでの撮像処理について説明する。なお、簡単のため、以下では、１枚の静止画が撮像される様子について説明するが、動画が撮像される場合には、各フレームについて図５の撮像処理が繰り返されるものとする。
<3. Operation of imaging system>
Hereinafter, with reference to FIG. 5, an imaging process until the target space S1 is imaged by the imaging system 1 and composite data that is color image data having depth information is formed will be described. For simplicity, the following describes how a single still image is captured. However, when a moving image is captured, it is assumed that the imaging process of FIG. 5 is repeated for each frame.
ユーザが、デジタルカメラ２０の筐体２６上に配置されるレリーズボタン等の操作インターフェース（図示されない）を操作すると、デジタルカメラ２０の制御部１３によりその旨が検知され、図５の撮像処理が開始する。なお、図５の撮像処理は、ユーザがコンピュータ３０経由で指示を与えることによっても開始し得る。その場合には、コンピュータ３０の制御部３１からデジタルカメラ２０の制御部２３へ、撮像処理の開始命令が送信される。ここで、ユーザは、撮像処理を開始させる前に、デジタルカメラ２０のズームレンズ及びフォーカスレンズの位置を調整し、所望のとおり撮像範囲Ｒ２を設定し、ピントを調整しておく必要がある。 When the user operates an operation interface (not shown) such as a release button arranged on the casing 26 of the digital camera 20, that effect is detected by the control unit 13 of the digital camera 20, and the imaging process of FIG. To do. Note that the imaging process of FIG. 5 can also be started when the user gives an instruction via the computer 30. In this case, an imaging process start command is transmitted from the control unit 31 of the computer 30 to the control unit 23 of the digital camera 20. Here, before starting the imaging process, the user needs to adjust the zoom lens and focus lens positions of the digital camera 20, set the imaging range R2 as desired, and adjust the focus.
まず、ステップＳ１１として、デジタルカメラ２０の制御部２３は、図示されないシャッターを開く等して、受光面２２に可視光線に基づいて対象空間Ｓ１を撮像させる。その結果、Ｒ受光面上の各Ｒ受光素子に蓄積された電荷と、Ｇ受光面上の各Ｇ受光素子に蓄積された電荷と、Ｂ受光面上の各Ｂ受光素子に蓄積された電荷とが制御部２３により処理され、対象空間Ｓ１を写す画像データが形成される。この画像データは、Ｒ受光素子に蓄積された電荷の量に応じたＲデータと、Ｇ受光素子に蓄積された電荷の量に応じたＧデータと、Ｂ受光素子に蓄積された電荷の量に応じたＢデータとを画素単位で合成したカラー画像データである。そして、このカラー画像データは、メモリ２４内に格納されるとともに、直ちに制御部２３からコンピュータ３０へ転送され、図６に示す態様で記憶部３２内に記録される。すなわち、図６に示すとおり、カラー画像データの各画素の番号（ｍ１，ｍ２）に関連付けて、記憶部３２内にＲＧＢデータが格納される。なお、番号（ｍ１，ｍ２）の画素とは、このカラー画像の左からｍ１番目かつ上からｍ２番目の画素である（ただし、ｍ１＝１，２，・・・，Ｍ１であり、ｍ２＝１，２，・・・，Ｍ２）。従って、このカラー画像データのサイズは、Ｍ１×Ｍ２となる。 First, as step S11, the control unit 23 of the digital camera 20 opens the shutter (not shown) and causes the light receiving surface 22 to image the target space S1 based on visible light. As a result, the charge accumulated in each R light receiving element on the R light receiving surface, the charge accumulated in each G light receiving element on the G light receiving surface, and the charge accumulated in each B light receiving element on the B light receiving surface Are processed by the control unit 23, and image data representing the target space S1 is formed. The image data includes R data corresponding to the amount of charge accumulated in the R light receiving element, G data corresponding to the amount of charge accumulated in the G light receiving element, and the amount of charge accumulated in the B light receiving element. Color image data obtained by compositing the corresponding B data in units of pixels. The color image data is stored in the memory 24 and immediately transferred from the control unit 23 to the computer 30 and recorded in the storage unit 32 in the manner shown in FIG. That is, as shown in FIG. 6, RGB data is stored in the storage unit 32 in association with the number (m1, m2) of each pixel of the color image data. The number (m1, m2) pixels are the m1th pixel from the left and the m2th pixel from the top of the color image (where m1 = 1, 2,..., M1 and m2 = 1). , 2,..., M2). Therefore, the size of this color image data is M1 × M2.
続くステップＳ１２では、測距センサー１０により対象空間Ｓ１内の物体までの距離データが測定される。具体的には、コンピュータ３０の制御部３１は、位置決めユニット４０、測距センサー１０及びデジタルカメラ２０を同期させつつ、以下の処理を実行する。すなわち、制御部３１は、測距センサー１０の制御部１３へ計測命令を送信するとともに、デジタルカメラ２０の制御部２３へ撮像命令を送信する。計測命令を受信した制御部１３は、照射源１１にレーザＬ１を照射させ、受光面１２にその反射波Ｌ２を検出させる。そして、制御部１３は、レーザＬ１が照射されてからその反射波Ｌ２が検出されるまでの時間を計測し、その時間や赤外線の伝播速度（光速）等から、レーザＬ１が衝突した物体までの距離データを算出する。そして、この距離データは、直ちに制御部２３からコンピュータ３０へ転送され、記憶部３２内に記録される。 In subsequent step S12, distance data to the object in the target space S1 is measured by the distance measuring sensor 10. Specifically, the control unit 31 of the computer 30 executes the following processing while synchronizing the positioning unit 40, the distance measuring sensor 10, and the digital camera 20. That is, the control unit 31 transmits a measurement command to the control unit 13 of the distance measuring sensor 10 and transmits an imaging command to the control unit 23 of the digital camera 20. The control unit 13 that has received the measurement command causes the irradiation source 11 to irradiate the laser L1 and causes the light receiving surface 12 to detect the reflected wave L2. And the control part 13 measures the time after the laser L1 is irradiated until the reflected wave L2 is detected, and from the time, the propagation speed (light speed) of infrared rays, etc. to the object which the laser L1 collided with Calculate distance data. The distance data is immediately transferred from the control unit 23 to the computer 30 and recorded in the storage unit 32.
一方、撮像命令を受信したデジタルカメラ２０の制御部２３は、測距センサー１０が距離データを算出するのと並列に、照射源１１から照射されたレーザＬ１の別の反射波Ｌ３を受光面２２に受光させる。すなわち、ここでは、ＩＲ受光面上の各ＩＲ受光素子に蓄積された電荷が制御部２３により処理され、対象空間Ｓ１を写す画像データが形成される。この画像データは、ＩＲ受光素子に蓄積された電荷の量に応じたＩＲデータを画素データとして含む赤外線画像データである。そして、この赤外線画像データは、メモリ２４内に格納されるとともに、直ちに制御部２３からコンピュータ３０へ転送され、記憶部３２内に記録される。なお、上記のとおり、この赤外線画像データと、ステップＳ１１のカラー画像データとは、同じ撮像領域Ｒ２を捉える同じサイズの画像データである。従って、上記カラー画像データと同様、この赤外線画像データのサイズは、Ｍ１×Ｍ２であり、この赤外線画像の左からｍ１番目かつ上からｍ２番目の画素の番号は、（ｍ１，ｍ２）と表される（ただし、ｍ１＝１，２，・・・，Ｍ１であり、ｍ２＝１，２，・・・，Ｍ２）。 On the other hand, the control unit 23 of the digital camera 20 that has received the imaging command receives another reflected wave L3 of the laser L1 emitted from the irradiation source 11 in parallel with the distance sensor 10 calculating the distance data. To receive light. That is, here, the charge accumulated in each IR light receiving element on the IR light receiving surface is processed by the control unit 23, and image data representing the target space S1 is formed. This image data is infrared image data including, as pixel data, IR data corresponding to the amount of charge accumulated in the IR light receiving element. The infrared image data is stored in the memory 24, and immediately transferred from the control unit 23 to the computer 30 and recorded in the storage unit 32. As described above, the infrared image data and the color image data in step S11 are image data of the same size that captures the same imaging region R2. Accordingly, the size of the infrared image data is M1 × M2 as in the case of the color image data, and the number of the m1st pixel from the left and the m2th pixel from the top of the infrared image is represented as (m1, m2). (Where m1 = 1, 2,..., M1, and m2 = 1, 2,..., M2).
そして、１回の計測動作と、１回の赤外線画像データの取得動作とが終了すると、コンピュータ３０の制御部３１は、位置決めユニット４０の制御部４２へ走査命令を送信する。走査命令を受信した制御部４２は、照射源１１からのレーザＬ１の照射方向が図２中の矢印Ｋ１に沿って次の照射位置に移動するように、回転軸４１を回転又は伸縮させる。その後、コンピュータ３０の制御部３１は、位置決めユニット４０の制御部４２から回転軸４１の回転又は伸縮が終了した旨の通知を受け付け、これに応じて、上述したのと同様の態様で、測距センサー１０による計測動作と、デジタルカメラ２０による赤外線画像データの取得動作とを再度実行させる。この計測動作と、赤外線画像データの取得動作とは、照射源１１からのレーザＬ１が、図２に示される走査範囲Ｒ１内を隈なく走査するまで繰り返し実行される。そして、その間、コンピュータ３０の制御部３１は、測距センサー１０の制御部１３から順次送信されてくる距離データと、デジタルカメラ２０の制御部２３から順次送信されてくる赤外線画像データとを、受信の順番ｎ＝１，２，・・・，Ｎ１×Ｎ２に関連付けて、記憶部３２内に順次記録してゆく。すなわち、連続的に取得される距離データＤ（ｎ）と、赤外線画像データＩIR（ｎ）とは、図７に示すような態様で、記憶部３２内に記憶される。ここで、Ｎ１は、走査の横方向の解像度であり、Ｎ２は、走査の縦方向の解像度である。なお、測距センサー１０の走査の全体の解像度Ｎ１×Ｎ２は、デジタルカメラ４０の解像度Ｍ１×Ｍ２と同じであることが望ましいが、例えば、これより小さくてもよい。 When one measurement operation and one infrared image data acquisition operation are completed, the control unit 31 of the computer 30 transmits a scanning command to the control unit 42 of the positioning unit 40. The control unit 42 that has received the scanning command rotates or expands and contracts the rotating shaft 41 so that the irradiation direction of the laser L1 from the irradiation source 11 moves to the next irradiation position along the arrow K1 in FIG. Thereafter, the control unit 31 of the computer 30 receives a notification from the control unit 42 of the positioning unit 40 that the rotation or expansion / contraction of the rotary shaft 41 has ended, and in accordance with this, the distance measurement is performed in the same manner as described above. The measurement operation by the sensor 10 and the infrared image data acquisition operation by the digital camera 20 are executed again. This measurement operation and the infrared image data acquisition operation are repeatedly executed until the laser L1 from the irradiation source 11 scans the entire scanning range R1 shown in FIG. In the meantime, the control unit 31 of the computer 30 receives the distance data sequentially transmitted from the control unit 13 of the distance measuring sensor 10 and the infrared image data sequentially transmitted from the control unit 23 of the digital camera 20. Are sequentially recorded in the storage unit 32 in association with the order n = 1, 2,..., N1 × N2. That is, the distance data D (n) and the infrared image data I IR (n) acquired continuously are stored in the storage unit 32 in the manner shown in FIG. Here, N1 is the horizontal resolution of scanning, and N2 is the vertical resolution of scanning. Note that the overall resolution N1 × N2 of the scanning of the distance measuring sensor 10 is preferably the same as the resolution M1 × M2 of the digital camera 40, but may be smaller, for example.
続いて、ステップＳ１３では、コンピュータ３０の重畳部３１ａにより、ステップＳ１１で取得されたカラー画像データと、ステップＳ１２で取得された距離データとを合成した合成データが生成される。具体的には、重畳部３１ａは、各ｎの値について、赤外線画像データＩIR（ｎ）を参照することにより、カラー画像データに含まれる特定の画素データ（ＲＧＢデータ）に距離データＤ（ｎ）を順次対応付けてゆく。すなわち、重畳部３１ａは、各ｎの値について、赤外線画像データＩIR（ｎ）に係る画像に含まれる全ての画素のうち、レーザＬ１の反射波Ｌ２を捉えた画素（例えば、画素値が所定範囲に収まる画素）の番号（ｍ１，ｍ２）を特定する。これは、ＩＲ受光面上のＩＲ受光素子群の中から、レーザＬ１の反射波Ｌ２を受光したＩＲ受光素子を特定することと同じである。なお、１の赤外線画像について特定される画素ないし受光素子の数は、０個の場合も、１個の場合も、複数個の場合もあり、これは、光学系２１のピントの状態や、測距センサー１０の解像度Ｎ１×Ｎ２や、赤外線画像データＩIR（ｎ）及びカラー画像データの解像度Ｍ１×Ｍ２等によって決まる。 Subsequently, in step S13, the superimposition unit 31a of the computer 30 generates composite data obtained by combining the color image data acquired in step S11 and the distance data acquired in step S12. Specifically, the superimposing unit 31a refers to the infrared image data I IR (n) for each value of n, so that the specific pixel data (RGB data) included in the color image data is converted into the distance data D (n ) In order. That is, for each value of n, the superimposing unit 31a captures a pixel that captures the reflected wave L2 of the laser L1 among all the pixels included in the image related to the infrared image data I IR (n) (for example, the pixel value is predetermined). The number (m1, m2) of the pixels within the range is specified. This is the same as specifying the IR light receiving element that receives the reflected wave L2 of the laser L1 from the IR light receiving element group on the IR light receiving surface. Note that the number of pixels or light receiving elements specified for one infrared image may be zero, one, or a plurality, and this may be the focus state of the optical system 21 or the measurement. It is determined by the resolution N1 × N2 of the distance sensor 10, the infrared image data I IR (n), the resolution M1 × M2 of the color image data, and the like.
続いて、重畳部３１ａは、カラー画像データに含まれる、特定された番号（ｍ１，ｍ２）の画素のＲＧＢデータ（特定されたＩＲ受光素子に対応するＲＧＢデータ）に距離データＤ（ｎ）を関連付けることにより、カラー画像データに距離データＤ（ｎ）を重畳する。なお、特定されたＩＲ受光素子に対応するＲＧＢデータとは、特定されたＩＲ受光素子と同じユニットＵＦに含まれるＲ，Ｇ及びＢ受光素子に対応するＲＧＢデータである。 Subsequently, the superimposing unit 31a adds the distance data D (n) to the RGB data (RGB data corresponding to the specified IR light receiving element) of the pixel of the specified number (m1, m2) included in the color image data. By associating, the distance data D (n) is superimposed on the color image data. The RGB data corresponding to the specified IR light receiving element is RGB data corresponding to the R, G, and B light receiving elements included in the same unit UF as the specified IR light receiving element.
以上の結果、図８に示すデータ構造を有する合成データが形成される。すなわち、カラー画像データの各画素の番号（ｍ１，ｍ２）に関連付けて、ＲＧＢデータの他、距離データが格納されてゆく。なお、関連付けられるべき距離データが存在しない画素については、「ＮＵＬＬ」値が格納される。従って、例えば、図８の合成データを解析すれば、番号（１，１）の画素に写っている物体の色は、Ｒ値＝１２，Ｇ値＝１１０，Ｂ値＝２５０の色であり、かつ、その物体までの距離が３５．００ｍであると判断することができる。また、番号（１，２）の画素に写っている物体の色は、Ｒ値＝２１０，Ｇ値＝４０，Ｂ値＝６５の色であり、かつ、その物体までの距離が不明であると判断することができる。 As a result, composite data having the data structure shown in FIG. 8 is formed. That is, the distance data is stored in addition to the RGB data in association with the number (m1, m2) of each pixel of the color image data. Note that a “NULL” value is stored for a pixel for which there is no distance data to be associated. Therefore, for example, if the synthesized data of FIG. 8 is analyzed, the color of the object shown in the pixel of number (1, 1) is the color of R value = 12, G value = 110, and B value = 250, And it can be judged that the distance to the object is 35.00 m. Further, the color of the object shown in the pixel of number (1, 2) is the color of R value = 210, G value = 40, B value = 65, and the distance to the object is unknown. Judgment can be made.
以上の態様で合成データが生成されると、コンピュータ３０は、この合成データに基づいて三次元画像データを表示部３４に表示することが可能な状態となる。具体的には、三次元処理部３０ｂは、ユーザが入力部３３を介して所定の操作を行ったことを検知すると、記憶部３２内の合成データを参照することにより、三次元画像データを形成する。ここで形成される三次元画像データの種類は、ユーザが入力部３３を介して選択可能である。なお、ユーザが選択可能な三次元画像データの種類には、左眼画像及び右眼画像を有するステレオ画像データや、空間内に三次元的に映像を写し出すホログラフデータや、立体物を平面上に投影した投影図の画像データ等が含まれる。三次元処理部３０ｂは、画像処理プログラム２に含まれる、ユーザにより選択された三次元画像データの種類に応じたプログラムモジュールを実行することにより、合成データに含まれる距離データ及びＲＧＢデータから三次元画像データを形成する。この三次元画像データは、表示部３４上で表示される。なお、三次元処理部３０ｂは、ユーザの操作を待たず、合成データが形成される度にリアルタイムに三次元画像データを形成し、表示部３４に表示することも可能である。これは、動画が撮像される場合も同様である。 When the composite data is generated in the above manner, the computer 30 is in a state where the three-dimensional image data can be displayed on the display unit 34 based on the composite data. Specifically, when the three-dimensional processing unit 30b detects that the user has performed a predetermined operation via the input unit 33, the three-dimensional processing unit 30b forms three-dimensional image data by referring to the composite data in the storage unit 32. To do. The type of 3D image data formed here can be selected by the user via the input unit 33. The types of 3D image data that can be selected by the user include stereo image data having a left-eye image and a right-eye image, holographic data for projecting a three-dimensional image in space, and a three-dimensional object on a plane. The image data of the projected image is included. The three-dimensional processing unit 30b executes a program module corresponding to the type of the three-dimensional image data selected by the user, which is included in the image processing program 2, so that three-dimensional processing is performed from the distance data and RGB data included in the synthesized data. Form image data. This three-dimensional image data is displayed on the display unit 34. The three-dimensional processing unit 30b can also form three-dimensional image data in real time and display it on the display unit 34 every time composite data is formed without waiting for a user operation. This is the same when moving images are captured.
＜４．用途＞
本実施形態に係る撮像システム１は、様々な用途で利用することが可能であるが、例えば、防犯システムとして利用することも可能である。そのようなケースでは、測距センサー１０及びデジタルカメラ２０は、その前面側が監視対象となる領域を向くような見通しのよい位置等に配置され、コンピュータ３０は、監視ルーム等に配置される。そして、デジタルカメラ２０で撮像される画像データは、監視映像の動画データとしてコンピュータ３０にリアルタイムに転送される。
<4. Application>
The imaging system 1 according to the present embodiment can be used for various purposes. For example, it can also be used as a security system. In such a case, the distance measuring sensor 10 and the digital camera 20 are arranged at a position with good visibility such that the front side faces the area to be monitored, and the computer 30 is arranged in a monitoring room or the like. The image data captured by the digital camera 20 is transferred to the computer 30 in real time as moving image data of a monitoring video.
ところで、一般の平面的な画像データを取得する監視カメラでは、例えば、図９（ａ）に示すようなフレームが時系列に並ぶ、２人の人物を捉えた動画データが得られたとしても、この二人が図９（ｂ）に示すような奇跡を描いてすれ違ったのか、それとも図９（ｃ）に示すような奇跡を描いてＵターンしたのかを判別することが困難である。ところが、撮像システム１では、二人の人物の奥行き情報が得られるため、両者がすれ違ったのか、Ｕターンしたのかを容易に判別することができる。また、図１０に示すような例においても、人が地面で体操をしているのか、ジャンプしているのかの判別が困難である。しかしながら、平面的な画像データに奥行き情報が加えられる撮像システム１では、そのような判別を容易に行うことができる。 By the way, in a surveillance camera that acquires general planar image data, for example, even if moving image data that captures two persons arranged in a time series as shown in FIG. 9A is obtained, It is difficult to determine whether these two people passed each other with a miracle as shown in FIG. 9B or made a U-turn with a miracle as shown in FIG. 9C. However, since the imaging system 1 can obtain depth information of two persons, it is possible to easily determine whether the two have passed each other or have made a U-turn. Also in the example as shown in FIG. 10, it is difficult to determine whether a person is doing gymnastics on the ground or jumping. However, in the imaging system 1 in which depth information is added to planar image data, such a determination can be easily performed.
なお、防犯システムにおいては、様々な公知の画像処理技術と組み合わせて、合成データないし三次元画像データをコンピュータ３０により自動的に解析することにより、両者がすれ違ったのか、Ｕターンしたのか等、立体的な情報を必要とする判断を自動的に行ってもよい。そして、異常が予知又は検出されれば、その旨がコンピュータ３０から自動的に出力されるようにしてもよい。このような異常の報知の態様としては、スピーカから音声を出力したり、ディスプレイ上にメッセージを表示させたり、電子メールやＦＡＸ等で所定の連絡先に報知する態様等が考えられる。これにより、不審者や不審物等を早期発見することが可能になる。 In the crime prevention system, a combination of various known image processing techniques is used to automatically analyze composite data or three-dimensional image data by the computer 30 to determine whether the two have passed each other or have made a U-turn. The determination that requires specific information may be made automatically. If an abnormality is predicted or detected, the fact may be automatically output from the computer 30. Examples of such an abnormality notification mode include a mode in which voice is output from a speaker, a message is displayed on a display, and a predetermined contact is notified by e-mail, FAX, or the like. Thereby, it becomes possible to detect a suspicious person, a suspicious object, etc. at an early stage.
撮像システム１の他の用途としては、例えば、美術品等の映像を記録するデジタルアーカイブシステムとして利用することや、高齢者や病人等の見守りシステムとして利用すること等が考えられる。 As other uses of the imaging system 1, for example, it can be used as a digital archive system for recording images such as works of art, or as a monitoring system for elderly people, sick people, and the like.
＜５．特徴＞
上記実施形態では、撮像システム１は、照射源１１から照射された後、被写体に反射して戻ってきたレーザＬ１の反射波Ｌ２を捉えることにより、被写体までの距離を測定する。また、撮像システム１は、異なる波長領域の波に選択的に感応する異なる受光面、すなわち、ＲＧＢ受光面及びＩＲ受光面を有する。具体的には、ＲＧＢ受光面は、被写体の画像を形成するための可視光線を受光する一方、ＩＲ受光面は、照射源１１から照射されるレーザＬ１の反射波Ｌ３を受光する。しかし、これらの受光面は、同じ撮像範囲を捉えるものであり、従って、これらの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有することになる。つまり、撮像システム１は、受光素子群により捉えられる画素値を参照するまでもなく（言い換えると、受光素子群により撮像された画像を画像処理するまでもなく）、これらの受光面上の受光素子群の対応関係を把握している。その結果、重畳部３１ａは、ＩＲ受光面上のレーザＬ１の反射波Ｌ３を捉えた受光素子を特定することにより、測距センサー１０で測定された距離が、ＲＧＢ受光面で撮像された画像上のどの画素に対応する物体までの距離であるのかを容易に判断し、この距離と画像上の特定の画素とを容易に対応付けることができる。従って、ここでは、測距センサー１０による距離データを、デジタルカメラ２０によるカラー画像データ内の画素に容易に対応付けることができる。
<5. Features>
In the above embodiment, the imaging system 1 measures the distance to the subject by capturing the reflected wave L2 of the laser L1 that has been irradiated from the irradiation source 11 and then reflected back to the subject. The imaging system 1 has different light receiving surfaces that are selectively sensitive to waves in different wavelength regions, that is, RGB light receiving surfaces and IR light receiving surfaces. Specifically, the RGB light receiving surface receives visible light for forming an image of the subject, while the IR light receiving surface receives the reflected wave L3 of the laser L1 emitted from the irradiation source 11. However, these light receiving surfaces capture the same imaging range. Accordingly, light receiving elements that capture the same subject point on these light receiving surfaces have a certain correspondence. That is, the imaging system 1 does not need to refer to pixel values captured by the light receiving element group (in other words, without performing image processing on an image captured by the light receiving element group), and the light receiving elements on these light receiving surfaces. The relationship between groups is grasped. As a result, the superimposing unit 31a identifies the light receiving element that captures the reflected wave L3 of the laser L1 on the IR light receiving surface, so that the distance measured by the distance measuring sensor 10 is on the image captured by the RGB light receiving surface. It is possible to easily determine which of the pixels corresponds to the distance to the object, and easily associate this distance with a specific pixel on the image. Therefore, here, the distance data from the distance measuring sensor 10 can be easily associated with the pixels in the color image data from the digital camera 20.
つまり、上記実施形態では、測距センサー１０が距離を測定する点と、デジタルカメラ２０により撮像されるカラー画像データ上の点とを対応付けるために、計算負荷の高い複雑な演算を必要としない。従って、撮像システム１による計算時の推論誤差がなくなり、また、測距センサー１０及びデジタルカメラ２０に関する各種のパラメータが未知であっても、上記対応付けが可能になる。 That is, in the above embodiment, in order to associate the point at which the distance measuring sensor 10 measures the distance with the point on the color image data captured by the digital camera 20, a complicated calculation with a high calculation load is not required. Therefore, the inference error at the time of calculation by the imaging system 1 is eliminated, and the above association is possible even if various parameters regarding the distance measuring sensor 10 and the digital camera 20 are unknown.
＜６．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
<6. Modification>
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A various change is possible unless it deviates from the meaning. For example, the following changes can be made.
＜６−１＞
受光面１２及び受光面２２としては、ＣＭＯＳセンサー等、ＣＣＤイメージセンサー以外のものを使用してもよい。
＜６−２＞
受光面２２を、図１１に示すようなものに変更してもよい。すなわち、赤色光、緑色光、青色光及び赤外線をプリズムにより分光し、Ｒ受光面、Ｇ受光面、Ｂ受光面及びＩＲ受光面が平行でなく、異なる平面上に配置されるようにしてもよい。また、同様の考え方に従って、例えば、光学系２１へ入射する波をプリズムにより可視光線及び赤外線の２つに分光してもよい。
<6-1>
As the light receiving surface 12 and the light receiving surface 22, a sensor other than a CCD image sensor such as a CMOS sensor may be used.
<6-2>
The light receiving surface 22 may be changed to the one shown in FIG. That is, red light, green light, blue light, and infrared light may be dispersed by a prism so that the R light receiving surface, the G light receiving surface, the B light receiving surface, and the IR light receiving surface are not parallel but arranged on different planes. . Further, according to the same concept, for example, a wave incident on the optical system 21 may be split into two rays of visible light and infrared light by a prism.
＜６−３＞
受光面１２を省略し、デジタルカメラ２０のＩＲ受光面で受光されたレーザＬ１の反射波Ｌ３に基づいて距離データを測定するようにしてもよい。この場合、デジタルカメラ２０のＩＲ受光面での反射波Ｌ３の受光に関する情報を、デジタルカメラ２０の制御部２３から測距センサー１０の制御部１３に転送することにより、制御部１３により距離データを測定可能とすることができる。あるいは、照射源１１からのレーザＬ１の照射に関する情報を、制御部１３から制御部２３に転送することにより、制御部２３が距離データを測定するようにしてもよい。あるいは、これらの情報をコンピュータ３０の制御部３１に転送することにより、制御部３１が距離データを測定するようにしてもよい。この変形例によれば、デジタルカメラ２０のＩＲ受光面は、被写体上でのレーザＬ１の反射点をその被写体の画像上の画素に対応付ける役割と、被写体までの距離の算出用にレーザＬ１の反射波を受光する役割とを兼ねる。従って、部品点数を減らし、撮像システム１の構築のコストを下げることができる。
<6-3>
The light receiving surface 12 may be omitted, and the distance data may be measured based on the reflected wave L3 of the laser L1 received by the IR light receiving surface of the digital camera 20. In this case, by transmitting information related to the reception of the reflected wave L3 on the IR light receiving surface of the digital camera 20 from the control unit 23 of the digital camera 20 to the control unit 13 of the distance measuring sensor 10, the distance data is obtained by the control unit 13. It can be measurable. Or you may make it the control part 23 measure distance data by transferring the information regarding irradiation of the laser L1 from the irradiation source 11 from the control part 13 to the control part 23. FIG. Alternatively, the control unit 31 may measure the distance data by transferring the information to the control unit 31 of the computer 30. According to this modification, the IR light receiving surface of the digital camera 20 has a role of associating the reflection point of the laser L1 on the subject with a pixel on the image of the subject and the reflection of the laser L1 for calculating the distance to the subject. It also serves to receive waves. Therefore, the number of parts can be reduced, and the cost of constructing the imaging system 1 can be reduced.
＜６−４＞
測距センサー１０の制御部１３、デジタルカメラ２０の制御部２３及びコンピュータ３０の制御部３１における処理の分担は、上述したものに限られず、制御部１３における処理の一部又は全部を制御部２３又は制御部３１が実行してもよいし、制御部２３における処理の一部又は全部を制御部１３又は制御部３１が実行してもよいし、制御部３１における処理の一部又は全部を制御部１３又は制御部２３が実行してもよい。
<6-4>
The sharing of processing in the control unit 13 of the distance measuring sensor 10, the control unit 23 of the digital camera 20, and the control unit 31 of the computer 30 is not limited to that described above. Alternatively, the control unit 31 may execute, or part or all of the processing in the control unit 23 may be executed by the control unit 13 or the control unit 31, or part or all of the processing in the control unit 31 may be controlled. The unit 13 or the control unit 23 may execute.
＜６−５＞
レーザＬ１の反射波Ｌ２，Ｌ３に基づいて対象空間Ｓ１内の物体までの距離データを測定する方法は、上述したものに限られない。例えば、レーザＬ１が照射されてからその反射波Ｌ２，Ｌ３が戻ってくるまでの位相差、レーザＬ１の反射波Ｌ２，Ｌ３が受光される受光面１２，２２上の位置、レーザＬ１の反射波Ｌ２，Ｌ３の強度から算出する等、当業者は公知の方法の中から任意のものを適宜選択し得る。
<6-5>
The method of measuring the distance data to the object in the target space S1 based on the reflected waves L2 and L3 of the laser L1 is not limited to the above. For example, the phase difference from when the laser L1 is irradiated until the reflected waves L2 and L3 return, the position on the light receiving surfaces 12 and 22 where the reflected waves L2 and L3 of the laser L1 are received, and the reflected wave of the laser L1 Those skilled in the art can appropriately select an arbitrary method from known methods such as calculating from the intensity of L2 and L3.
＜６−６＞
レーザＬ１は、近赤外線に限られず、中赤外線や遠赤外線であってもよいし、赤外線以外の波であってもよい。また、デジタルカメラ２０は、カラー画像データの代わりに、白黒画像データや赤外線画像データ等の他の種類の画像を撮像するカメラであってもよい。なお、デジタルカメラ２０がカラー画像データの代わりに赤外線画像データを撮像する場合には、照射源１１から照射されるレーザＬ１を可視光線等の赤外線以外の波としたり、同じ赤外線であってもレーザＬ１とは異なる波長領域の赤外線とする等、受光面２２で異なる種類の波長領域の波を選択的に受光できるようにする必要がある。
<6-6>
The laser L1 is not limited to near infrared rays, but may be mid infrared rays or far infrared rays, or may be waves other than infrared rays. The digital camera 20 may be a camera that captures other types of images such as black and white image data and infrared image data instead of color image data. When the digital camera 20 captures infrared image data instead of color image data, the laser L1 emitted from the irradiation source 11 is a wave other than infrared rays such as visible rays, or even the same infrared ray is a laser. It is necessary to be able to selectively receive waves of different types of wavelength regions on the light receiving surface 22, such as infrared rays having a wavelength region different from L1.
＜６−７＞
デジタルカメラ２０は、平面的な画像データを撮像するものに限らず、一定の間隔を空けて略平行に並ぶ左眼用及び右眼用の２つの光学系を有するもの等、立体画像データを撮像可能なものであってもよい。このように、デジタルカメラ２０自体が立体的な画像データを撮像する場合には、測距センサー１０で撮像される距離データを奥行き情報の補正用に使用することができる。
<6-7>
The digital camera 20 is not limited to capturing planar image data, and captures stereoscopic image data such as a camera having two optical systems for the left eye and the right eye that are arranged in parallel at a certain interval. It may be possible. As described above, when the digital camera 20 itself captures stereoscopic image data, the distance data captured by the distance measuring sensor 10 can be used for correcting depth information.
＜６−８＞
デジタルカメラ２０は、例えば、魚眼レンズカメラや、全方位カメラ等、任意のタイプのカメラとすることができる。
＜６−９＞
合成データから得られる三次元画像データは、上述したものに限られず、立体的な視覚を得ることが可能な任意のタイプの画像データとすることができる。
<6-8>
The digital camera 20 can be an arbitrary type of camera such as a fisheye lens camera or an omnidirectional camera.
<6-9>
The three-dimensional image data obtained from the composite data is not limited to the one described above, and can be any type of image data that can obtain a stereoscopic vision.
＜６−１０＞
赤外線画像データＩIR（ｎ）に係る画像に含まれる全ての画素のうち、レーザＬ１の反射波Ｌ２を捉えた画素を特定する態様は、上述したもの、すなわち、画素値が所定範囲に収まる画素を検出する態様に限られない。例えば、レーザＬ１を照射していないタイミングでＩＲ受光面により撮像される赤外線画像データと比較し、画素値が有意に大きい画素を検出してもよい。
<6-10>
Among all the pixels included in the image related to the infrared image data I IR (n), the mode for identifying the pixel that captures the reflected wave L2 of the laser L1 is as described above, that is, a pixel whose pixel value falls within a predetermined range. It is not restricted to the aspect which detects. For example, a pixel having a significantly large pixel value may be detected by comparing with infrared image data captured by the IR light receiving surface at a timing when the laser L1 is not irradiated.
＜６−１１＞
測距センサー１０の照射源１１からのレーザＬ１の走査の態様は、面的な走査に限られず、例えば、数点のみを走査するものとしてもよいし、線的に走査するものとしてもよい。
＜６−１２＞
デジタルカメラ１０から対象空間Ｓ１内の物体までの距離データがより正確に得られるよう、測距センサー１０により測定される、測距センサー１０から物体までの距離データを補正してもよい。例えば、測距センサー１０とデジタルカメラ１０の位置関係に関するパラメータ等をコンピュータ３０の記憶部３２に予め記憶させておけば、これを利用することができる。また、位置決めユニット４０による回転軸４１の、ひいては測距センサー１０の回転運動及び伸縮運動の情報も利用することができる。
<6-11>
The mode of scanning of the laser L1 from the irradiation source 11 of the distance measuring sensor 10 is not limited to planar scanning. For example, only a few points may be scanned, or linear scanning may be performed.
<6-12>
The distance data from the distance measuring sensor 10 to the object measured by the distance measuring sensor 10 may be corrected so that the distance data from the digital camera 10 to the object in the target space S1 can be obtained more accurately. For example, if parameters relating to the positional relationship between the distance measuring sensor 10 and the digital camera 10 are stored in the storage unit 32 of the computer 30 in advance, this can be used. In addition, information on the rotational movement and expansion / contraction movement of the rotation shaft 41 of the positioning unit 40, and thus the distance measuring sensor 10, can also be used.
＜６−１３＞
ＲＧＢ受光面の撮像範囲とＩＲ受光面の撮像範囲とは、完全に同じである必要はなく、一部のみが重複するものであってもよい。このような構成を実現するためには、例えば、近接した２つの光学系を用意し、これら２つの光学系を介して入射される波をそれぞれＲＧＢ受光面とＩＲ受光面で受光するようにすればよい。また、ＲＧＢ受光面の撮像範囲内の重複領域と、ＩＲ受光面の撮像範囲内の重複領域との対応関係を示すデータを、予め算出してコンピュータ３０の記憶部３２内に格納しておく等し、ステップＳ１３で特別な画像処理を実行せずともこの対応関係を把握できるようにしておくことが望ましい。
<6-13>
The imaging range of the RGB light receiving surface and the imaging range of the IR light receiving surface do not have to be completely the same, and only a part of them may overlap. In order to realize such a configuration, for example, two adjacent optical systems are prepared, and waves incident through these two optical systems are received by the RGB light receiving surface and the IR light receiving surface, respectively. That's fine. In addition, data indicating the correspondence between the overlapping area in the imaging range of the RGB light receiving surface and the overlapping area in the imaging range of the IR light receiving surface is calculated in advance and stored in the storage unit 32 of the computer 30. However, it is desirable to be able to grasp this correspondence without executing special image processing in step S13.
＜６−１４＞
カラー画像データと赤外線画像データの解像度は、等しくなくてもよく、例えば、後者の方が小さくていもよい。ただし、測距センサー１０の解像度Ｎ１×Ｎ２と、赤外線画像データの解像度とは、等しいことが望ましい。赤外線画像データは、測距センサー１０で距離データが測定された時の走査位置を示す画像データであるからである。
<6-14>
The resolution of the color image data and the infrared image data may not be equal. For example, the latter may be smaller. However, it is desirable that the resolution N1 × N2 of the distance measuring sensor 10 and the resolution of the infrared image data are equal. This is because the infrared image data is image data indicating a scanning position when the distance data is measured by the distance measuring sensor 10.
１ 撮像システム
１０ 測距センサー
１１ 照射源
１２ 受光面（第３受光面）
１３ 制御部（測定部）
２０ デジタルカメラ
２１ 光学系
２２ 受光面（撮像部）
２３ 制御部（画像形成部）
３０ コンピュータ
３１ 制御部
３１ａ 重畳部
３１ｂ 三次元処理部
Ｌ１ レーザ
Ｌ２，Ｌ３ レーザの反射波
Ｐ１，Ｐ２ 人物（被写体）
Ｓ１ 対象空間（被写体）
DESCRIPTION OF SYMBOLS 1 Imaging system 10 Distance sensor 11 Irradiation source 12 Light receiving surface (3rd light receiving surface)
13 Control unit (measurement unit)
20 Digital camera 21 Optical system 22 Light-receiving surface (imaging part)
23 Control unit (image forming unit)
30 Computer 31 Control unit 31a Superimposition unit 31b Three-dimensional processing unit L1 Laser L2, L3 Laser reflected waves P1, P2 Person (subject)
S1 Target space (subject)
Claims (8)
前記レーザと異なる波長領域の波に選択的に感応する第１受光面と、前記第１受光面と同じ撮像範囲を捉え、前記レーザの波長領域の波に選択的に感応する第２受光面とを有する撮像部と、
前記照射源から照射され、被写体で反射した前記レーザの反射波に基づいて、前記被写体までの距離データを測定する測定部と、
前記第１受光面で受光された波に基づいて、前記被写体の画像データを形成する画像形成部と、
前記第２受光面上の前記反射波を受光した受光素子を特定し、前記画像データに含まれる、前記特定された受光素子に対応する画素データに前記距離データを対応付けることにより、前記画像データに前記距離データを重畳した合成データを生成する重畳部と
を備える、撮像システム。 An irradiation source for irradiating a laser;
A first light-receiving surface that is selectively sensitive to waves in a wavelength region different from the laser; and a second light-receiving surface that captures the same imaging range as the first light-receiving surface and is selectively sensitive to waves in the wavelength region of the laser; An imaging unit having
A measurement unit that measures distance data to the subject based on a reflected wave of the laser emitted from the irradiation source and reflected by the subject;
An image forming unit for forming image data of the subject based on the wave received by the first light receiving surface;
A light receiving element that has received the reflected wave on the second light receiving surface is identified, and the distance data is associated with pixel data corresponding to the identified light receiving element included in the image data. An imaging system comprising: a superimposing unit that generates composite data in which the distance data is superimposed.
をさらに備え、
前記測定部は、前記第３受光面で受光された前記反射波に基づいて、前記距離データを測定する、
請求項１に記載の撮像システム。 A third light receiving surface for receiving the reflected wave;
The measuring unit measures the distance data based on the reflected wave received by the third light receiving surface;
The imaging system according to claim 1.
請求項１に記載の撮像システム。 The measuring unit measures the distance data based on the reflected wave received by the second light receiving surface;
The imaging system according to claim 1.
をさらに備える、
請求項１から３のいずれかに記載の撮像システム。 Further comprising a three-dimensional processing unit that forms three-dimensional image data of the subject by referring to the composite data;
The imaging system according to claim 1.
前記測定部は、前記走査された前記レーザの前記反射波に基づいて、前記距離データを順次測定し、
前記重畳部は、前記第２受光面上の、前記走査された前記レーザの前記反射波を受光した受光素子を順次特定し、前記順次特定される受光素子に対応する画素データに前記距離データを順次対応付けることにより、前記画像データに前記距離データを順次重畳する、
請求項１から４のいずれかに記載の撮像システム。 The irradiation source scans the laser;
The measurement unit sequentially measures the distance data based on the reflected wave of the scanned laser,
The superimposing unit sequentially identifies a light receiving element that has received the reflected wave of the scanned laser on the second light receiving surface, and adds the distance data to pixel data corresponding to the sequentially specified light receiving element. By sequentially associating, the distance data is sequentially superimposed on the image data.
The imaging system according to claim 1.
をさらに備える、
請求項１から５のいずれかに記載の撮像システム。 An optical system common to the first light receiving surface and the second light receiving surface;
The imaging system according to claim 1.
前記レーザは、赤外線である、
請求項１から６のいずれかに記載の撮像システム。 The wave received by the first light receiving surface is visible light,
The laser is infrared;
The imaging system according to claim 1.
前記第２波長領域のレーザを照射源から照射するステップと、
前記照射源から照射され、前記被写体で反射した前記レーザの反射波に基づいて、前記撮像システムから前記被写体までの距離データを測定するステップと、
前記第１受光面で受光された前記第１波長領域の波に基づいて、前記被写体の画像データを形成するステップと、
前記第２受光面上の前記反射波を受光した受光素子を特定し、前記被写体の画像データに含まれる、前記特定された受光素子に対応する画素データに前記距離データを対応付けることにより、前記画像データに前記距離データを重畳した合成データを生成するステップと
を備える、撮像方法。 Imaging having a first light receiving surface that is selectively sensitive to waves in the first wavelength region, and a second light receiving surface that captures the same imaging range as the first light receiving surface and is selectively sensitive to waves in the second wavelength region An imaging method for imaging a subject using a system,
Irradiating a laser of the second wavelength region from an irradiation source;
Measuring distance data from the imaging system to the subject based on a reflected wave of the laser emitted from the illumination source and reflected by the subject;
Forming image data of the subject based on the wave in the first wavelength region received by the first light receiving surface;
By identifying a light receiving element that has received the reflected wave on the second light receiving surface and associating the distance data with pixel data corresponding to the identified light receiving element included in the image data of the subject, the image Generating synthetic data obtained by superimposing the distance data on the data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012072284A JP2013207415A (en) | 2012-03-27 | 2012-03-27 | Imaging system and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012072284A JP2013207415A (en) | 2012-03-27 | 2012-03-27 | Imaging system and imaging method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013207415A true JP2013207415A (en) | 2013-10-07 |
Family
ID=49526131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012072284A Pending JP2013207415A (en) | 2012-03-27 | 2012-03-27 | Imaging system and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013207415A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015075926A1 (en) * | 2013-11-20 | 2015-05-28 | パナソニックＩｐマネジメント株式会社 | Distance measurement and imaging system |
| JP2016151423A (en) * | 2015-02-16 | 2016-08-22 | 株式会社トプコン | Posture detection device and data acquisition device |
| JP2016151422A (en) * | 2015-02-16 | 2016-08-22 | 株式会社トプコン | Measurement device and three-dimensional camera |
| JP2017505734A (en) * | 2014-01-31 | 2017-02-23 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー． カーゲー | Automotive mark with sensor system and method of operating the same |
| JPWO2015166714A1 (en) * | 2014-05-02 | 2017-04-20 | 富士フイルム株式会社 | Ranging device, ranging method, and ranging program |
| KR20180081007A (en) * | 2017-01-05 | 2018-07-13 | (주)카네비컴 | Wide angle LiDAR and operation method thereof |
| CN108574796A (en) * | 2017-03-08 | 2018-09-25 | 英特尔公司 | The digital camera method and apparatus applied and optimized for computer vision |
| JP2019078716A (en) * | 2017-10-27 | 2019-05-23 | キヤノン株式会社 | Distance measuring device, distance measuring system, imaging apparatus, mobile body, method for controlling distance measuring device, and program |
| JP2019138889A (en) * | 2018-02-07 | 2019-08-22 | 直之 村上 | Method of calculating three-dimensional driving value of three-dimensional numerical-driven control device by driving measurement of tracking laser distance instrument |
| JP2020008531A (en) * | 2018-07-12 | 2020-01-16 | ファナック株式会社 | Distance measuring device with distance correction function |
| JP2020030189A (en) * | 2018-08-24 | 2020-02-27 | 独立行政法人日本スポーツ振興センター | Position measuring system and position measuring method |
| JPWO2021005659A1 (en) * | 2019-07-05 | 2021-01-14 | ||
| CN112513677A (en) * | 2018-09-28 | 2021-03-16 | 松下知识产权经营株式会社 | Depth acquisition device, depth acquisition method, and program |
| WO2021131431A1 (en) * | 2019-12-25 | 2021-07-01 | ソニーセミコンダクタソリューションズ株式会社 | Light-receiving device, method for controlling light-receiving device, and electronic apparatus |
| US11953600B2 (en) | 2019-05-13 | 2024-04-09 | Ouster, Inc. | Synchronized image capturing for electronic scanning LIDAR systems comprising an emitter controller and plural sensor controllers |
| CN111699412B (en) * | 2018-02-07 | 2024-05-31 | 村上直之 | Method for calculating three-dimensional driving value of three-dimensional numerical driving control instrument by using driving measurement of laser tracking distance meter |
-
2012
- 2012-03-27 JP JP2012072284A patent/JP2013207415A/en active Pending
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108919294A (en) * | 2013-11-20 | 2018-11-30 | 松下知识产权经营株式会社 | Ranging camera system and solid-state imager |
| US11175406B2 (en) | 2013-11-20 | 2021-11-16 | Nuvoton Technology Corporation Japan | Range imaging system and solid-state imaging device |
| CN105723239B (en) * | 2013-11-20 | 2020-12-18 | 松下半导体解决方案株式会社 | Distance measurement imaging system and solid-state imaging element |
| JPWO2015075926A1 (en) * | 2013-11-20 | 2017-03-16 | パナソニックＩｐマネジメント株式会社 | Ranging imaging system |
| CN105723239A (en) * | 2013-11-20 | 2016-06-29 | 松下知识产权经营株式会社 | Distance measurement and imaging system |
| WO2015075926A1 (en) * | 2013-11-20 | 2015-05-28 | パナソニックＩｐマネジメント株式会社 | Distance measurement and imaging system |
| US10302766B2 (en) | 2013-11-20 | 2019-05-28 | Panasonic Intellectual Property Management Co., Ltd. | Range imaging system and solid-state imaging device |
| JP2018185342A (en) * | 2013-11-20 | 2018-11-22 | パナソニックＩｐマネジメント株式会社 | Ranging imaging system |
| CN108919294B (en) * | 2013-11-20 | 2022-06-14 | 新唐科技日本株式会社 | Distance measurement imaging system and solid-state imaging element |
| JP2021139285A (en) * | 2014-01-31 | 2021-09-16 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー． カーゲー | Emblem for automobile with sensor system and operating method thereof |
| JP2017505734A (en) * | 2014-01-31 | 2017-02-23 | ハフ ヒュエルスベック ウント フュルスト ゲーエムベーハー ウント コー． カーゲー | Automotive mark with sensor system and method of operating the same |
| JPWO2015166714A1 (en) * | 2014-05-02 | 2017-04-20 | 富士フイルム株式会社 | Ranging device, ranging method, and ranging program |
| US11137496B2 (en) | 2014-05-02 | 2021-10-05 | Fujifilm Corporation | Distance measurement device, distance measurement method, and distance measurement program |
| US10627513B2 (en) | 2014-05-02 | 2020-04-21 | Fujifilm Corporation | Distance measurement device, distance measurement method, and distance measurement program |
| US11650315B2 (en) | 2014-05-02 | 2023-05-16 | Fujifilm Corporation | Distance measurement device, distance measurement method, and distance measurement program |
| JP2016151423A (en) * | 2015-02-16 | 2016-08-22 | 株式会社トプコン | Posture detection device and data acquisition device |
| JP2016151422A (en) * | 2015-02-16 | 2016-08-22 | 株式会社トプコン | Measurement device and three-dimensional camera |
| KR20180081007A (en) * | 2017-01-05 | 2018-07-13 | (주)카네비컴 | Wide angle LiDAR and operation method thereof |
| KR102084302B1 (en) * | 2017-01-05 | 2020-03-03 | (주)카네비컴 | Wide angle LiDAR and operation method thereof |
| CN108574796A (en) * | 2017-03-08 | 2018-09-25 | 英特尔公司 | The digital camera method and apparatus applied and optimized for computer vision |
| JP7057097B2 (en) | 2017-10-27 | 2022-04-19 | キヤノン株式会社 | Control methods and programs for distance measuring devices, distance measuring systems, imaging devices, moving objects, and distance measuring devices |
| JP2019078716A (en) * | 2017-10-27 | 2019-05-23 | キヤノン株式会社 | Distance measuring device, distance measuring system, imaging apparatus, mobile body, method for controlling distance measuring device, and program |
| WO2019156186A3 (en) * | 2018-02-07 | 2019-10-10 | 直之 村上 | Method for using driven measurement by tracking laser rangefinder to calculate three-dimensional drive value for device controlled by three-dimensional numerical driving |
| CN111699412B (en) * | 2018-02-07 | 2024-05-31 | 村上直之 | Method for calculating three-dimensional driving value of three-dimensional numerical driving control instrument by using driving measurement of laser tracking distance meter |
| CN111699412A (en) * | 2018-02-07 | 2020-09-22 | 村上直之 | Method for calculating three-dimensional driving numerical value of three-dimensional numerical value driving control instrument by using driving measurement of laser tracking distance measuring instrument |
| JP2019138889A (en) * | 2018-02-07 | 2019-08-22 | 直之 村上 | Method of calculating three-dimensional driving value of three-dimensional numerical-driven control device by driving measurement of tracking laser distance instrument |
| US11536814B2 (en) | 2018-07-12 | 2022-12-27 | Fanuc Corporation | Distance measuring apparatus having distance correction function |
| JP2020008531A (en) * | 2018-07-12 | 2020-01-16 | ファナック株式会社 | Distance measuring device with distance correction function |
| JP2020030189A (en) * | 2018-08-24 | 2020-02-27 | 独立行政法人日本スポーツ振興センター | Position measuring system and position measuring method |
| CN112513677A (en) * | 2018-09-28 | 2021-03-16 | 松下知识产权经营株式会社 | Depth acquisition device, depth acquisition method, and program |
| US11953600B2 (en) | 2019-05-13 | 2024-04-09 | Ouster, Inc. | Synchronized image capturing for electronic scanning LIDAR systems comprising an emitter controller and plural sensor controllers |
| WO2021005659A1 (en) * | 2019-07-05 | 2021-01-14 | パナソニックセミコンダクターソリューションズ株式会社 | Information processing system, sensor system, information processing method, and program |
| JP7372970B2 (en) | 2019-07-05 | 2023-11-01 | ヌヴォトンテクノロジージャパン株式会社 | Information processing system, sensor system, information processing method and program |
| JPWO2021005659A1 (en) * | 2019-07-05 | 2021-01-14 | ||
| WO2021131431A1 (en) * | 2019-12-25 | 2021-07-01 | ソニーセミコンダクタソリューションズ株式会社 | Light-receiving device, method for controlling light-receiving device, and electronic apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013207415A (en) | Imaging system and imaging method | |
| JP6641470B2 (en) | Stereo camera and stereo camera control method | |
| JP5929553B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6305053B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| CN102494609B (en) | Three-dimensional photographing process based on laser probe array and device utilizing same | |
| US20140168424A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
| US9253470B2 (en) | 3D camera | |
| JP6822230B2 (en) | Imaging device and imaging method | |
| US10298858B2 (en) | Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device | |
| CN105472237B (en) | Picture pick-up device and image capture method | |
| JP2015049200A (en) | Measuring device, measuring method, and measuring program | |
| US10122910B2 (en) | Focus detection device and image-capturing apparatus | |
| KR101175780B1 (en) | 3-Dimension depth camera using the Infrared laser projection display | |
| JP2023115356A (en) | Measurement device, imaging device, control method, and program | |
| JP2011044970A (en) | Photographing system | |
| US20200128188A1 (en) | Image pickup device and image pickup system | |
| TW201804366A (en) | Image processing device and related depth estimation system and depth estimation method | |
| JP2018134712A (en) | Robot system and control method for robot system | |
| US9794468B2 (en) | Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions | |
| JP2016048825A (en) | Imaging apparatus | |
| JP2022106868A (en) | Imaging device and method for controlling imaging device | |
| JP2014194502A (en) | Imaging apparatus and imaging system | |
| JP2016046774A (en) | Imaging device | |
| KR101839357B1 (en) | Imaging apparatus and imaging method | |
| JP7446455B2 (en) | Location information acquisition system, location information acquisition method, and location information acquisition device |