JPH11218410A - レンジファインダ装置及び画像伝送装置 - Google Patents
レンジファインダ装置及び画像伝送装置Info
- Publication number
- JPH11218410A JPH11218410A JP10035468A JP3546898A JPH11218410A JP H11218410 A JPH11218410 A JP H11218410A JP 10035468 A JP10035468 A JP 10035468A JP 3546898 A JP3546898 A JP 3546898A JP H11218410 A JPH11218410 A JP H11218410A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- line light
- line
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
計測点数を増加させることができ、ビデオレートで動作
すること。 【解決手段】 各カメラの光軸が基準点に集中するよう
に複数のカメラを配置し、各カメラによる距離データを
仮想的なカメラ位置における距離データに視点変換処理
した後に距離データを統合することより、基準点付近で
距離データを密に計測する。
Description
の計測を行うレンジファインダ装置及びこれにより得ら
れた画像データを伝送する画像伝送装置に関する。
得る装置としては、例えば、図15に示すようなものが
提案されている。図15において、光源201と、光源
201の前方に配置され、複数のスリットを有するスリ
ット板202と、スリット光203が照射される計測物
体204と、計測物体204による投射光の反射光を分
割するハーフミラー205と、反射光を撮像する206
a,206bと、投射された画像から3次元座標を求め
る座標値計算手段207とから主に構成されている。以
下に上記構成の装置の動作について説明する。
を通過することにより複数のスリット光203となり、
計測物体204に投射される。スリット板202は、図
示しない駆動手段によって移動するようになっている。
なお、移動の詳細については後述する。計測物体204
からの投影光の反射光は、ハーフミラー205により2
つに分割される。ハーフミラー205で分割された計測
物体204からの反射光は、カメラ206a,206b
により撮像される。カメラ206a,206bによって
撮像された画像からスリット光の投射パタンは、座標値
変換手段207で検出され、3次元座標値が計算され
る。
単一のスリット光による3次元形状計測の原理について
説明する。図16は単一のスリット光による3次元形状
計測の原理の説明図である。図16(a)において、光
源401からの光は、スリット板402によってスリッ
ト光403となり、対象物体404に投影される。該ス
リット光の対象物体からの反射光をカメラ405で撮像
することにより、図16(b)に示すスリットパタンが
得られる。図16(a),(c)において、カメラ40
5の光学中心を原点Oとし、Z軸とスリット光のなす角
をφとし、カメラからの水平及び垂直方向の角度をそれ
ぞれθ,ζとすると、計測対象の3次元座標値は以下の
式(1)によって計算できる。
位置から決まる。また、θ及びζは、画像中の画素の座
標値(x,y)、撮像素子の画素数(縦nh,横nw)及
びサイズ(縦H,横W)、並びにカメラの光学系の焦点
距離Fから、以下の式(2)によって計算できる。
行う場合、1回の撮像で得られる3次元座標値は水平方
向に1点である。一方、垂直方向には、走査線の数だけ
得られる。
計測の原理を説明する。図17は複数のスリット光によ
る3次元形状計測の原理の説明図である。図17(a)
において、光源201からの光がスリット板202を通
過することによりスリット光となり、そのスリット光が
計測物体204に照射され、その反射光がカメラ206
で撮像される。この場合、スリット板202を光路に対
して垂直方向に移動させる。
図17(b)に示すように、画像上で各スリット光が撮
像されるべき範囲(存在範囲)を制限して、それぞれの
スリット光を(すなわち光源からの角度別に)判別す
る。図17(a)では、上記制限は、カメラ206から
見た角度の範囲を各スリット光について限定することに
なる。なお、各スリット光についての3次元座標値の計
算は、単一のスリット光の場合と同一である。
は、1回の撮像において水平方向に得られる3次元座標
値はスリット数と同じになる。したがって、水平方向に
3次元座標値を多数計測するためには、スリットを駆動
してスリット光を偏向し、計測を行う。
ラによる撮像の様子を示す説明図である。図18(a)
において、光源201からの光がスリット板202を経
てスリット光となり、計測物体204で反射して、ハー
フミラー205で分割され、カメラ206a,206b
で撮像される。この場合、図18(b)及び(c)にそ
れぞれ示すように、カメラ206aではスリット光3
A,3B,3Cが撮像され、カメラ206bでは、スリ
ット光3a,3b,3cが撮像される。
ット数を3としている。まず、図示しない駆動部により
スリット板202を駆動することにより、スリット光を
走査する。カメラ206aは、スリット光が計測物体の
A,B,Cの点に当たっている時に反射光を撮像し、カ
メラ206bはスリット光が計測物体のa,b,cの点
に当たっている時に反射光を撮像する。図18(b),
(c)において、各スリット像の存在範囲は、スリット
光の移動(光源に対する角度の変化量)に応じて移動さ
せる。なお、存在範囲の移動量は、スリットの光源に対
する角度の変化量とほぼ同一の角度に相当する画素数と
すればよい。
カメラ6bによる撮像のタイミング図である。スリット
の駆動は、1/120秒ずつカメラ206a用の位置と
カメラ206b用の位置となるように行う。カメラ20
6a、206bは、それぞれスリット板が対応する位置
にある時にスリット像を撮像する。撮像時間の制御は電
子シャッタを用いることにより制御できる。
カメラ206a、206bが撮像した画像からスリット
像を検出し、検出した画素における3次元座標値を計算
する。スリット像の検出は、各スリット光の存在範囲内
で、各ラインにおけるピーク画素を検出して行う。スリ
ット像の3次元座標は、上記式(1),式(2)を計算
して得ることができる。式(1),式(2)の計算は、
3角関数の値を予めテーブルとして記憶しておくことに
より高速化できる。
06a,206bについてそれぞれ計算した3次元座標
値を統合し、最終的な3次元形状の計測結果を得る。な
お、スリット像の検出、3次元座標値の計算、及び統合
の各処理は、大小比較やテーブル参照等の簡単な演算で
実現でき、ビデオレートでの計算が十分に可能である。
スリット数3、カメラ2台での構成について説明した
が、スリット数とカメラ台数を増やすことにより水平方
向の解像度(計測点数)を増加させることができる。例
えば、スリット数を10、カメラ台数8とし、NTSC
用CCD素子を用いたカメラで撮像すると、水平80点
の計測を奥行き72階調で行うことができる。
画素数によって決まる。例えば、CCDの水平画素数を
720とすると、存在範囲の水平画素数は720/10
=72となる。図20は、カメラ台数を8としたときの
スリット駆動と撮像のタイミング図である。
計測を、奥行きの計測可能範囲を限定することにより複
数のスリット光について同時に行い、また、スリット光
を走査してこれを複数のカメラで時分割で撮像すること
により、実時間で解像度の高い3次元距離計測を行うこ
とができる。
成を有する装置では、ハーフミラーによって光を複数の
カメラに分配しているため、使用するカメラ台数が多く
なると、各カメラについての光量が減少してしまう。そ
の結果、水平方向の計測点数を増加させるために、使用
するカメラ台数を増やすと、ライン光の検出できる距離
(すなわち、計測可能な距離)が減少してしまうという
問題がある。
あり、計測可能距離を減少させずに水平方向の計測点数
を増加させることができ、ビデオレートで動作するレン
ジファインダ装置及びそれを用いた画像伝送装置を提供
することを目的とする。
に、本発明は以下の手段を講じた。請求項1に記載のレ
ンジファインダ装置に関する発明は、複数のライン光を
発する光源と、前記複数のライン光を走査する走査手段
と、前記複数のライン光が照射された被写体を撮像する
複数のカメラと、前記複数のカメラの露光タイミングを
制御するタイミング制御手段と、撮像された画像から前
記被写体に投射されたライン光を検出するライン検出手
段と、検出されたライン光の位置から距離を計算する距
離計算手段と、計算された距離データを統合する距離デ
ータ統合手段と、を具備する構成を採る。
て複数のライン光について距離計測を行うので、計測可
能距離を減少させずに水平方向の計測点数を増加させた
距離計測を行うことができ、ビデオレートで動作するこ
とができる。
のレンジファインダ装置において、複数のカメラが、各
カメラの光軸が基準となる点に集中するように配置され
ている構成を採る。
離の基準点(輻輳点)で交差するので、輻輳点付近で密
度の高い距離計測が可能となる。
求項2に記載のレンジファインダ装置において、距離デ
ータ統合手段が、距離データについて、各カメラのレン
ズ中心を原点とする座標系からワールド座標系に変換処
理を行った後に、前記距離データを統合する構成を採
る。これにより、この構成によれば、各カメラの視点の
ずれを修正することができる。
求項3のいずれかに記載のレンジファインダ装置におい
て、ライン検出手段が、被写体の凹凸に起因するオクル
ージョンを防止するためにライン光の隠れ検出を行い、
距離データ統合手段は、前記隠れ検出により検出された
ライン光を距離データの統合に用いない構成を採る。
るオクルージョンを除去した状態で、視点の異なるカメ
ラによる距離データを統合することができる。
求項4のいずれかに記載のレンジファインダ装置におい
て、ライン光検出手段が、各ライン光について、規定範
囲の画像中でしきい値以上の輝度に基づいてライン光の
位置を特定する構成を採る。
おいては、請求項6に記載の発明に示すように、ライン
光検出手段が、規定範囲の画像中の輝度分布におけるし
きい値以上の輝度値の総和を求め、輝度分布において前
記しきい値以上の輝度値の累積値が前記輝度値の総和の
2分の1を越える点をライン光位置として検出すること
が好ましい。
ン光の白飛びの影響を受けずに、安定してライン光位置
を精度良く検出することができる。
求項6のいずれかに記載のレンジファインダ装置におい
て、距離計算手段が、基準面に対するライン光の画像上
での位置と計測時のライン光の画像上での位置との差か
ら視差を求め、この視差を用いて距離を計算する構成を
採る。
り視差を距離差に変換して距離を計算する、すなわち基
準面走査時のライン光位置との間の水平視差から被写体
の距離を計算するので、より精度の良い距離計算を行う
ことができる。
求項7のいずれかに記載のレンジファインダ装置におい
て、統合された距離データ間の距離を補間計算する補間
手段を具備する構成を採る。これにより、距離データを
より密に計測することが可能となる。
レンジファインダ装置においては、請求項9に記載の発
明のように、距離データ統合手段で統合された距離デー
タに基づく奥行き画像とテキスチャ画像を併せて撮像す
ることが好ましい。
関する発明は、請求項1乃至請求項9のいずれかに記載
のレンズファインダ装置と、このレンズファインダ装置
により得られた画像データを送信する送信手段と、を具
備する構成を採る。これにより、精度の良いビデオレー
トの奥行き画像及びカラー画像を伝送することができ
る。
発明は、距離データに基づく奥行き画像とカラー画像と
を撮影するレンジファインダ装置と、距離データに基づ
く奥行き画像を複数の領域に分割し、この複数の領域に
対応するカラー画像を切換える画像切換え手段と、前記
複数の領域のそれぞれの領域における距離データ及びカ
ラー画像データを符号化する複数の符号化手段と、符号
化したデータを送信する送信手段と、を具備し、前記複
数の符号化手段に個別にパラメータを設定し、特定の領
域に優先的に情報量を割り当てる構成を採る。
発明は、距離データに基づく奥行き画像とカラー画像と
を撮影する工程と、距離データに基づく画像を複数の領
域に分割する工程と、前記複数の領域のそれぞれの領域
における距離データ及びカラー画像データを符号化する
工程と、前記複数の符号化手段に個別にパラメータを設
定し、特定の領域に優先的に情報量を割り当てる工程
と、符号化したデータを送信する工程と、を具備する構
成を採る。
号化部の符号化パラメータをそれぞれ個別に設定して、
画像内の所望の領域や、予め設定した距離の領域に優先
的に情報量を割り当てる。これにより、伝送路の状況に
応じて送信側で画質を制御したり、画像内で重要な領域
の画質を良くする等の制御をすることが可能となる。
を用い、光軸が基準点に集中した複数のカメラでライン
光をタイミングをずらしながら撮像することにより、計
測可能距離を減少させずに水平方向の計測点数を増加さ
せるものである。
面を参照して詳細に説明する。 (第1の実施の形態)図1は、本発明の第1の実施の形
態に係るレンジファインダ装置の構成を示す概略図であ
る。このレンジファインダ装置は、複数本のライン光を
発生するレーザー光源1と、レーザー光源1を駆動する
レーザー駆動部2と、レーザー光源1からのレーザー光
を光学系(図示せず)でライン化したライン光を被写体
13に対して走査する回転ミラー3と、この回転ミラー
3の向きを変える回転ミラー駆動部4と、ライン光を投
射した被写体を撮影する赤外カメラ5a〜5hと、テキ
スチャ画像を撮影するカラーカメラ6と、撮影された画
像からライン光を検出するライン光検出部7a〜7h
と、検出されたライン光から距離を算出する距離計算部
8a〜8hと、計算された距離を統合する距離統合部9
と、レーザー駆動や回転ミラー駆動のタイミングをとる
ための同期制御部10と、全体の処理を制御する制御部
11と、カラーカメラの撮影のタイミングをずらす遅延
部12と、から主に構成されている。
装置の動作について説明する。レーザー光源1から出射
されたレーザ光は、光学系を介して複数本のライン光
(垂直方向のライン光)となる。このライン光は、回転
ミラー3により反射され被写体に投射される。レーザー
駆動部2は、回転ミラー3の駆動に同期してレーザー光
源1の発光をオン・オフする。すなわち、垂直帰線期間
中はレーザーの発光を停止し、それ以外の期間にレーザ
ーを発光させる。図2は、同期制御部10からの垂直同
期信号とレーザー発光との間の関係を示すタイミング図
である。図2において(a)は垂直同期信号を示し、
(b)はレーザー発光のオン・オフを制御するレーザー
駆動信号を示す。
ことにより回転して、ライン光を走査して被写体13に
投射する。その回転角の範囲は、ライン間角度を越えな
い範囲に設定する(すなわち、各ライン光の走査範囲は
互いに重ならない)。図3は、同期制御部10からの同
期信号、回転ミラーの駆動、及び各カメラにおける撮像
の間のタイミングの関係を示すタイミング図である。図
3において、(a)は同期制御部10からの同期信号を
示し、(b)は回転ミラーの駆動信号を示し、(c)は
各カメラにおける撮像タイミング(電子シャッタによる
露光タイミング)を示す。本実施の形態では、被写体1
3に投射したライン光を8台のカメラ5a〜5hを用い
て撮像する。各カメラ5a〜5hよる撮像は、回転ミラ
ー3をステップ状に駆動する毎に行う。
メラ5a〜5hの配置を示す図である。本実施の形態で
は、4台のカメラを縦に配置したものを2組用い、光源
を挟んで左右に配置する。図4は、縦に配置したカメラ
5a〜5d及び5e〜5hの光軸が一定の距離の基準点
で交差している様子を示す図である。また、図5は、左
右に配置したカメラ群5a〜5d及び5e〜5hの光軸
が一定距離の基準点で交差する様子を示す図である。本
実施の形態では、8台のカメラを、それらの光軸が一定
距離の基準点(輻輳点)で交差するように配置にするこ
とにより、輻輳点付近で密度の高い距離計測が可能とな
る。
〜5hにより撮影された画像からライン光を検出する。
ライン光の検出について以下に説明する。図6は、複数
のライン光による距離計測の原理を説明するための図で
ある。図6(a)において、光源1からのレーザー光が
ライン化され、回転ミラー3で反射して、被写体13に
投射され、その画像をカメラ5で撮像する。複数のライ
ン光で計測を行う場合には、図6(b)に示すように、
画像上において各ライン光が撮像されるべき範囲(存在
範囲)を制限して、それぞれのライン光を判別する。上
記制限は、図6(a)では、カメラ5から見た角度の範
囲を各ライン光について限定することになる。
である。本実施の形態においては、ライン光を検出する
場合、輝度を用いて行う。図7(a)における着目水平
ラインab間での輝度分布は、レーザーライン光が空間
的に拡がりを持つため、図7(b)のようになる。各ラ
イン光位置A,B,Cは、理想的には輝度最大の画素と
して検出できる。しかしながら、実際には、ノイズの影
響を受けて他の画素において輝度が最大になったり、ま
た、輝度値が大きすぎる場合には、撮像時に白飛びを起
こし、複数の画素が最大輝度をとることがある。
ライン光の位置を安定して検出するために、まず、各ラ
イン光についての存在範囲内でしきい値以上の輝度につ
いて水平方向に累積輝度を計算する。そして、該存在範
囲内で累積輝度が存在範囲内の最大値(すなわち、存在
範囲右端における累積輝度)の所定値、例えば2分の1
の値を超える画素をライン光の位置として検出する。上
記のライン光検出により、ノイズやライン光の白飛びの
影響を受けずに、安定してライン光位置を精度良く検出
することができる。
イン光の水平位置及び垂直位置(画像内のx座標とy座
標)と、ライン光番号とを検出結果として出力する。ラ
イン光番号は、i番目のカメラのj番目のライン光につ
いて、以下の式(3)に示す値とする。
順番に増加させ、ライン光の番号jを画像内で左から順
に付け、回転ミラー3によるライン光の走査を左から右
にするようにすると、計測範囲内では、左から順番にラ
イン光の番号が増加することになる。
計算について説明する。距離計算は、ライン光として検
出された画素について、各カメラのレンズ中心を原点と
したカメラ座標系を用いて行う。図8は、カメラ座標系
における距離計測を説明するための図である。図8にお
いて、参照符号1はレーザー光源を示し、3は回転ミラ
ーを示し、5は赤外カメラを示す。カメラ座標系は、カ
メラ5のレンズ中心を原点とし、カメラの光軸をZn軸
とし、水平面内でZn軸に垂直な方向にXn軸をとり、
XnZn平面に垂直にYn軸をとる。そして、ライン光
検出部において、ライン光として検出された画素のカメ
ラから見た方向ベクトルをpnベクトルとすると、図9
に示す角度η,ξを用いて以下の式(4)により、
の中心のカメラ座標系での位置ベクトルをDnベクト
ル、ライン光のカメラ座標系での放線ベクトルをnnベ
クトルとすると、pnベクトルの延長がライン光と交差
する点が計測点(位置ベクトルP)となる。よって、以
下の式(5)〜式(8)により、計測点の3次元座標値
が計算される。
ルは、ワールド座標系における回転ミラー中心の位置ベ
クトルから座標変換(各カメラによる距離データからの
仮想的なカメラ位置における距離データへの視点変換処
理)によって得られる。また、nnベクトルの値は、ワ
ールド座標系におけるライン光の放線ベクトルから回転
変換によって得られる。なお、ワールド座標系は、カラ
ーカメラ6のレンズ中心を原点とし、光軸をZ軸とし、
水平垂直面内にX軸、Y軸をとる。カメラ座標系とワー
ルド座標系の関係は、ワールド座標系におけるカメラの
レンズ中心の座標値を(tx,ty,tz)とすると、
以下の式(9)として表される。
カメラの姿勢によって決まる。
おいて各カメラについて計算した3次元座標値を視点変
換し、カラーカメラ6の視点における距離データに統合
する。以下に距離統合部9の動作について説明する。
は、カラーカメラ6に対する各カメラの姿勢と位置とに
よって決まる回転変換マトリックスRと位置ベクトルと
を用いて、式(9)によりワールド座標に変換される。
そして、以下の式(10)によりカラーカメラ6の視点
における奥行き画像にマッピングされる。
メラのフォーカス、及びズーム倍率によって決まる定数
である。上記マッピング時には、視点の異なる赤外カメ
ラによる距離データを統合するため、隠れ検出を行う必
要がある。
ある。図10において、参照符号1はレーザー光源を示
し、3は回転ミラーを示し、6はカラーカメラを示し、
5Lはカラーカメラ6より左に配置された赤外カメラを
示し、5Rはカラーカメラ6よりも右に配置された赤外
カメラを示す。前述のように、ライン光検出部7によっ
て、回転ミラー3から被写体13に走査されるライン光
には、左から昇順に番号が付けられる。被写体13の凹
凸と、回転ミラー3、赤外カメラ5、及びカラーカメラ
6との間の位置関係により、オクルージョンが生じる。
じるところでは、ライン光の番号が水平方向左から右に
単調に増加せず、番号の逆転が起こる(式(10)によ
るマッピングによって、図10のi+1番目のライン光
がi番目のライン光よりも左にマッピングされる)。し
たがって、マッピングによってライン光の番号が逆転す
るデータ(図10のi+1番目のライン光のデータ)を
統合時に削除することにより、隠れ検出をする。これに
より、オクルージョンが除去された状態で距離データを
統合することができ、良好にカラーカメラ6の視点にお
ける奥行き画像にマッピングすることができる。
り、各水平ライン毎に数十点の距離データが得られる。
補間部14は、距離統合部9によって統合されたライン
光の距離データを補間し、奥行き画像内の全画素につい
て距離データを決定し出力する。距離データを補間する
ことにより、結果として距離データを密に計測すること
が可能となる。
影されたカラー画像(テキスチャ画像)を遅延させ、補
間部14の奥行き画像とを同期させてカラー画像を出力
する。また、制御部11は、計測の開始、終了、ライン
光検出時のしきい値設定等の装置全体の制御を行う。
フミラー等を用いずに複数台のカメラを用いて複数のラ
イン光について距離計測を行うことができるため、計測
可能距離を減少させずに水平方向の計測点数を増加させ
た距離計測が行える。また、視点の等しいカラー画像と
奥行き画像を同時に得ることができる。
hにおける距離計算は、式(8)に示すベクトルの内積
を用いる方式に限らず、図形的な関係を用いてもよい。
本実施の形態においては、図形的な関係を用いた距離計
算を用いる場合について説明する。なお、レーザー光を
被写体13に投射してカメラで撮像し、ライン光を検出
するまでの処理は、第1の実施の形態と同様であるの
で、その詳細な説明を省略する。したがって、本実施の
形態に係るレンジファインダ装置における距離計算部8
以外の構成は、第1の実施の形態に係るレンジファイン
ダ装置と同一であり、距離計算部8の動作のみが異な
る。
ける距離計算を説明するための図である。図11(a)
において、レーザー光源1から出射された光を複数のラ
イン光とし、回転ミラー3により光路を走査して被写体
13に照射する。被写体13で反射された光は、赤外カ
メラ5で撮像される。図中20は、基準距離に置かれた
基準面を示す。
距離が判っている基準面20についてライン光を投射
し、これを赤外カメラ5により撮影する。基準面20を
取り除いた後、被写体13についてライン光を走査し、
基準面走査時のライン光位置との間の水平視差から被写
体の距離を計算する。
像されるライン光の位置関係を説明する図である。図に
おいて、基準面20に投射されたライン光は実線の直線
であり、被写体に投射されたライン光は実線の曲線であ
り、破線で区切られた領域はライン光の存在範囲を示
す。
ける距離計測部8による距離計算の方法を説明するため
の図である。図12において、5は赤外カメラを示し、
Xn,Znはカメラ座標系の座標軸であり、Lnは基準
距離であり、pnは計測点をカメラ5から見た時の単位
方向ベクトルであり、DXnはXn軸とライン光の交点
とレンズ中心との間の距離であり、dxnは基準距離時
のライン光位置及び計測時のライン光位置のCCD上で
の視差であり、dXnは前記視差dxnの実寸であり、
dLnは視差dXnに相当する距離差であり、fは赤外
カメラ5の焦点距離である。
り、Xn軸は水平であるとする。また、Zn軸は図4に
示すように水平面に対して傾いている。この図12にお
ける図形的な関係から、以下の式(11)〜式(13)
により、基準距離との距離差dLnを計算することがで
きる。そして、Ln−dLnと単位方向ベクトルpnの
定数倍のZn成分とが等しいという条件から、カメラ座
標系での3次元座標を得ることができる。
ン光の作る面の法線ベクトルを用いず、図形的な相似関
係により視差を距離差に変換して距離を計算するため、
第1の実施の形態における距離計算よりも精度のよい距
離計算を行うことができる。その理由は、第1の実施の
形態における距離計算では、ライン光が作る面と単位方
向ベクトルpn(カメラ5のレンズ中心から見た画素の
方向ベクトル)との交点を求めるために、ライン光が作
る面の方向に関する誤差(法線ベクトルnnの誤差)が
計測値に影響するのに対し、本実施の形態では、基準距
離に被写体がある時とのライン光位置の差から距離差を
計算するので、誤差の影響が少なくなるためである。
レンジファインダ装置を備えた画像伝送装置の送信部の
構成を示す概略図である。この画像伝送装置は、カラー
画像と奥行き画像(距離データに基づく画像)を同時に
撮像するレンジファインダ装置15と、奥行き画像を複
数の領域に分割する画像切換え部16と、複数の領域に
分割された画像をそれぞれ圧縮符号化する圧縮符号化部
17a〜17cと、から主に構成されている。なお、こ
の画像伝送装置には、符号化されたデータを送信する送
信手段(図示せず)が備えられている。
は、レンジファインダ装置15は、視点の等しいカラー
画像と奥行き画像とをビデオレートで撮像する。画像切
換え部16は、奥行き画像を複数の領域に分割する。図
14は、奥行き画像の分割を説明するための図である。
距離のしきい値を設定することにより、距離の異なる前
景18a及び前景18bと背景19とを分離することが
できる。分離した結果は、2値画像(例えば、符号化す
べき画素を1、それ以外の画素を0)としてそれぞれの
圧縮符号化部17a〜17cに出力される。
え部16の出力とカラー画像とから、それぞれの圧縮符
号化部で処理すべき画素のデータを圧縮符号化する。各
圧縮符号化部の符号化パラメータをそれぞれ設定するこ
とにより、画像内の所望の領域や、予め設定した距離の
領域に優先的に情報量を割り当てることが可能となる。
その結果、伝送路の状況に応じて送信側で画質を制御し
たり、画像内で重要な領域の画質を良くする等の制御を
することが可能となる。
ない)では、3つの復号化伸張部の出力を重畳すること
によりカラー画像を再構成する。
装置よれば、奥行き画像の領域分割結果からカラー画像
を分割し、分割した画像をそれぞれ圧縮符号化して伝送
する際に、送信側で符号化パラメータをそれぞれの画像
について設定することにより、画像内の所望の領域や、
予め設定した距離の領域に優先的に情報量を割り当てる
ことが可能となる。その結果、伝送路の状況に応じて送
信側で画質を制御したり、画像内で重要な領域の画質を
良くする等の制御をすることが可能となる。
はない。例えば、上記実施の形態においては、レーザー
光を用いた場合について説明しているが、本発明におい
ては、レーザー光以外の光を用いても良い。また、使用
する光は、テキスチャ画像としてカラー画像を同時に撮
影するので、カラー画像上にライン光が現れないよう
に、可視光の波長領域を外れる光であることが好まし
い。
8台である場合について説明しているが、本発明におい
ては、カメラ数は8台に限定せず、その他の台数である
場合にも適用することができる。
ァインダ装置によれば、ハーフミラー等を用いずに複数
台のカメラを用いて距離計測を行うことができるため、
計測可能距離を減少させずに水平方向の計測点数を増加
させた距離計測が行える。また、視点の等しいカラー画
像と奥行き画像を同時に得ることができる。
行き画像の領域分割結果からカラー画像を分割し、分割
した画像をそれぞれ圧縮符号化して伝送する際に、送信
側で符号化パラメータをそれぞれの画像について設定す
ることにより、画像内の所望の領域や、予め設定した距
離の領域に優先的に情報量を割り当てることが可能とな
る。その結果、伝送路の状況に応じて送信側で画質を制
御したり、画像内で重要な領域の画質を良くする等の制
御をすることができ、その実用的効果は大きい。
ンダ装置の構成を示す概略図
同期信号とレーザー発光との間の関係を示すタイミング
図
信号、回転ミラーの駆動、及び各カメラにおける撮像の
間のタイミングの関係を示すタイミング図
距離計測の原理を説明するための図
るための図
測を説明するための図
るための図
ための図
を説明するための図
距離計算の方法を説明するための図
置の送信部の構成を示す概略図
説明するための図
理の説明図
理の説明図
の様子を示す説明図
ング図
撮像のタイミング図
Claims (12)
- 【請求項1】 複数のライン光を発する光源と、前記複
数のライン光を走査する走査手段と、前記複数のライン
光が照射された被写体を撮像する複数のカメラと、前記
複数のカメラの露光タイミングを制御するタイミング制
御手段と、撮像された画像から前記被写体に投射された
ライン光を検出するライン検出手段と、検出されたライ
ン光の位置から距離を計算する距離計算手段と、計算さ
れた距離データを統合する距離データ統合手段と、を具
備することを特徴とするレンジファインダ装置。 - 【請求項2】 複数のカメラは、各カメラの光軸が基準
となる点に集中するように配置されていることを特徴と
する請求項1に記載のレンジファインダ装置。 - 【請求項3】 距離データ統合手段は、距離データにつ
いて、各カメラのレンズ中心を原点とする座標系からワ
ールド座標系に変換処理を行った後に、前記距離データ
を統合することを特徴とする請求項1又は請求項2に記
載のレンジファインダ装置。 - 【請求項4】 ライン検出手段は、被写体の凹凸に起因
するオクルージョンを防止するためにライン光の隠れ検
出を行い、距離データ統合手段は、前記隠れ検出により
検出されたライン光を距離データの統合に用いないこと
を特徴とする請求項1乃至請求項3のいずれかに記載の
レンジファインダ装置。 - 【請求項5】 ライン光検出手段は、各ライン光につい
て、規定範囲の画像中でしきい値以上の輝度に基づいて
ライン光の位置を特定することを特徴とする請求項1乃
至請求項4のいずれかに記載のレンジファインダ装置。 - 【請求項6】 ライン光検出手段は、規定範囲の画像中
の輝度分布におけるしきい値以上の輝度値の総和を求
め、輝度分布において前記しきい値以上の輝度値の累積
値が前記輝度値の総和の2分の1を越える点をライン光
位置として検出することを特徴とする請求項5に記載の
レンジファインダ装置。 - 【請求項7】 距離計算手段は、基準面に対するライン
光の画像上での位置と計測時のライン光の画像上での位
置との差から視差を求め、この視差を用いて距離を計算
することを特徴とする請求項1乃至請求項6のいずれか
に記載のレンジファインダ装置。 - 【請求項8】 統合された距離データ間の距離を補間計
算する補間手段を具備することを特徴とする請求項1乃
至請求項7のいずれかに記載のレンジファインダ装置。 - 【請求項9】距離データ統合手段で統合された距離デー
タに基づく奥行き画像とテキスチャ画像を併せて撮像す
ることを特徴とする請求項1乃至請求項8のいずれかに
記載のレンジファインダ装置。 - 【請求項10】 距離データに基づく奥行き画像とカラ
ー画像とを撮影するレンジファインダ装置と、距離デー
タに基づく奥行き画像を複数の領域に分割し、この複数
の領域に対応するカラー画像を切換える画像切換え手段
と、前記複数の領域のそれぞれの領域における距離デー
タ及びカラー画像データを符号化する複数の符号化手段
と、符号化したデータを送信する送信手段と、を具備
し、前記複数の符号化手段に個別にパラメータを設定
し、特定の領域に優先的に情報量を割り当てることを特
徴とする画像伝送装置。 - 【請求項11】請求項1乃至請求項9のいずれかに記載
のレンズファインダ装置と、このレンズファインダ装置
により得られた画像データを送信する送信手段と、を具
備することを特徴とする画像伝送装置。 - 【請求項12】 距離データに基づく奥行き画像とカラ
ー画像とを撮影する工程と、距離データに基づく画像を
複数の領域に分割する工程と、前記複数の領域のそれぞ
れの領域における距離データ及びカラー画像データを符
号化する工程と、前記複数の符号化手段に個別にパラメ
ータを設定し、特定の領域に優先的に情報量を割り当て
る工程と、符号化したデータを送信する工程と、を具備
することを特徴とする画像伝送方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03546898A JP3732643B2 (ja) | 1998-02-02 | 1998-02-02 | レンジファインダ装置及び画像伝送装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03546898A JP3732643B2 (ja) | 1998-02-02 | 1998-02-02 | レンジファインダ装置及び画像伝送装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11218410A true JPH11218410A (ja) | 1999-08-10 |
JP3732643B2 JP3732643B2 (ja) | 2006-01-05 |
Family
ID=12442623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03546898A Expired - Fee Related JP3732643B2 (ja) | 1998-02-02 | 1998-02-02 | レンジファインダ装置及び画像伝送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3732643B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1037069A2 (en) * | 1999-03-17 | 2000-09-20 | Matsushita Electric Industrial Co., Ltd. | Rangefinder |
JP2007532929A (ja) * | 2004-04-19 | 2007-11-15 | シック アイヴィピー エービー | 分配システムにおける測定装置および方法 |
JP2009058311A (ja) * | 2007-08-31 | 2009-03-19 | Nidec Tosok Corp | 刻印検査装置 |
JP2014074615A (ja) * | 2012-10-03 | 2014-04-24 | Stanley Electric Co Ltd | 三次元情報生成装置および三次元情報生成方法 |
WO2023162497A1 (ja) * | 2022-02-22 | 2023-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
-
1998
- 1998-02-02 JP JP03546898A patent/JP3732643B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1037069A2 (en) * | 1999-03-17 | 2000-09-20 | Matsushita Electric Industrial Co., Ltd. | Rangefinder |
EP1037069A3 (en) * | 1999-03-17 | 2004-01-14 | Matsushita Electric Industrial Co., Ltd. | Rangefinder |
JP2007532929A (ja) * | 2004-04-19 | 2007-11-15 | シック アイヴィピー エービー | 分配システムにおける測定装置および方法 |
JP2009058311A (ja) * | 2007-08-31 | 2009-03-19 | Nidec Tosok Corp | 刻印検査装置 |
JP2014074615A (ja) * | 2012-10-03 | 2014-04-24 | Stanley Electric Co Ltd | 三次元情報生成装置および三次元情報生成方法 |
WO2023162497A1 (ja) * | 2022-02-22 | 2023-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3732643B2 (ja) | 2006-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3714063B2 (ja) | 3次元形状計測装置 | |
CN1238691C (zh) | 组合立体视像、彩色3d数字化和运动捕捉的*** | |
US8013983B2 (en) | Three-dimensional surround scanning device and method thereof | |
CN108234984A (zh) | 双目深度相机***和深度图像生成方法 | |
JPH09187038A (ja) | 3次元形状抽出装置 | |
KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
JP7371443B2 (ja) | 三次元計測装置 | |
CN106170086B (zh) | 绘制三维图像的方法及其装置、*** | |
JP2000065542A (ja) | 3次元画像撮影装置 | |
KR101916093B1 (ko) | 객체 추적 방법 | |
JP3925266B2 (ja) | 3次元形状入力装置および位置ずれ検出方法 | |
CN113330487A (zh) | 参数标定方法及装置 | |
US20210055420A1 (en) | Base for spherical laser scanner and method for three-dimensional measurement of an area | |
JPH11218410A (ja) | レンジファインダ装置及び画像伝送装置 | |
JP2001256482A (ja) | 視差画像生成装置および視差画像生成方法 | |
JP3818028B2 (ja) | 3次元画像撮像装置および3次元画像撮像方法 | |
JPH0795621A (ja) | 画像記録再生装置 | |
JP4391137B2 (ja) | 3次元曲面形状の測定装置及び測定方法 | |
JPH0576054A (ja) | コンバージエンス測定装置 | |
JP2974500B2 (ja) | 複眼撮像装置 | |
KR102298047B1 (ko) | 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치 | |
KR101649181B1 (ko) | 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법 | |
KR101996907B1 (ko) | 객체 추적 장치 | |
JP2002159022A (ja) | 視差画像生成装置および視差画像生成方法 | |
JP2566395B2 (ja) | 三次元座標計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051013 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |