JP3126157B2 - 画像情報処理装置 - Google Patents

画像情報処理装置

Info

Publication number
JP3126157B2
JP3126157B2 JP03037356A JP3735691A JP3126157B2 JP 3126157 B2 JP3126157 B2 JP 3126157B2 JP 03037356 A JP03037356 A JP 03037356A JP 3735691 A JP3735691 A JP 3735691A JP 3126157 B2 JP3126157 B2 JP 3126157B2
Authority
JP
Japan
Prior art keywords
image
point
panoramic image
peripheral surface
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03037356A
Other languages
English (en)
Other versions
JPH04275783A (ja
Inventor
林  正樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP03037356A priority Critical patent/JP3126157B2/ja
Publication of JPH04275783A publication Critical patent/JPH04275783A/ja
Application granted granted Critical
Publication of JP3126157B2 publication Critical patent/JP3126157B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像情報処理装置に関
するものである。
【0002】
【発明の概要】この発明は、パノラマ画像のような画像
を蓄積手段に蓄積し、これに対し、所定のアルゴリズム
に基づいた処理を施すことによって、例えば実写と同等
なパースペクティブのかかった画像を得ることができ、
さらに、水平方向360度のパンニングを可能にするも
のである。
【0003】
【従来の技術】従来の技術としては、原画像として広画
角な平面撮像系で取り込んだ画像を用いた、図7に示す
装置がある。図7において、原画像はフレームメモリ1
に蓄積され、そこから、パン角θに相当するx,チルト
角φに相当するy,ズーム倍率zに相当するmによって
形作られるエリア2の部分を切り出して、パースペクテ
ィブ変換部3へ入力する。パースペクティブ変換部3で
は、例えば図8に示すように、(a)の原画像に対し
て、前記x,y,zの量に応じた(b),(c),
(d),(e)に示すような幾何学変換を行うことによ
って、目的画像を得る。(b)はx<0,(c)はx>
0,(d)はy<0,(e)はy>0におけるパースペ
クティブ変換部3の出力画像を示す。
【0004】
【発明が解決しようとする課題】上述した従来の技術に
おいては、実写と同等なパースペクティブがかかってい
ないので、違和感を招くという問題点があった。例え
ば、図6に示すように、原画像として(a)の格子模様
を描いた正方形を考えると、パースペクティブ変換後の
画像として、(b)のように4隅の4点は一致するが、
正方形内部の拡大縮小率が正しくない画像が得られる。
また、原画像として、平面撮像系で取り込んだ画像を使
っているので、あらかじめ取り込んだ画角以上にパン,
チルトを行おうとすると、画像がなくなってしまう、と
いう問題点があった。
【0005】本発明の目的は、以上のような問題を解消
した画像情報処理装置を提供することにある。
【0006】
【課題を解決するための手段】上記目的を達成するため
本発明は、パノラマ画像情報を蓄積する蓄積手段と、該
蓄積手段内のパノラマ画像情報を第1の円柱周面に投影
したときに当該第1の円柱周面上のパノラマ画像からパ
ンに対応する画像平面に写像してパースペクティブのか
かった画像を構成する第1のアルゴリズム、および前記
画像平面上の前記第1のアルゴリズムによってパースペ
クティブのかかった画像を前記第1の円柱と直交する第
2の円柱周面に投影したときに当該第2の円柱周面上の
パノラマ画像からチルトおよびズームに各々対応する画
像平面に写像してパースペクティブのかかった画像を構
成する第2のアルゴリズムに基づいて、前記蓄積手段内
のパノラマ画像情報をパースペクティブ変換する手段と
を具えたことを特徴とする。
【0007】
【作用】本発明によれば、例えば実際のカメラで撮った
画像と同等のパースペクティブのかかった画像が得ら
れ、また、水平方向360度のパンニングが行える。
【0008】
【実施例】まずはじめに、原画像となるパノラマ画像の
取り込み方法の一例について、図1を参照して説明す
る。角度検出器4を取り付けたパン軸5に、縦のライン
センサカメラ6が取り付けてあり、これが360度回転
できるようになっている。9はラインセンサカメラ6の
被写体である。ラインセンサカメラ6はレンズ6Aおよ
びその結像面に設けたラインセンサ6Bを有し、ライン
センサ6Bからの出力は、A/D変換部7でA/D変換
され、フレームメモリ8の縦方向に1ライン分書き込ま
れるようになっている。この時、フレームメモリ8への
書き込み位置を、角度検出器4からのパン軸5の回転角
を示す検出信号に基づいて制御し、パン角に対応する箇
所に書き込みが行われるようにする。この装置により、
例えばパン軸5を360度回転すると、水平方向360
度分の画像がフレームメモリ8上に得られる。このよう
な広範囲にわたってとり込んだ画像をパノラマ画像と呼
び、本発明における原画像とする。また、このパノラマ
画像は、コンピュータグラフィックスを用いて、直接生
成し、フレームメモリ8上に書き込むことも可能であ
る。
【0009】次に、本発明における、パノラマ画像から
目的画像への幾何変換アルゴリズムについて説明する。
図2の(a)に示すように、パノラマ画像は、鉛直方向
の軸10のまわりに半径1の円柱面11を考え、軸10
上の点Oを中心に、円柱の外部の風景(例:被写体9)
を円柱の周面(以下、円柱面という)11に投影するこ
とによって、円柱面11上にできる画像と考えることが
できる。いま、図2の(b)に示すように、軸10のま
わりに角度θだけパンニングされた撮像平面12を考え
る。ここで、円柱面11のある点Pと点Oを結ぶ直線と
平面12が交わる点を点Qとすると、点Qの画素値を点
Pの画素値とすることによって、平面12上に、円柱面
11上のパノラマ画像を、角度θでパンニングした画像
が得られる。次に、図2の(b)において円柱面11と
平面12の接線が、点Oを通る水平面と交わる点をRと
し、点Oを含む水平面上のORに直交する軸13を考え
る。図2の(c)において、軸13の回りに半径1の円
柱面14を考え、平面12上のある点Sと点Oを結ぶ直
線と円柱面14が交わる点を点Tとすると、点Tの画素
値を点Sの画素値とすることによって、円柱面14上
に、平面12上の角度θでパンニングされた画像の縦方
向のパノラマ画像が得られる。次に、図2の(d)に示
すように、点Oを通る鉛直面と円柱面14が交わる線上
において、角度φに相当する点Uと点Oとを結ぶ直線に
直交し、点Oからの距離がzである、平面15を考える
と、これが、軸13のまわりに、角度φだけチルトされ
た、ズーム倍率zにおける撮像面ということになる。し
たがって、円柱面14上のある点Vと点Oを結ぶ直線と
平面15が交わる点を点Wとすると、点Wの画素値を点
Vの画素値とすることによって、平面15上に、平面1
2上の角度θでパンニングされた画像を角度φだけチル
トし、ズーム倍率zでズームした画像が得られる。図6
の(c)はその一例を示し、実際のカメラにおけるパー
スペクティブと同等な画像が得られる。
【0010】以上のアルゴリズムを定式化する。図3の
(a)に示すように、原画像となるパノラマ画像にp−
q座標を設定し、これに対し、図3の(b)に示すよう
にパン角θ,チルト角φ,ズーム倍率zに相当するカメ
ラ操作を行ったときに得られる出力画像にx−y座標を
設定すると、パノラマ画像と出力画像の間の座標変換式
は次の数1,数2式のようになる。
【0011】
【数1】
【0012】
【数2】
【0013】数1,数2式で与えられる幾何学変換を実
現するハードウェアとして、2つの実施例を示す。はじ
めに図4の実施例について説明する。原画となるパノラ
マ画像は、フレームメモリ8に蓄積されている。所望の
パン角θ,チルト角φ,ズーム倍率zはアドレス計算部
16に入力され、ここにおいて、パノラマ画像から取り
出すべき画素のアドレスが数1,数2式にしたがって計
算され、その結果がアドレス制御部17に入力され、フ
レームメモリ8の読みだしアドレスを制御する。読みだ
しアドレスにしたがってフレームメモリ8から出力され
たディジタルデータは、D/A変換部18でD/A変換
され映像信号として出力される。
【0014】次に図5の実施例について説明する。これ
は、数1,数2式の形に注目して、パンによる水平切り
出し処理と、チルトに依存する幾何学変換処理と、ズー
ム倍率に依存する拡大縮小処理とを独立させたものであ
る。数1,数2式を変形することによってパンによる水
平切り出し、チルトに依存する幾何学変換およびズーム
倍率に依存する拡大縮小の各々の処理は次の数3,数
4,数5式のようになる。ただし、パノラマ画像のp−
q座標に対し、パンによる処理を行った画像の座標をu
−v座標とし、u−v座標に対し、チルトによる処理を
行った画像の座標をs−t座標とし、これにズームによ
る処理を行った、最終的な出力画像の座標をx−y座標
とする。
【0015】
【数3】
【0016】
【数4】
【0017】
【数5】
【0018】原画となるパノラマ画像は、フレームメモ
リ8に蓄積されている。所望のパン角θは水平切り出し
アドレス計算部19に入力され、ここで数3式によって
フレームメモリ8からの読みだしアドレスを計算し、そ
の結果がアドレス制御部20に入力され、この入力に基
づいてアドレス制御部20がフレームメモリ8の読みだ
しアドレスを制御する。読みだしアドレスにしたがって
フレームメモリ8から出力されたデータは、幾何学変換
部21に入力される。一方、所望のチルト角φは幾何学
変換計算部22に入力され、ここで数4式によって所望
のチルト角φに基づく幾何学変換式が計算され、この結
果にしたがって幾何学変換部21が、入力データに対し
てチルトに相当する処理を行い、その処理後のデータが
拡大縮小部23に入力される。一方、所望のズーム倍率
zは拡大縮小計算部24に入力され、ここで数5式によ
って所望のズーム倍率に基づく縮小変換式が計算され、
この結果にしたがって拡大縮小部23が、入力データに
対してズームに相当する処理を行い、その処理後のデー
タがD/A変換部25でD/A変換され映像信号として
出力される。
【0019】
【発明の効果】本発明によれば、出力画像におけるパー
スペクティブの正しい再現を可能にし、水平方向360
度のパンニングを可能にする。
【図面の簡単な説明】
【図1】本発明の各実施例におけるパノラマ画像の取り
込み装置の一例を示す図である。
【図2】パノラマ画像から目的画像への変換アルゴリズ
ムを説明する図であって、(a)はパノラマ画像を説明
する図、(b)はパン角θだけ回転した平面撮像面にお
ける画像の説明図、(c)は縦方向のパノラマ画像の説
明図、(d)はチルト角φだけ回転し、ズーム倍率zの
ズームを行って得られる画像の説明図である。
【図3】パノラマ画像および出力画像の座標を説明する
図である。
【図4】本発明の第1の実施例のブロック図である。
【図5】本発明の第2の実施例のブロック図である。
【図6】パースペクティブ変換における従来例と本発明
との違いを説明するための図である。
【図7】従来の技術の概略構成を示すブロック図であ
る。
【図8】従来の技術におけるパースペクティブ処理の概
念を示す図である。
【符号の説明】
8 フレームメモリ 16 アドレス計算部 17 アドレス制御部 18 D/A変換部

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 パノラマ画像情報を蓄積する蓄積手段
    と、 該蓄積手段内のパノラマ画像情報を第1の円柱周面に投
    影したときに当該第1の円柱周面上のパノラマ画像から
    パンに対応する画像平面に写像してパースペクティブの
    かかった画像を構成する第1のアルゴリズム、および
    記画像平面上の前記第1のアルゴリズムによってパース
    ペクティブのかかった画像を前記第1の円柱と直交する
    第2の円柱周面に投影したときに当該第2の円柱周面上
    のパノラマ画像からチルトおよびズームに各々対応する
    画像平面に写像してパースペクティブのかかった画像を
    構成する第2のアルゴリズムに基づいて、前記蓄積手段
    内のパノラマ画像情報をパースペクティブ変換する手段
    とを具えたことを特徴とする画像情報処理装置。
JP03037356A 1991-03-04 1991-03-04 画像情報処理装置 Expired - Fee Related JP3126157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03037356A JP3126157B2 (ja) 1991-03-04 1991-03-04 画像情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03037356A JP3126157B2 (ja) 1991-03-04 1991-03-04 画像情報処理装置

Publications (2)

Publication Number Publication Date
JPH04275783A JPH04275783A (ja) 1992-10-01
JP3126157B2 true JP3126157B2 (ja) 2001-01-22

Family

ID=12495267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03037356A Expired - Fee Related JP3126157B2 (ja) 1991-03-04 1991-03-04 画像情報処理装置

Country Status (1)

Country Link
JP (1) JP3126157B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940017747A (ko) * 1992-12-29 1994-07-27 에프. 제이. 스미트 영상 처리 디바이스
DE69411849T2 (de) * 1993-10-20 1999-03-04 Philips Electronics Nv Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
JP3321941B2 (ja) * 1993-11-11 2002-09-09 三菱電機株式会社 画像合成装置
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法

Also Published As

Publication number Publication date
JPH04275783A (ja) 1992-10-01

Similar Documents

Publication Publication Date Title
JP4048511B2 (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
EP0971540B1 (en) Omniview motionless camera orientation system
US8217956B1 (en) Method and apparatus for rendering spherical panoramas
US8326077B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
JP4172554B2 (ja) ステレオカメラの調整装置
EP0514266A2 (en) Apparatus and method for transforming an input image
JP4243767B2 (ja) 魚眼レンズカメラ装置及びその画像抽出方法
JP4268206B2 (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
JP5106142B2 (ja) 電子カメラ
JPH1093808A (ja) 画像合成装置および方法
JP2003524306A (ja) モーション・センサ付きカメラを使用するパノラマおよびサラウンド画像を生成する方法および装置
US6897883B1 (en) Omniazimuthal visual system
JP2002236918A (ja) 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体
US20210118104A1 (en) Image processing
JPH10145667A (ja) 撮像装置
JP3126157B2 (ja) 画像情報処理装置
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP2005045513A (ja) 画像処理装置及び歪補正方法
US6876387B1 (en) Digital zoom-out processing apparatus
JPH11164325A (ja) パノラマ画像生成方法及びそのプログラムを記録した記録媒体
JP3730450B2 (ja) 画像入力装置および画像入力方法
JP2000244797A (ja) 画像信号処理装置および方法
JP2005063141A5 (ja)
JP2005063141A (ja) 画像変換システム及び画像変換方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees