JP2014236311A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2014236311A JP2014236311A JP2013115667A JP2013115667A JP2014236311A JP 2014236311 A JP2014236311 A JP 2014236311A JP 2013115667 A JP2013115667 A JP 2013115667A JP 2013115667 A JP2013115667 A JP 2013115667A JP 2014236311 A JP2014236311 A JP 2014236311A
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- view
- imaging
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置、及び画像処理方法に関し、撮像装置により撮像された撮像画像からパノラマ画像を生成する技術に関するものである。 The present invention relates to an image processing apparatus and an image processing method, and relates to a technique for generating a panoramic image from a captured image captured by an imaging apparatus.
従来、撮像装置が撮像した複数の撮像画像をつなぎ合わせることにより、１枚のパノラマ画像を作成する撮像システムが知られている。 2. Description of the Related Art Conventionally, an imaging system that creates a single panoramic image by connecting a plurality of captured images captured by an imaging apparatus is known.
特許文献１には、撮像装置が撮像した撮像画像の一部の領域の画像を用いてパノラマ画像を生成することが記載されている。
また特許文献２には、パノラマ画像の右端領域の画像、左端領域の画像をそれぞれパノラマ画像の左端、右端につなぎ合わせて、パノラマ画像を拡張することが記載されている。
撮像装置が撮像する撮像画像の画角を変更可能である場合、大きさの異なる複数のパノラマ画像を生成することができる。 When the angle of view of the captured image captured by the imaging device can be changed, a plurality of panoramic images having different sizes can be generated.
たとえば、第１の画角で撮像装置が撮像可能な撮像範囲に対応する第１のパノラマ画像を、第１の画角の撮像画像を用いて生成することができる。 For example, a first panoramic image corresponding to an imaging range that can be imaged by the imaging device at the first angle of view can be generated using the captured image at the first angle of view.
また、第１の画角と異なる第２の画角で撮像装置が撮像可能な撮像範囲に対応する第２のパノラマ画像を、第２の画角の撮像画像を用いて生成することができる。 In addition, a second panoramic image corresponding to an imaging range that can be imaged by the imaging apparatus at a second angle of view different from the first angle of view can be generated using the captured image at the second angle of view.
ここで、撮像装置が撮像する撮像画像の画角が異なる場合、撮像装置が撮像可能な撮像範囲が異なる。すなわち、第１の画角で撮像装置が撮像可能な撮像範囲に対応する第１のパノラマ画像の大きさと、第２の画角で撮像装置が撮像可能な撮像範囲に対応する第２のパノラマ画像の大きさとは異なる。 Here, when the angle of view of the captured image captured by the imaging device is different, the imaging range that can be captured by the imaging device is different. That is, the size of the first panoramic image corresponding to the imaging range that can be imaged by the imaging device at the first angle of view, and the second panoramic image corresponding to the imaging range that can be imaged by the imaging device at the second angle of view. It is different from the size.
上述のように大きさが異なる複数のパノラマ画像を生成すると、パノラマ画像を生成するために必要とする処理時間が、１枚のパノラマ画像を生成する場合よりも長くなるという課題がある。 When a plurality of panoramic images having different sizes are generated as described above, there is a problem that the processing time required for generating a panoramic image becomes longer than that when a single panoramic image is generated.
上述の特許文献１から３では、大きさの異なる複数のパノラマ画像を生成することについて想定されていなかった。
In
上述の課題に鑑みて、本願発明は、撮像装置が撮像する撮像画像の画角を変更可能である場合に、大きさが異なる複数のパノラマ画像を短時間で生成することを目的とする。 In view of the above-described problems, an object of the present invention is to generate a plurality of panoramic images having different sizes in a short time when the angle of view of a captured image captured by an imaging device can be changed.
上記目的を達成するために、本発明は、第１の画角と、少なくとも一方の方向の画角が前記第１の画角よりも狭い第２の画角とで撮像可能な撮像手段であって、前記第２の画角の方が画角が狭い一方の方向において撮像方向を変更して前記第２の画角で撮像可能な範囲の一方の端部から他方の端部までの角度が３６０度以上である前記撮像手段が撮像した撮像画像を取得する取得手段と、前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する画像に、前記撮像手段の撮像方向を前記一方の方向において変更可能な一方の端部において前記第１の画角で撮像される撮像領域であって前記第２の画角で撮像されない撮像領域の撮像画像を、前記一方の方向において変更可能な他方の端部に向かって撮像方向を変更して前記第２の画角で前記撮像手段が撮像した撮像画像を用いて補って、前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に前記一方の方向の長さが対応する第２のパノラマ画像を生成する生成手段とを有することを特徴とする。 In order to achieve the above object, the present invention provides an imaging means capable of imaging with a first angle of view and a second angle of view in which the angle of view in at least one direction is narrower than the first angle of view. Thus, the angle from one end to the other end of the range that can be imaged at the second angle of view by changing the imaging direction in one direction where the angle of view of the second angle of view is narrower. An acquisition unit that acquires a captured image captured by the imaging unit that is 360 degrees or more, and an image that corresponds to a range that can be captured by changing the imaging direction of the imaging unit at the second angle of view. An imaged image of an imaging region that is imaged at the first angle of view and that is not imaged at the second angle of view at one end where the imaging direction of the imager can be changed in the one direction. Change the imaging direction toward the other end that can be changed in the direction of A first panoramic image corresponding to a range that can be captured by changing the imaging direction of the imaging unit at the first angle of view is supplemented by using a captured image captured by the imaging unit at a second angle of view. And generating means for generating a second panoramic image corresponding to the length in the one direction.
本発明によれば、撮像装置が撮像する撮像画像の画角を変更可能である場合、大きさが異なる複数のパノラマ画像を生成するために必要とする処理時間を低減することができる。 ADVANTAGE OF THE INVENTION According to this invention, when the angle of view of the captured image which an imaging device images can be changed, the processing time required in order to produce | generate several panoramic images from which a magnitude | size can be reduced can be reduced.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
＜実施例１＞
図１は、本実施形態におけるネットワークカメラシステムのブロック図である。
<Example 1>
FIG. 1 is a block diagram of a network camera system in the present embodiment.
本実施形態にかかるネットワークカメラシステムでは、カメラ１、ビューワクライアント２（以下クライアント２）、パノラマ生成クライアント３（以下クライアント３）がネットワーク４を介して接続されている。カメラ１、クライアント２、クライアント３は、それぞれ、ネットワーク４に複数接続するができる。
In the network camera system according to this embodiment, a
ネットワーク４は、カメラ制御信号や、カメラ１による撮像画像を通信可能なインターネットやイントラネット等のネットワークである。本実施形態ではネットワークプロトコルとしてＴＣＰ／ＩＰ（またはＵＤＰ／ＩＰ）プロトコルを仮定するがこれに限られない。また、本実施形態では、カメラ１、クライアント２、クライアント３には、それぞれ異なるＩＰアドレスが割り当てられるものとする。
The
カメラ１は、後述のクライアント２、３から画像要求コマンドを受信すると、コマンドを送信したクライアントに対して撮像画像をネットワーク４を介して配信する撮像装置である。また、カメラ１は、クライアント２、３からカメラ制御コマンドを受信すると、当該カメラ制御コマンドに応じた各種カメラ制御（例えばパン・チルト・ズーム制御）を実行する。
When receiving an image request command from
クライアント２は、カメラ１に割り当てられているＩＰアドレスを指定して、カメラ１と接続を行う。クライアント２は、カメラ１に対して画像要求コマンドを送信する。そしてクライアント２は、画像要求コマンドの応答として、カメラ１から撮像画像を受信し、受信した撮像画像を表示部２６に表示させる。
The
またクライアント２は、カメラ１の撮像方向を変更させるためのカメラ制御コマンドをカメラ１に送信する。このようにして、クライアント２は変更後の撮像方向においてカメラ１が撮像した撮像画像を受信して表示部２６に表示させることができる。
Further, the
クライアント３は、クライアント２と同様に、カメラ１に割り当てられているＩＰアドレスを指定して、カメラ１と接続を行う。またクライアント３は、クライアント２と同様に、カメラ１に対して画像要求コマンドを送信する。そしてクライアント３は、画像要求コマンドの応答として、カメラ１から撮像画像を受信する。
Similarly to the
またクライアント３は、カメラ１から受信した撮像画像を用いて、パノラマ画像を生成する画像処理装置である。本実施例では、クライアント３がパノラマ画像を生成する場合について説明するが、カメラ１が後述のパノラマ生成処理を行うこととしてもよい。
The
またクライアント３は、受信した撮像画像を表示部３６に表示させる。なお、本形態におけるパノラマ画像とは、１回の撮像で得られる撮像画像よりも、大きさ（例えば、垂直画角又は水平画角の少なくとも一方）が大きい画像である。
In addition, the
本実施形態のクライアント３は、カメラ１に対してパン、チルト角度を指定して所望の位置へカメラ１を移動させ、撮像指示を出す。カメラ１で撮像した映像は通信制御部１１によりクライアント３へ送信される。クライアント３は受信した撮像画像を基にパノラマ画像を作成し、作成したパノラマ画像をカメラ１へ送信する。カメラ１では受信したパノラマ画像を記憶部１８に記憶する。カメラ１はクライアント２からの要求に応じて、記憶部１８に記憶されたパノラマ画像をクライアント２へ送信する。
The
次に、カメラ１の構成について図１を用いて説明する。レンズ１４は撮像部１５に被写体の像を結像する。撮像部１５は、撮像画像を生成する。撮像部１５は、生成した撮像画像を圧縮部１６に入力する。本実施形態では、撮像部１５は、レンズ１４から入力された映像を撮像部１５において撮像した撮像画像の読み出し方を切り替えて、異なる画角の撮像画像を生成することができる。本実施形態では、撮像部１５が、アスペクト比の異なる撮像画像を生成できる場合について説明する。例えば、本実施形態の撮像部１５は、アスペクト比が４：３の撮像画像と、アスペクト比が１６：９の撮像画像を撮像することができる。
Next, the configuration of the
このようにして、撮像部１５は、第１の画角と、水平画角と垂直画角のうち少なくとも一方の方向の画角が第１の画角よりも狭い第２の画角とで撮像画像を撮像可能である。
In this manner, the
撮像部１５が生成する、アスペクト比が異なる画像について図３を用いて説明する。図３Ａは水平画角８０度、垂直画角４５度（アスペクト比１６：９）で撮像した画像である。図３Ｂは水平画角６０度、垂直画角４５度（アスペクト比４：３）撮像した画像である。図３Ａに示した撮像画像から、垂直画角を保って図３Ｂに示した撮像画像を生成する場合、図３Ａに示した撮像画像の左右を切り落とすことで図３Ｂの画像が生成される。このようにして、第１の画角と、少なくとも一方の方向の画角が第１の画角よりも狭い第２の画角とで撮像画像を撮像可能である。
Images generated by the
圧縮部１６は前記入力された撮像画像を、クライアント配信に適した画像に符号化圧縮し通信制御部１１へ入力する。本実施形態の圧縮部１６は、撮像部１５からの画像信号をＡ／Ｄ変換した後、ＪＰＥＧで圧縮する。ただし、他の圧縮形式を用いてもよい。
The
通信制御部１１は、圧縮部１６が圧縮した撮像画像をネットワーク４を介して画像要求コマンドの送信元クライアントに送信する。
The
記憶部１８は、後述のクライアント３によって生成されたパノラマ画像やカメラの撮像方向、撮像パラメータ等の各種設定値およびデータを保持する。本実施形態における撮像パラメータには、例えば、撮像画像を撮像するためのカメラ１のフォーカス、ホワイトバランス、露出等のパラメータが含まれる。
The
解釈部１７は、クライアント２、３からのコマンドを解釈して、カメラ１の各部の制御を行う。例えば、解釈部１７は、通信制御部１１によるカメラ制御コマンドの受信を駆動制御部１２に通知する。通知を受けた駆動制御部１２は、駆動部１３の向きやレンズ１４のズーム倍率などを制御する。
The
駆動部１３は、カメラ１を駆動してカメラ１の撮像方向を変更させる。本実施形態において、駆動部１３は、基準の撮像方向からパン、チルト方向にカメラ１の撮像方向を変更することができる。駆動部１３は、上述の第２の画角で撮像方向を一方の画角の方向において変更して撮像可能な範囲の一方の端部から他方の端部までの角度が３６０度以上になるように、カメラ１の撮像方向を変更することができる。
The driving
次に、クライアント２の構成について図１を用いて説明する。
Next, the configuration of the
通信制御部２１は、画像要求コマンド、カメラ制御コマンドをカメラ１へ送信する。また通信制御部２１は、カメラ１が撮像した撮像画像、パノラマ画像、各種カメラ制御の結果を取得する。
The
また、表示制御部２４は、画像伸長部２５で展開された撮像画像およびパノラマ画像を表示部２６に表示させる。また表示制御部２４はグラフィカルユーザインタフェース（ＧＵＩ）を表示部２６に表示させる。操作入力部２３は、ユーザのマウスやキーボードによるＧＵＩ操作を受け付ける。あるいはタッチパネル操作により、ＧＵＩ操作を受け付けることとしてもよい。
In addition, the
ユーザのＧＵＩ操作とは、例えば、カメラ１に対して撮像方向をパン方向、又は、チルト方向に変更させる制御や、ズーム制御を指示するための操作である。例えばユーザは、表示部２６に表示されたパノラマ画像上の領域をマウスクリックやタッチ操作によって指定して、指定した領域に対応する撮像領域が撮像されるようにカメラ１の撮像方向を指定することができる。
The user's GUI operation is, for example, an operation for instructing the
例えば、カメラ１のパン・チルト位置、及び、画角を表す枠をパノラマ画像上で移動させたり、枠の大きさを変更したりすることにより、パノラマ画像上の領域を指定することができる。
For example, an area on the panoramic image can be specified by moving a pan / tilt position of the
コマンド生成部２２は、操作入力部２３が受け付けたＧＵＩ操作に応じて各種カメラ制御コマンドを生成する。生成されたカメラ制御コマンドは通信制御部２１からカメラ１に送信される。
The command generation unit 22 generates various camera control commands according to the GUI operation received by the
次に、画像処理装置であるクライアント３の構成について図１を用いて説明する。通信制御部３１、表示制御部３４、画像伸長部３５、表示部３６は、それぞれクライアント２の通信制御部２１、表示制御部２４、画像伸長部２５、表示部２６と同様の機能を有する。
Next, the configuration of the
操作部３３は、クライアント２の操作入力部２３に入力される操作に加えて、カメラ１にパノラマ画像の生成要求（以下、「パノラマ生成要求」）を受け付ける。パノラマ生成要求には、例えば、パノラマ画像を生成する撮像領域の範囲の指定が含まれる。
The
算出部３７は、パノラマ生成要求に応じて、指定された範囲のパノラマ画像を生成するために用いる撮像画像を撮像するための撮像方向を算出し、算出結果をコマンド生成部３２に入力する。
In response to the panorama generation request, the
コマンド生成部３２は、算出部３７から入力されたパン・チルト角度に応じたカメラ制御コマンドを生成し、通信制御部３１を介してカメラ１へ送信する。このカメラ制御コマンドを受信したカメラ１の駆動制御部１２は、カメラ１の撮像方向をカメラ制御コマンドに応じたパン・チルト角度へ変更する。変更後の撮像方向において撮像され、圧縮部１６によって符号化圧縮された撮像画像は、画像要求コマンドに応じてクライアント３へ送信される。
The
パノラマ画像生成部３８は、カメラ１から受信した複数の撮像画像からパノラマ画像を生成する。すなわち、パノラマ画像生成部３８は、画像伸長部３５で伸長された複数の撮像画像の座標値を後述する変換処理（射影変換）で変換してつなぎ合わせることでパノラマ画像を生成する。パノラマ画像生成部３８におけるパノラマ画像の生成方法については、詳細を後述する。
The panorama
通信制御部３１は、パノラマ生成部３８が生成したパノラマ画像をカメラ１に送信する。カメラ１へ送信されたパノラマ画像はカメラ１の記憶部１８に記憶される。カメラ１は、クライアント（例えば、クライアント２）からのパノラマ画像の送信要求に応じて、記憶部１８に記憶したパノラマ画像を当該送信要求を行ったクライアントに送信する。
The
次に本実施形態のクライアント３におけるパノラマ画像の生成処理について図８を用いて説明する。
Next, panoramic image generation processing in the
図８には２枚のパノラマ画像が示されている。図８上段のパノラマ画像８００は、第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像である。図８下段のパノラマ画像８０１は、カメラ１の撮像部１５が、垂直画角と水平画角のうち少なくとも一方の方向の画角が第１の画角よりも狭い第２の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第２のパノラマ画像である。
FIG. 8 shows two panoramic images. The
本実施形態では、例として、図５に示すように、カメラ１の撮像方向を一方の端部から他方の端部までカメラ１を中心としてパン方向（水平方向）に３４０度回転させることができる場合について説明する。本実施形態に係るカメラ１は、図５に示すように、基準となる撮像方向（以下、「基準位置」）を０度として、±１７０度の範囲で撮像方向を変更することができる。
In the present embodiment, as an example, as shown in FIG. 5, the imaging direction of the
また、第１の画角は図３Ａに示した例と同様に水平画角が８０度であり、垂直画角が４５度であるものとする。また、第２の画角は、図３Ｂに示した例と同様に、水平画角が６０度であり、垂直画角が４５度であるものとする。 In addition, the first field angle is assumed to be a horizontal field angle of 80 degrees and a vertical field angle of 45 degrees as in the example shown in FIG. 3A. As for the second angle of view, it is assumed that the horizontal angle of view is 60 degrees and the vertical angle of view is 45 degrees, as in the example shown in FIG. 3B.
カメラ１が第１の画角で撮像を行う場合であって、基準位置からパン方向に＋１７０度撮像方向を変更した位置で撮像を行う場合、基準位置からパン方向に＋２１０度の範囲まで撮像することができる。第１の画角の水平画角は８０度であり、撮像中心から左右に４０度ずつ撮影することができるため、パン角＋１７０度に、水平画角の半分の角度を加えた＋２１０度の撮像範囲まで撮像することができる。
When the
同様にして、カメラ１が第１の画角で撮像を行う場合であって、基準位置からパン方向に−１７０度撮像方向を変更した位置で撮像を行う場合、基準位置からパン方向に−２１０度の範囲まで撮像することができる。パン角−１７０度から更に、水平画角の半分の角度を引いた−２１０度の撮像範囲まで撮像することができる。
Similarly, when the
このように、第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲の一方の端から他方の端までの水平画角は４２０度となる。これは、基準位置からプラス方向に撮像可能な範囲（＋２１０度）の絶対値と基準位置からマイナス方向に撮像可能な範囲（−２１０度）の絶対値の和である。
As described above, the horizontal angle of view from one end to the other end of the imageable range by changing the imaging direction of the
カメラ１が第１の画角で撮像を行う場合と同様にして、カメラ１は第２の画角で撮像を行う場合、撮像範囲の一方の端から他方の端までの水平画角は４００度となる。
In the same way as when the
図８に示す通り、第１のパノラマ画像８００と第２のパノラマ画像８０１を比較すると、第２のパノラマ画像８０１は、第１のパノラマ画像８００に対して左右の端が水平画角１０度分ずつ短い。図８では、第１のパノラマ画像と第２のパノラマ画像の差分の領域であって右端の領域を（１）´、左端の領域を（２）´として示す。
As shown in FIG. 8, when the
領域（１）´及び領域（２）´は、撮像手段の撮像方向を水平画角方向において変更可能な一方の端部において第１の画角で撮像される撮像領域であって、第２の画角で撮像されない撮像領域である。 Region (1) ′ and region (2) ′ are imaging regions that are imaged at the first angle of view at one end where the imaging direction of the imaging means can be changed in the horizontal angle of view direction. This is an imaging region that is not imaged at an angle of view.
ここで、（１）´の撮像領域は図８中の（１）の撮像領域と対応する。ここで撮像領域が対応するとは、カメラ１から同じ方向に向かって撮影された領域であることを示す。
Here, the imaging region (1) ′ corresponds to the imaging region (1) in FIG. Here, “corresponding to an imaging region” indicates that the region is a region photographed from the
例えば、（１）´の領域が基準位置からパン方向に＋２００度〜＋２１０度の範囲の領域であるとすると、（１）´の領域は、基準位置からパン方向に−１５０度〜−１６０度の範囲の領域である（１）の領域と対応する。同様に、（２）´の領域が基準位置からパン方向に−２００度〜−２１０度の範囲の領域であるとすると、（２）´の領域は、基準位置からパン方向に＋１５０度〜＋１６０度の範囲の領域である（２）の領域と対応する。 For example, if the area (1) ′ is an area in the range of +200 degrees to +210 degrees in the pan direction from the reference position, the area (1) ′ is −150 degrees to −160 degrees in the pan direction from the reference position. This corresponds to the area (1) which is the area of the range. Similarly, if the region (2) ′ is a region in the range of −200 degrees to −210 degrees in the pan direction from the reference position, the region (2) ′ is +150 degrees to +160 in the pan direction from the reference position. This corresponds to the area (2), which is an area in the range of degrees.
（１）の領域は、第２のパノラマ画像のうち（１）´側の端部から水平画角方向に変更可能な他方の端部（（２）´側の端部）に向かって撮像方向を変更して、第２の画角で撮像される領域である。（２）の領域は、第２のパノラマ画像のうち（２）´側の端部から水平画角方向に変更可能な他方の端部（（１）´側の端部）に向かって撮像方向を変更して、第２の画角で撮像される領域である。 The area (1) is the imaging direction from the end part on the (1) ′ side of the second panoramic image toward the other end part (the end part on the (2) ′ side) that can be changed in the horizontal angle of view direction. In which the image is captured at the second angle of view. The area (2) is the imaging direction from the second panoramic image toward the other end (the end on the (1) 'side) that can be changed in the horizontal angle of view direction from the end on the (2)' side. In which the image is captured at the second angle of view.
本実施形態では、第２のパノラマ画像に対して、（１）´の領域を（１）の領域の画像で補い、（２）´の領域を（２）の領域の画像で補って、第１のパノラマ画像に対応する大きさの第３のパノラマ画像を生成する。 In the present embodiment, the second panoramic image is supplemented with the area (1) ′ by the image of the area (1), and the area (2) ′ is supplemented with the image of the area (2). A third panoramic image having a size corresponding to one panoramic image is generated.
このようにして第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に水平画角方向の長さが対応する第３のパノラマ画像を生成することができる。
In this way, by changing the imaging direction of the
第２のパノラマ画像の生成処理について図２のフローチャートを用いて説明する。図２の処理は、画像処理装置であるクライアント３の操作部３３で、パノラマ画像の生成を指示する操作が入力されたことに応じて開始される。
The second panorama image generation process will be described with reference to the flowchart of FIG. The processing in FIG. 2 is started in response to an operation for instructing generation of a panoramic image being input from the
ステップＳ１０１において、コマンド生成部３２は、パノラマ画像を生成する際に使用する撮像パラメータをカメラ１に対して設定するためのコマンドを生成する。本実施形態における撮像パラメータには、例えば、パノラマ画像を生成するために用いられる撮像画像を撮像するための、カメラ１のフォーカス、ホワイトバランス、露出のパラメータが含まれる。
In step S <b> 101, the
また本実施形態における撮像パラメータには、パノラマ画像を生成するために用いられる撮像画像を撮像するために、カメラ１の撮像方向をパン方向に動かす範囲が含まれる。さらに本実施形態における撮像パラメータには、パノラマ画像を生成するために用いられる撮像画像を撮像するために、カメラ１の撮像方向をチルト方向に動かす範囲が含まれる。
The imaging parameters in the present embodiment include a range in which the imaging direction of the
パノラマ画像を生成するために用いられる撮像画像を撮像するためにカメラ１の撮像方向をパン方向、あるいは、チルト方向に動かす範囲は、ユーザのＧＵＩ操作によって操作部３３から入力される、パノラマ画像を生成する範囲の指定に基づいて特定される。
The range in which the imaging direction of the
なお、撮像パラメータはこれらに限らず、パノラマ画像を生成するために用いられる撮像画像の画質設定を行うための他のパラメータを含めることができる。本実施形態において、パノラマ生成に用いられる撮像画像のアスペクト比は、生成処理開始時に、カメラ１に設定されているアスペクト比が用いられるものとする。以下では、カメラ１が第１のアスペクト比である第１の画角と、水平画角と垂直画角の少なくとも一方の方向の画角が第１の画角よりも狭い第２のアスペクト比の第２の画角をカメラ１が撮像可能な場合について説明する。また、以下のパノラマ生成処理の開始時に、第２のアスペクト比の第２の画角がカメラ１に設定されている場合について説明する。
The imaging parameters are not limited to these, but may include other parameters for setting the image quality of the captured image used for generating the panoramic image. In the present embodiment, the aspect ratio of the captured image used for panorama generation is the aspect ratio set in the
ステップＳ１０２において、算出部３７は操作部３３において入力されたパノラマ画像を生成する範囲の指定に応じて、パノラマ画像を生成するために用いる複数の撮像画像をそれぞれ撮像するための撮像方向（パン・チルト角度）を算出する。このようにして、パノラマ画像を生成するために用いる撮像画像の撮像方向についての位置情報を取得する。
In step S102, the
ステップＳ１０３において、コマンド生成部３２は、ステップＳ１０２で取得した撮像方向にカメラ１の撮像方向を制御するためのカメラ制御コマンドを生成して、カメラ１に送信する。このようにして、カメラ１の撮像方向を指定する。カメラ１の駆動制御部１２は受信したコマンドに応じて、駆動部１３を駆動させカメラ１の撮像方向を変更する。
In step S <b> 103, the
ステップＳ１０３において送信したカメラ制御コマンドに応じた撮像方向にカメラ１の撮像方向が制御されたことを示す通知を通信制御部３１がカメラ１から受信すると、ステップＳ１０４において、コマンド生成部３２は画像要求コマンドを送信する。クライアント３は、カメラ１に画像要求コマンドを送信することにより、撮像を実行させる。
When the
カメラ１は、画像要求コマンドの受信に応じて、現在のパン・チルト角度で撮像を行う。これによりパノラマ画像を生成するために用いられる複数の撮像画像のうちの１枚が得られる。このようにして撮像された撮像画像は、撮像部１５に入力されたのち、圧縮部１６で圧縮され、通信制御部１１を介してクライアント３へ送信される。
The
ステップＳ１０５において、基準位置からパン方向又はチルト方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれているか判定する。本実施形態では、基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれているか判定する場合について説明する。 In step S105, it is determined whether an image in a range exceeding ± 180 degrees in the pan direction or the tilt direction from the reference position is included within the angle of view of the currently captured image. In the present embodiment, a case will be described in which it is determined whether an image in a range exceeding ± 180 degrees in the pan direction from the reference position is included within the angle of view of the currently captured image.
ステップＳ１０５の判定は、例えば、基準位置を０度とした場合の現在の撮像方向のパン角度と、カメラ１の撮像する画像の水平画角とを用いて行うことができる。すなわち、現在のパン角度Θｐの絶対値と、水平画角Θｈの１／２の絶対値とを加算した値が、１８０を超えている場合、基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれていると判定することができる。
The determination in step S105 can be performed using, for example, the pan angle in the current imaging direction when the reference position is 0 degree and the horizontal angle of view of the image captured by the
基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれる場合（ステップＳ１０５においてＹｅｓの場合）、ステップＳ１０６に進む。 If an image in a range exceeding ± 180 degrees in the pan direction from the reference position is included within the angle of view of the currently captured image (Yes in step S105), the process proceeds to step S106.
ステップＳ１０６において、パノラマ画像生成部３８は、±１８０度を超えた部分の画像を一時保存する。
In step S106, the panoramic
一方、基準位置からパン方向に±１８０度を超える範囲の画像が、現在撮像している撮像画像の画角内に含まれない場合（ステップＳ１０５においてＮｏの場合）、ステップＳ１０７に進む。 On the other hand, if an image in a range exceeding ± 180 degrees in the pan direction from the reference position is not included in the angle of view of the currently captured image (No in step S105), the process proceeds to step S107.
ステップＳ１０７において、コマンド生成部３２は、パノラマ画像の生成に用いる撮像画像を全て取得したか否かを判定する。
In step S107, the
パノラマ画像の生成に用いる撮像画像を全て取得したと判定した場合（Ｓ１０７においてＹｅｓの場合）はステップＳ１０８へ進む。 If it is determined that all the captured images used for generating the panoramic image have been acquired (Yes in S107), the process proceeds to step S108.
パノラマ画像の生成に用いる撮像画像が全て取得されていない判定した場合（Ｓ１０７においてＮｏの場合）はステップＳ１０２に戻る。 If it is determined that not all the captured images used for generating the panorama image have been acquired (No in S107), the process returns to step S102.
Ｓ１０２に戻った場合、コマンド生成部３２は、まだ撮像していない位置へのパン・チルト角度を算出してカメラ制御コマンドをカメラ１に送信する。そして、上述のステップＳ１０３からステップＳ１０７の処理を行う。ステップＳ１０２からステップＳ１０７の処理を繰り返すことにより、クライアント３はパノラマ画像の生成に用いる全ての撮像画像を取得することができる。
When returning to S <b> 102, the
なおステップＳ１０７において、ユーザからパノラマ画像の生成を中断する指示がなされた場合には、パノラマ画像の生成に用いる撮像画像が全て取得されていない判定した場合であっても、ステップＳ１０８へ進むこととしてもよい。 In step S107, if the user gives an instruction to interrupt the generation of the panoramic image, the process proceeds to step S108 even if it is determined that all the captured images used for generating the panoramic image have not been acquired. Also good.
ステップＳ１０８において、コマンド生成部３２は、パノラマ画像の生成を中断する指示が入力されたか否かを判定する。Ｓ１０８において、撮像中断による指示が操作部３３から入力されて中断された場合、ステップＳ１１３に進み、撮像中の画像を全て破棄して終了する。全ての画像が撮像終了したと判断された場合にはステップＳ１０９へ進む。
In step S108, the
ステップＳ１０９において、パノラマ画像生成部３８はステップＳ１０６で一時的に保存されていたパン角度±１８０度を超えた部分を含む画像を、パノラマ画像に追加する。パノラマ画像に画像を追加する方法については後述する。画像が追加されたパノラマ画像は表示制御部３４を介して表示部３６に表示される。
In step S109, the panorama
ステップＳ１１０において、表示部３６に表示されたパノラマ画像の一部だけを再撮像することを指示することができる。例えば、ユーザがクライアント３のＧＵＩを操作して、パノラマ画像の一部の画像を再度撮像する指示を入力することができる。ユーザは、再撮像を行う範囲と、再撮像実行命令をクライアント３に入力する。クライアント３は入力された範囲の情報と再撮像実行命令を、操作部３３を介してコマンド生成部３２に入力する。このようにして、パノラマ画像生成部３８が生成したパノラマ画像における第１の領域を指定する。そして第１の領域に対応する撮像領域を撮像する指示をカメラ１に対して行う。
In step S110, it can be instructed to re-image only a part of the panoramic image displayed on the display unit. For example, the user can input an instruction to capture a part of the panoramic image again by operating the GUI of the
あるいは、クライアント３がパノラマ画像中に人体の画像が存在することを示す情報、或いは、パノラマ画像中に動体が存在することを示す情報をクライアント３が取得して、当該取得した情報に応じてカメラ１に対して再撮像を指示することとしてもよい。クライアント３はこれらの情報をカメラ１から取得することができる。カメラ１は、撮像画像中に人体や動体を検出した場合、人体や動体を検出した撮像画像を撮像した撮像方向や画角等をクライアント３に通知する。クライアント３は、通知された情報が示す撮像方向や画角に対応するパノラマ画像上の領域の画像をカメラ１に再撮像させる再撮像指示をコマンド生成部３２に入力することができる。
Alternatively, the
再撮像指示がコマンド生成部３２に入力されると、ステップＳ１０３へ戻る。そして、コマンド生成部３２は指示された位置のパン・チルト角度へのカメラの撮像方向を変更させるためのカメラ制御コマンドを送信する。送信されたカメラ制御コマンドに応じた撮像方向にカメラ１の撮像方向が制御されたことを示す通知を通信制御部３１が受信すると、コマンド生成部３２は撮像コマンドを送信し、カメラ１に再撮像を実行させる。再撮像前に生成したパノラマ画像のうち、再撮像された部分（再撮像領域）を更新した新たなパノラマ画像を生成する。
When the re-imaging instruction is input to the
ステップＳ１０９において追加した映像に対応する領域が再撮像された場合、映像を追加する前のパノラマ画像上の再撮像領域と、追加した映像上の再撮像領域の２か所が更新される。図８に示した例では、（１）の領域が再撮像された場合、（１）の領域と（１）´の領域の画像が更新される。 When the area corresponding to the added video is re-imaged in step S109, two locations of the re-imaging area on the panoramic image before adding the video and the re-imaging area on the added video are updated. In the example shown in FIG. 8, when the area (1) is re-imaged, the images of the area (1) and the area (1) ′ are updated.
このようにして、パノラマ画像生成部３８は、カメラ１が再撮像指示に応じて撮像した撮像画像を用いて、パノラマ画像における第１の領域の画像を更新した新たなパノラマ画像を生成する。
In this manner, the panoramic
ステップＳ１１０で操作部３３から撮像指示ではない入力が行われた場合はステップＳ１１１へ進み、画像保存して終了するか否かを確認する。操作部３３から画像保存を指示された場合は、Ｓ１１２に進み、パノラマ画像を通信制御部３１より完成したパノラマ画像をカメラ１へ送信する。カメラ１は通信制御部１１で受けたパノラマ画像を記憶部１８に保存する。
If an input that is not an imaging instruction is performed from the
ステップＳ１１１で画像保存しないで終了する指示が操作部３３から行われた場合、ステップＳ１１３に進み、パノラマ画像生成部で作成したパノラマ画像を破棄し終了する。パノラマ画像を破棄した場合、カメラ１の記憶部１８に既にパノラマ画像が保存されていれば更新されない。
If an instruction to end without saving the image is given from the
次に、図２のステップ１０９において基準位置から±１８０度を超えた撮像範囲の情報を記憶する処理について図４を用いて説明する。 Next, the processing for storing information of the imaging range exceeding ± 180 degrees from the reference position in step 109 in FIG. 2 will be described with reference to FIG.
クライアント３の通信制御部３１は、ステップＳ２０１でカメラ１に対して撮像画角及びアスペクト比の情報を取得するための制御コマンドを送信する。
In step S201, the
カメラ１は通信制御部１１で受信した制御コマンドを解釈部１７で解釈すると、圧縮部１６で圧縮している画像のサイズ及びアスペクト比と画角情報を取得する。さらに、カメラ１の駆動制御部１２は現在の撮像方向を取得する。そして、取得した画像サイズ、アスペクト比、及び、撮像方向を通信制御部１１からクライアント３に送信する。
When the
クライアント３は通信制御部３１で受信した情報を、コマンド生成部３２を介して算出部３７に渡す。
The
ステップＳ２０２において、受信した返答情報を基に、算出部３７で、パン角度とチルト角度、画角情報、アスペクト比情報から現在の画像の撮像範囲を算出する。撮像範囲がパン角度の±１８０度を超えているか否かを判断する。ステップＳ１０５で説明したように水平画角の計算には、撮像画像の画角とパン角度を用い計算することができる。撮像範囲がパン角度を超えていれば、ステップＳ２０３に進む。
In step S202, based on the received response information, the
ステップＳ２０３においてパノラマ画像の端位置に補う画像の大きさを計算する。図５にアスペクト比４：３で水平画角が６０度である場合の撮像画像の一例を示す。本実施の形態では、パンの可動限界位置は±１７０度とする。 In step S203, the size of the image to be supplemented to the end position of the panoramic image is calculated. FIG. 5 shows an example of a captured image when the aspect ratio is 4: 3 and the horizontal angle of view is 60 degrees. In the present embodiment, the pan movable limit position is set to ± 170 degrees.
パン角度＋１７０度の場合は５１の細点線枠内に示される画像が撮像範囲となる。撮像範囲の中心が＋１７０度であり撮像画像左端は＋１８０度を超えている。よって中心より＋１０度左から画像左端までの水平画角２０度分の領域５２が補う対象となる。
When the pan angle is +170 degrees, the image shown in the 51 thin dotted line frame is the imaging range. The center of the imaging range is +170 degrees, and the left end of the captured image exceeds +180 degrees. Therefore, the
パン角度−１７０度の場合は５３の太点線枠内に示される画像が撮像範囲となる。撮像範囲の中心が−１７０度であるため、撮像画像右端は−１８０度を超えている。従って、中心より−１０度右から画像右端までの水平画角２０度分の領域５４が補う対象となる。
When the pan angle is -170 degrees, the image shown in the 53 thick dotted line frame is the imaging range. Since the center of the imaging range is −170 degrees, the right end of the captured image exceeds −180 degrees. Accordingly, the
画角サイズは、アスペクト比による水平画角の差を計算することで得ることができる。図３で示したように１６：９と４：３では水平画角で２０度の差があり、パンの可動限界位置である端部分では、画像の半分が対象となるため１０度の差が出てくる。つまり４：３と１６：９の画角差は、端部分において±１０度であり、補間すべき映像データは±１８０度から超えた部分に更に１０度超えた部分の画像となる。＋１８０度の場合は補う画像領域としては５５の部分であり、−１８０度の場合は補う領域は５６の部分となる。 The angle of view can be obtained by calculating the difference in horizontal angle of view depending on the aspect ratio. As shown in FIG. 3, there is a difference of 20 degrees in the horizontal angle of view between 16: 9 and 4: 3, and at the end portion which is the movable limit position of the pan, half of the image is targeted, so the difference of 10 degrees Come out. In other words, the angle of view difference between 4: 3 and 16: 9 is ± 10 degrees at the end portion, and the video data to be interpolated is an image of a portion exceeding 10 degrees beyond the portion exceeding ± 180 degrees. In the case of +180 degrees, the image area to be supplemented is 55, and in the case of -180 degrees, the area to be supplemented is 56.
ステップＳ２０２の計算で、パン角度が±１８０度を超えていなければステップＳ２０４に進む。画像を補うことは不要となるため補う画像のサイズは０に設定される。 If the pan angle does not exceed ± 180 degrees in the calculation in step S202, the process proceeds to step S204. Since it is not necessary to supplement the image, the size of the supplemented image is set to zero.
ステップＳ２０５において補うサイズをパノラマ画像生成部３８に一時的に保存しておき、ステップＳ１０９においてコピーする際に、パノラマ画像の両端に付与することになる。両端への付与の際には、アスペクト比の水平画角による画角の差を埋めるために、保存された領域情報から算出された画像領域を、一時保存されている画像の中から抽出する。パノラマ画像生成部３８で生成されたパノラマ画像は圧縮部３９で圧縮し、表示制御部３４を介して表示部３６に表示される。
The size to be supplemented in step S205 is temporarily stored in the panoramic
次に、複数の撮像画像からパノラマ画像を生成するために用いる射影変換について、図６を用いて説明する。 Next, projective transformation used for generating a panoramic image from a plurality of captured images will be described with reference to FIG.
図６は、撮像画像平面とパノラマ画像平面の概念図である。 FIG. 6 is a conceptual diagram of the captured image plane and the panoramic image plane.
パノラマ画像を生成するための射影変換は、地図の投影法における心射図法を用いて説明することができる。すなわち、心射図法における視点（Ｑとする）を、パン・チルト中心Ｑ（０，０，０）に置く。そして、あるパンチルト角度（ρ，τ）で得られた画像平面上の座標をＰ１（ｘ，ｙ）、視点Ｑを中心とする半径Ｒ上の球面上に接するようにこの画像を置いたときに、Ｐ１（ｘ，ｙ）と視点Ｑを結ぶ直線が球面と交わる点の座標を極座標表示する。 Projective transformation for generating a panoramic image can be described using a cardiac projection method in a map projection method. That is, the viewpoint (Q) in the echocardiography is placed at the pan / tilt center Q (0, 0, 0). When the image is placed so that the coordinates on the image plane obtained at a certain pan / tilt angle (ρ, τ) are in contact with a spherical surface on the radius R with the viewpoint Q as the center, P1 (x, y). , P1 (x, y) and the coordinates of the point where the straight line connecting the viewpoint Q intersects the spherical surface are displayed in polar coordinates.
この極座標表示の結果を（Ｒｓｉｎθｃｏｓφ，Ｒｃｏｓθｃｏｓφ，Ｒｓｉｎφ）とすると、心射図法においては、ｍを定数として一般に次の式が成り立つ。 Assuming that the polar coordinate display result is (R sin θ cos φ, R cos θ cos φ, R sin φ), the following formula is generally established in the echocardiographic method with m as a constant.
ｘ＝ｍ・Ｒｃｏｓφｓｉｎ（θ−ρ）／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝ （式１．１）
ｙ＝ｍ・Ｒ（ｓｉｎφｃｏｓτ−ｃｏｓφｓｉｎτｃｏｓ（θ−ρ））／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝ （式１．２）
なお、パン・チルト角度（ρ，τ）のときにこの画像平面と球の交わる画像平面上の座標を原点（０，０）とする。
x = m · R cos φ sin (θ−ρ) / {sin φ sin τ + cos φ cos τ cos (θ−ρ)} (Formula 1.1)
y = m · R (sinφcosτ−cosφsinτcos (θ−ρ)) / {sinφsinτ + cosφcosτcos (θ−ρ)} (Formula 1.2)
Note that the coordinates on the image plane where the image plane and the sphere intersect at the pan / tilt angle (ρ, τ) are defined as the origin (0, 0).
ここで、パン・チルトして得られる全撮像範囲を角度で表したものを、パン方向θｍｉｎ〜θｍａｘ、チルト方向φｍｉｎ〜φｍａｘとする。なお、この角度は、駆動部１２のパン・チルト可動範囲にレンズ１４の画角を加えたものである。すなわち、パン・チルト限界をそれぞれ、Ｐｍｉｎ，Ｐｍａｘ，Ｔｍｉｎ，Ｔｍａｘとして、レンズ１４の画角を水平、垂直それぞれＡｈ，Ａｖとすると、
θｍｉｎ＝Ｐｍｉｎ−Ａｈ／２
θｍａｘ＝Ｐｍａｘ＋Ａｈ／２
φｍｉｎ＝Ｐｍｉｎ−Ａｖ／２
φｍａｘ＝Ｐｍａｘ＋Ａｖ／２
となる。生成するパノラマ画像の画素数を横Ｈ画素、縦Ｖ画素とすると、１画素に相当する画角は、パン方向、チルト方向それぞれ
Δθ＝（θｍａｘ−θｍｉｎ）／Ｈ （式２．１）
Δφ＝（φｍａｘ−φｍｉｎ）／Ｖ （式２．２）
となる。すなわちパノラマ画像上の画素（ｉ，ｊ）は、パン・チルト角度（θ，φ）で表すと
（θ，φ）＝（θｍｉｎ＋Δθ×ｉ，φｍｉｎ＋Δφ×ｊ）
但し、
ｉ＝０，１，２，・・・，Ｈ−１
ｊ＝０，１，２，・・・，Ｖ−１
で表すことができる。
Here, the whole imaging range obtained by panning / tilting is represented by an angle as pan direction θmin to θmax and tilt direction φmin to φmax. This angle is obtained by adding the angle of view of the
θmin = Pmin−Ah / 2
θmax = Pmax + Ah / 2
φmin = Pmin−Av / 2
φmax = Pmax + Av / 2
It becomes. If the number of pixels of the panorama image to be generated is horizontal H pixels and vertical V pixels, the angle of view corresponding to one pixel is Δθ = (θmax−θmin) / H (Equation 2.1)
Δφ = (φmax−φmin) / V (Formula 2.2)
It becomes. That is, the pixel (i, j) on the panoramic image is represented by the pan / tilt angle (θ, φ). (Θ, φ) = (θmin + Δθ × i, φmin + Δφ × j)
However,
i = 0, 1, 2,..., H−1
j = 0, 1, 2,..., V-1
Can be expressed as
したがって、この（θ，φ）と、ある画像ｉｍｇ（Ｐａ，Ｔｂ）を得る際のパン、チルト角度、（ρ，τ）＝（Ｐａ，Ｔｂ）から、画像ｉｍｇ（Ｐａ，Ｔｂ）上の座標（ｘ，ｙ）が、パノラマ画像上のどの座標に対応するかが決定される。この際、式（１．１），（１．２），（２．１），（２．２）が用いられる。ただし、ａ＝１，２，・・・，ｎ，ｂ＝１，２，・・・，ｍである。すなわちパノラマ画像上の座標をＸｐ，Ｙｐとすると、この変換式をＦとすれば、元の撮像画像の座標は、パノラマ画像上の座標
（Ｘｐ、Ｙｐ）＝Ｆ（Ｘ、ｙ、Ｐａ、Ｔｂ） 式（３）
にマッピングされることになる。
Therefore, the coordinates on the image img (Pa, Tb) are obtained from this (θ, φ) and the pan / tilt angle (ρ, τ) = (Pa, Tb) when obtaining a certain image img (Pa, Tb). It is determined which coordinate on the panoramic image corresponds to (x, y). At this time, equations (1.1), (1.2), (2.1), and (2.2) are used. However, a = 1, 2,..., N, b = 1, 2,. That is, if the coordinates on the panorama image are Xp and Yp, and if this conversion formula is F, the coordinates of the original captured image are the coordinates on the panorama image (Xp, Yp) = F (X, y, Pa, Tb Formula (3)
Will be mapped.
したがって、パノラマ画像上の座標（Ｘｐ，Ｙｐ）の画素値は元の撮像画像ｉｍｇ（Ｐａ，Ｔｂ）の画素値で置き換えることができる。これを全パノラマ画像上の画素（ｉ，ｊ）について求めれば、パン、チルト角度にリニアな座標系を持つパノラマ画像が得られる。この変換式Ｆがパノラマ画像生成部３８によって実行される射影変換の計算式である。
Therefore, the pixel value of the coordinate (Xp, Yp) on the panoramic image can be replaced with the pixel value of the original captured image img (Pa, Tb). If this is obtained for pixels (i, j) on all panoramic images, a panoramic image having a linear coordinate system for pan and tilt angles can be obtained. This conversion formula F is a calculation formula for projective conversion executed by the panoramic
次に、クライアント２において、アスペクト比４：３と１６：９の場合における、撮像可能範囲を考慮したパノラマ画像の表示方法について、図７を用いて説明する。
Next, a method for displaying a panoramic image in consideration of the imageable range in the case where the
図７はクライアント２の表示部２６及びクライアント３の表示部２６に表示されるビューワのＧＵＩの例である。図７に示したビューワは、図７Ａはアスペクト比１６：９の表示、図７Ｂはアスペクト比４：３の表示を示している。
FIG. 7 shows an example of the GUI of the viewer displayed on the
クライアント２の表示画面には、カメラ１で撮像されたライブ画像を表示するライブ画像表示部７０、７６があり、それぞれカメラ１の記憶部１８から取得されたパノラマ画像を表示するパノラマ画像表示部７１、７７を有する。
The display screen of the
ライブ画像表示部７０、７６は、カメラ１が撮像した画像を表示させる第１の領域である。パノラマ画像表示部７１、７７は、パノラマ画像生成部３８が生成したパノラマ画像を表示させるための第２の領域である。
The live
また、クライアント２の表示画面には、つまみのドラッグによりパンとチルト方向にカメラ１を制御するコマンドを指示するパンスクロールバー７３とチルトスクロールバー７４があり、ズーム制御を指示するズームスライダー７５が表示される。
The display screen of the
パンスクロールバー７３とチルトスクロールバー７４とズームスライダーバー７５は、アスペクト比の異なる場合でも共通に使用される。さらに、パノラマ画像表示部７１、７７にはパン、チルト、ズーム制御を指示するためのパノラマプレビュー枠７２、７８が表示される。
The
パノラマプレビュー枠７２、７８を例えばマウスドラッグにより移動させることにより、カメラ１の撮像方向を制御することが可能である。また、パノラマプレビュー枠７２、７８の大きさを例えばマウスドラッグにより変更することで、カメラ１のズーム倍率を制御することが可能である。ライブ画像表示部７０、７６には、パノラマプレビュー枠７２、７８に対する操作による制御後のライブ画像が表示される。
It is possible to control the imaging direction of the
カメラ１が図３Ａに示した第１の画角（アスペクト比１６：９）で映像配信を行っている場合には、ビューワは図７Ａのようにライブ画像表示部７０とパノラマプレビュー枠７２は、第１の画角に合わせた表示枠となる。
When the
カメラ１が図３Ｂに示した第２の画角（アスペクト比４：３）で映像配信を行っている場合には、図７Ｂのようにライブ画像表示部７６とパノラマプレビュー枠７８は、第２の画角に合わせた表示枠となる。
When the
パノラマ画像表示部７１は、カメラ１が第１の画角の水平画角で撮像可能な範囲のパノラマ画像を、カメラ１の記憶部１８に保存されているパノラマ画像を用いて表示する。一方、第２の画角の撮像画像を表示するビューワでは、パノラマ画像表示部７７は、第２の画角の水平画角に合わせた撮像可能範囲になるようにパノラマ画像の左右の端を非表示領域として表示しないように制御する。例えば、非表示領域に黒枠画像を重畳することにより、パノラマ画像の左右の端を非表示とすることができる。
The panoramic
すなわち、第２の画角の撮像画像を第１の領域に表示させる場合、パノラマ画像生成部３８が生成した第３のパノラマ画像の一部の表示を制限する。そして、第３のパノラマ画像のうち、第２の画角でカメラ１の撮像方向を変更して撮像可能な範囲（図８の８０１）に対応する領域の画像を表示画面の第２の領域に表示させる。
That is, when the captured image having the second angle of view is displayed in the first area, the display of a part of the third panoramic image generated by the panoramic
なお、ビューワの図７ＡとＢでは、ライブ画像表示部７０、７６をアスペクト比に合わせて表示すると説明したが、表示領域はアスペクト比に合わせて変化するが、表示サイズはアスペクト比を拡大、縮小することも可能である。またアスペクト比１６：９の領域内に４：３の画像を表すことも可能であり、その場合は非表示領域を設けることで対応する。もちろん４：３の領域内に１６：９の画像を表示することも可能であり、本実施の形態において表示領域の表現を変更しても目的を達成できる。
In FIGS. 7A and 7B of the viewer, it has been described that the live
本実施形態では第１の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に対応する大きさのパノラマ画像を、水平画角又は垂直画角の少なくとも一方が第１の画角よりも狭い第２の画角で撮像した撮像画像を用いて生成できる。
In the present embodiment, the panorama image having a size corresponding to the first panorama image corresponding to the range that can be imaged by changing the imaging direction of the
また、このようにして生成したパノラマ画像の一部の表示を制限することにより、第２の画角でカメラ１の撮像方向を変更して撮像可能な範囲に対応するパノラマ画像を表示させることができる。
In addition, by restricting the display of a part of the panoramic image generated in this way, the panoramic image corresponding to the imageable range can be displayed by changing the imaging direction of the
このようにして、撮像装置が第１の画角と第２の画角で撮像可能である場合、第１の画角よりも狭い第２の画角で撮像する場合にも、大きさが異なる複数のパノラマ画像を生成することができる。 In this way, when the imaging device can capture images with the first angle of view and the second angle of view, the size is different even when imaging with a second angle of view that is narrower than the first angle of view. A plurality of panoramic images can be generated.
したがって、撮像装置が撮像する撮像画像の画角を変更可能である場合に、大きさが異なる複数のパノラマ画像を生成するために必要とする処理時間低減することができる。 Therefore, when the angle of view of the captured image captured by the imaging device can be changed, the processing time required to generate a plurality of panoramic images having different sizes can be reduced.
更に、表示においてパノラマ画像をアスペクト比に応じて表示することで、適切な撮像可能範囲を示すパノラマ表示領域を表示することができる。なお、本実施の形態において、パノラマ画像は水平画角が広い画角に合わせて作成する説明を行ったが、水平画角に応じて複数のパノラマ画像を生成及び保存することも可能である。 Furthermore, by displaying the panorama image according to the aspect ratio in the display, it is possible to display a panorama display area indicating an appropriate image pickup range. In the present embodiment, the panoramic image is created in accordance with the wide angle of view. However, a plurality of panoramic images can be generated and stored in accordance with the horizontal angle of view.
＜その他の実施例＞
上述の実施形態では、クライアント３がパノラマ画像を生成する場合について説明したが、カメラ１がパノラマ生成処理を行うこととしてもよい。
<Other examples>
In the above-described embodiment, the case where the
また、上述の実施形態では、図１に示すカメラ１、クライアント２、クライアント３の各部の処理が、それぞれ専用のハードウェアにより実行される例について説明したが、これに限られない。図１に示すカメラ１、クライアント２、クライアント３の各部の処理の少なくとも一部の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサで実行するようにしても良い。
Moreover, although the above-mentioned embodiment demonstrated the example in which the process of each part of the
例えば、図１に示すカメラ１の各部のうち少なくとも一部を、カメラ１のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。また、同様に、クライアント２、３の各部のうち少なくとも一部を、クライアント２、３のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。
For example, at least a part of each unit of the
図２又は図４で示すフローチャートの処理のうちの少なくとも一部が、ＣＰＵで実行することも可能である。クライアント３がプロセッサを内蔵する形態では、図２又は図４の処理フローは、図２又は図４に示す手順をプロセッサに実行させるためのプログラムを示す。クライアント３が内蔵するプロセッサはコンピュータであり、クライアント３が内蔵する記憶部から読み出したプログラムを実行する。
It is also possible for at least a part of the processing of the flowchart shown in FIG. 2 or FIG. 4 to be executed by the CPU. In the form in which the
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１ カメラ
２ ビューワクライアント
３ パノラマ生成用クライアント
３１ 通信制御部
３８ パノラマ画像生成部
３４ 表示制御部
３３ 操作部
DESCRIPTION OF
Claims (12)
前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する画像に、前記撮像手段の撮像方向を前記一方の方向において変更可能な一方の端部において前記第１の画角で撮像される撮像領域であって前記第２の画角で撮像されない撮像領域の撮像画像を、前記一方の方向において変更可能な他方の端部に向かって撮像方向を変更して前記第２の画角で前記撮像手段が撮像した撮像画像を用いて補って、前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に前記一方の方向の長さが対応する第２のパノラマ画像を生成する生成手段と
を有することを特徴とする画像処理装置。 An imaging means capable of capturing an image with a first angle of view and a second angle of view in which the angle of view in at least one direction is narrower than the first angle of view, wherein the second angle of view is the angle of view. An image picked up by the image pickup means whose angle from one end to the other end of the range that can be picked up at the second angle of view by changing the image pickup direction in one direction with a narrow angle is 360 degrees or more. An acquisition means for acquiring an image;
An image corresponding to a range that can be imaged by changing the imaging direction of the imaging unit at the second angle of view, the first direction at one end where the imaging direction of the imaging unit can be changed in the one direction. The imaging area of the imaging area that is imaged at the angle of view of the imaging area that is not imaged at the second angle of view is changed in the imaging direction toward the other end that can be changed in the one direction. A first panoramic image corresponding to a range that can be captured by changing the imaging direction of the imaging unit at the first angle of view is supplemented by using a captured image captured by the imaging unit at a second angle of view. An image processing apparatus comprising: generating means for generating a second panoramic image corresponding to the length in the one direction.
前記表示制御手段は、前記第２の画角の撮像画像を前記表示画面の前記第１の領域に表示させる場合、前記第２のパノラマ画像の一部の領域の表示を制限して、前記第２のパノラマ画像のうち前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する画像を前記表示画面の前記第２の領域に表示させることを特徴とする請求項１に記載の画像処理装置。 The captured image captured by the imaging unit is displayed in a first area of the display screen displayed by the display unit, and the second panorama generated by the generation unit is displayed in a second area of the display screen displayed by the display unit. Having display control means for displaying an image;
The display control unit restricts display of a partial area of the second panoramic image when displaying the captured image of the second angle of view in the first area of the display screen, and An image corresponding to a range that can be imaged by changing the imaging direction of the imaging unit at the second angle of view among the two panoramic images is displayed in the second area of the display screen. Item 8. The image processing apparatus according to Item 1.
前記第１の領域に対応する撮像領域を撮像する指示を前記撮像手段に対して行う指示手段とを有し、
前記生成手段は、前記撮像手段が前記指示に応じて撮像した撮像画像を用いて前記第２のパノラマ画像における第１の領域の画像を更新した第３のパノラマ画像を生成することを特徴とする請求項１に記載の画像処理装置。 Designating means for designating a first area in the second panoramic image generated by the generating means;
Instruction means for instructing the imaging means to image an imaging area corresponding to the first area;
The generating unit generates a third panoramic image obtained by updating an image of a first region in the second panoramic image using a captured image captured by the imaging unit according to the instruction. The image processing apparatus according to claim 1.
前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する画像に、前記撮像手段の撮像方向を前記一方の方向において変更可能な一方の端部において前記第１の画角で撮像される撮像領域であって前記第２の画角で撮像されない撮像領域の撮像画像を、前記一方の方向において変更可能な他方の端部に向かって撮像方向を変更して前記第２の画角で前記撮像手段が撮像した撮像画像を用いて補って、前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に前記一方の方向の長さが対応する第２のパノラマ画像を生成する生成ステップと
を有することを特徴とする画像処理方法。 An imaging means capable of capturing an image with a first angle of view and a second angle of view in which the angle of view in at least one direction is narrower than the first angle of view, wherein the second angle of view is the angle of view. An image picked up by the image pickup means whose angle from one end to the other end of the range that can be picked up at the second angle of view by changing the image pickup direction in one direction with a narrow angle is 360 degrees or more. An acquisition step of acquiring an image;
An image corresponding to a range that can be imaged by changing the imaging direction of the imaging unit at the second angle of view, the first direction at one end where the imaging direction of the imaging unit can be changed in the one direction The imaging area of the imaging area that is imaged at the angle of view of the imaging area that is not imaged at the second angle of view is changed in the imaging direction toward the other end that can be changed in the one direction. A first panoramic image corresponding to a range that can be captured by changing the imaging direction of the imaging unit at the first angle of view is supplemented by using a captured image captured by the imaging unit at a second angle of view. An image processing method comprising: generating a second panoramic image corresponding to a length in the one direction.
前記表示制御ステップにおいて、前記第２の画角の撮像画像を前記表示画面の前記第１の領域に表示させる場合、前記第２のパノラマ画像の一部の領域の表示を制限して、前記第２のパノラマ画像のうち前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する画像を前記表示画面の前記第２の領域に表示させることを特徴とする請求項５に記載の画像処理方法。 The second panorama generated in the generating step is displayed in the second region of the display screen displayed by the display unit, the captured image captured by the imaging unit is displayed in the first region of the display screen displayed by the display unit. A display control step for displaying an image;
In the display control step, when the captured image having the second angle of view is displayed in the first region of the display screen, the display of the partial region of the second panoramic image is limited, An image corresponding to a range that can be imaged by changing the imaging direction of the imaging unit at the second angle of view among the two panoramic images is displayed in the second area of the display screen. Item 6. The image processing method according to Item 5.
前記第１の領域に対応する撮像領域を撮像する指示を前記撮像手段に対して行う指示ステップとを有し、
前記生成ステップにおいて、前記撮像手段が前記指示に応じて撮像した撮像画像を用いて前記第２のパノラマ画像における第１の領域の画像を更新した第３のパノラマ画像を生成することを特徴とする請求項５に記載の画像処理方法。 A designation step of designating a first region in the second panoramic image generated in the generation step;
An instruction step for instructing the imaging means to image an imaging area corresponding to the first area;
The generating step generates a third panoramic image in which the image of the first region in the second panoramic image is updated using the captured image captured by the imaging unit in response to the instruction. The image processing method according to claim 5.
第１の画角と、少なくとも一方の方向の画角が前記第１の画角よりも狭い第２の画角とで撮像可能な撮像手段であって、前記第２の画角の方が画角が狭い一方の方向において撮像方向を変更して前記第２の画角で撮像可能な範囲の一方の端部から他方の端部までの角度が３６０度以上である前記撮像手段が撮像した撮像画像を取得する取得手順と、
前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する画像に、前記撮像手段の撮像方向を前記一方の方向において変更可能な一方の端部において前記第１の画角で撮像される撮像領域であって前記第２の画角で撮像されない撮像領域の撮像画像を、前記一方の方向において変更可能な他方の端部に向かって撮像方向を変更して前記第２の画角で前記撮像手段が撮像した撮像画像を用いて補って、前記第１の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する第１のパノラマ画像に前記一方の方向の長さが対応する第２のパノラマ画像を生成する生成手順と
を実行させるためのプログラム。 On the computer,
An imaging means capable of capturing an image with a first angle of view and a second angle of view in which the angle of view in at least one direction is narrower than the first angle of view, wherein the second angle of view is the angle of view. An image picked up by the image pickup means whose angle from one end to the other end of the range that can be picked up at the second angle of view by changing the image pickup direction in one direction with a narrow angle is 360 degrees or more. An acquisition procedure to acquire an image;
An image corresponding to a range that can be imaged by changing the imaging direction of the imaging unit at the second angle of view, the first direction at one end where the imaging direction of the imaging unit can be changed in the one direction The imaging area of the imaging area that is imaged at the angle of view of the imaging area that is not imaged at the second angle of view is changed in the imaging direction toward the other end that can be changed in the one direction. A first panoramic image corresponding to a range that can be captured by changing the imaging direction of the imaging unit at the first angle of view is supplemented by using a captured image captured by the imaging unit at a second angle of view. A generation procedure for generating a second panoramic image corresponding to a length in the one direction.
表示手段が表示する表示画面の第１の領域に前記撮像手段が撮像した撮像画像を表示させ、前記表示手段が表示する表示画面の第２の領域に前記生成手段が生成した前記第２のパノラマ画像を表示させる表示制御手順を実行させ、
前記表示制御手順において、前記第２の画角の撮像画像を前記表示画面の前記第１の領域に表示させる場合、前記第２のパノラマ画像の一部の領域の表示を制限して、前記第２のパノラマ画像のうち前記第２の画角で前記撮像手段の撮像方向を変更して撮像可能な範囲に対応する画像を前記表示画面の前記第２の領域に表示させる処理を前記コンピュータに実行させるための請求項９に記載のプログラム。 In the computer,
The captured image captured by the imaging unit is displayed in a first area of the display screen displayed by the display unit, and the second panorama generated by the generation unit is displayed in a second area of the display screen displayed by the display unit. Execute the display control procedure to display the image,
In the display control procedure, when the captured image of the second angle of view is displayed in the first area of the display screen, the display of the partial area of the second panoramic image is limited, A process of causing the computer to display an image corresponding to a range that can be captured by changing the imaging direction of the imaging unit at the second angle of view among the two panoramic images in the second area of the display screen. The program of Claim 9 for making it do.
前記生成手順において生成した前記第２のパノラマ画像における第１の領域を指定する指定手順と、
前記第１の領域に対応する撮像領域を撮像する指示を前記撮像手段に対して行う指示手順とを実行させ、
前記生成手順において、前記撮像手段が前記指示に応じて撮像した撮像画像を用いて前記第２のパノラマ画像における第１の領域の画像を更新した第３のパノラマ画像を生成する処理を前記コンピュータに実行させるための請求項９に記載のプログラム。 In the computer,
A designation procedure for designating a first region in the second panoramic image generated in the generation procedure;
An instruction procedure for instructing the imaging means to image an imaging area corresponding to the first area;
In the generation procedure, processing for generating a third panoramic image in which the image of the first region in the second panoramic image is updated using the captured image captured by the imaging unit according to the instruction is performed on the computer. The program according to claim 9 for execution.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013115667A JP6128966B2 (en) | 2013-05-31 | 2013-05-31 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013115667A JP6128966B2 (en) | 2013-05-31 | 2013-05-31 | Image processing apparatus, image processing method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014236311A true JP2014236311A (en) | 2014-12-15 |
| JP2014236311A5 JP2014236311A5 (en) | 2016-07-07 |
| JP6128966B2 JP6128966B2 (en) | 2017-05-17 |
Family
ID=52138737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013115667A Active JP6128966B2 (en) | 2013-05-31 | 2013-05-31 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6128966B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016178534A (en) * | 2015-03-20 | 2016-10-06 | キヤノン株式会社 | Image processing device and method thereof, and image processing system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000347650A (en) * | 1999-06-07 | 2000-12-15 | Matsushita Joho System Kk | Device and method for displaying image |
| JP2007143064A (en) * | 2005-11-22 | 2007-06-07 | Canon Inc | Imaging device and imaging method |
| JP2010114599A (en) * | 2008-11-05 | 2010-05-20 | Nikon Corp | Digital camera |
| JP2011234121A (en) * | 2010-04-27 | 2011-11-17 | Fujifilm Corp | Photographing apparatus and panoramic photographing method |
| JP2012160904A (en) * | 2011-01-31 | 2012-08-23 | Sony Corp | Information processor, information processing method, program, and imaging apparatus |
-
2013
- 2013-05-31 JP JP2013115667A patent/JP6128966B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000347650A (en) * | 1999-06-07 | 2000-12-15 | Matsushita Joho System Kk | Device and method for displaying image |
| JP2007143064A (en) * | 2005-11-22 | 2007-06-07 | Canon Inc | Imaging device and imaging method |
| JP2010114599A (en) * | 2008-11-05 | 2010-05-20 | Nikon Corp | Digital camera |
| JP2011234121A (en) * | 2010-04-27 | 2011-11-17 | Fujifilm Corp | Photographing apparatus and panoramic photographing method |
| JP2012160904A (en) * | 2011-01-31 | 2012-08-23 | Sony Corp | Information processor, information processing method, program, and imaging apparatus |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016178534A (en) * | 2015-03-20 | 2016-10-06 | キヤノン株式会社 | Image processing device and method thereof, and image processing system |
| US10542210B2 (en) | 2015-03-20 | 2020-01-21 | Canon Kabushiki Kaisha | Display control apparatus, image processing apparatus, display control method, and image processing method in which a panoramic image corresponds to a range indicated on a user interface |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6128966B2 (en) | 2017-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5005080B2 (en) | Panorama image generation method | |
| JP5569329B2 (en) | Conference system, monitoring system, image processing apparatus, image processing method, image processing program, etc. | |
| JP4914171B2 (en) | Imaging device control method and camera system | |
| JP5596972B2 (en) | Control device and control method of imaging apparatus | |
| US20170041530A1 (en) | Information processing apparatus and control method therefor | |
| KR20110108265A (en) | Control device, camera system and program | |
| JP2009010782A (en) | Image processor and control program | |
| JP7204346B2 (en) | Information processing device, system, information processing method and program | |
| US20120057037A1 (en) | Imaging control system, control apparatus, control method, and storage medium | |
| JP2010283529A (en) | Display control device, method of controlling display device, program, and storage medium | |
| JP2001136514A (en) | Camera control system, and control method and storage medium thereof | |
| JPH118845A (en) | Panoramic image generation device and its method | |
| JP6231757B2 (en) | Imaging apparatus, information processing apparatus, control method therefor, and program | |
| JP6128966B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2015115851A (en) | Focus control device and focus control method | |
| JP6584093B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6504793B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| CN117083871A (en) | Method for controlling camera | |
| JP2001136431A (en) | Camera controller and camera control method and storage medium | |
| KR20170055455A (en) | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it | |
| JP5863257B2 (en) | Panorama image generation apparatus and generation method | |
| JP2019192996A (en) | Projection control apparatus and projection control method | |
| JP2013085041A (en) | Information processing apparatus, processing method thereof, and program | |
| JP4628350B2 (en) | Camera control apparatus, camera control method, and camera control program | |
| JP2013042213A (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160519 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170411 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6128966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |