JP2009088868A - Photographed image processing system and display image creation program - Google Patents
Photographed image processing system and display image creation program Download PDFInfo
- Publication number
- JP2009088868A JP2009088868A JP2007254665A JP2007254665A JP2009088868A JP 2009088868 A JP2009088868 A JP 2009088868A JP 2007254665 A JP2007254665 A JP 2007254665A JP 2007254665 A JP2007254665 A JP 2007254665A JP 2009088868 A JP2009088868 A JP 2009088868A
- Authority
- JP
- Japan
- Prior art keywords
- indicator
- image
- camera
- captured image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、被写体を撮影するカメラによって取得された撮影画像を適宜処理して生成された表示画像をモニタに転送する画像処理技術に関する。 The present invention relates to an image processing technique for transferring a display image generated by appropriately processing a captured image acquired by a camera that captures a subject to a monitor.
従来より、被写体を撮影して表示する装置において、ユーザが何らかの指示を行うことにより被写体の表示形態を制御する技術の検討が行われてきている。例えば、書画等を被写体とし、被写体上の２点を指示ペンにより指定することで、指定された２点を対角線とする矩形領域を注目領域として決定し、注目領域を所定サイズに拡大表示するためにカメラのパン、チルト、ズーム等を制御する装置が知られている（特許文献１）。また、被写体の撮影時に、被写体（人物）が有しているリモコンの発光部を被写体と共に撮影し、撮影画面においてこの発光部が所定位置となるように、少なくとも撮影画面内に収まるように、カメラの画角を制御（ズーミング）する技術も知られている（特許文献２）。この装置によれば、被写体である人物は被撮影時に手にしているリモコンを上下左右に移動させることでカメラの画角を変更することができる。さらに、原稿のマーカ指定された領域のみを拡大／縮小して複写することのできるデジタル複写機（特許文献３）や、プロジェクタによる投影像の上にレーザポインタにより所定の形状を照射し、カメラによりその形状を認識し、プロジェクタの投影像を制御する装置（特許文献４）なども知られている。 2. Description of the Related Art Conventionally, in an apparatus that captures and displays a subject, a technique for controlling the display form of the subject by a user giving some instruction has been studied. For example, in order to determine a rectangular area having a designated two points as a diagonal line as an attention area by specifying a document or the like as an object and specifying two points on the object with an instruction pen, and to enlarge and display the attention area to a predetermined size. A device for controlling pan, tilt, zoom and the like of a camera is also known (Patent Document 1). Also, when shooting the subject, the remote control of the subject (person) is shot together with the subject, and the camera is at least within the shooting screen so that the light emitting portion is in a predetermined position on the shooting screen. A technique for controlling (zooming) the angle of view is also known (Patent Document 2). According to this apparatus, the person who is the subject can change the angle of view of the camera by moving the remote control in his / her hand up / down / left / right when shooting. Furthermore, a digital copying machine (Patent Document 3) capable of enlarging / reducing and copying only a marker-designated area of a document, or irradiating a predetermined shape with a laser pointer on an image projected by a projector, An apparatus that recognizes the shape and controls the projection image of the projector (Patent Document 4) is also known.
しかしながら、特許文献１の技術は、撮影位置を変更するには再度２点を指定する必要があり、表示領域を頻繁に変更する場合には操作が煩雑になる。また、カメラに対するリモートコントロール系が必要となる。特許文献２の技術は、撮影画面における被写体が所持しているリモコンの発光部が撮影画面の所定位置にくるようにカメラ画角を調整するだけであり、被写体に関係付けられる１つの点の撮影画面における位置を制御できるとしても、被写体に関係付けられる１つのエリアを自在に表示させるといった技術には無関係であるし、カメラ光学機構に対するリモートコントロール系が必要となる。特許文献３の技術は、原稿に直接マーカにより指示を行うため、直感的な操作を行うことができる。しかし、原稿に直接書き込んでいるために、容易に指示領域を変更することができず、操作性に問題がある。また、特許文献４の技術は、プロジェクタの投影像上のレーザポインタによる照射図形を認識して、投影光学系を制御する必要があり、さらにその認識精度が環境の影響を受けやすいという問題がある。
However, in the technique of
上記実状に鑑み、本発明の課題は、被写体を撮影して得られた撮影画像から、カメラを光学制御することなしに、被写体における任意のエリアを自在にモニタに表示することを可能にする画像処理技術を提供することである。 In view of the above situation, an object of the present invention is to provide an image that allows an arbitrary area of a subject to be freely displayed on a monitor from a photographed image obtained by photographing the subject without optically controlling the camera. To provide processing technology.
上記課題を解決するため、被写体を撮影するカメラとこのカメラによって取得された撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置とからなる、本発明による撮影画像処理システムは、任意の位置に配置される指示体、前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、前記指示体の３次元位置に基づいて前記撮影画像における特定部分撮影画像を特定する特定部、前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び前記表示画像を前記モニタに転送する表示画像転送部から構成されている。 In order to solve the above problems, a captured image processing system according to the present invention includes a camera that captures a subject and an image processing device that processes a captured image acquired by the camera and transfers a display image generated to the monitor. A pointer disposed at an arbitrary position, a pointer region detection unit that detects a pointer region that is a region of the pointer from a captured image acquired by the camera, and at least using detection information of the pointer region A pointer three-dimensional position calculation unit that calculates a three-dimensional position of the pointer, a specific unit that specifies a specific partial captured image in the captured image based on the three-dimensional position of the pointer, and the display of the specific partial captured image The display image generating unit generates an image, and the display image transfer unit transfers the display image to the monitor.
上記構成による撮影画像処理システムでは、操作者は任意の位置に指示体を配置することができ、指示体が被写体とカメラの間に配置された場合には、指示体の３次元位置が演算され、この指示体の３次元位置に基づいて撮影画像における特定のエリアが特定部分撮影画像としてモニタに表示される。特定部分撮影画像をモニタに表示する際、特定部分撮影画像はモニタ、又はモニタ画面に設定された画像表示領域の表示解像度や表示サイズなどの表示特性に適合する表示画像に変換される。指示体のＸ−Ｙ座標位置に基づいて撮影画像における特定部分撮影画像の切り出し基準位置が、そして指示体のＺ座標位置に基づいて特定部分撮影画像の切り出しサイズが決定され、撮影画像から切り出された特定部分撮影画像が表示画像としてモニタに表示される。つまり、指示体を動かすことにより指示体のＸ−Ｙ座標位置が変化すると撮影画像から取り出される特定部分撮影画像の位置が変化し、指示体のＺ座標位置が変化すると撮影画像から取り出される特定部分撮影画像の大きさが変化する。従って、本発明によれば、操作者が被写体とカメラの間で指示体を所望の位置にもってくることにより、被写体の所望のエリアの被写体画像をモニタに表示することが可能となる。 In the captured image processing system configured as described above, the operator can place the indicator at an arbitrary position, and when the indicator is placed between the subject and the camera, the three-dimensional position of the indicator is calculated. Based on the three-dimensional position of the indicator, a specific area in the captured image is displayed on the monitor as a specific partial captured image. When the specific partial captured image is displayed on the monitor, the specific partial captured image is converted into a display image suitable for display characteristics such as the display resolution and display size of the monitor or the image display area set on the monitor screen. Based on the X-Y coordinate position of the indicator, the cutout reference position of the specific partial shot image in the shot image is determined, and on the basis of the Z coordinate position of the pointer, the cutout size of the specific partial shot image is determined and cut out from the shot image. The specific partial captured image is displayed on the monitor as a display image. That is, when the XY coordinate position of the indicator changes by moving the indicator, the position of the specific portion captured image taken out from the photographed image changes, and when the Z coordinate position of the indicator changes, the specific portion taken out from the photographed image. The size of the captured image changes. Therefore, according to the present invention, the operator can display the subject image of the desired area of the subject on the monitor by bringing the indicator between the subject and the camera to the desired position.
前記指示体３次元位置演算部の好適な構成の１つでは、前記撮影画像における前記指示体領域の大きさから前記指示体のカメラ光軸に沿ったＺ軸座標を算定し、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を前記撮影画像における前記指示体領域の位置から算定することにより、指示体の３次元位置が求められる。この指示体３次元位置演算部の構成では、カメラによって取得された撮影画像を画像解析するだけで指示体の３次元位置（Ｘ−Ｙ−Ｚ軸座標）を求めることができるので、装置の簡素化に有効である。 In one preferred configuration of the indicator three-dimensional position calculation unit, a Z-axis coordinate along a camera optical axis of the indicator is calculated from a size of the indicator region in the captured image, and the Z-axis coordinate is calculated. The three-dimensional position of the pointer is obtained by calculating the XY axis coordinates in the cross section of the optical axis of the camera from the position of the pointer area in the captured image. In this configuration of the indicator three-dimensional position calculation unit, the three-dimensional position (XYZ axis coordinates) of the indicator can be obtained only by image analysis of the captured image acquired by the camera. It is effective for conversion.
もちろん、物体の位置を測定するデバイスは数多く流通しており、物体までの距離を測定する測距計は、レーザー測距計や超音波測距計などのように非接触で高精度であるので、特にカメラと指示体までの距離を測定するためにこれを利用することも可能である。そのような実施形態の１つでは、前記カメラと前記指示体との間の距離を測距計で測定し、指示体距離を取得する指示体距離取得部がさらに備えられ、かつ、前記指示体３次元位置演算部は、前記指示体距離から前記指示体のカメラ光軸に沿ったＺ座標を算定し、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を前記撮影画像における前記指示体領域の位置から算定するように構成されている。この構成では、モニタにおける被写体の表示エリア、実際的には被写体のモニタ表示拡大率を決定づける指示体のＺ軸座標を高速かつ正確に行うことができるので、拡大縮小表示の操作がスムーズとなる。 Of course, there are many devices that measure the position of an object, and rangefinders that measure the distance to an object are non-contact and highly accurate, such as laser rangefinders and ultrasonic rangefinders. In particular, it can be used to measure the distance between the camera and the indicator. In one such embodiment, the indicator is further provided with a pointer distance acquisition unit that measures the distance between the camera and the indicator with a rangefinder and acquires the indicator distance, and the indicator The three-dimensional position calculation unit calculates a Z coordinate along the camera optical axis of the indicator from the indicator distance, and calculates an XY axis coordinate in a cross section of the camera optical axis in the Z axis coordinate in the captured image. The position is calculated from the position of the indicator region. In this configuration, the display area of the subject on the monitor, and in fact, the Z-axis coordinate of the indicator that determines the monitor display enlargement ratio of the subject can be performed at high speed and accurately, and the operation of enlargement / reduction display becomes smooth.
上述した本発明による撮影画像処理システムの技術的特徴は、このシステムに用いられる撮影表示方法や、このシステムの画像処理装置に用いられる表示画像生成プログラムにも適用可能である。例えば、被写体とカメラの間に指示体を配置した状態で前記カメラによって前記被写体と前記指示体とを撮影して得られた撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置ための、本発明による表示画像生成プログラムは、前記カメラから送られてきた前記撮影画像をメモリに記録する機能と、前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する機能と、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する機能と、前記メモリに展開されている撮影画像から前記指示体の３次元位置に基づいて特定される特定部分撮影画像を切り出す機能と、前記特定部分撮影画像を前記表示画像として生成する機能とをコンピュータに実現させる。当然ながら、このような表示画像生成プログラムも上述した撮影画像処理システムで述べた作用効果を得ることができ、さらにその実施形態例として上述したいくつかの付加的技術を組み込むことも可能である。 The technical features of the photographic image processing system according to the present invention described above can also be applied to the photographic display method used in this system and the display image generation program used in the image processing apparatus of this system. For example, image processing for processing a captured image obtained by photographing the subject and the indicator with the camera in a state where an indicator is arranged between the subject and the camera and transferring a display image generated to the monitor A display image generation program according to the present invention for an apparatus includes a function of recording the captured image sent from the camera in a memory, and an indicator area that is an area of the indicator from the captured image acquired by the camera. Based on the three-dimensional position of the indicator from the photographed image developed in the memory, and the function of calculating the three-dimensional position of the indicator using at least the detection information of the indicator region. A computer is caused to realize a function of cutting out the specified specific captured image and a function of generating the specific partial captured image as the display image. Naturally, such a display image generation program can also obtain the operation and effect described in the above-described captured image processing system, and can also incorporate some additional techniques described above as an example of the embodiment.
さらに、上記課題を解決するため、カメラと、被写体を撮影して取得された被写体撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置とからなる、本発明による撮影画像処理システムは、任意の位置に配置される指示体、前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部を備えると共に、前記指示体領域検出部により前記指示体領域が検出されない場合に、前記被写体画像を記録する画像記録部、前記指示体領域が検出された場合に、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、前記指示体の３次元位置に基づいて前記画像記録部から読み出された被写体撮影画像における特定部分撮影画像を特定する特定部、前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び前記表示画像を前記モニタに転送する表示画像転送部を備えている。この撮影画像処理システムでは、画像記録部に記録されている画像を液晶ディスプレイや大型スクリーンなどのモニタに表示する際に、カメラの前に位置する指示体の位置に応じて、その画像における表示領域を変更することができる。従って操作者がカメラの前で指示体を所望の位置にもってくることにより、被写体撮影画像の所望のエリアをモニタに表示することが可能となる。また、指示体が被写体と重なることにより被写体の一部がカメラから撮影されない場合がある。このような場合には、指示体がカメラの撮影空間外に配置されたときに被写体画像を記録しておき、指示体がカメラの撮影空間に配置された場合には記録された被写体画像を用いて表示画像を生成することにより、指示体の影響を排除することができる。 Furthermore, in order to solve the above-described problem, the captured image processing according to the present invention includes a camera and an image processing device that processes a captured subject image acquired by capturing the subject and transfers a display image generated to the monitor. The system includes a pointer disposed at an arbitrary position, a pointer region detection unit that detects a pointer region that is a region of the pointer from a captured image acquired by the camera, and the pointer region detection unit When the indicator region is not detected by the image recording unit, the image recording unit for recording the subject image, and when the indicator region is detected, at least the three-dimensional position of the indicator using the detection information of the indicator region An indicator three-dimensional position calculation unit for calculating a specific partial captured image in the subject captured image read from the image recording unit based on the three-dimensional position of the indicator. Specifying unit for, a display image generation unit which generates the specified portion captured image as the display image, and a display image transfer unit for transferring the display image on the monitor. In this captured image processing system, when an image recorded in the image recording unit is displayed on a monitor such as a liquid crystal display or a large screen, a display area in the image is displayed according to the position of the indicator located in front of the camera. Can be changed. Therefore, the operator can display a desired area of the photographed subject image on the monitor by bringing the indicator to a desired position in front of the camera. In addition, a part of the subject may not be captured from the camera due to the indicator overlapping the subject. In such a case, the subject image is recorded when the indicator is placed outside the camera shooting space, and the recorded subject image is used when the indicator is placed in the camera shooting space. Thus, the influence of the indicator can be eliminated by generating the display image.
本発明による撮影画像処理システムを学校教育支援システムに適用した例が図１に示されている。図１に示された教育現場では、教壇に立つ先生の周辺には、本発明による画像処理装置１として機能する教師側コンピュータと、この画像処理装置１に接続されているＵＳＢカメラ（以下単にカメラと称する）２が配置されている。カメラ２は机に置かれた教材としての世界地図を被写体３として写している。先生は指示体付き差し棒４を手にしており、この指示体付き差し棒４の先端には球状の指示体４ａが設けられている。各生徒の机には、画像処理装置１とネットワーク５を通じて接続された生徒側コンピュータ６が配置されており、生徒側コンピュータ６の液晶ディスプレイ（モニタの一例）６ａには、カメラ２で撮影され、画像処理装置１で画像処理された画像が表示可能である。さらにネットワーク５にはプロジェクタ７（モニタの一例）が接続されており、カメラ２で撮影され、画像処理装置１で画像処理された画像を教室正面に掛けられた大型スクリーン７ａに表示することができる。なお、先生の机には教師側コンピュータ１に接続された液晶ディスプレイ（モニタの一例）１ａも配置されており、先生はこの液晶ディスプレイ１ａを通じて生徒側コンピュータ６の液晶ディスプレイ６ａやプロジェクタ７によって大型スクリーン７ａに表示されている画像を確認することができる。
An example in which the captured image processing system according to the present invention is applied to a school education support system is shown in FIG. In the education site shown in FIG. 1, a teacher computer that functions as the
この撮影画像処理システムでは、先生が手にしている指示体付き差し棒４の指示体４ａをカメラ２の撮影視野内に入れた場合、被写体３をＸ−Ｙ軸面としカメラ光軸をＺ軸とする撮影空間における、その指示体４ａの３次元位置によって、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示される撮影画像の領域が変化するように構成されている。つまり、画像処理装置１は、以下に詳しく説明するが、カメラ２が被写体３を撮影することによって得られた、被写体全体を写した撮影画像を指示体４ａの３次元位置に基づいて処理して、被写体全体を、もしくは被写体の拡大された任意の部分を示す表示画像を生成し、その表示画像をモニタとして機能している液晶ディスプレイ１ａや６ａ、さらには大型スクリーン７ａに表示させる。つまり、カメラ２の撮影空間における指示体４ａのＸ−Ｙ軸座標が撮影画像から表示画像を取り出す際の基点となり、指示体４ａのＺ軸座標が撮影画像から表示画像のために取り出される領域の大きさを決定するように構成されている。従って、先生が指示体４ａを被写体３である世界地図の上方で右から左に移動させると、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示される世界地図も右から左に移動するように表示される。また、先生が指示体４ａを被写体３である世界地図の方に近づけると、表示される世界地図が拡大され、指示体４ａを世界地図から遠ざけると、表示される世界地図が縮小されたように表示される。もちろん、指示体４ａの被写体３である世界地図における左右移動と表示の左右移動の関係、及び被写体３に対する遠近移動と表示の拡縮の関係は、先の説明の逆にすることも可能である。
In this photographed image processing system, when the
上述した学校教育支援システムに用いられている画像処理装置１の第１実施形態を図２の機能ブロック図を用いて説明する。この実施形態での画像処理装置１は、指示体４ａの３次元位置（Ｘ−Ｙ−Ｚ軸座標）を、カメラ２によって取得された撮影画像を画像処理することにより求めるように構成されている。
A first embodiment of the
この画像処理装置１は、汎用コンピュータによって構成されており、その機能は、標準装備されているハードウエア、標準インストールされているＯＳ、及び特別にインストールされた表示画像生成プログラムによって実現される。この画像処理装置１の重要な働きは、カメラ２で取得された撮影画像を画像入力部１０での前処理を経て、メモリ１１に展開し、必要な画像処理を施して、表示画像として表示画像転送部５０からネットワーク５を通じて、生徒側コンピュータ６やプロジェクタ７に送り出すことである。このため、画像処理装置１には、カメラ２によって取得された撮影画像から当該撮影画像における指示体４ａの領域である指示体領域を検出する指示体領域検出部２０、この指示体領域検出部２０から与えられる指示体領域の検出情報を用いて指示体４ａの３次元位置を演算する指示体３次元位置演算部３０、求められた指示体４ａの３次元位置に基づいて前記撮影画像における特定部分撮影画像を特定する特定部４０Ａ、前記特定部分撮影画像を前記表示画像として生成する表示画像生成部４０Ｂが実質的にはソフトウエアの実行を通じて構築される。
The
指示体領域検出部２０は、指示体４ａが図３で模式化されているような撮影空間に配置された場合に、カメラ２によって取得されてメモリ１１に記録される図４に示すような撮影画像から、指示体４ａの画像領域である指示体領域を、物体検出アルゴリズムを通じて検出する。輝度情報からだけで指示体領域を検出し易くするためには、指示体４ａを再帰性反射材料で作るとよい。また、指示体４ａをＬＥＤなど自己発光体として作製してもよく、そのような自己発光体も含め、カメラによって撮影される表示態様の指標となる物体を、本発明では指示体４ａと呼ぶことにしている。
The indicator
指示体領域検出部２０によって出力される検出情報を用いて指示体４ａの３次元位置を演算するために、指示体３次元位置演算部３０は、指示体領域の大きさ（面積）を演算するとともにこの指示体領域の大きさからカメラ光軸に沿ったＺ軸座標を算定するＺ座標演算部３２と、前記指示体領域の重心位置といった所定位置を演算するとともにこの所定位置：（ｘ0,ｙ0）と前記Ｚ軸座標とに基づいて、前記指示体４ａの前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を算定するＸＹ座標演算部３１とを備えている。Ｚ座標演算部３２は、カメラ２の光学的特性と実際の指示体４ａの大きさがわかっていれば、その撮影画像における大きさでカメラ２からの距離を求めること可能であることを利用しており、予めそのＺ軸での位置と撮影画像における大きさを測定しておきテーブル化又は関数化しておくと好都合である。例えば、関数化している場合、その指示体領域の大きさをＳとすると、Ｚ軸座標：ｚは、ｚ＝ｆ(Ｓ)で簡単に求めることができる。また、ＸＹ座標演算部３１は、カメラ２の光学的特性がわかっていると、算定されたＺ軸座標：ｚと、撮影画像における指示体領域の所定位置：（ｘ0,ｙ0）とから、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標：（ｘ＝ｇ(ｘ0,ｙ0,ｚ）, ｙ＝ｈ(ｘ0,ｙ0,ｚ）を求めることができる。これにより、指示体３次元位置演算部３０は、検出情報から指示体４ａの３次元位置：（ｘ,ｙ,ｚ)を求めて、特定部４０Ａに与えることができる。
In order to calculate the three-dimensional position of the
特定部４０Ａは、指示体３次元位置演算部３０から与えられた指示体４ａの３次元位置に基づいてメモリ１１に展開されている撮影画像から生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタでの表示画像とするための特定部分撮影画像を特定する。そのために、特定部４０Ａは、特定部分撮影画像の位置とサイズを含む切り出し情報を生成する切り出し情報生成部４１と、この切り出し情報を一時的に記憶する切り出し情報記憶部４２とを備えている。表示画像生成部４０Ｂは、特定部４０Ａから受け取った切り出し情報に基づき、表示画像を生成する。そのため、表示画像生成部４０Ｂは、切り出し情報生成部４１から直接受け取った切り出し情報又は切り出し情報記憶部４２から読み出した切り出し情報に基づいてメモリ１１上の撮影画像から特定部分撮影画像を切り出す特定部分撮影画像切り出し部４３と、切り出された特定部分撮影画像を生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタでの表示画像に適合するように画像変換する画像変換部４４とを備えている。
The specifying
切り出し情報生成部４１は、被写体３は日本地図となっている図５で模式的に示されているように、３次元位置：（ｘ,ｙ,ｚ）の値ｘ,ｙ（単位はドット）で定まる点から所定量：Δｘ，Δｙだけオフセットされた位置：（ｘ＋Δｘ，ｙ＋Δｙ）を切り出し基準点Ｐとし、３次元位置：（ｘ,ｙ,ｚ）の値ｚ（単位はｃｍ）によって導かれる数値：ｍとｎ（単位はドット）を撮影画像から切り出される特定部分撮影画像の大きさ、つまり切り出しサイズｍ×ｎとする切り出し情報を生成する。特定部分撮影画像は、基準点Ｐを基点とする横×縦がｍ×ｎとなる矩形形状である。また、オフセット量は、任意に設定可能であり、オフセットゼロの場合、指示体領域の所定位置が切り出し基準点となる。値ｚと数値：ｎとｍの関係は、この実施の形態では、逆比例の関係となっており、図５の（ａ）では、ｚ＝２０ｃｍで、ｍ＝４５０、ｎ＝３００のサイズが示され、図５の（ｂ）では、ｚ＝１０ｃｍで、ｍ＝９００、ｎ＝６００のサイズが示され、図５の（ｃ）では、ｚ＝５ｃｍで、ｍ＝１８００、ｎ＝１２００のサイズが示されている。従って、指示体４ａがカメラ２から遠ざかり、結果的に、指示体４ａが被写体３に近づくほど、拡大された被写体３の撮影画像が表示されることになる。このような切り出し情報に基づいて特定部分撮影画像切り出し部４３によって、メモリ１１上の撮影画像から切り出された特定部分撮影画像は、画像変換部４４において、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタにおける表示画面特性に合わせて、間引き処理や補間処理などを施されたのち、表示画像として出力される。つまり、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタ画面には、撮影画像から切り出された特定部分撮影画像だけが表示されるので、図５から理解できるように、切り出された特定部分撮影画像のサイズが小さいほど、大きな拡大率で拡大された被写体３を表示することになる。この特定部分撮影画像は、先生側のモニタである液晶ディスプレイ１ａにも表示されるので、先生はこのモニタ画面を確認しながら指示体４ａの位置を動かすことで、被写体３における所望の領域だけが拡大された画像を生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示させることができる。
The cut-out
切り出し情報記憶部４２には、切り出し情報生成部４１で生成された最新の切り出し情報が記憶されているので、もし指示体領域検出部２０で撮影画像から指示体領域の検出ができなかった場合には、特定部分撮影画像切り出し部４３は、切り出し情報記憶部４２から読み出した切り出し情報に基づいて特定部分撮影画像を切り出すように切り換えられる。そして、再び指示体領域が検出されると解除信号が発生され、特定部分撮影画像切り出し部４３は、直接切り出し情報生成部４１から受け取った切り出し情報に基づいて特定部分撮影画像を切り出すように切り換えられる。この構成により、先生が現状で表示されている画像をそのままの状態で保持したい場合には、指示体４ａを素早くカメラ２の撮影視野外に移動させるだけでよい。また、指示体領域の検出の可否にかかわらず現時点の表示画像をそのままにしておきたい場合には、表示保持スイッチ８をＯＮ操作することにより、切り出し情報記憶部４２に記憶されている切り出し情報を一時的に固定するような構成を採用することも可能である。この場合、従来の状態に復帰するためには、表示保持スイッチ８をＯＦＦ操作して、切り出し情報記憶部４２における切り出し情報の一時保持を解除する解除信号を強制的に発生させるようにするとよい。表示保持スイッチ８としては、キーボードの特定のキーを割り当てるとよい。解除信号により切り出し情報が消去されることにより、解除信号を発生した際に、指示体４ａが検出されなければ、撮影画像がそのまま表示され、一方、指示体４ａが検出されると、その指示体４ａにより切り出し情報が再設定され、この切り出し情報に基づいて撮影画像から切り出された特定部分撮影画像が表示される。
Since the latest cutout information generated by the cutout
以上のように構成された撮影画像処理システムにおける撮影表示制御の流れを図６に示された撮影表示ルーチンを参照しながら説明する。
まず、画像入力部１０がカメラ２で取得された、メガピクセルレベルの撮影画像を取り込んでメモリ１１に展開する（＃０２）。メモリ１１に展開された撮影画像から、指示体４ａの像である指示体領域が検出しやすくなるように輝度変換や色調変換、必要に応じて解像度変換などの前処理を施した指示体検出処理用画像を生成する（＃０４）。生成された指示体検出処理用画像に対して指示体領域検出処理を行う（＃０６）。指示体領域検出処理で指示体領域が検出された場合（＃０８Yes分岐）、指示体３次元位置演算部３０は、指示体領域の所定位置（ｘ,ｙ）とその大きさ：Ｓを求め（＃１０）、さらに、求められた大きさ：Ｓから指示体４ａのＺ軸座標：ｚを算定し、指示体４ａの３次元位置座標（ｘ,ｙ,ｚ）を決定する（＃１２）。
The flow of shooting display control in the shooting image processing system configured as described above will be described with reference to the shooting display routine shown in FIG.
First, the
切り出し情報作成部４１は、決定された３次元位置座標（ｘ,ｙ,ｚ）のｘ値とｙ値に基づいて特定部分撮影画像の撮影画像からの切り出し基準点Ｐを求め（＃１４）、ｚ値に基づいて切り出しサイズ：ｍ×ｎを求める（＃１６）。この切り出し基準点と切り出しサイズとを含む切り出し情報が生成され、この切り出し情報は特定部分撮影画像切り出し部４３に与えられ、かつこの切り出し情報を切り出し情報記憶部４２に記憶させる（＃１８）。特定部分撮影画像切り出し部４３は、読み出された切り出し情報に基づいて（＃１９）、メモリ１１に記録された撮影画像から特定部分撮影画像を切り出す（＃２０）。切り出された特定部分撮影画像は、表示モニタの画像階調度に合わせた画像変換を施され（＃２２）、表示画像として先生側のモニタである液晶ディスプレイ１ａ、及び生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに転送され、そこで表示される（＃２４）。
The cutout
指示体領域検出部２０で指示体領域が検出されなかった場合（＃０８No分岐）、まず解除信号の発生により直前画像の表示維持が強制的に解除されたかどうかをチェックし、解除されない限り（＃２６No分岐）、切り出し情報記憶部４２から切り出し情報を読み出し（＃２８）、ステップ＃２０に移行して、特定部分撮影画像が切り出される。直前画像の表示維持が解除されると（＃２６Yes分岐）、メモリ１１に展開されている撮影画像がそのまま表示画像に画像変換され（＃３０）、ステップ＃２０に移行する。
When the indicator region is not detected by the indicator region detecting unit 20 (# 08 No branch), first, it is checked whether or not the display maintenance of the immediately preceding image is forcibly released due to the generation of the release signal, unless it is released (# 26 No branch), the cut-out information is read out from the cut-out information storage unit 42 (# 28), the process proceeds to step # 20, and the specific partial captured image is cut out. When the display maintenance of the immediately preceding image is canceled (# 26 Yes branch), the captured image developed in the
上述したステップ＃０２から＃３０の処理が表示終了コマンドが入るまで続行され、先生が被写体３の上方に差し出す差し棒４の指示体４ａの３次元位置によって特定される領域の被写体画像が、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示され、生徒に対する教材の表示が効率的に行われる。
The processes of steps # 02 to # 30 described above are continued until a display end command is input, and the subject image in the region specified by the three-dimensional position of the
なお、ステップ＃０８で指示体領域が検出されているにもかかわらず、直前の表示画像を維持したいという要望を満たすためには、図７のフローチャートで示すように、追加されているステップ＃０９でさらに表示維持モードが設定されたかどうかがチェックされ、表示維持モードが設定されていると（＃０９Yes分岐）、切り出し情報記憶部４２から読み出された直前の切り出し情報を一時的にバッファしておいて、以後このバッファから切り出し情報が表示維持モードが非設定となるまでバッファされた切り出し情報が読み出されて（＃２９）、ステップ＃２０に移行して、特定部分撮影画像切り出し部４３に利用されるようにしておくとよい。表示維持モードの設定と解除は、表示保持スイッチ８などによって行ってもよいし、差し棒４に設けたスイッチを利用してもよい。
In order to satisfy the desire to maintain the previous display image even though the indicator region is detected in
図８には、上述した学校教育支援システムに用いられている画像処理装置１の第２実施形態における機能ブロック図が示されている。この実施形態での画像処理装置１は、指示体４ａの３次元位置（Ｘ−Ｙ−Ｚ軸座標）のうちＸ−Ｙ軸座標はカメラ２によって取得された撮影画像を画像処理することにより求められ、Ｚ軸座標はカメラ２の周辺部に設けられた測距計９によって求められる。測距計９としては、レーザー測距計や超音波測距計として知られている非接触測距計が好都合であるが、指示体４ａは、Ｘ−Ｙ軸方向に所定の範囲で移動するので、広範囲の測距ビーム幅を持つものか、あるいは測距ビームをスキャニングさせるものが好ましい。測距計９で得られた指示体４ａの測距データは、画像処理装置１の測距データ入力部１２に転送され、ここで所定のデータ形式に変換され、指示体３次元位置演算部３０に与えられる。従って、この実施形態でのＺ座標演算部３２は、単に測距データ入力部１２から受け取った測距データからｚ値を読み取る機能を有する。ＸＹ座標演算部３１は、第１実施形態と同様であり、指示体領域検出部２０から出力された検出情報における指示体領域の所定位置を演算するとともにこの所定位置：（ｘ,ｙ）を指示体４ａのＸ−Ｙ軸座標として算定する。表示画像生成部４０Ｂや表示画像転送部５０の構成は第１実施形態と同じである。
FIG. 8 shows a functional block diagram of the second embodiment of the
上述した実施の形態では、指示体領域が検出されない場合、切り出し情報記憶部４２に記憶されている切り出し情報を用い、表示画像が維持される構成を採用しているが、これに代え、指示体領域が検出されない場合、切り出し情報を用いずに、撮影画像をそのまま表示画像とする構成を採用してもよい。
In the above-described embodiment, when the indicator region is not detected, a configuration is adopted in which the display image is maintained using the cutout information stored in the cutout
上述した実施の形態では、指示体４ａは被写体３と同じ撮影画像に写されているので、指示体４ａの位置によっては、最終的に生成される表示画像において指示体４ａの像が邪魔になる場合がある。このような問題を避けるために、指示体４ａを可視光を透過させて非可視光を反射させる特性の材料で構成し、カメラ２は可視光撮影画像と非可視光撮影画像を取得するものとして構成し、指示体領域検出部２０は非可視光撮影画像を用いて生成された指示体検出処理用画像を用いて指示体４ａの３次元位置を求めるようにしてもよい。
In the above-described embodiment, the
図９には、本発明による撮影画像処理システムの別な実施形態での機能ブロック図が示されている。この別な実施形態は先の実施形態と較べ、予め画像記録部６０に記録されている被写体撮影画像を指示体４の３次元位置に基づいて拡縮表示することで異なっている。つまり、この実施形態では、以下の処理が行われる。指示体４ａが撮影空間外に配置され、指示体領域検出部２０により指示体４ａが検出されない場合には、カメラ２により撮影された画像は、被写体撮影画像（被写体のみが撮影された画像）として画像記録部６０に記録される。一方、指示体４ａが撮影空間内に配置され、指示体領域検出部２０により指示体４ａが検出された場合には、指示体領域の検出情報が取得されると共に以下の処理が行われる。先ず、カメラ２からの撮影画像は指示体撮影画像（被写体および指示体４ａ又は指示体４ａのみが撮影された画像）として画像入力部１０を通じてメモリ１１に転送され、画像記録部６０に記録されている被写体３の被写体撮影画像は、この画像記録部６０から画像入力部１０を通じてメモリ１１に転送される。画像記録部６０は、被写体撮影画像を記録しているものであれば何でもよく、例えば、ＤＶＤ、ＣＤ−ＲＯＭ、ハードディスク、半導体メモリなどが代表的なものとして挙げられる。また、画像記録部６０に記録される被写体撮影画像のフォーマットは静止画でも動画でもよい。次に、指示体３次元位置演算部３０により、上述の指示体領域検出部２０の処理により取得された指示体領域の検出情報を用いて、指示体４ａの３次元位置が算出される。さらに、この算出された指示体４ａの３次元位置に基づいて、特定部４０Ａの切り出し情報生成部４１により作成された切り出し情報により特定部分撮影画像が特定される。さらに、表示画像生成部４０Ｂの特定部分撮影画像切り出し部４３により、前記切り出し情報に基づき、メモリ１１に転送されている被写体撮影画像から特定部分撮影画像が切り出され、画像変換部４４により表示画像が生成される。このようにして生成された表示画像は、表示画像転送部５０によりモニタに転送される。この実施形態では、画像記録部６０に記録されている画像を液晶ディスプレイ６ａや大型スクリーン７ａに表示する際に、カメラ２の前に位置する指示体４ａの位置に応じて、その画像における表示領域、結果的にはその画像の拡縮表示状態が決定される。
FIG. 9 is a functional block diagram of another embodiment of the captured image processing system according to the present invention. This other embodiment is different from the previous embodiment in that the subject photographed image recorded in advance in the
指示体４ａの３次元位置を求める方法として、上述した方法以外に、コンピュータビジョンの分野で使われているステレオ画像を用いた３次元位置演算法を採用してもよい。つまり、被写体３に照準を合わせたカメラ２以外にもう１台のカメラを用意し、この２つの撮影画像をステレオ画像として指示体４ａの３次元位置を演算する、それ自体は公知のアルゴリズムを指示体３次元位置演算部３０に組み込むことで指示体４ａの３次元位置を求める構成が実現できる。
As a method for obtaining the three-dimensional position of the
上述した上述した実施の形態では、本発明による撮影画像処理システムを学校教育支援システムに適用した例で説明しているが、もちろんこの撮影画像処理システムは学校教育の場に限られず、画像を表示する種々の分野に適用可能である。 In the above-described embodiment, an example in which the captured image processing system according to the present invention is applied to a school education support system has been described. Of course, the captured image processing system is not limited to a school education place, and displays an image. It can be applied to various fields.
１：画像処理装置（先生側のコンピュータ）
２：カメラ
３：被写体
４：差し棒
４ａ：指示体
５：ネットワーク
６ａ：生徒側のコンピュータの液晶ディスプレイ（モニタ）
７：プロジェクタ（モニタ）
８：表示保持スイッチ
９：測距計
２０：指示体領域検出部
３０：指示体３次元位置演算部
３１：ＸＹ座標演算部
３２：Ｚ座標演算部
４０Ａ：特定部
４１：切り出し情報生成部
４２：切り出し情報記憶部
４０Ｂ：表示画像生成部
４３：特定部分撮影画像切り出し部
４４：画像変換部
５０：表示画像転送部
６０：画像記録部
1: Image processing device (teacher computer)
2: Camera 3: Subject 4:
7: Projector (monitor)
8: Display holding switch 9: Distance meter 20: Indicator region detection unit 30: Indicator three-dimensional position calculation unit 31: XY coordinate calculation unit 32: Z coordinate
Claims (5)
指示体、
前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部、
少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、
前記指示体の３次元位置に基づいて前記撮影画像における特定部分撮影画像を特定する特定部、
前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び
前記表示画像を前記モニタに転送する表示画像転送部が備えられている撮影画像処理システム。 In a captured image processing system comprising a camera that captures a subject and an image processing device that processes a captured image acquired by the camera and transfers a display image generated to the monitor.
Indicator,
A pointer region detection unit that detects a pointer region that is a region of the pointer from a captured image acquired by the camera;
A pointer three-dimensional position calculator that calculates a three-dimensional position of the pointer using at least detection information of the pointer region;
A specifying unit that specifies a specific partial captured image in the captured image based on a three-dimensional position of the indicator;
A photographic image processing system comprising: a display image generation unit that generates the specific partial captured image as the display image; and a display image transfer unit that transfers the display image to the monitor.
前記カメラから送られてきた前記撮影画像をメモリに記録する機能と、
前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する機能と、
少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する機能と、
前記メモリに展開されている撮影画像から前記指示体の３次元位置に基づいて特定される特定部分撮影画像を切り出す機能と、
前記特定部分撮影画像を前記表示画像として生成する機能と、
をコンピュータに実現させる表示画像生成プログラム。 A captured image processing system for processing a captured image obtained by capturing the subject and the indicator with the camera in a state where an indicator is disposed between the subject and the camera and transferring a display image generated to the monitor. In the display image generation program for
A function of recording the captured image sent from the camera in a memory;
A function of detecting a pointer region that is a region of the pointer from a captured image acquired by the camera;
A function of calculating a three-dimensional position of the indicator using at least detection information of the indicator region;
A function of cutting out a specific partial photographed image identified based on the three-dimensional position of the indicator from the photographed image developed in the memory;
A function of generating the specific partial captured image as the display image;
Display image generation program for causing a computer to realize the above.
指示体、
前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部、
前記指示体領域検出部により前記指示体領域が検出されない場合に、前記被写体撮影画像を記録する画像記録部、
前記指示体領域が検出された場合に、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、
前記指示体の３次元位置に基づいて前記画像記録部から読み出された被写体撮影画像における特定部分撮影画像を特定する特定部、
前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び
前記表示画像を前記モニタに転送する表示画像転送部が備えられている撮影画像処理システム。 In a captured image processing system comprising a camera and an image processing apparatus that processes a captured subject image obtained by capturing a subject and transfers a display image generated to the monitor,
Indicator,
A pointer region detection unit that detects a pointer region that is a region of the pointer from a captured image acquired by the camera;
An image recording unit that records the subject captured image when the indicator region is not detected by the indicator region detection unit;
A pointer three-dimensional position calculation unit that calculates a three-dimensional position of the pointer using at least detection information of the pointer region when the pointer region is detected;
A specifying unit for specifying a specific partial captured image in the subject captured image read from the image recording unit based on the three-dimensional position of the indicator;
A photographic image processing system comprising: a display image generation unit that generates the specific partial captured image as the display image; and a display image transfer unit that transfers the display image to the monitor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007254665A JP4854033B2 (en) | 2007-09-28 | 2007-09-28 | Captured image processing system and display image generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007254665A JP4854033B2 (en) | 2007-09-28 | 2007-09-28 | Captured image processing system and display image generation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009088868A true JP2009088868A (en) | 2009-04-23 |
| JP4854033B2 JP4854033B2 (en) | 2012-01-11 |
Family
ID=40661721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007254665A Expired - Fee Related JP4854033B2 (en) | 2007-09-28 | 2007-09-28 | Captured image processing system and display image generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4854033B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08125921A (en) * | 1994-10-26 | 1996-05-17 | Canon Inc | Writing-and-drawing camera apparatus |
| JP2003259183A (en) * | 2002-03-04 | 2003-09-12 | Hitachi Ltd | Presentation system |
| JP2005123707A (en) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | Image projection apparatus and image projection system, and display image generating apparatus and display image generating method |
-
2007
- 2007-09-28 JP JP2007254665A patent/JP4854033B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08125921A (en) * | 1994-10-26 | 1996-05-17 | Canon Inc | Writing-and-drawing camera apparatus |
| JP2003259183A (en) * | 2002-03-04 | 2003-09-12 | Hitachi Ltd | Presentation system |
| JP2005123707A (en) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | Image projection apparatus and image projection system, and display image generating apparatus and display image generating method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4854033B2 (en) | 2012-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4537557B2 (en) | Information presentation system | |
| US6829372B2 (en) | Information-inputting device inputting contact point of object on recording surface as information | |
| CN100461834C (en) | Rotary zoom camera controller | |
| JP2008134793A (en) | Electronic handwriting input device | |
| US20150317070A1 (en) | Mobile handheld instruments and methods | |
| US20180204387A1 (en) | Image generation device, image generation system, and image generation method | |
| JP2022097699A (en) | Input device, input method of input device, output device and output method of output device | |
| US20170268871A1 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
| KR102186597B1 (en) | Target size measurement system and method | |
| JP4377247B2 (en) | Projector projection control system and projector projection control method | |
| JP5461782B2 (en) | Camera image simulator program | |
| US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
| JP4854033B2 (en) | Captured image processing system and display image generation program | |
| JP2007205915A (en) | Projection device, program, and information storage medium | |
| JP2007208905A (en) | Information presenting apparatus | |
| JP2006018444A (en) | Image processing system and additional information indicating device | |
| JPH07160412A (en) | Pointed position detecting method | |
| Gunn et al. | Using sticky light technology for projected guidance | |
| JP7044331B2 (en) | Image processing systems, image processing methods and programs for efficiently inspecting structures such as bridges | |
| JP2002344963A (en) | Photographing information attaching device | |
| JP2021166322A (en) | Information processing device, program, and information processing system | |
| JP2009199247A (en) | Object recognition apparatus, indicating device and program | |
| JP2017068468A (en) | Information processing device, information processing method, and program | |
| JP4839858B2 (en) | Remote indication system and remote indication method | |
| JP2003203216A (en) | Image measuring device part program generating device and image forming device part program generating program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111020 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111021 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4854033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |