JP2005159530A - Wireless image communication system and wireless image communication apparatus - Google Patents
Wireless image communication system and wireless image communication apparatus Download PDFInfo
- Publication number
- JP2005159530A JP2005159530A JP2003392305A JP2003392305A JP2005159530A JP 2005159530 A JP2005159530 A JP 2005159530A JP 2003392305 A JP2003392305 A JP 2003392305A JP 2003392305 A JP2003392305 A JP 2003392305A JP 2005159530 A JP2005159530 A JP 2005159530A
- Authority
- JP
- Japan
- Prior art keywords
- wireless
- image communication
- wireless image
- imaging
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Closed-Circuit Television Systems (AREA)
- Facsimiles In General (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
Description
本発明は、無線画像通信装置および通信システムに係わり、特に無線基地局が集中制御するタイミングに基づいて間欠的に撮像およびデータ送信を行うことによって、画像通信装置の低電力化を実現する無線画像通信システム及び無線画像通信装置に関する。 The present invention relates to a wireless image communication apparatus and a communication system, and in particular, a wireless image that realizes low power consumption of an image communication apparatus by intermittently imaging and transmitting data based on timing at which a wireless base station performs centralized control. The present invention relates to a communication system and a wireless image communication apparatus.
従来、店舗や家屋などの監視用途や、生態や気象あるいは交通量などの定点観測といった用途を対象に、画像センサおよび通信機能を搭載した画像通信装置による遠隔監視システムが利用されている。このシステムにおいては、通信回線を利用することで画像センサが撮影した画像を遠隔から監視することが可能であり、特に通信回線に携帯電話やPHS、無線LANなどの無線インタフェースを搭載するとともに、バッテリー蓄電や太陽・風力のような自然エネルギーによる発電機構を備えることによって通信ケーブルおよび電源ケーブルの敷設が不要となる装置が実用化されている。 Conventionally, a remote monitoring system using an image communication device equipped with an image sensor and a communication function has been used for monitoring applications such as stores and houses and fixed-point observations such as ecology, weather, and traffic. In this system, it is possible to remotely monitor an image taken by an image sensor by using a communication line. In particular, the communication line is equipped with a wireless interface such as a mobile phone, PHS, or wireless LAN, and a battery. A device that eliminates the need for laying communication cables and power cables by providing a power generation mechanism using natural energy such as power storage or solar / wind power has been put into practical use.
しかし、これらの装置においては、連続動作時間を向上するために大型のバッテリーを搭載する必要があったり、発電量を確保するために大型の太陽電池パネルが必要となったりするなどの理由によって電源部分が大型になるため、設置の容易性を失ってしまうという問題がある。このため、駆動回路の低電力化により搭載する電源容量を減らし装置を小型化する必要が生じている。 However, in these devices, it is necessary to install a large battery to improve the continuous operation time, or a large solar cell panel is necessary to secure power generation. Since the part becomes large, there is a problem that the ease of installation is lost. For this reason, it is necessary to reduce the power supply capacity to be mounted and to reduce the size of the device by reducing the power of the drive circuit.
この課題を解決する従来技術例として、撮像部の低電力化を実現するために、フレームレートに応じて撮像部の駆動を間欠的に制御する方式が提案されている。ここではフレームレート基づいた周期タイミングを利用した撮像部の間欠駆動制御および、可変ビットレート符号化および伝送誤りによる再送処理を考慮してデータ送信完了タイミングを利用した撮像部の間欠駆動制御がある(例えば、特許文献1参照)。 As a prior art example that solves this problem, a method of intermittently controlling the driving of the imaging unit in accordance with the frame rate has been proposed in order to reduce the power consumption of the imaging unit. Here, there are intermittent drive control of the image pickup unit using periodic timing based on the frame rate, and intermittent drive control of the image pickup unit using data transmission completion timing in consideration of variable bit rate encoding and retransmission processing due to transmission errors ( For example, see Patent Document 1).
ここで、複数の画像通信装置により構成される監視システムを考えた場合には、無線基地局におけるRF回路/アンテナ部分の簡素化および無線チャネルの利用効率を高めるため、図11のような構成によって同一の無線チャネルを共有する形態が一般にとられている。この方式としては、基地局が特定の通信装置に無線チャネルを一時的に優先割り当てするポーリング制御方式や、各通信装置がそれぞれ無線チャネルの利用状況を監視することによって競合を回避するCSMA/CA方式などがしばしば利用されている。 Here, when considering a monitoring system composed of a plurality of image communication apparatuses, a configuration as shown in FIG. 11 is used in order to simplify the RF circuit / antenna portion and increase the utilization efficiency of the radio channel in the radio base station. A form in which the same wireless channel is shared is generally taken. This method includes a polling control method in which a base station temporarily assigns a wireless channel to a specific communication device, or a CSMA / CA method in which each communication device monitors the use status of the wireless channel to avoid contention. Etc. are often used.
この例においては、複数装置の撮像タイミングが一致した場合にデータ送信の競合によって送信待ち合わせ時間が発生するため(図12参照)、各装置は送信が可能となるまでのあいだ受信キャリアや制御フレームの検出をし続ける必要が生じてしまう。したがって、これにより無線回路の電力を浪費してしまうという問題が発生し、特にシステム内に構成される画像通信装置が増加するほどこの問題が発生しやすくなるといえる。 In this example, when the imaging timings of a plurality of devices coincide with each other, a transmission waiting time occurs due to data transmission competition (see FIG. 12). Therefore, each device receives a reception carrier or control frame until transmission is possible. It becomes necessary to continue detection. Therefore, this causes a problem that the power of the wireless circuit is wasted, and it can be said that this problem is more likely to occur as the number of image communication apparatuses configured in the system increases.
また、図13のように複数カメラを用いて多面的に対象物を撮影する場合などにおいて、各画像通信装置の撮影タイミングを一致させ同時刻の画像を撮影する必要のあるケースにおいては、台数に関わらず送信毎に必ず待ち合わせが発生するため、無線回路の電力を大きく浪費してしまうことになる。 Further, in the case where multiple objects are photographed using a plurality of cameras as shown in FIG. 13 and the like, it is necessary to shoot images at the same time by matching the photographing timing of each image communication device. Regardless, waiting always occurs for each transmission, which greatly wastes the power of the wireless circuit.
以上の問題により、複数の画像通信装置により構成される監視システムにおいては、各通信装置の間における送信タイミングを制御して無線回路の低電力化を図る必要がある。
遠隔監視システムでは近年、通信回線に携帯電話やPHS、無線LANなどの無線インタフェースを搭載するとともに、バッテリー蓄電や太陽・風力のような自然エネルギーによる発電機構を備えることによって通信ケーブルおよび電源ケーブルの敷設が不要となる装置が実用化されているが、連続動作時間を向上するために大型のバッテリーを搭載する必要があったり、発電量を確保するために大型の太陽電池パネルが必要となったりするなどの理由によって電源部分が大型になるため、設置の容易性を失ってしまうという問題がある。このため、駆動回路の低電力化により搭載する電源容量を減らし装置を小型化する必要が生じている。 In recent years, remote monitoring systems are equipped with wireless interfaces such as mobile phones, PHS, and wireless LANs in communication lines, and are equipped with a power generation mechanism using natural energy such as battery storage and solar / wind power, thereby laying communication cables and power cables. Has been put to practical use, but it is necessary to install a large battery to improve the continuous operation time, or a large solar panel is necessary to secure the amount of power generation There is a problem that the power supply portion becomes large due to reasons such as that the ease of installation is lost. For this reason, it is necessary to reduce the power supply capacity to be mounted and to reduce the size of the device by reducing the power of the drive circuit.
しかしながら、同一の無線チャネルを共有する複数の画像通信装置によって構成される監視システムを考えると、複数装置間における送信タイミングの一致によりデータ送信が競合し、送信待ち合わせ時間が発生するという問題が生じてしまう。この場合には送信が可能となるまでのあいだ受信キャリアや制御フレームの検出をし続ける必要があるため、無線回路部の電力を大きく浪費し低電力化を達成できなくなるという課題が発生する。 However, when considering a monitoring system composed of a plurality of image communication apparatuses sharing the same wireless channel, there is a problem that data transmission competes due to the coincidence of transmission timings among the plurality of apparatuses, and transmission waiting time occurs. End up. In this case, since it is necessary to continue to detect the reception carrier and the control frame until transmission is possible, there is a problem that power of the radio circuit unit is greatly wasted and low power cannot be achieved.
一方、上記特許文献2及び3記載の発明は、無線画像装置における画像データの撮像タイミングと、画像データの送信タイミングとを併せて設定できる構成ではないので、効率的な低電力化を図ることはできない。
On the other hand, the inventions described in
本発明は、上記事情に鑑みてなされたものであり、図1において、システム内の各無線画像通信装置100a〜cでは、タイマ40,41の周期に基づいて撮像処理部10および無線処理部30の間欠動作を行う。無線基地局110によりこれらのタイマの起動タイミング/周期を集中管理することで、各通信装置100a〜cに対して異なるタイミングを設定することができる無線画像通信システム及び無線画像通信装置を提供することを目的とする。
The present invention has been made in view of the above circumstances. In FIG. 1, in each of the wireless image communication apparatuses 100 a to 100 c in the system, the
かかる目的を達成するために、本発明は、画像データの無線送信を行う複数の無線画像通信装置と、複数の無線画像通信装置と無線同報通信を行う無線基地局と、無線基地局を介して画像データを受信し表示する画像監視装置とからなる無線画像通信システムであって、各無線画像通信装置は、画像を撮像し、撮像画像を画像データとして圧縮する撮像処理部と、画像データの送信を行う無線処理部と、撮像処理部を所定の周期毎に起動する撮像タイマ部と、無線処理部を所定の周期毎に起動する送信タイマ部と、を有し、無線基地局は、送信タイマ部の送信タイミングを格納する送信タイミング管理部と、撮像タイマ部の撮像タイミング及び撮像周期を含む動作パラメータを格納する動作パラメータ設定部と、を有し、無線基地局が無線画像通信装置毎に動作パラメータを予め設定する動作パラメータ設定手段と、無線画像通信装置が無線基地局に対し動作パラメータの設定要求を行う動作パラメータ設定要求手段と、無線基地局が予め格納されている送信タイミングの更新を行う送信タイミング更新手段と、基地局が送信タイマ部及び撮像タイマ部に対し、更新した送信タイミング及び動作パラメータを設定するタイマ部設定手段と、無線画像通信装置が送信タイマ部及び撮像タイマ部以外の回路部が動作していないサスペンド状態に遷移するサスペンド状態遷移手段と、を有し、送信タイミング管理部及び動作パラメータ設定部によって設定された、送信タイミング及び動作パラメータに基づいて、無線処理部及び撮像処理部の間欠動作を行うことによって、他の無線画像通信装置と異なるタイミングでデータ送信を行うことを特徴とする。 In order to achieve this object, the present invention provides a plurality of wireless image communication apparatuses that perform wireless transmission of image data, a wireless base station that performs wireless broadcast communication with a plurality of wireless image communication apparatuses, and a wireless base station. Each of the wireless image communication devices includes an image pickup processing unit that picks up an image and compresses the picked-up image as image data. A wireless processing unit that performs transmission, an imaging timer unit that activates the imaging processing unit at predetermined intervals, and a transmission timer unit that activates the wireless processing unit at predetermined intervals. A transmission timing management unit for storing the transmission timing of the timer unit; and an operation parameter setting unit for storing operation parameters including the imaging timing and imaging cycle of the imaging timer unit. Operation parameter setting means for setting operation parameters for each communication device in advance, operation parameter setting request means for the wireless image communication device to make a request for setting operation parameters to the wireless base station, and transmission in which the wireless base station is stored in advance Transmission timing update means for updating timing, timer section setting means for the base station to set updated transmission timing and operation parameters for the transmission timer section and imaging timer section, and the wireless image communication apparatus for transmission timer section and imaging Suspend state transition means for transitioning to a suspend state in which a circuit unit other than the timer unit is not operating, and wirelessly based on the transmission timing and operation parameters set by the transmission timing management unit and the operation parameter setting unit By performing intermittent operation of the processing unit and the imaging processing unit, other wireless image communication And performing data transmission in apparatus different timings.
また、本発明は、無線画像通信装置が送信タイマ部及び撮像タイマ部と同期する網同期タイマ部をさらに有し、無線画像通信装置が無線基地局からのビーコンを監視及び受信し、網同期タイマ部の制御により無線網内の絶対時刻及び刻み幅の設定を行う絶対時刻・刻み幅設定手段をさらに有することを特徴とする。 The present invention further includes a network synchronization timer unit that is synchronized with the transmission timer unit and the imaging timer unit, wherein the wireless image communication device monitors and receives a beacon from a radio base station, It further comprises absolute time / step size setting means for setting absolute time and step size in the wireless network by controlling the unit.
また、本発明は、無線画像通信装置が送信タイマ部及び撮像タイマ部の刻み幅を設定するタイマ部刻み幅設定手段をさらに有することを特徴とする。 In addition, the present invention is characterized in that the wireless image communication apparatus further includes timer unit step size setting means for setting step sizes of the transmission timer unit and the imaging timer unit.
また、本発明は、撮像タイマ部がサスペンド状態で満了した場合、撮像処理部へ割り込み信号通知を行うことにより、撮像処理部の動作が開始することを特徴とする。 Further, the present invention is characterized in that when the imaging timer unit expires in the suspended state, the operation of the imaging processing unit is started by notifying the imaging processing unit of an interrupt signal.
また、本発明は、送信タイマ部がサスペンド状態で満了した場合、撮像処理部へ割り込み信号通知を行うことにより、無線処理部の動作が開始することを特徴とする。 Further, the present invention is characterized in that when the transmission timer unit expires in the suspended state, the operation of the wireless processing unit is started by notifying the imaging processing unit of an interrupt signal.
また、本発明は、無線画像通信装置は、無線基地局が送信タイマ部を設定した後は、無線基地局から無線画像通信装置に対する制御が不要であることを特徴とする。 Further, the present invention is characterized in that the wireless image communication apparatus does not need to control the wireless image communication apparatus from the wireless base station after the wireless base station sets the transmission timer unit.
また、本発明は、無線画像通信装置は、サスペンド状態において、ポーリング監視などの一切のフレーム受信処理が不要となり、RF回路を含めすべての無線回路の動作を停止できることを特徴とする。 Further, the present invention is characterized in that the wireless image communication apparatus does not require any frame reception processing such as polling monitoring in the suspended state, and can stop the operation of all wireless circuits including the RF circuit.
また、本発明は、無線画像通信装置は、無線基地局がタイマを設定した後のデータ送信状態においては、MAC処理部におけるポーリング監視やキャリアセンスなど一切のメディア競合制御処理機能を動作させる必要がないことを特徴とする。 Further, according to the present invention, the wireless image communication apparatus needs to operate all media contention control processing functions such as polling monitoring and carrier sense in the MAC processing unit in the data transmission state after the wireless base station sets the timer. It is characterized by not.
また、本発明は、無線画像通信装置は、送信タイミング管理部及び動作パラメータ設定部をさらに有することによって、複数の無線基地局により構成される大規模なシステムに拡張可能であることを特徴とする。 In addition, the present invention is characterized in that the wireless image communication apparatus can be extended to a large-scale system including a plurality of wireless base stations by further including a transmission timing management unit and an operation parameter setting unit. .
また、本発明は、無線画像通信装置は、電力容量を監視する電源用量監視部をさらに有し、電源容量に応じてフレームレートや送信データ量を制御することによって、電源容量不足時における電力消費の抑制が可能であることを特徴とする。 According to the present invention, the wireless image communication apparatus further includes a power amount monitoring unit that monitors the power capacity, and controls the frame rate and the amount of transmission data according to the power capacity, thereby reducing power consumption when the power capacity is insufficient. It is possible to suppress this.
また、本発明は、無線画像通信装置がフレームレートや送信データ量を動的に変動させる際に、無線基地局に対する通知なしで自律的に実施することが可能であるため、他の無線画像通信装置に割り当てられているタイムスロット構成への影響を与えることがなく、他の無線画像通信装置におけるデータ送信タイミングに一切影響を与えないということを特徴とする。 In addition, since the present invention can be autonomously implemented without notification to the radio base station when the radio image communication apparatus dynamically changes the frame rate and the amount of transmission data, other radio image communication The time slot configuration assigned to the apparatus is not affected, and the data transmission timing in other wireless image communication apparatuses is not affected at all.
また、本発明は、無線画像通信装置は、撮像タイミングと送信タイミングを同期させることで、撮像タイマ部と送信タイマ部とを共用可能とすることを特徴とする。 The wireless image communication apparatus according to the present invention is characterized in that the imaging timer unit and the transmission timer unit can be shared by synchronizing the imaging timing and the transmission timing.
また、本発明は、上記無線画像通信システムで用いられることを特徴とする。 The present invention is also characterized by being used in the above wireless image communication system.
本発明によれば、無線画像通信装置が無線基地局の設定したタイマ起動タイミングを利用することで、すべての他の無線画像通信装置と異なるタイミングでデータ送信を行うことが可能である。したがって無線画像通信装置は、データ送信時間を最小限に抑えサスペンド時間を最大限に確保することによって低電力化を実現することが可能となる。つまり。各通信装置の無線区間での送信競合による待ち合わせ発生が抑止され、送信時間が最短になるため、無線処理部における電力消費を最小限に抑えることが可能となる。 According to the present invention, it is possible for the wireless image communication apparatus to transmit data at a timing different from that of all other wireless image communication apparatuses by using the timer start timing set by the wireless base station. Therefore, the wireless image communication apparatus can realize low power consumption by minimizing the data transmission time and ensuring the suspend time to the maximum. In other words. Since the occurrence of waiting due to transmission competition in the wireless section of each communication device is suppressed and the transmission time is minimized, power consumption in the wireless processing unit can be minimized.
以下、本発明を実施するための最良の形態について添付図面を参照して詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.
(発明の特徴)
本発明は、画像センサおよび無線通信機能を搭載した無線画像通信装置による遠隔監視システムにおいて、無線基地局が集中制御する撮像タイミングおよび送信タイミングに基づいて各通信装置における回路の間欠動作を行うことによって低電力化を実現することを特徴とする。
(Characteristics of the invention)
In a remote monitoring system using a wireless image communication device equipped with an image sensor and a wireless communication function, the present invention performs intermittent operation of a circuit in each communication device based on imaging timing and transmission timing controlled by a wireless base station. It is characterized by realizing low power.
図1において無線画像通信装置100aは、撮像処理部10およびバッファ20、無線処理部30を有している。撮像処理部10は、撮像タイマ部40の監視周期毎に起動され、バッファ20への撮像データ書き込みが完了するまでの間のみクロック供給されることによって間欠動作する回路である。同様に無線処理部30は、送信タイマ部41の監視周期毎に起動され、バッファ20の撮像データの送信が完了するまでの間のみクロック供給されることで間欠動作する回路である。これらのタイマ40,41は無線基地局110により設定されるものであり、各無線画像通信装置100毎に異なる送信タイミングが設定されるように送信タイミング管理テーブル114上で集中管理されている。
In FIG. 1, the wireless image communication apparatus 100 a includes an
このようにして本願発明では、全ての無線画像通信装置100a〜100cの送信タイミングを集中制御することが可能となる。したがって、無線区間での送信競合による待ち合わせ発生が抑止され、送信時間が最短になることによって、無線処理部30における電力消費を最小限に抑えることが可能となる。
Thus, in the present invention, it is possible to centrally control the transmission timings of all the wireless image communication apparatuses 100a to 100c. Therefore, the occurrence of waiting due to transmission competition in the wireless section is suppressed and the transmission time is minimized, so that power consumption in the
図1に本発明の実施例のブロック図を示す。本無線画像通信システムは、複数の無線画像通信装置100a〜cおよび無線基地局110、画像監視装置120から構成される。この通信装置100は、無線LANなど容易に構成可能な無線インタフェースを介して、同一の無線チャネルを共有し同一の無線基地局110に接続される。画像監視装置120はパーソナルコンピュータなどの汎用的な情報処理装置であり、イーサネット(R)などの一般的な有線インタフェースを利用して無線基地局110に接続される。
FIG. 1 shows a block diagram of an embodiment of the present invention. The wireless image communication system includes a plurality of wireless image communication devices 100a to 100c, a
無線画像通信装置100は、画像センサおよび無線通信機能を搭載した装置であり、特に電源にバッテリーや太陽電池のような発電機構を搭載することで、外部からの有線ケーブルによる給電が不要であるものとする。この通信装置100は、撮像処理部10およびバッファ20、無線処理部30、撮像タイマ部40、送信タイマ部41、クロック供給部50を有している。
The wireless image communication apparatus 100 is an apparatus equipped with an image sensor and a wireless communication function. In particular, the wireless image communication apparatus 100 is equipped with a power generation mechanism such as a battery or a solar cell as a power source, so that power supply from an external wired cable is unnecessary. And The communication device 100 includes an
撮像処理部10は、CMOSやCCDデバイスから成る画像センサ11、画像センサ11が収集した撮影画像をデジタル信号に変換するA/Dコンバータ12および、JPEGやMPEG方式のような画像符号化アルゴリズムに基づいて画像データの圧縮処理を行う符号化処理部13から構成される。また無線処理部30は、レイヤ2のフレーム制御を行うMAC(メディアアクセス制御)処理部31および、変復調処理を行うベースバンド処理部32、無線信号のアナログ処理を行うRF回路部33から構成される。
The
この撮像処理部10は、撮像タイマ部40の監視周期毎に起動されるものであり、バッファ20への撮像データ書き込みが完了するまでの間のみクロック供給されることによって間欠動作する回路である。同様に無線処理部30は、送信タイマ部41の監視周期毎に起動されるものであり、バッファ20の撮像データの送信が完了するまでの間のみクロック供給されることで間欠動作する回路である。
The
これらのタイマ40,41は、クロックが常時供給され常時動作するとともに、各無線画像通信装置100毎に異なる送信タイミングが設定されるよう、無線基地局110が指定したタイミングで周期的に満了を繰り返すものである。
These
無線基地局110は、無線LANなど容易に構成可能な無線処理部111を有し、無線画像通信装置100との通信を行うとともに、イーサネット(R)などの一般的な有線処理部112を利用して画像監視装置120との通信を行うことが可能な無線ブリッジ機能を果たす。
The
さらにこの基地局110は、ビーコンを利用して全ての通信装置100へ網同期をとるための情報を同報送信することが可能であり、同期情報を管理する網同期タイマ管理部113および、各通信装置100の送信タイミングをタイムスロットに割り当てて管理するための送信タイミング管理テーブル114、各通信装置100の撮像タイミングおよび撮像周期に関する情報を格納する動作パラメータ設定テーブル115を有する。
Furthermore, the
また、画像監視装置120は、無線画像通信装置100から送信されてくる画像データを表示する情報処理装置である。本装置120は、JPEGやMPEG方式のような画像符号化アルゴリズムに基づいて画像データの伸張処理を行う符号化処理機能、ディスプレイへの画像表示機能、磁気ディスクなどの記録媒体へ画像データを格納するデータ蓄積機能、無線基地局110の動作パラメータ設定テーブル115に対する設定を行うための保守機能を有する。
The
(実施例の動作)
図1に示す本実施例について、はじめに無線画像通信装置100がネットワークに導入されるまでの初期設定に関する動作を示す。図2のシーケンス図を参照すると、本システムでは無線画像通信装置100の動作に先立って、各通信装置100毎に動作パラメータ設定テーブル115の設定が行われる(ステップ201〜202)。これらのパラメータは撮像タイミングおよび撮像周期である(図3参照)。
(Operation of the embodiment)
With respect to the present embodiment shown in FIG. 1, an operation related to initial setting until the wireless image communication apparatus 100 is first introduced into the network will be described. Referring to the sequence diagram of FIG. 2, in the present system, the operation parameter setting table 115 is set for each communication device 100 prior to the operation of the wireless image communication device 100 (
図3の各値の単位はタイムスロット時間、撮像タイミング値は送信タイミングに対するオフセット値、STa,STb,STcはそれぞれ3台の通信装置100a,b,cを示している。また、図4にタイムスロットの割り当て状況を表す送信タイミング管理テーブル114の構成例を示す。
The unit of each value in FIG. 3 is the time slot time, the imaging timing value is an offset value with respect to the transmission timing, and STa, STb, and STc indicate three
本実施例の説明では、1タイムスロット時間を100ms、タイムスロット数が40であるものとする。また後述のビーコンはこのタイムスロットに同期しており、タイムスロット時刻39毎に周期的に同報送信が行われているものとする。
In the description of this embodiment, it is assumed that one time slot time is 100 ms and the number of time slots is 40. Further, a beacon described later is synchronized with this time slot, and broadcast transmission is performed periodically at each
次に、無線画像通信装置100の電源が投入されてから撮像タイマ40および送信タイマ41が起動するまでのシーケンスを示す。電源が投入されると通信装置100は無線処理部を起動し、無線基地局110からのビーコン監視を行う(ステップ203〜204)。
Next, a sequence from when the power of the wireless image communication apparatus 100 is turned on until the
ビーコンには、基地局110と各通信装置100との間で網同期をとるための情報として、網内で利用されている絶対時刻および刻み幅、現在のタイムスロット時刻と1タイムスロット時間の値が含まれている。ビーコン周期になり通信装置100がこれを受信すると、通信装置100は網同期タイマ42の制御によりローカルに維持する絶対時刻および刻み幅の設定を行うとともに、このタイマ42に同期して動作するタイマ40,41の刻み幅を100ms(1タイムスロット時間)に設定する(ステップ206〜207)。
In the beacon, as information for network synchronization between the
次いで、通信装置100は端末IDの通知および動作タイミングの設定要求を行う(ステップ208)。ここで基地局110は、動作パラメータ設定テーブル115を参照して該当の端末IDに関する撮像タイミングおよび撮像周期を認識する。ここでは通信装置100aの撮像周期が1sに設定されていることから、1秒周期で4回のタイムスロットを割り当て可能かどうかのチェックを行い、可能な場合にはタイムスロットの割り当てを行い、送信タイミング管理テーブル114の更新を行う(ステップ209,211)。
Next, the communication device 100 issues a terminal ID notification and an operation timing setting request (step 208). Here, the
図4では、タイムスロット「04」,「14」,「24」,「34」が通信装置100aに、「02」,「22」が通信装置100bに、「09」が通信装置100cに割り当てられた例を示している。またビーコン送信用としてタイムスロット「39」が予約されており、このスロットに関しては各通信装置100への割り当てはできないものとする。ここで、仮に多数の通信装置100が既に収容されている等の理由によって新たなタイムスロット割り当てが不可能な状態である場合には、基地局110は画像監視装置120経由で保守者へのNG通知を行う(ステップ210)。この際には、保守者は該当の通信装置100に対して許容可能な動作パラメータを再度設定する手順からやり直す必要がある(ステップ201〜202)。
In FIG. 4, time slots “04”, “14”, “24”, “34” are assigned to the communication device 100a, “02”, “22” are assigned to the
基地局110はこの後、タイマ通常値(1s)の通知および、現在のタイムスロット時刻を参照し、次に到達する割り当てタイムスロットまでの時間を初期値として送信タイマ部41に設定、この値に対して更にオフセットを考慮した値を撮像タイマ部40に設定する(ステップ212〜214)。
Thereafter, the
このステップ212〜214の動作を図5のタイムチャートに詳述する。以上のステップにより撮像タイマ40および送信タイマ41が起動すると通信装置100では無線回路部30をサスペンドすることによって全ての初期設定が完了し、タイマ部40,41以外の回路が動作していないサスペンド状態に遷移する(ステップ215)。なお、各通信装置100に対してこのオフセット値を適当に調整することによって、送信タイミングの異なる複数の通信装置100に対して同一の撮像タイミングを設定することも可能である。
The operation of
次いで、サスペンド状態で各タイマ40,41が満了した際の動作を図6のタイムチャートに示す。タイムスロット時刻「02」にて撮像タイマ部40が満了すると、タイマ通常値(1s)でタイマを再起動するとともに、撮像処理部10への割り込み信号通知を行う。これによって、クロックの遮断が解除され回路動作が開始され、撮影・符号化されたデータがバッファ20へ書き込まれる。この一連の処理が完了すると、同処理部10は、再びクロックを遮断してサスペンド状態に遷移する。
Next, the operation when the
次に、タイムスロット時刻「04」にて送信タイマ部41が満了すると、タイマ通常値(1s)でタイマを再起動するとともに、撮像処理部10への割り込み信号通知を行う。これによって、クロックの遮断が解除され回路動作が開始され、バッファ20からデータを読み出して無線インタフェースでの送信を行う。この一連の処理が完了すると、同処理部30は、再びクロックを遮断してサスペンド状態に遷移する。
Next, when the
なお、図6に示す定常状態において、無線画像通信装置100は常時ビーコンを受信し続ける必要はないものの、水晶発信器の精度によって発生する網同期タイマ42の誤差を補正するために長周期でビーコンを受信する必要がある。これを実装する手法の一例としては、網同期タイマ42を構成するカウンタのオーバフロー契機を利用すればよく、データ送信完了時のクロック遮断を一時的にキャンセルしてタイムスロット一周分(100ms×40)の間ビーコンを捕捉することで実現可能である。
In the steady state shown in FIG. 6, the wireless image communication apparatus 100 does not always have to continuously receive a beacon, but in order to correct the error of the
以上説明したように、本発明の実施例によれば、無線画像通信装置100は無線基地局110が設定したタイマ起動タイミングを利用することで、すべての他の通信装置100と異なるタイミングでデータ送信を行うことが可能である。したがって通信装置100は、データ送信時間を最小限に抑えサスペンド時間を最大限に確保することによって低電力化を実現することが可能となる。
As described above, according to the embodiment of the present invention, the wireless image communication apparatus 100 uses the timer start timing set by the
また、単純なハードウェア回路により実現可能な送信タイマ部40を配備することによって、いったん無線基地局110がタイマを設定した後は基地局110からの制御が不要になるとともに、このタイマを利用することで、サスペンド状態においてはポーリング監視など一切のフレーム受信処理が不要となるため、RF回路を含めすべての無線回路の動作を停止できるというメリットがあるという点で低電力化に対する大きな効果がある。
In addition, by providing the
加えて、定常状態においては他の通信装置100との競合が発生しないことから、データ送信中においてもポーリング監視やキャリアセンスなど一切のメディア競合制御処理を行う必要が無くなり、MAC処理部31における回路の電力を大幅に削減可能という効果がある。さらに、非アクセス時に電力消費が少ない不揮発性メモリでバッファ20を構成することによって、撮像処理部10および撮像処理部10のサスペンド状態において、回路全体の消費電力をさらに下げることも可能である。
In addition, since there is no contention with other communication devices 100 in the steady state, there is no need to perform any media contention control processing such as polling monitoring or carrier sense even during data transmission, and the circuit in the
さらには、これらにより搭載する通信装置100の電源容量を減らし、装置を小型化することが可能となる。 Furthermore, it is possible to reduce the power supply capacity of the communication device 100 to be mounted and to reduce the size of the device.
実施例2として、図7のように二つ以上の無線基地局110a,bが存在する大規模なシステムを考える。この実施例においては、複数の無線基地局110が画像監視装置120に対してデータを送信することになるため、システム内で発生するトラフィック量が大きく有線ネットワークの帯域や監視装置120の性能に影響を与える場合には、この箇所に存在する有線ネットワークや監視装置120自身における送信データの競合を考慮する必要がある。
As a second embodiment, consider a large-scale system in which two or more
この場合には、実施例1において無線基地局110が各通信装置100毎に管理していたタイムスロット割り当て状況(送信タイミング管理テーブル114)および撮像タイミング/撮像周期に関する情報(動作パラメータ設定テーブル115)を、図8のように画像監視装置120自身で管理するとともに、必要時に各基地局に対して情報の同期化を図ればよい。
In this case, the time slot allocation status (transmission timing management table 114) managed by the
この同期化タイミングは、フロー図2のステップ202およびステップ211の契機が該当する。加えて画像監視装置120および各無線基地局110a,bとの間では、それぞれの網同期タイマ管理部113,123が同期する必要がある。この手法の一例としては、監視装置120より各基地局110a,bに対し、周期的に時刻値やパルスなどの同期情報を同報する、という実装手段があげられる。
This synchronization timing corresponds to the trigger of step 202 and step 211 in the flowchart of FIG. In addition, the network synchronization
次に、実施例3として、無線画像通信装置100の電源容量に応じてフレームレートや送信データ量を動的に変動させる制御について説明する。 Next, as Example 3, control for dynamically changing the frame rate and the amount of transmission data according to the power supply capacity of the wireless image communication apparatus 100 will be described.
図9において電源容量監視部は、搭載するバッテリーの容量や太陽電池のような発電機構が生成する電力の容量を監視する機能をもつ。ここで検出した値があるしきい値を下回った場合には、監視部60は撮像タイマ部40および送信タイマ部41の制御を行い、撮像/送信周期の伸張を行う。具体動作としては、図3,図4のように通信装置100aのタイムスロットが割り当てられている場合において、撮像タイマ部40や送信タイマ部41のタイムアウト契機に行っていたクロック遮断解除動作を1/n回に間引くという処理が実施される。
In FIG. 9, the power capacity monitoring unit has a function of monitoring the capacity of the battery to be mounted and the capacity of the power generated by the power generation mechanism such as a solar battery. When the detected value falls below a certain threshold value, the monitoring unit 60 controls the
したがって、フレームレートの動的な低下により撮像処理部10および無線処理部30の動作周期が伸張することによって、電源容量不足時における電力消費の抑制が可能となる。同様に、電源容量に応じた制御対象として、画素数、圧縮率といった符号化処理部13における符号化パラメータを動的な制御対象とすることよって送信データ量を削減し、無線処理部30の電力消費を抑制させるという手段をとってもよい。
Therefore, the operation period of the
本実施例における特徴として、通信装置100aがフレームレートや送信データ量を動的に変動させる際に基地局110に対する通知なしで自律的に実施することが可能であるため、他の通信装置100に割り当てられているタイムスロット構成への影響を与えることがなく、他の通信装置100におけるデータ送信タイミングに一切影響を与えないという点があげられる。
As a feature of the present embodiment, when the communication device 100a dynamically changes the frame rate or the amount of transmission data, it can be performed autonomously without notification to the
次に、実施例4として、タイマ部40,41の構成をさらに簡素化したケースについて説明する。
Next, as a fourth embodiment, a case in which the configuration of the
前述の実施例3においては、図6に示したように通信装置100内での撮像タイミングと送信タイミングが異なっていたが、これらを特に異なるタイミングで動作させる必要がなく、また複数の通信装置100における撮像タイミングを一致させる必要がない場合には、タイマ部40,41を別々に構成せず共用することも可能である(図10参照)。この場合には、撮像処理部10のデータ書き込み処理と、無線処理部30の読み出し処理が同時に行えるようにバッファ20を2フレーム格納できる2面構成にすればよく、この場合には回路構成をより簡素化させることが可能である。
In the above-described third embodiment, the imaging timing and the transmission timing in the communication apparatus 100 are different as shown in FIG. 6, but it is not necessary to operate them at different timings, and a plurality of communication apparatuses 100 are used. When it is not necessary to match the image capturing timings in FIGS. 10A and 10B, the
以上、本発明の実施例1〜4について説明したが、上記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。 As mentioned above, although Example 1-4 of this invention was demonstrated, it is not limited to the said Example, A various deformation | transformation is possible in the range which does not deviate from the summary.
本発明は、監視や定点観測の用途に用いられる画像通信システムに適用できる。 The present invention can be applied to an image communication system used for monitoring or fixed point observation.
10 撮像処理部
11 画像センサ
12 A/Dコンバータ
13 符号化処理部
20 バッファ
30 無線処理部
31 MAC処理部
32 ベースバンド処理部
33 RF処理部
40 撮像タイマ部
41 送信タイマ部
42 網同期タイマ部
50 クロック供給部
60 電源容量監視部
100a、100b、100c 無線画像通信装置
110、110a、110b 無線基地局
111 無線処理部
112 有線処理部
113 網同期タイマ管理部
114 送信タイミング管理テーブル
115 動作パラメータ設定テーブル
120 画像監視装置
123 網同期タイマ管理部(主)
124 送信タイミング管理テーブル(主)
125 動作パラメータ設定テーブル(主)
130 撮像対象物
DESCRIPTION OF
124 Transmission timing management table (main)
125 Operation parameter setting table (main)
130 Object to be imaged
Claims (13)
前記複数の無線画像通信装置と無線同報通信を行う無線基地局と、
前記無線基地局を介して前記画像データを受信し表示する画像監視装置と、からなる無線画像通信システムであって、
前記各無線画像通信装置は、
画像を撮像し、撮像画像を画像データとして圧縮する撮像処理部と、
前記画像データの送信を行う無線処理部と、
前記撮像処理部を所定の周期毎に起動する撮像タイマ部と、
前記無線処理部を所定の周期毎に起動する送信タイマ部と、を有し、
前記無線基地局は、
前記送信タイマ部の送信タイミングを格納する送信タイミング管理部と、
前記撮像タイマ部の撮像タイミング及び撮像周期を含む動作パラメータを格納する動作パラメータ設定部と、を有し、
前記無線基地局が前記無線画像通信装置毎に前記動作パラメータを予め設定する動作パラメータ設定手段と、
前記無線画像通信装置が前記無線基地局に対し前記動作パラメータの設定要求を行う動作パラメータ設定要求手段と、
前記無線基地局が予め格納されている送信タイミングの更新を行う送信タイミング更新手段と、
前記基地局が前記送信タイマ部及び前記撮像タイマ部に対し、前記更新した送信タイミング及び前記動作パラメータを設定するタイマ部設定手段と、
前記無線画像通信装置が前記送信タイマ部及び前記撮像タイマ部以外の回路部が動作していないサスペンド状態に遷移するサスペンド状態遷移手段と、を有し、
前記送信タイミング管理部及び前記動作パラメータ設定部によって設定された、前記送信タイミング及び前記動作パラメータに基づいて、前記無線処理部及び前記撮像処理部の間欠動作を行うことによって、他の無線画像通信装置と異なるタイミングでデータ送信を行うことを特徴とする無線画像通信システム。 A plurality of wireless image communication devices that wirelessly transmit image data;
A wireless base station that performs wireless broadcast communication with the plurality of wireless image communication devices;
A wireless image communication system comprising: an image monitoring device that receives and displays the image data via the wireless base station;
Each of the wireless image communication devices is
An imaging processing unit that captures an image and compresses the captured image as image data;
A wireless processing unit for transmitting the image data;
An imaging timer unit that activates the imaging processing unit at predetermined intervals;
A transmission timer unit that activates the wireless processing unit at predetermined intervals;
The radio base station is
A transmission timing management unit for storing the transmission timing of the transmission timer unit;
An operation parameter setting unit for storing operation parameters including an imaging timing and an imaging cycle of the imaging timer unit,
Operational parameter setting means for the wireless base station to preset the operational parameter for each wireless image communication device;
Operation parameter setting request means for the wireless image communication apparatus to make a setting request for the operation parameter to the wireless base station;
Transmission timing updating means for updating the transmission timing stored in advance by the radio base station;
Timer unit setting means for the base station to set the updated transmission timing and the operation parameter for the transmission timer unit and the imaging timer unit,
Suspend state transition means for transitioning to a suspend state in which the wireless image communication device is not operating circuit units other than the transmission timer unit and the imaging timer unit,
Another wireless image communication apparatus is configured to perform intermittent operation of the wireless processing unit and the imaging processing unit based on the transmission timing and the operation parameter set by the transmission timing management unit and the operation parameter setting unit. A wireless image communication system, wherein data transmission is performed at different timing.
前記無線画像通信装置が前記無線基地局からのビーコンを監視及び受信し、前記網同期タイマ部の制御により無線網内の絶対時刻及び刻み幅の設定を行う絶対時刻・刻み幅設定手段をさらに有することを特徴とする請求項1記載の無線画像通信システム。 The wireless image communication device further includes a network synchronization timer unit synchronized with the transmission timer unit and the imaging timer unit,
The wireless image communication apparatus further includes an absolute time / step size setting means for monitoring and receiving a beacon from the wireless base station and setting an absolute time and a step size in the wireless network under the control of the network synchronization timer unit. The wireless image communication system according to claim 1.
前記電源容量に応じてフレームレートや送信データ量を制御することによって、電源容量不足時における電力消費の抑制が可能であることを特徴とする請求項1記載の無線画像通信システム。 The wireless image communication device further includes a power supply dose monitoring unit that monitors power capacity,
The wireless image communication system according to claim 1, wherein power consumption can be suppressed when the power capacity is insufficient by controlling a frame rate and a transmission data amount according to the power capacity.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003392305A JP4466052B2 (en) | 2003-11-21 | 2003-11-21 | Wireless image communication system, wireless image communication apparatus, and wireless image communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003392305A JP4466052B2 (en) | 2003-11-21 | 2003-11-21 | Wireless image communication system, wireless image communication apparatus, and wireless image communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005159530A true JP2005159530A (en) | 2005-06-16 |
JP4466052B2 JP4466052B2 (en) | 2010-05-26 |
Family
ID=34719049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003392305A Expired - Fee Related JP4466052B2 (en) | 2003-11-21 | 2003-11-21 | Wireless image communication system, wireless image communication apparatus, and wireless image communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4466052B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010514314A (en) * | 2006-12-18 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | WLAN QoS scheduling method in heterogeneous applications |
WO2019049455A1 (en) * | 2017-09-05 | 2019-03-14 | ソニー株式会社 | Imaging device, reproduction device, control method, and control system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6033032B2 (en) | 2012-10-09 | 2016-11-30 | オリンパス株式会社 | Imaging display system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08139634A (en) * | 1994-11-07 | 1996-05-31 | Casio Comput Co Ltd | Radio transmitter/receiver |
JPH11168770A (en) * | 1997-12-04 | 1999-06-22 | Matsushita Electric Ind Co Ltd | Radio image communication device |
JP2000244523A (en) * | 1999-02-22 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Radio packet communication system |
JP2001221874A (en) * | 2000-02-14 | 2001-08-17 | Toshiba Corp | Time synchronization system |
-
2003
- 2003-11-21 JP JP2003392305A patent/JP4466052B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08139634A (en) * | 1994-11-07 | 1996-05-31 | Casio Comput Co Ltd | Radio transmitter/receiver |
JPH11168770A (en) * | 1997-12-04 | 1999-06-22 | Matsushita Electric Ind Co Ltd | Radio image communication device |
JP2000244523A (en) * | 1999-02-22 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Radio packet communication system |
JP2001221874A (en) * | 2000-02-14 | 2001-08-17 | Toshiba Corp | Time synchronization system |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010514314A (en) * | 2006-12-18 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | WLAN QoS scheduling method in heterogeneous applications |
WO2019049455A1 (en) * | 2017-09-05 | 2019-03-14 | ソニー株式会社 | Imaging device, reproduction device, control method, and control system |
CN111052723A (en) * | 2017-09-05 | 2020-04-21 | 索尼公司 | Imaging apparatus, reproduction apparatus, control method, and control system |
JPWO2019049455A1 (en) * | 2017-09-05 | 2020-08-20 | ソニー株式会社 | Imaging device, playback device, control method, and control system |
US11025868B2 (en) | 2017-09-05 | 2021-06-01 | Sony Corporation | Imaging apparatus, reproducing apparatus, control method, and control system |
CN111052723B (en) * | 2017-09-05 | 2022-01-14 | 索尼公司 | Imaging apparatus, reproduction apparatus, control method, and control system |
JP7173020B2 (en) | 2017-09-05 | 2022-11-16 | ソニーグループ株式会社 | Imaging device and control method |
Also Published As
Publication number | Publication date |
---|---|
JP4466052B2 (en) | 2010-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8619652B2 (en) | System and method for adaptive sleep of wirelessly networked devices | |
CN103237337B (en) | A kind of wireless senser adaptive network dormancy control method | |
US20080122938A1 (en) | System for Surveillance and a Method for the Application Thereof | |
JP2009542123A (en) | Low duty cycle network controller | |
WO2012035706A1 (en) | Lighting device | |
EP1503545A2 (en) | Method and apparatus for controlling power consumption of stations on CSMA/CA-based wireless lan | |
US10999793B2 (en) | Power management techniques for a power sensitive wireless device | |
JP3708095B2 (en) | Wireless communication apparatus and wireless communication method | |
US11943710B2 (en) | Electronic device, method, medium and apparatus for managing extender nodes | |
US9442549B2 (en) | Low power paging of consumer electronics | |
US7769362B2 (en) | System and method for power management | |
JP4466052B2 (en) | Wireless image communication system, wireless image communication apparatus, and wireless image communication method | |
CN110958612A (en) | Edge calculation unloading period minimization method under multi-user scene | |
KR101979671B1 (en) | Method And Apparatus for Minimizing Beacon Signal Processing by Using Beacon Element | |
CN110972207B (en) | Low-power consumption wireless photographing access and transmission method | |
WO2014024175A2 (en) | Managing timers | |
CN111543091B (en) | Dual mode electronic device | |
CN109302736B (en) | Sleep control method and device for wireless local area network, storage medium, workstation and terminal | |
JP5158511B2 (en) | Wireless LAN communication network system, wireless LAN communication network system management program, and computer-readable storage medium storing wireless LAN communication network system management program | |
JP2008113319A (en) | Network device and its control method | |
EP4366396A1 (en) | Method of resyncing a conserving battery-powered electronic device with an access point, and electronic device and system for performing the method | |
EP4007230A1 (en) | Monitoring system | |
EP4006861A1 (en) | Monitoring system | |
CN118301469A (en) | Network protocol camera keep-alive method and device | |
CN115396592A (en) | Panoramic detail camera and sleeping and awakening method and device thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100215 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |