JP3912841B2 - データ通信装置 - Google Patents

データ通信装置 Download PDF

Info

Publication number
JP3912841B2
JP3912841B2 JP09219597A JP9219597A JP3912841B2 JP 3912841 B2 JP3912841 B2 JP 3912841B2 JP 09219597 A JP09219597 A JP 09219597A JP 9219597 A JP9219597 A JP 9219597A JP 3912841 B2 JP3912841 B2 JP 3912841B2
Authority
JP
Japan
Prior art keywords
image data
moving image
data
still image
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09219597A
Other languages
English (en)
Other versions
JPH10285564A (ja
Inventor
賢道 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP09219597A priority Critical patent/JP3912841B2/ja
Priority to US09/053,748 priority patent/US6453071B2/en
Publication of JPH10285564A publication Critical patent/JPH10285564A/ja
Priority to US10/194,664 priority patent/US6683999B2/en
Application granted granted Critical
Publication of JP3912841B2 publication Critical patent/JP3912841B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、動画像データおよび静止画像データを送信するデータ通信装置関す
【0002】
【従来の技術】
近年、デジタルVTRやカメラ一体型デジタルVTR等の家電機器もパソコン(以下、PC)への入力手段の一つとして使用したいというニーズが高まっている。それに伴い、デジタルVTRやカメラ一体型デジタルVTRにより再生された動画像をデジタルデータのままでPC等の編集機器に取り込み、必要に応じて各種の加工処理を施して編集したり、ハードディスク等の記録媒体に記録したり、又プリンタ等の画像出力装置にて印刷するといった分野の技術が進んでいる。
【0003】
例えば、PCを介してデジタルVTRとプリンタを接続して構成した通信システムにおいて、該デジタルVTRにて再生された動画像の中から静止画像を印刷した場合、PCは該デジタルVTRから送信された動画像データを取り込み、該動画像データから所望の1フレーム分の静止画像を抜き出す。PCは必要に応じて該静止画像に編集処理を行い、1フレーム分の静止画像に基づく画像データをデジタルVTRとは別の通信インタフェースに接続されたプリンタに供給することにより、静止画像を印刷出力するという手順で行われていた。
【0004】
【発明が解決しようとする課題】
しかしながら、上述のような通信システムにおいて、デジタルVTRからの動画像データをPCに取り込む場合、PCはデジタルVTRにて再生された大容量の動画像データを取り込み、一度ハードディスク等の記録媒体に保持した上で、所望の静止画像を選択して抜き出す必要があり、PC自体の負担は大きかった。しかも、PC自身の処理能力或いは使用環境によっては、外部のプリンタから印刷出力されるまでに時間がかかったり、PCやプリンタが正常に動作しなくなってしまうことがあった。
【0005】
そこで、本発明は、PC等の編集機器がなくても、動画像データと当該動画像データの一部に対応する静止画像データとを通信システム上の各機器にほぼ同時に提供することができるデータ通信装置提供することを目的とする
【0006】
【課題を解決するための手段】
本発明に係るデータ通信装置は、例えば、動画像データを生成する生成手段と、前記動画像データの一部に対応する静止画像データを記憶する記憶手段と、前記動画像データおよび前記静止画像データをアイソクロナス転送により時分割に送信する送信手段とを有し、前記送信手段は、前記動画像データの送信を要求する指示があった場合は、前記動画像データを第1のチャネルを用いてアイソクロナス転送により送信し、前記動画像データの送信中に前記静止画像データの送信を要求する指示があった場合は、前記静止画像データを第2のチャネルを用いてアイソクロナス転送により送信することを特徴とする。
【0010】
【発明の実施の形態】
以下、本発明に係る実施例を図面を用いて詳細に説明する。
【0011】
図1は本発明に係る実施例であるカメラ一体型デジタルVTR101を用いて構成された通信ネットワークを示すブロック図である。尚、該通信ネットワークはIEEE1394シリアルバスに準拠した通信が可能である。
【0012】
本実施例の通信ネットワークは、IEEE1394シリアルバスを用いて構成されているため、以下にIEEE1394シリアルバスの技術について簡単に説明する。
【0013】
《IEEE1394の技術の概要》
家庭用デジタルVTRやDVDの登場も伴って、ビデオデータやオーディオデータなどのリアルタイムでかつ高情報量のデータ転送のサポートが必要になっている。こういったビデオデータやオーディオデータをリアルタイムで転送し、パソコン(PC)に取り込んだり、またはその他のデジタル機器に転送を行なうには、必要な転送機能を備えた高速データ転送可能なインタフェースが必要になってくるものであり、そういった観点から開発されたインタフェースがIEEE1394−1995(High Performance Serial Bus)(以下1394シリアルバス)である。
【0014】
図9に1394シリアルバスを用いて構成されるネットワーク・システムの例を示す。このシステムは機器A,B,C,D,E,F,G,Hを備えており、A−B間、A−C間、B−D間、D−E間、C−F間、C−G間、及びC−H間をそれぞれ1394シリアルバスのツイスト・ペア・ケーブルで接続されている。この機器A〜Hは例としてPC、デジタルVTR、DVD、デジタルカメラ、ハードディスク、モニタ等である。
【0015】
各機器間の接続方式は、ディジーチェーン方式とノード分岐方式とを混在可能としたものであり、自由度の高い接続が可能である。
【0016】
また、各機器は各自固有のIDを有し、それぞれが認識し合うことによって1394シリアルバスで接続された範囲において、1つのネットワークを構成している。各デジタル機器間をそれぞれ1本の1394シリアルバスケーブルで順次接続するだけで、それぞれの機器が中継の役割を行い、全体として1つのネットワークを構成するものである。また、1394シリアルバスの特徴でもある、Plug & Play機能でケーブルを機器に接続した時点で自動で機器の認識や接続状況などを認識する機能を有している。
【0017】
また、図9に示したようなシステムにおいて、ネットワークからある機器が削除されたり、または新たに追加されたときなど、自動的にバスリセットを行い、それまでのネットワーク構成をリセットしてから、新たなネットワークの再構築を行なう。この機能によって、その時々のネットワークの構成を常時設定、認識することができる。
【0018】
またデータ転送速度は、100/200/400Mbpsと備えており、上位の転送速度を持つ機器が下位の転送速度をサポートし、互換をとるようになっている。
【0019】
データ転送モードとしては、コントロール信号などの非同期データ(Asynchronous データ:以下Asyncデータ)を転送するAsynchronous転送モード、リアルタイムなビデオデータやオーディオデータ等の同期データ(Isochronousデータ:以下Isoデータ)を転送するIsochronous転送モードがある。このAsyncデータとIsoデータは各サイクル(通常1サイクル125μS)の中において、サイクル開始を示すサイクル・スタート・パケット(CSP)の転送に続き、Isoデータの転送を優先しつつサイクル内で混在して転送される。
【0020】
次に、図10に1394シリアルバスの構成要素を示す。
【0021】
1394シリアルバスは全体としてレイヤ(階層)構造で構成されている。図8に示したように、最もハード的なのが1394シリアルバスのケーブルであり、そのケーブルのコネクタが接続されるコネクタポートがあり、その上にハードウェアとしてフィジカル・レイヤとリンク・レイヤがある。
【0022】
ハードウェア部は実質的なインターフェイスチップの部分であり、そのうちフィジカル・レイヤは符号化やコネクタ関連の制御等を行い、リンク・レイヤはパケット転送やサイクルタイムの制御等を行なう。
【0023】
ファームウェア部のトランザクション・レイヤは、転送(トランザクション)すべきデータの管理を行ない、ReadやWriteといった命令を出す。シリアルバスマネージメントは、接続されている各機器の接続状況やIDの管理を行ない、ネットワークの構成を管理する部分である。
【0024】
このハードウェアとファームウェアまでが実質上の1394シリアルバスの構成である。
【0025】
またソフトウェア部のアプリケーション・レイヤは使うソフトによって異なり、インタフェース上にどのようにデータをのせるか規定する部分であり、AVプロトコルなどのプロトコルによって規定されている。
【0026】
以上が1394シリアルバスの構成である。
【0027】
《バスリセットのシーケンス》
1394シリアルバスでは、接続されている各機器(ノード)にはノードIDが与えられ、ネットワーク構成として認識されている。
【0028】
このネットワーク構成に変化があったとき、例えばノードの挿抜や電源のON/OFFなどによるノード数の増減などによって変化が生じて、新たなネットワーク構成を認識する必要があるとき、変化を検知した各ノードはバス上にバスリセット信号を送信して、新たなネットワーク構成を認識するモードに入る。このときの変化の検知方法は、1394ポート基盤上でのバイアス電圧の変化を検知することによって行われる。
【0029】
あるノードからバスリセット信号が伝達されて、各ノードのフィジカルレイヤはこのバスリセット信号を受けると同時にリンクレイヤにバスリセットの発生を伝達し、かつ他のノードにバスリセット信号を伝達する。最終的にすべてのノードがバスリセット信号を検知した後、バスリセットが起動となる。
【0030】
バスリセットは、先に述べたようなケーブル抜挿や、ネットワーク異常等によるハード検出による起動と、プロトコルからのホスト制御などによってフィジカルレイヤに直接命令を出すことによっても起動する。
【0031】
また、バスリセットが起動するとデータ転送は一時中断され、この間のデータ転送は待たされ、終了後、新しいネットワーク構成のもとで再開される。
【0032】
以上がバスリセットのシーケンスである。
【0033】
《Asynchronous(非同期)転送》
アシンクロナス転送は、非同期転送である。図11にアシンクロナス転送における時間的な遷移状態を示す。図11の最初のサブアクション・ギャップは、バスのアイドル状態を示すものである。このアイドル時間が一定値になった時点で、転送を希望するノードはバスが使用できると判断して、バス獲得のためのアービトレーションを実行する。
【0034】
アービトレーションでバスの使用許可を得ると、次にデータの転送がパケット形式で実行される。データ転送後、受信したノードは転送されたデータに対しての受信結果のack(受信確認用返送コード)をack gapという短いギャップの後、返送して応答するか、応答パケットを送ることによって転送が完了する。ackは4ビットの情報と4ビットのチェックサムからなり、成功か、ビジー状態か、ペンディング状態であるかといった情報を含み、すぐに送信元ノードに返送される。
【0035】
次に、図12にアシンクロナス転送のパケットフォーマットの例を示す。
【0036】
パケットには、データ部及び誤り訂正用のデータCRCの他にはヘッダ部があり、そのヘッダ部には図12に示したような、目的ノードID、ソースノードID、転送データ長さや各種コードなどが書き込まれ、転送が行なわれる。
【0037】
また、アシンクロナス転送は自己ノードから相手ノードへの1対1の通信である。転送元ノードから転送されたパケットは、ネットワーク中の各ノードに行き渡るが、自分宛てのアドレス以外のものは無視されるので、宛先の1つのノードのみが読み込むことになる。
【0038】
以上がアシンクロナス転送の説明である。
【0039】
《Isochronous(同期)転送》
アイソクロナス転送は同期転送である。1394シリアルバスの最大の特徴であるともいえるこのアイソクロナス転送は、特にVIDEO映像データや音声データといったマルチメディアデータなど、リアルタイムな転送を必要とするデータの転送に適した転送モードである。
【0040】
また、アシンクロナス転送(非同期)が1対1の転送であったのに対し、このアイソクロナス転送はブロードキャスト機能によって、転送元の1つのノードから他のすべてのノードへ一様に転送される。
【0041】
図13はアイソクロナス転送における、時間的な遷移状態を示す図である。
【0042】
アイソクロナス転送は、バス上一定時間毎に実行される。この時間間隔をアイソクロナスサイクルと呼ぶ。アイソクロナスサイクル時間は、125μSである。この各サイクルの開始時間を示し、各ノードの時間調整を行なう役割を担っているのがサイクル・スタート・パケットである。サイクル・スタート・パケットを送信するのは、サイクル・マスタと呼ばれるノードであり、1つ前のサイクル内の転送終了後、所定のアイドル期間(サブアクションギャップ)を経た後、本サイクルの開始を告げるサイクル・スタート・パケットを送信する。このサイクル・スタート・パケットの送信される時間間隔が125μSとなる。
【0043】
また、図13にチャネルA、チャネルB、チャネルCと示したように、1サイクル内において複数種のパケットがチャネルIDをそれぞれ与えられることによって、区別して転送できる。これによって同時に複数ノード間でのリアルタイムな転送が可能であり、また受信するノードでは自分が欲しいチャネルIDのデータのみを取り込む。このチャネルIDは送信先のアドレスを表すものではなく、データに対する論理的な番号を与えているに過ぎない。よって、あるパケットの送信は1つの送信元ノードから他のすべてのノードに行き渡る、ブロードキャストで転送されることになる。
【0044】
アイソクロナス転送のパケット送信に先立って、アシンクロナス転送同様アービトレーションが行われる。しかし、アシンクロナス転送のように1対1の通信ではないので、アイソクロナス転送にはack(受信確認用返信コード)は存在しない。
【0045】
また、図13に示したiso gap(アイソクロナスギャップ)とは、アイソクロナス転送を行なう前にバスが空き状態であると認識するために必要なアイドル期間を表している。この所定のアイドル期間を経過すると、アイソクロナス転送を行ないたいノードはバスが空いていると判断し、転送前のアービトレーションを行なうことができる。
【0046】
つぎに、図14にアイソクロナス転送のパケットフォーマットの例を示し、説明する。
【0047】
各チャネルに分かれた、各種のパケットにはそれぞれデータ部及び誤り訂正用のデータCRCの他にヘッダ部があり、そのヘッダ部には図14に示したような、転送データ長やチャネルNO、その他各種コード及び誤り訂正用のヘッダCRCなどが書き込まれ、転送が行なわれる。
【0048】
以上がアイソクロナス転送の説明である。
【0049】
《バス・サイクル》
実際の1394シリアルバス上の転送では、アイソクロナス転送と、アシンクロナス転送は混在できる。その時の、アイソクロナス転送とアシンクロナス転送が混在した、バス上の転送状態の時間的な遷移の様子を表した図を図15に示す。
【0050】
アイソクロナス転送はアシンクロナス転送より優先して実行される。その理由は、サイクル・スタート・パケットの後、アシンクロナス転送を起動するために必要なアイドル期間のギャップ長(サブアクションギャップ)よりも短いギャップ長(アイソクロナスギャップ)で、アイソクロなす転送を起動できるからである。したがって、アシンクロナス転送より、アイソクロナス転送は優先して実行されることとなる。
【0051】
図15に示した、一般的なバスサイクルにおいて、サイクル#mのスタート時にサイクル・スタート・パケットがサイクル・マスタから各ノードに転送される。これによって、各ノードで時刻調整を行ない、所定のアイドル期間(アイソクロナスギャップ)を待ってからアイソクロナス転送を行なうべきノードはアービトレーションを行い、パケット転送に入る。図15ではチャネルeとチャネルsとチャネルkが順にアイソクロナス転送されている。
【0052】
このアービトレーションからパケット転送までの動作を、与えられているチャネル分繰り返し行なった後、サイクル#mにおけるアイソクロナス転送がすべて終了したら、アシンクロナス転送を行うことができるようになる。
【0053】
アイドル時間がアシンクロナス転送が可能なサブアクションギャップに達する事によって、アシンクロナス転送を行いたいノードはアービトレーションの実行に移れると判断する。
【0054】
ただし、アシンクロナス転送が行える期間は、アイソクロナス転送終了後から、次のサイクル・スタート・パケットを転送すべき時間(cycle cynch)までの間にアシンクロナス転送を起動するためのサブアクションギャップが得られた場合に限っている。
【0055】
図15のサイクル#mでは3つのチャネル分のアイソクロナス転送と、その後アシンクロナス転送(含むack)が2パケット(パケット1、パケット2)転送されている。このアシンクロナスパケット2の後は、サイクルm+1をスタートすべき時間(cycle synch)にいたるので、サイクル#mでの転送はここまでで終わる。
【0056】
ただし、非同期または同期転送動作中に次のサイクル・スタート・パケットを送信すべき時間(cycle synch)に至ったとしたら、無理に中断せず、その転送が終了した後のアイドル期間を待ってから次サイクルのサイクル・スタート・パケットを送信する。すなわち、1つのサイクルが125μS以上続いたときは、その分次サイクルは基準の125μSより短縮されたとする。このようにアイソクロナス・サイクルが125μSを基準に超過、短縮し得るものである。
【0057】
しかし、アイソクロナス転送はリアルタイム転送を維持するために毎サイクル必要であれば必ず実行され、アシンクロナス転送はサイクル時間が短縮されたことによって次以降のサイクルにまわされることもある。
【0058】
こういった遅延情報も含めて、サイクル・マスタによって管理される。
【0059】
以上が、IEEE1394シリアルバスの説明である。
【0060】
(第1の実施例)
図1において、通信ネットワーク上の各電子機器は1394シリアルバスに準拠した通信が可能な通信手段を有し、夫々1394ケーブルにて接続されている。101は所定のフォーマット形式(例えば、SD−VTRやMPEG方式)のデジタル画像データを記録媒体に記録或いは再生可能な電子機器で、該記録媒体に記録された画像データを所定の手順でパケッタイズして外部機器に送信可能なカメラ一体型デジタルVTRである。102はカメラ一体型デジタルVTR101にて再生されるデジタル画像データを印刷出力可能なプリンタ、103はカメラ一体型デジタルVTR101から送信された静止画像や動画像データを表示可能なモニタである。
【0061】
尚、図1のネットワークは一例であって、接続構成も図1の各機器を任意に接続するものでよく、また各機器からさらに先に他の電子機器が接続された構成であっても構わない。また、接続される機器も、ハードディスク、CD、DVD等の電子機器で、1394シリアルバスに準拠したネットワークが構成できる機器なら何であってもよい。
【0062】
以下では上述のように構成された通信ネットワーク上の各機器の構成と動作を説明する。
【0063】
図2の記録再生装置101において、4は撮像部、5はA/Dコンバータ、6は映像信号処理回路、7は所定のアルゴリズムで記録時に圧縮、再生時に伸張を行なう圧縮/伸長回路、8は記録再生用のヘッド等を用いて、動画或いは静止画像を記録媒体19に記録し再生する記録再生部、9はシステムコントローラ、10は指示入力を行なう操作部、11はD/Aコンバータ、12は再生画像或いは撮像画像を表示するEVF(Electric View Finder)、13は非圧縮で転送する静止画像データを一時記憶する静止画用メモリ、14は静止画用メモリ13の読み出しや書き込み等のタイミングを制御するメモリ制御部、15は圧縮されて転送される動画像データを一時記憶するための動画用メモリ、16は動画用メモリ15の読み出しや書き込み等のタイミングを制御するメモリ制御部、17は各メモリ13、15の出力を選択するデータセレクタ、18は1394シリアルバスに準拠した通信可能なI/F部、19は、磁気テープにより構成された記憶媒体である。尚、本実施例では、磁気テープを記憶媒体としたカメラ一体型デジタルVTRについて説明するが、光ディスク、固体メモリ等を記憶媒体とするデジタルカムコーダであってもよい。
【0064】
プリンタ102において、20はプリンタ102における1394I/F部、21は制御用データと画像データを選別するデータセレクタ、22はプリント画像を形成する画像処理回路、23はプリント画像を形成する際に画像処理回路22が用いるメモリ、24はプリンタヘッド、25はプリンタヘッドや紙送り等を駆動させるドライバ、26はプリンタ102内部の各処理部を制御するプリンタコントローラ、27はプリンタの動作を操作する操作部である。
【0065】
モニタ103において、61はモニタ103に搭載された1394I/F部、62は所定のアルゴリズムで圧縮されたビデオデータを伸張するための復号化回路、63はD/Aコンバータ、64はCRT、65はモニタ103内の各処理部を制御するシステムコントローラ、66はモニタ103の動作を操作する操作部である。なお、本実施例のモニタ103には上述の構成の他に、テレビジョン信号を受信及び表示するための回路を設けてよい。
【0066】
次に、図2に示した通信ネットワークの動作について、図3に示したフローチャートと共に説明する。
【0067】
カメラ一体型デジタルVTR101において、ユーザは、操作部10を操作し、該カメラ一体型デジタルVTR101の動作状態が記録モードとなるように指示する(ステップS301)。
【0068】
撮像部4で撮像された動画像信号或いは静止画像信号は、A/Dコンバータ5でデジタル化された後、映像信号処理回路6で所定の画像処理がなされ、例えばNTSC方式等の標準テレビジョン信号が生成される。映像信号処理回路6の出力の一方は、D/Aコンバータ11でアナログ信号に変換され、撮像画像としてEVF12にて表示される。その他の出力は、圧縮/伸長回路7に供給され、所定のアルゴリズムで圧縮処理された後、記録再生部8にて記録媒体19に記録される。ここで、所定の圧縮処理とは、家庭用デジタルVTRの帯域圧縮方法の一つとして用いられるDCT(離散コサイン変換)及びVLC(可変長符号化)に基づいた圧縮方式、或いは動画像を高能率符号化してデータ圧縮するMPEG方式等がある。
【0069】
記録モード時の動画像データを外部機器に対して送信する場合、ユーザは操作部10を用いて所望の時点からの動画像を送信するように指示を与える。映像信号処理回路6から出力される動画像データは、圧縮/伸長回路7にて所定の圧縮処理され、圧縮状態のまま動画用メモリ15に供給される。また、これと並行して映像信号処理回路6から出力される動画像データは、動画像を数フレーム単位で記録する静止画用メモリ13に供給される。
【0070】
動画用メモリ15に記録されている動画像データは、メモリ制御部16の制御により、外部機器へリアルタイムに送信されるように随時読み出され、データセレクタ17に出力される。又、静止画像用メモリ13に記録させている静止画像データは、メモリ制御部14の制御により、必要に応じて非同期に送信されるように適宜読み出され、データセレクタ17に出力される。尚、メモリ制御部14の読み出し制御は、システムコントローラ9が操作部10からの指示に基づいてその動作を開始するように制御する。
【0071】
例えば、動画像を通信したい場合、ユーザは、操作部10に設けられた通信モード開始スイッチ(不図示)等により動画像の通信の開始を指示することにより通信が開始される。又、伝送中の動画像の中から静止画像をプリンタ等に送信したい場合、ユーザは所定の手順にて操作部10を操作することにより所望の静止画像を選択し、該静止画像は同期通信されている動画像に時分割に多重させて通信される。
【0072】
又、カメラ一体型デジタルVTR101の動作状態が再生モードとなるように指示された場合には、記録再生部8が記録媒体19から所望の動画像を再生する。この時、所望の動画像の選択は、操作部10から入力された各種の指示に従って選択され、システムコントローラ9がその指示に応じて記録再生部8の再生動作を制御する。記録媒体19から再生された動画像データは、圧縮状態のまま動画用メモリ15に供給される。又、これと並行して該動画像データは、圧縮/伸長処理回路7にて伸長処理された後、D/Aコンバータ11に供給されると共に、静止画用メモリ13へ数フレーム単位に記録される。D/Aコンバータ11に供給された動画像データはアナログ信号に変換された後、再生中の画像としてEVF12に表示される。
【0073】
再生モード時の動画像データを外部機器に対して送信する場合は、先に説明した記録モード時の場合と同様に、操作部10からの指示に応じて行われる。
【0074】
つまり、動画用メモリ15に記録されている動画像データは、メモリ制御部16の制御により、外部機器へリアルタイムに送信されるように随時読み出され、データセレクタ17に出力される。又、静止画像用メモリ13に記録させている静止画像データは、メモリ制御部14の制御により、必要に応じて非同期に送信されるように適宜読み出され、データセレクタ17に出力される。尚、メモリ制御部14の読み出し制御は、システムコントローラ9が操作部10からの指示に基づいてその動作を開始するように制御する。
【0075】
例えば、動画像を通信したい場合、ユーザは、操作部10に設けられた通信モード開始スイッチ(不図示)等により動画像の通信の開始を指示することにより通信が開始される。又、伝送中の動画像の中から静止画像をプリンタ等に送信したい場合、ユーザは所定の手順にて操作部10を操作することにより所望の静止画像を選択し、該静止画像は同期通信されている動画像に時分割に多重させて通信される。
【0076】
システムコントローラ9は、カメラ一体型デジタルVTR101内の各処理動作を制御するものであるが、1394シリアルバスを介して接続された外部機器(例えば、プリンタ102)の動作を制御する制御コマンドを生成し、1394インタフェース部18から1394シリアルバス上の外部機器に対して該制御コマンドデータを非同期に送信することもできる。又、1394インタフェース部18は、データバス上の外部機器から送信された制御データを受信可能であり、システムコントローラ9は該制御データの内容に応じてカメラ一体型デジタルVTR101の動作を制御することができる。従って例えば、モニタ103の操作部が動画像中の所望の時点の静止画像をプリンタ102に送信するように指示を与えることができる。
【0077】
データセレクタ17は、動画用メモリ15から出力される動画像データ、静止画用メモリ13から出力される静止画像データ、システムコントローラ9から出力される制御コマンドデータを選択的に出力し、1394インタフェース部18に供給する。
【0078】
1394インタフェース部18では、動画、静止画等の情報データと外部、内部機器を制御する制御データを1394シリアルバス規格に準拠した通信方法に基づいて外部機器に転送する。カメラ一体型デジタルVTR101にて撮影された動画像は、操作部10からの通信開始の指示後に、所定の通信サイクル(例えば、125μsec)毎に転送帯域が保証された同期通信にて外部機器に伝送される(ステップS302)。つまり、動画像データは、所定に単位毎にIsochronous転送用のパケットにパケッタイズされ、Isochronous転送方式により通信ネットワーク上の各機器に転送される。
【0079】
又、操作部10による操作、或いは外部機器からの指示により送信される静止画像や外部機器の動作を制御する制御コマンド等は、操作部10或いは外部機器により指定された通信先へ不定期に通信される。例えば、1394シリアルバス上のプリンタ102を通信先として静止画像データを送信、印刷する場合、ユーザは操作部10に所定の手順で通信先を指示し、静止画像をAsynchronous転送する(ステップS303)。
【0080】
1394インタフェース部18に入力される静止画像データは、Asynchronous転送用のパケットにパケッタイズされ、Asynchronous転送を行うように制御される。これにより、カメラ一体型デジタルVTR101は、動画像データをデータバス上の各外部機器に同期通信すると共に、操作部10或いは外部の操作部により指定された通信先に静止画像を非同期通信することが可能となる(ステップS304)。
【0081】
図4に1394シリアルバスを介して伝送される動画像データと静止画像データの時間的な遷移状態の一例を示す。
【0082】
図4において、ch(チャネル)aはIsochronous転送方式により所定単位のパケットデータにパケッタイズされた動画像データである。1394シリアルバス上の通信サイクル期間(例えば、125μs)は、1394シリアルバス上の各機器の有するサイクルタイマの値を略一致させる為に必要な、サイクルスタートパケットにより区切られている。サイクルスタートパケット後は、Isochronousパケットの転送期間となり、1394インタフェース部18は、所定の通信プロトコルによりパケッタイズされた動画像データをch aの転送帯域に送信する。又、Isochronous転送が終了してから次の通信サイクルまでの期間は、Asynchronousパケットデータの転送に割り当てられるので、1394インタフェース部18は必要に応じてAsynchronousパケットを転送する。これにより、Isochronousパケット(同期通信用データ)とAsynchronousパケット(非同期通信用データ)は、夫々所定の通信サイクル期間毎に時分割に多重され、データバス上に送信される。
【0083】
本実施例のカメラ一体型デジタルVTR101は、圧縮処理された動画像データ(SD―VTRやMPEG規格等の圧縮動画像)を所定の通信プロトコルにてIsochronous転送パケットを生成し、取得した所定の転送帯域(ch a)を用いて、各通信サイクル毎に同期転送する。又、該動画像に基づいて生成された非圧縮の静止画像データは、操作部10或いは外部機器の操作部の指示に応じてAsynchronousパケットにパケッタイズされ、非同期転送される。これにより、カメラ一体型デジタルVTR101は、動画像データを所定の通信サイクル期間毎に同期通信すると共に、静止画像データを所定の通信サイクル期間毎の同期通信に時分割に多重させて非同期通信することができる。又、カメラ一体型デジタルVTR101は、1394シリアルバス上の外部機器の動作を制御する制御コマンドも静止画像データと同様に、必要に応じてAsynchronous転送(非同期転送)することができる。つまり、1394インタフェース部18は、動画像データを所定の通信サイクル期間毎に同期通信(Isochronous転送)し、必要に応じて静止画像データを所定の通信サイクル期間の空いている期間を利用して非同期通信(Asynchronous転送)することによって、データバスの利用効率をよくすることができる。尚、動画像データの通信処理が終了するまでの間、操作部10を介して静止画像の送信を要求する指示がなかった場合には、静止画像は伝送されない(ステップS305)。
【0084】
カメラ一体型デジタルVTR101より生成された動画像、静止画像データは、1394シリアルバス上の各機器に送信される。その際、1394シリアルバス上の機器であるモニタ103は、カメラ一体型デジタルVTR101の使用する転送帯域(ch a)を受信可能なように設定されており、カメラ一体型デジタルVTR101からIsochronous転送された動画像データを受信できる。1394インタフェース部61により受信されたIsochronousパケットは、伸長処理回路62に供給され、カメラ一体型デジタルVTR101で用いて圧縮方式に対応した伸長処理が施される。伸長された動画像データは、D/Aコンバータ63でアナログ信号に変換された後、CRT64で動画像が表示される。操作部66は、モニタ103の各処理の制御を指示し、システムコントローラ65は操作部66の入力指示に基づいてモニタ103を制御する。尚、操作部66は、カメラ一体型デジタルVTRに対して静止画像を送信するように制御コマンド送信するようにしてもよい。この場合、ユーザはモニタ103にて表示されている動画像を見ながら所望の静止画像を指定するように操作部66を制御し、システムコントローラ65は、カメラ一体型デジタルVTR101に対して該静止画像の送信を開始を制御する制御コマンドを生成し、伝送する。
【0085】
プリンタ102の1394インタフェース部20は、カメラ一体型デジタルVTR101から送信されたAsynchronousパケットを受信する。1394インタフェース部20は、受信データを後段のデータセレクタに供給し、データセレクタはデータの種類に応じて後段のプリンタコントローラ26、画像処理回路28に受信データを供給する。画像処理回路28に供給された静止画像は、メモリ23を用いて印刷に適した画像処理を施し、印刷出力可能な静止画像として順次プリンタヘッド24に送られ、印刷される。プリンタヘッド24は、ヘッドの駆動や紙送り機構の駆動を制御し、又プリンタヘッド24やドライバ25の動作制御及び各処理部の制御はプリンタコントローラ26により行われる。
【0086】
プリンタの操作部27は、紙送り、リセット、インクチェック、又はプリンタの動作状態(スタンバイ/印刷開始/停止等)を表示するためのモニタを有し、ユーザに対してプリンタ102内の各処理部の動作状態、警告等を表示する。ユーザはこれらの表示情報をもとに操作部27を操作し、プリンタ102を制御する。
【0087】
又、1394インタフェース部20に入力したデータが、プリンタ102に対する制御コマンドデータであった場合、データセレクタ21からプリンタコントローラ26に制御コマンドとして供給され、プリンタコントローラ26によって該制御コマンドに対応した制御が施される。
【0088】
尚、本実施例のプリンタ102は、Asynchronous転送された非圧縮の静止画像データを印刷出力可能な構成になっている。従って、本実施例のプリンタ102のように伸長処理手段を具備していない低機能のプリンタであっても簡単なシステム構成で高画質の画像を印刷出力することができる。
【0089】
以上のように、カメラ一体型デジタルVTR101にて撮像された動画像データはモニタ103に転送され、表示される。その際、ユーザはモニタ103にて表示された動画像を見ながら印刷出力したい静止画像をカメラ一体型デジタルVTR101の操作部10を制御することにより、動画像を伝送しながら静止画像を伝送することが可能となる。つまり、PC等の編集機器を用いることなく動画像と静止画像を外部機器に出力可能な構成となっている
(第2の実施例)
図5は、本発明の第2の実施例の通信ネットワークの構成を示すブロック図である。以下の第2の実施例において、上述の第1の実施例と同一あるいはそれに相当する部材については同一符号を用いてその説明を省略する。
【0090】
図5において、カメラ一体型デジタルVTR101とプリンタ102の構成は、上述の第1の実施例と同様の構成となっている。又、モニタ104は、上述の第1の実施例の構成に加えて、セレクタ67と加算器68を有する。第2の実施例のカメラ一体型デジタルVTR101は、静止画像データを動画像データと同様に所定の通信サイクル期間毎に同期通信する。以下、第2の実施例の通信ネットワークの動作について、図6に示したフローチャートと共に説明する。
【0091】
カメラ一体型デジタルVTR101において、ユーザは、操作部10を操作し、該カメラ一体型デジタルVTR101の動作状態が記録モードとなるように指示する(ステップS601)。カメラ一体型デジタルVTR101にて撮影された動画像は、操作部10からの通信開始の指示後に、所定の通信サイクル(例えば、125μsec)毎に伝送帯域が保証される同期通信にて外部機器に伝送される(ステップS602)。
【0092】
静止画用メモリ13に記録されている静止画像は、操作部10からの指示或いは外部機器からの指示に応じて、所定の静止画像データの読み出しを開始する(ステップS603)。メモリ制御部14により所定の単位毎に読み出された静止画像データは、データセレクタを介して1394インタフェース部18に供給される。1394インタフェース部18は、所定の単位毎に入力される静止像データをIsochronous転送用のパケットにパケッタイズして、データバス上の各機器に対してIsochronous転送を行う(ステップS604)。
【0093】
本実施例では、静止画像をIsochronous転送することにより、1394シリアルバス上の各機器に静止画像データが転送される。従って、通信ネットワーク上のモニタ104及びプリンタ102は、カメラ一体型デジタルVTR101から出力される静止画像をほぼ同時に受信することができるため、所望の静止画像を夫々の機器で表示したり、印刷したりすることが可能となる。
【0094】
尚、外部機器の動作を制御する制御コマンド等は、第1の実施例同様、操作部10或いは外部機器により指定された通信先へ不定期に通信(Asynchronous転送)される。
【0095】
図7に1394シリアルバスを介して伝送される動画像データと静止画像データの時間的な遷移状態の一例を示す。
【0096】
図7において、ch(チャネル)aはIsochronous転送方式により所定単位のパケットデータにパケッタイズされた動画像データである。又、ch bも同様にIsochronous転送方式により所定単位のパケットデータにパケッタイズされた静止画像データである。1394シリアルバス上の通信サイクル期間(例えば、125μs)は、1394シリアルバス上の各機器の有するサイクルタイマの値を略一致させる為に必要な、サイクルスタートパケットにより区切られている。サイクルスタートパケット後は、Isochronousパケットの転送期間となり、1394インタフェース部18は、所定の通信プロトコルによりパケッタイズされた動画像データと静止画像データをch a、ch bの転送帯域に送信する。又、Isochronous転送が終了してから次の通信サイクルまでの期間は、Asynchronousパケットデータの転送に割り当てられるので、1394インタフェース部18は必要に応じてAsynchronousパケットを転送する。これにより、Isochronousパケット(同期通信用データ)とAsynchronousパケット(非同期通信用データ)は、夫々所定の通信サイクル期間毎に時分割に多重され、データバス上に送信される。
【0097】
本実施例のカメラ一体型デジタルVTR101は、圧縮処理された動画像データ(SD―VTRやMPEG規格等の圧縮動画像)を所定の通信プロトコルにてIsochronous転送パケットを生成し、取得した所定の転送帯域(ch a)を用いて、各通信サイクル毎に同期転送する。又、該動画像に基づいて生成された非圧縮の静止画像データは、操作部10或いは外部機器の操作部の送信要求の指示に応じ、所定の通信プロトコルに従ってIsochronousパケットにパケッタイズされ、同期転送される。これにより、カメラ一体型デジタルVTR101は、動画像データと静止画像データを必要に応じて時分割に多重させて所定の通信サイクル期間毎に同期通信することができる。又、カメラ一体型デジタルVTR101は、1394シリアルバス上の外部機器の動作を制御する制御コマンドも必要に応じてAsynchronous転送(非同期転送)することができる。つまり、1394インタフェース部18は、動画像データを所定の通信サイクル期間毎に同期通信(Isochronous転送)し、必要に応じて静止画像データも所定の通信サイクル期間の空いている期間を利用して同期通信(Isochronous転送)することによって、データバス上の各機器に同一の静止画像をほぼ同時に送信することができる。尚、動画像データの通信処理が終了するまでの間、操作部10を介して静止画像の送信を要求する指示がなかった場合には、静止画像は伝送されない(ステップS605)。
【0098】
カメラ一体型デジタルVTR101より生成された動画像、静止画像データは、1394シリアルバス上の各機器に送信される。その際、1394シリアルバス上の機器であるモニタ104は、カメラ一体型デジタルVTR101の使用する転送帯域(ch a、ch b)を受信可能なように設定されており、カメラ一体型デジタルVTR101からIsochronous転送された動画像データ及び静止画像データを受信できる。図8はモニタ104本体の一例を示す図である。図8において、801は動画像を表示するための動画表示エリア、802は必要に応じて静止画像を表示するための静止画表示エリア、803は表示中の動画像から所望の静止画像の表示を指示する操作スイッチである。
【0099】
モニタ104において、セレクタ67は、1394インタフェース部61を介して受信される動画像と静止画像とを選択的に後段の処理部に供給する処理を行う。セレクタ67にて選択的に出力された動画像データは、伸長処理回路62に供給され、伸長処理された後、加算器68に供給される。又、セレクタ67にて選択的に出力された静止画像データは、非圧縮の画像データであるため伸長処理の必要もなく加算器68に供給される。加算器68は、動画像を表示している画面内に必要に応じて静止画像を表示可能なように動画像データと静止画像データとを合成する。モニタ104は、加算器68からの出力をD/Aコンバータ63、CRT64を介して動画像と静止画像を表示できる。
【0100】
以上のように構成することにより、ユーザはモニタ103にて動画像と静止画像の双方を見ることができる。従って、ユーザは動画像と共に印刷出力される静止画像をモニタ104にて見ることができる。
【0101】
又、本実施例のカメラ一体型デジタルVTR101は、操作部10或いは操作部66にて指示された所望の静止画像をIsochronous転送する。該静止画像は、Isochronous転送されるためモニタ104のみならずプリンタ102にも転送される。プリンタ102は、第1の実施例同様に送信された非圧縮の静止画像データを受信し、印刷出力することが可能である。従って、本実施例のプリンタ102のように伸長処理手段を具備していない低機能のプリンタであっても簡単なシステム構成で高画質の画像を印刷出力することができる。
【0102】
以上のように、カメラ一体型デジタルVTR101にて撮像された動画像データはモニタ103に転送され、表示される。その際、ユーザはモニタ103にて表示された動画像を見ながら印刷出力したい静止画像をカメラ一体型デジタルVTR101の操作部10を制御することにより、動画像を伝送しながら静止画像を伝送することが可能となる。又、印刷出力したい静止画像を動画像と共に見ることも可能である。つまり、PC等の編集機器を用いることなく動画像と静止画像を外部機器に出力可能な構成となっている。
【0103】
尚、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、本実施例では、IEEE1394シリアルバスに準拠した通信の可能な通信ネットワークを用いて説明したが、それに限るものではなく、所定の通信サイクル毎に割り当てられた伝送帯域を用いて通信を行う同期通信と、不定期にデータの通信を行う非同期通信とを所定の通信サイクル期間内に混在させて行うことができる機能を有する通信ネットワークであれば適用することも可能である。
【0104】
又、本実施例では、撮像部4にて撮像される或いは記録媒体19により読み出される動画像から静止画像を生成し、夫々を必要に応じて時分割多重して送信しているが、それに限るものではなく、予め記録媒体に記録された動画像とそれに対応した静止画像を読み出し、夫々を必要に応じて時分割多重して送信することも可能である。したがって前述の実施例はあらゆる点おいて単なる例示に過ぎず、限定的に解釈されないものである。
【0105】
【発明の効果】
発明によれば、動画像データと当該動画像データの一部に対応する静止画像データとをアイソクロナス(Isochronous)転送により時分割に送信することができるので、PC等の編集機器がなくても、動画像データと当該動画像データの一部に対応する静止画像データとを通信システム上の各機器にほぼ同時に提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例のカメラ一体型デジタルVTR101を用いて構成された通信ネットワークの一例を示す図。
【図2】第1の実施例の通信ネットワーク上の各機器の構成を説明するブロック図。
【図3】第1の実施例の通信ネットワークの動作の一例を説明するフローチャート。
【図4】データバスを介して伝送される動画像データと静止画像データの時間的な遷移状態の一例を示す図。
【図5】本発明の第2の実施例の通信ネットワークの構成を示すブロック図。
【図6】第2の実施例の通信ネットワークの動作の一例を説明するフローチャート。
【図7】データバスを介して伝送される動画像データと静止画像データの時間的な遷移状態の一例を示す図。
【図8】第2の実施例のモニタ104本体の一例を示す図。
【図9】1394シリアルバスを用いて構成された通信ネットワークの一例を示す図。
【図10】1394シリアルバスの構成要素を示す図。
【図11】Asynchronous転送の時間的な遷移状態を示す図。
【図12】Asynchronous転送用のパケットの構成を示す図。
【図13】Isochronous転送の時間的な遷移状態を示す図。
【図14】Isochronous転送用のパケットの構成を示す図。
【図15】1394シリアルバスにて転送されるパケットの様子を説明する図。

Claims (6)

  1. 動画像データを生成する生成手段と、
    前記動画像データの一部に対応する静止画像データを記憶する記憶手段と、
    前記動画像データおよび前記静止画像データをアイソクロナス転送により時分割に送信する送信手段とを有し、
    前記送信手段は、前記動画像データの送信を要求する指示があった場合は、前記動画像データを第1のチャネルを用いてアイソクロナス転送により送信し、前記動画像データの送信中に前記静止画像データの送信を要求する指示があった場合は、前記静止画像データを第2のチャネルを用いてアイソクロナス転送により送信することを特徴とするデータ通信装置。
  2. 前記送信手段は、ユーザから前記動画像データの送信を要求する指示があった場合は、前記動画像データを前記第1のチャネルを用いてアイソクロナス転送により送信し、前記動画像データの送信中にユーザから前記静止画像データの送信を要求する指示があった場合は、前記静止画像データを前記第2のチャネルを用いてアイソクロナス転送により送信することを特徴とする請求項1に記載のデータ通信装置。
  3. 前記送信手段は、ユーザから前記動画像データの送信を要求する指示があった場合は、前記動画像データを前記第1のチャネルを用いてアイソクロナス転送により送信し、前記動画像データの送信中に外部機器から前記静止画像データの送信を要求する指示があった場合は、前記静止画像データを前記第2のチャネルを用いてアイソクロナス転送により送信することを特徴とする請求項1に記載のデータ通信装置。
  4. 前記送信手段が前記動画像データをアイソクロナス転送により送信する前に、前記動画像データを所定の圧縮方式で圧縮する圧縮手段をさらに有することを特徴とする請求項1から3のいずれかに記載のデータ通信装置。
  5. 前記静止画像データは、前記所定の圧縮方式で圧縮されていない静止画像データであることを特徴とする請求項4に記載のデータ通信装置。
  6. 前記生成手段は、撮像手段により撮影された画像から前記動画像データを生成することを特徴とする請求項1から5のいずれかに記載のデータ通信装置。
JP09219597A 1997-04-04 1997-04-10 データ通信装置 Expired - Fee Related JP3912841B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP09219597A JP3912841B2 (ja) 1997-04-10 1997-04-10 データ通信装置
US09/053,748 US6453071B2 (en) 1997-04-04 1998-04-02 Data communication apparatus, method and system and programs for data communication process stored in computer readable storage medium
US10/194,664 US6683999B2 (en) 1997-04-04 2002-07-15 Image transmission apparatus and method utilizing different transmission modes for transmitting moving image data and still image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09219597A JP3912841B2 (ja) 1997-04-10 1997-04-10 データ通信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006200874A Division JP3985010B2 (ja) 2006-07-24 2006-07-24 データ通信装置

Publications (2)

Publication Number Publication Date
JPH10285564A JPH10285564A (ja) 1998-10-23
JP3912841B2 true JP3912841B2 (ja) 2007-05-09

Family

ID=14047673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09219597A Expired - Fee Related JP3912841B2 (ja) 1997-04-04 1997-04-10 データ通信装置

Country Status (1)

Country Link
JP (1) JP3912841B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3910763B2 (ja) * 1999-08-18 2007-04-25 株式会社東芝 データ多重装置およびプログラムを記録した記録媒体
JP3987253B2 (ja) * 1999-11-29 2007-10-03 株式会社東芝 データ多重装置、データ配信システムおよび記録媒体
JP3977090B2 (ja) 2002-02-01 2007-09-19 キヤノン株式会社 データ処理装置
JPWO2004093446A1 (ja) * 2003-04-17 2006-07-13 富士通株式会社 圧縮データと非圧縮データを同時転送する場合のタスクスケジューリング方法
JP2005176233A (ja) 2003-12-15 2005-06-30 Canon Inc 通信装置及び通信システム
JP4415978B2 (ja) 2006-08-02 2010-02-17 ソニー株式会社 画像信号処理装置、画像信号処理方法
JP5383564B2 (ja) * 2010-03-10 2014-01-08 ルネサスエレクトロニクス株式会社 データ転送回路及び方法
JP5962200B2 (ja) * 2012-05-21 2016-08-03 カシオ計算機株式会社 撮像装置、撮像処理方法

Also Published As

Publication number Publication date
JPH10285564A (ja) 1998-10-23

Similar Documents

Publication Publication Date Title
US6683999B2 (en) Image transmission apparatus and method utilizing different transmission modes for transmitting moving image data and still image data
US20010047443A1 (en) Data communication apparatus, method and system and programs for data communication process stored in computer readable storage medium
US6237106B1 (en) Communication apparatus and method, and program in computer readable medium
JPH10187583A (ja) データ通信装置及び方法
JP2000358033A (ja) データ通信システム及びデータ通信方法
JP4976654B2 (ja) 通信装置及びコンピュータプログラム
GB2329997A (en) Concurrent video recording and playback
JP3912841B2 (ja) データ通信装置
JP3862371B2 (ja) 電子機器及び制御方法
JP3985010B2 (ja) データ通信装置
JP3862400B2 (ja) 通信装置
WO1998035348A1 (fr) Equipement a interface numerique et procede d'interfaçage numerique
JPH10285240A (ja) データ通信装置及び方法、データ通信システム及び記憶媒体
US20050013585A1 (en) Communication apparatus, communication information recording method and memory medium
JP4446646B2 (ja) ネットワーク対応型カムコーダ
JP3774540B2 (ja) データ転送方法及び画像処理システムと装置
JPH10229538A (ja) データ通信システム、プリントシステム及びデータ通信装置
JP3991060B2 (ja) 撮像処理装置
JP3890124B2 (ja) データ通信システム、データ通信方法、データ通信ノードおよび記録媒体
JPH1074381A (ja) 再生方法及び装置並びに編集方法及び装置
JP2003339005A (ja) 撮像装置、ネットワークシステム、撮像装置のデータ転送制御方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
WO2006087862A1 (ja) デジタル記録再生装置及びデジタル記録方法
JP3943697B2 (ja) データ通信システム、データ通信装置及びデータ通信方法
JPH10149668A (ja) 編集制御方法及び制御信号変換装置
JP2005167709A (ja) 記録装置、記録再生装置、通信装置、通信システム、記録方法、通信方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140209

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees