JP2000013722A - 画像記録装置 - Google Patents

画像記録装置

Info

Publication number
JP2000013722A
JP2000013722A JP10174522A JP17452298A JP2000013722A JP 2000013722 A JP2000013722 A JP 2000013722A JP 10174522 A JP10174522 A JP 10174522A JP 17452298 A JP17452298 A JP 17452298A JP 2000013722 A JP2000013722 A JP 2000013722A
Authority
JP
Japan
Prior art keywords
photographing
map
image recording
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10174522A
Other languages
English (en)
Other versions
JP4296451B2 (ja
Inventor
Seiji Imagawa
制時 今川
Hiroaki Ono
裕明 小野
Shigemitsu Higuchi
重光 樋口
Himio Nakagawa
一三夫 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP17452298A priority Critical patent/JP4296451B2/ja
Priority to US09/332,446 priority patent/US6657666B1/en
Priority to CNB991088530A priority patent/CN100339905C/zh
Publication of JP2000013722A publication Critical patent/JP2000013722A/ja
Application granted granted Critical
Publication of JP4296451B2 publication Critical patent/JP4296451B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32122—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate device, e.g. in a memory or on a display separate from image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00323—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Navigation (AREA)
  • Camera Data Copying Or Recording (AREA)

Abstract

(57)【要約】 【課題】 撮影場所や撮影対象に関する付加情報を的確
に得て、操作性を向上する。 【解決手段】 撮影場所推定手段６を設け、地図情報５
を参照して、撮影位置に対応する地図上の撮影場所候補
を抽出し、複数の候補が抽出されたときは確度の高い順
に優先順位を付して地図上の撮影場所候補を推定し、撮
影対象推定手段７を設け、地図情報５を参照して、撮影
位置と撮影位置から撮影対象までの距離と撮影対象の方
向とから、撮影対象に対応する地図上の撮影対象候補を
抽出し、複数の候補が抽出されたときは確度の高い順に
優先順位を付して地図上の撮影対象候補を推定し、推定
された撮影場所候補と撮影対象候補を優先順位を付して
表示手段に表示するようにし、表示された撮影場所候補
と撮影対象候補の少なくとも１つを選択する手段ｂを設
けることにより、ユーザの意志に基づいて、撮影画像に
付加する撮影場所や撮影対象の情報を的確に特定する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像記録装置又は
画像記録再生装置に係り、特に撮影した撮影画像を記録
媒体に記録するに際し、撮影画像に対応づけて撮影位
置、撮影対象位置等の情報を付加して記録可能な機能を
備えた画像記録装置、又は撮影画像を再生する際に、そ
れら付加情報を併せて再生可能な機能を備えた画像記録
再生装置に関する。
【０００２】
【従来の技術】一般に、画像記録装置又は画像記録再生
装置（以下、画像記録再生装置と総称する。）は、例え
ば、フィルム、磁気テープ、磁気ディスク、半導体メモ
リ等の記録媒体に撮影画像を記録する機能と、記録され
た撮影画像を再生して、写真、ディスプレイに表示する
機能を備えている。
【０００３】従来、画像記録再生装置の中には、装置内
に時計機能を備え、撮影画像に加えて撮影時刻を記録
し、撮影画像とともに記録されている撮影時刻を再生し
て表示する機能を備えたものが知られている。また、例
えば、複数のＧＰＳ（Global Positioning System：全
世界測位システム）衛星からの電波を受信し、これに基
づいて撮影位置情報を演算により求めて撮影画像に対応
づけて記録する機能を備え、撮影画像の再生時に撮影位
置情報を併せて再生表示するようにしたものが知られて
いる（特開平９−１１３９８１号公報、特開平９−２５
２４５４号公報）。
【０００４】さらに、撮影画像に撮影位置と撮影方向の
情報を付加して記録しておき、再生時に地図データに結
び付けて表示することにより、撮影場所の移動軌跡を表
示するもの（特開平９−２００６６６号公報）、あるい
は再生時に撮影画像と地図画像とを合成して表示するこ
とにより、撮影場所を容易に確認できるようにしたもの
（特開平９−１３９９０６号公報）が提案されている。
【０００５】また、撮影位置の検出に加えて、撮影装置
の焦点距離等に基づいて撮影位置から撮影対象（被写
体）までの距離を検出して、撮影対象の位置を求め、そ
の位置情報を記録及び表示するようにすることが提案さ
れている（特開平９−１３５４１６号公報）。
【０００６】同様に、ＧＰＳ衛星により撮影位置を、地
磁気センサにより撮影方向を、焦点距離により撮影位置
と撮影対象間の距離をそれぞれ検出し、これらの情報と
地図情報とに基づいて撮影場所や撮影対象を具体的に特
定して、例えば「富士山」、「北アルプス」等の名称や
地名を特定して、撮影画像に付加して記録し、これを再
生表示することが提案されている（特開平９−３７２０
３号公報）。
【０００７】
【発明が解決しようとする課題】上記の特開平９−３７
２０３号公報に記載された画像記録再生装置によれば、
撮影場所や撮影対象が地図情報に記憶されている具体的
な地名や名称等で特定していることから、撮影画像の再
生時に、撮影場所や撮影対象を容易に確認でき、再生画
像の区別、整理、編集、等の作業を誤りなく、効率よく
行うことができるという利点がある。特に、撮影場所や
撮影対象を、例えば国、県、市町村名、山、河川の名
称、ビル、公園名等の特定の物、場所又は地域等の一般
名称により記録、表示することが判り易い。
【０００８】しかし、観光地等の撮影場所によっては、
有名な建造物等が密集しているために、撮影の画角内に
複数の建造物や施設、山、川あるいは湖等の複数の風景
が入ってしまうことがある。このような場合、特開平９
−３７２０３号公報に提案された方法によると、撮影対
象を１つに特定することが困難になる。同様に、撮影場
所についても、１つに特定することが困難になる。この
ような場合に、撮影者等のユーザの意志で、撮影場所や
撮影対象を表す情報（名称等）を選択して、的確な撮影
場所や撮影対象の情報を記録したり、表示できれば便利
である。
【０００９】そこで、本発明は、撮影画像に付加する撮
影場所や撮影対象の情報を、的確に特定できるようにす
ることを課題とする。
【００１０】
【課題を解決するための手段】上記課題は、次の手段に
より解決することができる。すなわち、撮影場所推定手
段を設け、地図情報を参照して、撮影位置に対応する地
図上の撮影場所候補を抽出し、複数の候補が抽出された
ときは確度の高い順に優先順位を付して地図上の撮影場
所候補を推定する。また、撮影対象推定手段を設け、地
図情報を参照して、撮影位置と撮影位置から撮影対象ま
での距離と撮影対象の方向とから、撮影対象に対応する
地図上の撮影対象候補を抽出し、複数の候補が抽出され
たときは確度の高い順に優先順位を付して地図上の撮影
対象候補を推定し、推定された撮影場所候補と撮影対象
候補を優先順位を付して表示手段に表示する。そして、
表示された撮影場所候補と撮影対象候補の少なくとも１
つを選択する手段を設けることにより、ユーザの意志に
基づいて、撮影画像に付加する撮影場所や撮影対象の情
報を的確に特定することができる。
【００１１】この場合において、撮影場所推定手段は、
撮影位置を中心に地図上の一定の推定範囲（例えば、円
形の範囲）を設定し、その推定範囲内に該当する可能性
がある複数の物と場所と地域の少なくとも１つに係る撮
影位置候補を抽出し、その推定範囲の中心からの距離に
基づいて、すなわち中心に近いものから順に、前記優先
順位を設定することが好ましい。同様に、撮影対象推定
手段は、撮影位置から撮影対象までの距離を中心に、か
つ撮影対象の方向に長く延びた一定の推定範囲（例え
ば、楕円形の範囲）を地図上に設定し、その推定範囲内
に該当する可能性がある複数の物と場所と地域の少なく
とも１つに係る撮影対象候補を抽出し、撮影対象の方向
軸（焦点方向、又は楕円の長軸）からの距離と、推定範
囲の中心からの距離の少なくとも１つに基づいて、前記
優先順位を設定することが好ましい。
【００１２】また、地図情報に、特定の物と場所と地域
の少なくとも１つに対して、予め設定した知名度や撮影
頻度を含む重みを付加した情報を付加しておくことによ
り、撮影対象推定手段は、前記重みを考慮して前記優先
順位を設定することができ、これによれば撮影画像に付
加する撮影対象物の情報の的確さを向上できる。
【００１３】さらに、前記推定範囲に候補がない場合
は、前記推定範囲を広げて候補の抽出を繰り返すことが
できる。また、外部から指令を与えて、撮影位置候補又
は撮影対象候補に対応する物、場所、地域等を、地図情
報中の文字情報（例えば、名称）と位置情報の少なくと
も一方を抽出し、表示、記録させるようにすることがで
きる。また、これに合わせて、記録情報の再生時には、
外部から選択指令を入力し、文字情報と位置情報の一方
を表示させるようにすることができる。位置情報の表示
は、地図上に印を付す方法によって表示することが好ま
しい。
【００１４】上記のようにして推定又は選択された撮影
場所や撮影対象の情報を、撮影画像に対応させて記憶媒
体に記録することにより、再生時に的確な撮影場所や撮
影対象の情報を撮影画像と共に表示させることができ
る。
【００１５】さらに、操作性を向上するために、撮影画
像あるいは文字情報を記録媒体に記録するのに同期させ
て撮影場所や撮影対象の情報を記録することを指令する
手段を設けることが好ましい。また、再生時に、指令に
応じて撮影画像のインデクス表示を行うようにすること
が好ましい。その場合、指令に応じて、通常の表示とイ
ンデクス表示とを切り替えるようにすることができる。
また、撮影場所や撮影対象の情報の表示の要否を入力可
能にし、これに応じて撮影場所や撮影対象の推定処理及
び記録、表示の動作を制御可能にする。また、背景の名
称等と一致しない撮影対象の情報を記録する場合のポー
ズ機能を備えることが好ましい。
【００１６】なお、撮影画像を記録しない場合でも、ま
た推定した撮影場所や撮影対象の名称などの情報を記録
しない場合でも、撮影場所や撮影対象の名称などの情報
を表示することにより、地図に対応させて現在地、周辺
地理等に関する情報を得ることができるから、不慣れな
土地の場合には、ガイド代わりに利用できる。
【００１７】
【発明の実施の形態】以下、本発明の実施の形態に基づ
いて説明する。図１に、本発明の一実施の形態の画像記
録再生装置の主要部をブロック図により示す。図におい
て、画像入力手段１は、人物、景色等の撮影対象を撮影
して画像データに変換する撮影装置であり、撮影した画
像データは記録再生手段８と表示手段９に送られる。位
置検出器２は、画像入力手段１の位置、つまり撮影位置
を検出するものであり、図示していないが、GPSアンテ
ナと演算器を備え、GPS衛星からの電波をアンテナで受
信し、その受信信号を演算器により処理して、撮影位置
を検出するようになっている。検出した撮影位置は、撮
影場所推定手段６と撮影対象推定手段７へ送られる。距
離検出器３は、撮影位置から撮影対象までの距離を検出
するものであり、画像入力手段１のオートフォーカス時
に、撮影対象に係る焦点距離を撮影位置から撮影対象ま
での距離として検出する。検出した距離情報は撮影対象
物推定手段７に送られる。方向検出器４は、地磁気セン
サあるいはジャイロによって、画像入力手段１からみた
撮影対象の方向を検出する。検出した方向は、撮影対象
物推定手段７に送られるる。メモリ５は、地図情報を保
存する記憶手段である。地図情報には、少なくとも地図
に関する一般的な情報の他、後述する情報が含まれてい
る。
【００１８】撮影場所推定手段６は、位置検出器２によ
り検出された撮影位置と、メモリ５に記憶された地図情
報とに基づいて、撮影位置を特定の物、場所又は地域と
して推定し、推定した撮影場所に関する地図位置情報
を、記録再生手段８と表示手段９に送るようになってい
る。すなわち、撮影位置に対応する地図上の撮影場所候
補を抽出し、複数の候補が抽出されたときは、確度の高
い順に優先順位を付して地図上の撮影場所候補を推定す
るようになっている。
【００１９】撮影対象推定手段７は、位置検出器２によ
り検出された撮影位置と、距離検出器３により検出され
た撮影対象までの距離情報と、方向検出器４により検出
された撮影対象の方向情報と、メモリ５に記憶されてい
る地図情報とに基づき、撮影対象を特定の物、場所又は
地域として推定し、推定した撮影対象に関する地図位置
情報を記録再生手段８と表示手段９に送るようになって
いる。すなわち、地図情報に基づいて、撮影位置と、撮
影対象までの距離と、撮影対象の方向とから、撮影対象
に対応する地図上の撮影対象候補を抽出し、複数の候補
が抽出されたときは確度の高い順に優先順位を付して地
図上の撮影対象候補を推定するようになっている。
【００２０】記録再生手段８は、記録媒体を含んで構成
され、画像入力手段１から出力される撮影画像データを
記録媒体に記録するとともに、撮影場所推定手段６及び
撮影対象推定手段７から出力される地図位置情報を記録
媒体に記録するようになっている。また、記録媒体に記
録された画像データ及び地図位置情報を再生可能になっ
ている。表示手段９は、画像入力手段１により撮影され
た画像を表示するとともに、影場所推定手段６及び撮影
対象推定手段７から出力される地図位置情報を表示可能
になっている。また、記録再生手段８から出力される再
生画像データ及び地図位置情報を表示可能になってい
る。
【００２１】このように構成される実施の形態の特徴部
についての詳細を、動作とともに説明する。まず、ＧＰ
Ｓにより検出された撮影位置と地図情報に基づいて撮影
場所を決定するにあたって、また検出された撮影位置、
撮影対象の距離情報及び方向と地図情報に基づいて撮影
対象を決定するにあたって、街中等のように、それらの
候補となりうる地図位置情報が密集している場所や、撮
影位置から撮影対象までの距離が遠く離れているために
検出誤差が大きくなる場合は、誤った地図位置情報を推
定して、表示してしまうことが考えられる。
【００２２】そこで、撮影位置推定手段６は、位置検出
器２により得られた撮影位置の検出情報を中心として推
定範囲（例えば、円形の範囲）を設定する。そして、そ
の推定範囲内で、撮影場所である可能性を有する物、場
所、地域を撮影場所候補とし、かつそれぞれの候補に優
先順位を設定する。この優先順位の設定方法は、先の円
形範囲の中心からの距離に基づいて行う。そして、優先
順位の高い候補を地図位置情報として記録再生手段８及
び表示手段９に出力するようにしている。
【００２３】ところで、上述のようにして推定された撮
影場所の地図位置情報の中には、ユーザの知識から見て
明らかに適切でないものが含まれてくることが予想され
る。そこで、本実施の形態では、さらに使い勝手をよく
するため、出力表示した地図位置情報が誤っているとユ
ーザが認識した場合には、外部入力信号ｂによって修正
を行うことができるようにしている。すなわち、外部入
力信号ｂは撮影位置推定手段６に入力され、撮影位置推
定手段６は外部入力信号ｂをトリガとして、優先順位を
設定した撮影場所候補を文字情報又は地図中に印で示し
た地図位置情報を表示手段９に送る。これにより、表示
手段９には、入力される撮影場所候補が優先順位の高い
順に表示される。そして、ユーザは、表示手段９のパネ
ル上で撮影場所候補の中から自分の意志に合った候補を
選択する。表示手段９は、選択された結果の情報を撮影
位置推定手段６に送る。これにより、推定された撮影場
所候補の中からユーザの意志によって選択された的確な
地図位置情報が、撮影場所として決定され、撮影位置推
定手段６から記録再生手段８に出力されて、撮影画像に
対応づけて記録される。
【００２４】同様に、撮影対象推定手段７も、撮影対象
の候補を抽出し、優先順位を付して表示手段９に表示
し、ユーザが選択した撮影対象候補を撮影対象の地図位
置情報として決定するようにしている。但し、撮影対象
推定手段７は、撮影位置を基準として距離情報と方向情
報から撮影対象の位置を推定することから、撮影位置か
ら撮影対象までの距離が長くなる程、方向情報に比べて
距離情報に誤差が多く含まれてくる。そこで、撮影対象
推定手段７は、推定範囲を図２に示すように楕円形の範
囲を設定する。つまり、撮影位置と撮影対象を結ぶ方向
（焦点方向）に長軸を持つ楕円形の範囲を設定し、焦点
方向に冗長度を設けている。この楕円の偏平率を示す冗
長度は、撮影対象までの距離を考慮して設定する。ま
た、優先順位の設定は、推定範囲の中心からの距離に加
えて、長軸からの距離も考慮して行うようにすることが
好ましい。
【００２５】次に、このような実施の形態の画像記録再
生装置の操作性を考慮して設けた外部入力信号ａ〜ｇの
機能について説明する。外部入力信号ａは、図３Ａ，Ｂ
に示す例のように、地図位置情報の表示内容を切り替え
る信号である。外部入力信号ａは撮影場所推定手段６と
撮影対象推定手段７に入力され、それらの各手段は外部
入力信号ａに対応した出力を行うようになっている。図
２Ａは、地図位置情報を文字情報「現在地：＊＊県××
湖」、「画像：＋＋県○○山」で表示した例であり、図
２Ｂは、地図情報を地図中に●印で表示した例である。
【００２６】外部入力信号ｂは、前述したように、撮影
場所推定手段６又は撮影対象推定手段７によって推定さ
れた撮影場所又は撮影対象の地図位置情報の修正を行う
ためのものである。
【００２７】外部入力信号ｃは、撮影場所推定手段６に
対して地図位置情報の表示及び記録のＯＮ／ＯＦＦ／Ｐ
ＡＵＳＥを行うコマンド信号である。ＯＦＦコマンドの
場合には、撮影場所推定手段６は地図位置情報の推定処
理を行わず、これにより表示手段９と記録再生手段８へ
の送信も停止する。ＰＡＵＳＥコマンドの場合には、撮
影場所推定手段６は出力中の地図位置情報の更新を行わ
ず、同一情報を出力し続ける。
【００２８】外部入力信号ｄは、撮影対象推定手段７に
対して撮影対象の地図位置情報の表示及び記録のＯＮ／
ＯＦＦ／ＰＡＵＳＥを行うコマンド信号である。ＯＦＦ
コマンドの場合には、撮影対象推定手段７は撮影対象の
地図位置情報の推定処理を行わず、また表示手段９と記
録再生手段８への送信も停止する。ＰＡＵＳＥコマンド
の場合には、撮影対象推定手段７は出力中の撮影対象の
地図位置情報の更新を行わず、同一情報を出力し続け
る。これによって、特に、人物の撮影時には一度背景の
地図位置情報を設定した後、ＰＡＵＳＥコマンドによっ
て設定を固定し、その後撮影対象の人物を撮影すると、
背景の地図位置情報を撮影対象の地図位置情報として表
示し、かつ記録することが可能となり、使い勝手がよく
なる。
【００２９】外部入力信号ｅは、画像入力手段１で撮影
された画像データの記録／否記録を設定するコマンド信
号であり、撮影場所推定手段６、撮影対象推定手段７及
び記録再生手段８に入力される。記録コマンドの場合
は、撮影場所推定手段６と撮影対象推定手段７は、推定
した地図位置情報をを記録再生手段８に出力する。ま
た、記録再生手段８は、画像入力手段１から入力される
画像データと、撮影場所推定手段６と撮影対象推定手段
７から入力される撮影場所と撮影対象の地図位置情報を
画像データに対応させて記録する。また、記録媒体の特
定の部分に、画像データの一部と撮影場所と撮影対象の
地図位置情報とからなるインデクス情報を記録する。こ
のインデックス情報の一例を図４Ａ，Ｂに示す。なお、
記録コマンドでない場合は、表示手段９による表示だけ
の動作となる。
【００３０】外部入力信号ｆは、通常の記録画像の再生
と、インデクス情報の再生との切り替え、及びインデッ
クス表示の表示方法の切り替えコマンドである。通常の
画像再生の場合は、図３のように画像と地図位置情報の
表示となる。インデックス表示の場合は、図４Ａに示す
ように小さな画像による表示、あるいは図４Ｂに示すよ
うな文字による情報表示を行うことを切り替えできる。
【００３１】以上説明したように、本実施の形態によれ
ば、撮影者等のユーザの意志で、撮影場所や撮影対象を
表す地図位置情報（名称等）を選択して、的確な撮影場
所や撮影対象の情報を記録したり表示できるから便利で
ある。その結果、撮影画像に付加する撮影場所や撮影対
象の情報を的確なものに特定できるという効果がある。
【００３２】なお、上記の実施の形態では、８ミリ等の
動画像記録再生装置を例に挙げて説明したが、本発明は
これに限るものではなく、フィルムカメラやディジタル
（スチル）カメラに適用して、同様な効果が得られる。
【００３３】また、上記実施の形態において、撮影場所
又は撮影対象の候補の優先順位を、円形又は楕円形の推
定範囲の中心からの距離等に基づく例を示したが、本発
明はこれに限るものではない。地図情報を構成する一要
素である物、場所、地域に対して、知名度あるいは検出
頻度を尺度とする重みを設定してメモリ５に記憶してお
き、設定された重みに応じて、あるいは中心からの距離
と重みとの積に応じて優先順位を設定することにより、
一層的確な推定を行わせることができる。
【００３４】
【発明の効果】以上述べたように、本発明によれば、撮
影画像に付加する撮影場所や撮影対象の情報を的確なも
のに特定できることから、ユーザが意識することなく画
像記録、再生時に撮影場所、撮影対象や背景の位置、名
称等の地図情報を知ることができ、操作性を向上するこ
とができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の画像記録再生装置の主
要部を示すブロック図である。
【図２】本発明の特徴に係る一例の撮影対象推定の手順
を説明する図である。
【図３】撮影画像の表示に併せて表示する地図位置情報
の表示内容の例を示す説明図である。
【図４】インデックス表示の表示内容の例を示す説明図
である。
【符号の説明】
１ 画像入力手段 ２ 位置検出器 ３ 距離検出器 ４ 方向検出器 ５ メモリ ６ 撮影場所推定手段 ７ 撮影対象推定手段 ８ 記録再生手段 ９ 表示手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３３５ Ｈ０４Ｎ 5/781 ５１０Ｌ 5/93 Ｚ (72)発明者 樋口 重光 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 (72)発明者 中川 一三夫 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マルチメディアシステム 開発本部内 Ｆターム(参考） 5B050 BA01 BA11 BA15 BA17 BA20 CA07 EA05 EA06 EA07 EA20 FA02 FA09 GA08 5B075 ND08 NK04 NK31 PP03 PQ02 PQ75 UU14 5C053 FA06 FA22 FA23 JA16 JA30 KA01 KA08 LA01 LA06 LA20 5C054 CC05 EH01 FC12 FC15 FE13 HA00

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 撮影位置を検出する位置検出手段と、撮
    影位置から撮影対象迄の距離を検出する距離検出手段
    と、前記撮影対象の方向を検出する方向手段と、地図情
    報を保存する記憶手段と、前記地図情報に基づいて前記
    撮影位置に対応する地図上の撮影場所候補を抽出し、複
    数の候補が抽出されたときは確度の高い順に優先順位を
    付して地図上の撮影場所候補を推定する撮影場所推定手
    段と、前記地図情報に基づいて前記撮影位置と前記撮影
    位置から前記撮影対象までの距離と前記撮影対象の方向
    とから、前記撮影対象に対応する地図上の撮影対象候補
    を抽出し、複数の候補が抽出されたときは確度の高い順
    に優先順位を付して地図上の撮影対象候補を推定する撮
    影対象推定手段とを備えてなる画像記録装置。
  2. 【請求項２】 請求項１に記載の画像記録装置におい
    て、前記撮影場所推定手段と前記撮影対象推定手段は、
    前記撮影場所候補と前記撮影対象候補の最も優先順位の
    高いもの前記表示手段に表示させることを特徴とする画
    像記録再生装置。
  3. 【請求項３】 請求項１に記載の画像記録装置におい
    て、前記撮影場所推定手段と前記撮影対象推定手段は、
    推定した前記撮影場所候補と前記撮影対象候補を優先順
    位を付して前記表示手段に表示させるものとし、 表示された前記撮影場所候補と前記撮影対象候補の少な
    くとも１つを選択する手段と、選択された前記撮影場所
    候補と前記撮影対象候補を撮影画像に対応付けて記録す
    る手段とを備えてなることを特徴とする画像記録装置。
  4. 【請求項４】 請求項１乃至３のいずれかに記載の画像
    記録装置において、前記撮影場所推定手段は、前記撮影
    位置を中心に地図上の一定の推定範囲を設定し、該推定
    範囲内に該当する可能性がある複数の物と場所と地域の
    少なくとも１つに係る前記撮影位置候補を抽出し、前記
    優先順位は、前記推定範囲の中心からの距離に基づいて
    設定することを特徴とする画像記録装置。
  5. 【請求項５】 請求項１乃至４のいずれかに記載の画像
    記録装置において、前記撮影対象推定手段は、前記撮影
    位置から前記撮影対象までの距離を中心に、かつ前記撮
    影対象の方向に長く延びた一定の推定範囲を地図上に設
    定し、該推定範囲内に該当する可能性がある複数の物と
    場所と地域の少なくとも１つに係る前記撮影対象候補を
    抽出し、前記優先順位は、前記撮影対象の方向軸からの
    距離と前記推定範囲の中心からの距離の少なくとも１つ
    に基づいて設定することを特徴とする画像記録装置。
  6. 【請求項６】 請求項５に記載の画像記録装置におい
    て、前記地図情報は、特定の物と場所と地域の少なくと
    も１つに対して、予め設定した知名度を含む重みを付加
    した情報を有してなり、前記撮影対象推定手段は、前記
    重みを考慮して前記優先順位を設定することを特徴とす
    る画像記録装置。
  7. 【請求項７】 請求項４乃至６のいずれかに記載の画像
    記録装置において、前記推定範囲に候補がない場合は、
    前記推定範囲を広げて候補の抽出を繰り返すことを特徴
    とする画像記録装置。
  8. 【請求項８】 請求項１乃至７のいずれかに記載の画像
    記録装置において、前記撮影位置推定手段と前記撮影対
    象推定手段は、外部から入力される指令に従って、前記
    撮影位置候補又は前記撮影対象候補として前記地図情報
    から文字情報と位置情報の少なくとも一方を抽出するこ
    とを特徴とする画像記録装置。
  9. 【請求項９】 請求項８に記載の画像記録装置におい
    て、前記表示手段は、外部から入力される選択指令に従
    って、抽出された前記撮影位置候補又は前記撮影対象候
    補の文字情報と位置情報の一方を表示することを特徴と
    する画像記録装置。
JP17452298A 1998-06-22 1998-06-22 画像記録装置 Expired - Fee Related JP4296451B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP17452298A JP4296451B2 (ja) 1998-06-22 1998-06-22 画像記録装置
US09/332,446 US6657666B1 (en) 1998-06-22 1999-06-14 Method and apparatus for recording image information
CNB991088530A CN100339905C (zh) 1998-06-22 1999-06-22 图像信息记录方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17452298A JP4296451B2 (ja) 1998-06-22 1998-06-22 画像記録装置

Publications (2)

Publication Number Publication Date
JP2000013722A true JP2000013722A (ja) 2000-01-14
JP4296451B2 JP4296451B2 (ja) 2009-07-15

Family

ID=15980003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17452298A Expired - Fee Related JP4296451B2 (ja) 1998-06-22 1998-06-22 画像記録装置

Country Status (3)

Country Link
US (1) US6657666B1 (ja)
JP (1) JP4296451B2 (ja)
CN (1) CN100339905C (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245079A (ja) * 2001-01-18 2002-08-30 Hewlett Packard Co <Hp> 関心のあるサイトを識別する携帯システム
WO2005024688A1 (ja) * 2003-09-05 2005-03-17 Matsushita Electric Industrial Co., Ltd. 訪問場所特定装置及び訪問場所特定方法
JP2006020166A (ja) * 2004-07-02 2006-01-19 Fuji Photo Film Co Ltd 地図表示システム及びデジタルカメラ
JP2007006033A (ja) * 2005-06-22 2007-01-11 Omron Corp 対象決定装置、撮像装置および監視装置
WO2007013432A1 (ja) * 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 画像データ管理装置および画像データ管理方法
JP2007194948A (ja) * 2006-01-19 2007-08-02 Fujifilm Corp 画像編集装置及び画像編集プログラム
JP2008513852A (ja) * 2004-09-15 2008-05-01 フランス テレコム 写真中の対象体を識別する方法及びシステム，並びにそのシステムを実現するためのプログラム，記録媒体，端末及びサーバ
JP2010021787A (ja) * 2008-07-10 2010-01-28 Sony Corp 画像提示装置、画像提示方法、プログラム
JP2010239309A (ja) * 2009-03-30 2010-10-21 Victor Co Of Japan Ltd 画像編集装置、画像編集方法、画像編集プログラム
JP2013126102A (ja) * 2011-12-14 2013-06-24 Casio Comput Co Ltd 撮像装置、その制御方法及びプログラム
JP2013149073A (ja) * 2012-01-19 2013-08-01 Toshiba Corp 拡張現実装置、方法、及びプログラム
KR101293776B1 (ko) 2010-09-03 2013-08-06 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
JP2013211861A (ja) * 2013-05-02 2013-10-10 Olympus Imaging Corp 撮像装置、撮像方法、再生表示装置および再生表示方法
JP2014212555A (ja) * 2008-08-08 2014-11-13 クランボ エスエー デジタルカメラ及び関連する方法
US10397471B2 (en) 2011-11-21 2019-08-27 Sony Corporation Image processing apparatus, location information adding method

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003198833A (ja) * 2001-12-27 2003-07-11 Canon Inc 画像通信装置及び画像通信装置の制御方法及び画像通信装置の制御プログラム及び携帯機器装置及び携帯機器装置の制御方法及び携帯機器装置の制御プログラム及び記憶媒体
US20050046706A1 (en) * 2003-08-28 2005-03-03 Robert Sesek Image data capture method and apparatus
US20050161936A1 (en) * 2004-01-22 2005-07-28 Robert Sesek Adventure photography method and apparatus
US20050168597A1 (en) * 2004-02-04 2005-08-04 Clay Fisher Methods and apparatuses for formatting and displaying content
US7978232B1 (en) * 2004-02-05 2011-07-12 Navteq North America, Llc Photograph location stamp
JP4356688B2 (ja) * 2005-12-07 2009-11-04 ソニー株式会社 撮像装置、およびデータ記録方法、データ表示制御方法、並びにコンピュータ・プログラム
US7916201B2 (en) * 2006-03-31 2011-03-29 Nokia Corporation Mobile device, method and computer program product for displaying images on a display screen
JP2008131217A (ja) * 2006-11-20 2008-06-05 Funai Electric Co Ltd 携帯機器
JP2008160631A (ja) * 2006-12-26 2008-07-10 Funai Electric Co Ltd 携帯機器
JP5299054B2 (ja) * 2009-04-21 2013-09-25 ソニー株式会社 電子機器、表示制御方法およびプログラム
TW201122711A (en) * 2009-12-23 2011-07-01 Altek Corp System and method for generating an image appended with landscape information
KR20110087530A (ko) * 2010-01-26 2011-08-03 주식회사 팬택 목표물에 대한 위치 정보 획득이 가능한 이동통신 단말기 및 이동통신 단말기를 이용한 목표물의 정보 획득 방법
CN102238326A (zh) * 2010-04-27 2011-11-09 Tcl集团股份有限公司 一种对拍摄物进行信息记录的方法、装置及拍照设备
WO2011158336A1 (ja) * 2010-06-15 2011-12-22 株式会社ナビタイムジャパン ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム
EP2583877B1 (en) * 2010-06-16 2018-06-06 Navitime Japan Co., Ltd. Navigation system, terminal device, navigation server, navigation method, and navigation program
JP2012039174A (ja) 2010-08-03 2012-02-23 Ricoh Co Ltd 撮像装置及び撮像方法
CN104094589B (zh) * 2012-02-06 2017-08-29 索尼公司 图像捕捉控制器、图像处理器、控制图像捕捉的方法以及图像处理方法
US9582546B2 (en) * 2013-02-27 2017-02-28 Here Global B.V. Specificity for naming based on location
JP6098318B2 (ja) * 2013-04-15 2017-03-22 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
CN103354607A (zh) * 2013-04-15 2013-10-16 周劲峰 摄像机
US9674650B2 (en) 2013-07-26 2017-06-06 Here Global B.V. Familiarity measure to group objects

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01167691A (ja) * 1987-12-24 1989-07-03 Canon Inc 記録装置における光検出装置
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JPH06326900A (ja) * 1993-05-17 1994-11-25 Toshiba Corp 撮像装置
EP0807352A1 (en) * 1995-01-31 1997-11-19 Transcenic, Inc Spatial referenced photography
JP3844259B2 (ja) 1995-07-19 2006-11-08 富士写真フイルム株式会社 画像再現装置
JPH09113981A (ja) 1995-10-20 1997-05-02 Honda Motor Co Ltd 撮影装置
JPH09135416A (ja) 1995-11-08 1997-05-20 Kyocera Corp 被写***置及び撮影位置を記録再生可能なスチルビデオカメラシステム
JP3658659B2 (ja) 1995-11-15 2005-06-08 カシオ計算機株式会社 画像処理装置
JPH09200666A (ja) 1996-01-11 1997-07-31 Nippon Telegr & Teleph Corp <Ntt> 記録位置付き画像生成表示方法および装置
JP3742141B2 (ja) 1996-03-15 2006-02-01 株式会社東芝 画像記録再生装置、画像再生装置
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
JP2002502499A (ja) * 1997-06-03 2002-01-22 ステファン バイド 携帯用情報配信装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245079A (ja) * 2001-01-18 2002-08-30 Hewlett Packard Co <Hp> 関心のあるサイトを識別する携帯システム
US7792637B2 (en) 2003-09-05 2010-09-07 Panasonic Corporation Visiting place identification device and visiting place identification method
WO2005024688A1 (ja) * 2003-09-05 2005-03-17 Matsushita Electric Industrial Co., Ltd. 訪問場所特定装置及び訪問場所特定方法
JP2006020166A (ja) * 2004-07-02 2006-01-19 Fuji Photo Film Co Ltd 地図表示システム及びデジタルカメラ
JP2008513852A (ja) * 2004-09-15 2008-05-01 フランス テレコム 写真中の対象体を識別する方法及びシステム，並びにそのシステムを実現するためのプログラム，記録媒体，端末及びサーバ
JP2007006033A (ja) * 2005-06-22 2007-01-11 Omron Corp 対象決定装置、撮像装置および監視装置
JP4577113B2 (ja) * 2005-06-22 2010-11-10 オムロン株式会社 対象決定装置、撮像装置および監視装置
WO2007013432A1 (ja) * 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 画像データ管理装置および画像データ管理方法
US8094974B2 (en) 2005-07-26 2012-01-10 Panasonic Corporation Picture data management apparatus and picture data management method
JP5006195B2 (ja) * 2005-07-26 2012-08-22 パナソニック株式会社 画像データ管理装置および画像データ管理方法
JP2007194948A (ja) * 2006-01-19 2007-08-02 Fujifilm Corp 画像編集装置及び画像編集プログラム
JP2010021787A (ja) * 2008-07-10 2010-01-28 Sony Corp 画像提示装置、画像提示方法、プログラム
JP2014212555A (ja) * 2008-08-08 2014-11-13 クランボ エスエー デジタルカメラ及び関連する方法
JP2010239309A (ja) * 2009-03-30 2010-10-21 Victor Co Of Japan Ltd 画像編集装置、画像編集方法、画像編集プログラム
KR101293776B1 (ko) 2010-09-03 2013-08-06 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
US10397471B2 (en) 2011-11-21 2019-08-27 Sony Corporation Image processing apparatus, location information adding method
JP2013126102A (ja) * 2011-12-14 2013-06-24 Casio Comput Co Ltd 撮像装置、その制御方法及びプログラム
JP2013149073A (ja) * 2012-01-19 2013-08-01 Toshiba Corp 拡張現実装置、方法、及びプログラム
JP2013211861A (ja) * 2013-05-02 2013-10-10 Olympus Imaging Corp 撮像装置、撮像方法、再生表示装置および再生表示方法

Also Published As

Publication number Publication date
CN1240297A (zh) 2000-01-05
JP4296451B2 (ja) 2009-07-15
CN100339905C (zh) 2007-09-26
US6657666B1 (en) 2003-12-02

Similar Documents

Publication Publication Date Title
JP4296451B2 (ja) 画像記録装置
EP1481539B1 (en) Recording-location determination using different types of signal sources
US7526718B2 (en) Apparatus and method for recording “path-enhanced” multimedia
US10491829B2 (en) Display control apparatus, display control method, and program
CN101373138A (zh) 图像再现设备及其图像再现方法和记录介质
US20080040034A1 (en) Route searching device
JPH11295804A (ja) カメラ
US7184611B2 (en) Data recording apparatus and method, data reproducing apparatus and method, data recording and reproducing apparatus and method, and map image data format
JP2943263B2 (ja) 撮影画像検索システム
JP2004032131A (ja) 撮像装置及び画像処理装置
JP2001036842A (ja) 画像処理装置、画像処理方法および記憶媒体
JP2001215123A (ja) ナビゲーション装置及び探索経路表示方法
JP3937787B2 (ja) 映像データ処理装置
JPH05110972A (ja) 画像記録装置及び画像再生装置
JP2010021934A (ja) 画像表示装置および電子カメラ
JP2943265B2 (ja) 位置情報記録可能なカメラ
JPH10319494A (ja) 撮影位置を表示する画像表示装置
JP2008011346A (ja) 撮像システム
JP3019771B2 (ja) 記録装置
JP2006085588A (ja) 画像記憶装置
JP3748513B2 (ja) 画像記録装置、ナビゲーションシステム装置及び携帯電話機
KR19990048751A (ko) 디지털 카메라의 위치정보 자동기록 장치
JP2006133876A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR100906855B1 (ko) 데이터 기록 장치 및 방법
JP2001285785A (ja) 画像記録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees