JP3544268B2 - 三次元画像処理装置およびそれを用いた画像処理方法 - Google Patents

三次元画像処理装置およびそれを用いた画像処理方法 Download PDF

Info

Publication number
JP3544268B2
JP3544268B2 JP15272896A JP15272896A JP3544268B2 JP 3544268 B2 JP3544268 B2 JP 3544268B2 JP 15272896 A JP15272896 A JP 15272896A JP 15272896 A JP15272896 A JP 15272896A JP 3544268 B2 JP3544268 B2 JP 3544268B2
Authority
JP
Japan
Prior art keywords
data
polygon
operation object
image processing
control circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP15272896A
Other languages
English (en)
Other versions
JPH09167260A (ja
Inventor
聡 西海
一雄 幸嶋
巧 河越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP15272896A priority Critical patent/JP3544268B2/ja
Priority to TW85107540A priority patent/TW308672B/zh
Priority to CA002205058A priority patent/CA2205058C/en
Priority to US08/836,739 priority patent/US5973704A/en
Priority to KR1019970703892A priority patent/KR100356429B1/ko
Priority to DE69630584T priority patent/DE69630584T2/de
Priority to CN96191192A priority patent/CN1111824C/zh
Priority to BR9606670A priority patent/BR9606670A/pt
Priority to AU72270/96A priority patent/AU724018B2/en
Priority to MX9704154A priority patent/MX9704154A/es
Priority to EP96933600A priority patent/EP0801363B1/en
Priority to PCT/JP1996/002931 priority patent/WO1997014115A1/ja
Publication of JPH09167260A publication Critical patent/JPH09167260A/ja
Priority to HK98102460A priority patent/HK1003398A1/xx
Priority to US09/309,375 priority patent/US6778190B1/en
Priority to US09/377,160 priority patent/US6421056B1/en
Priority to US09/794,623 priority patent/US6590578B2/en
Priority to US10/042,175 priority patent/US20020057274A1/en
Application granted granted Critical
Publication of JP3544268B2 publication Critical patent/JP3544268B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5252Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/95Storage media specially adapted for storing game information, e.g. video game cartridges
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05GCONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G9/00Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
    • G05G9/02Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
    • G05G9/04Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
    • G05G9/047Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/22Setup operations, e.g. calibration, key configuration or button assignment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018Calibration; Key and button assignment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/63Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/636Methods for processing data by generating or executing the game program for controlling the execution of the game in time involving process of starting or resuming a game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/64Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/64Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A63F2300/643Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car by determining the impact between objects, e.g. collision detection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6669Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera using a plurality of virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character change rooms
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005Athletics
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05GCONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G9/00Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
    • G05G9/02Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
    • G05G9/04Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
    • G05G9/047Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks
    • G05G2009/0474Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks characterised by means converting mechanical movement into electric signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05GCONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G9/00Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
    • G05G9/02Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
    • G05G9/04Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
    • G05G9/047Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks
    • G05G2009/0474Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks characterised by means converting mechanical movement into electric signals
    • G05G2009/04759Light-sensitive detector, e.g. photoelectric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05GCONTROL DEVICES OR SYSTEMS INSOFAR AS CHARACTERISED BY MECHANICAL FEATURES ONLY
    • G05G9/00Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously
    • G05G9/02Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only
    • G05G9/04Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously
    • G05G9/047Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks
    • G05G2009/04777Manually-actuated control mechanisms provided with one single controlling member co-operating with two or more controlled members, e.g. selectively, simultaneously the controlling member being movable in different independent ways, movement in each individual way actuating one controlled member only in which movement in two or more ways can occur simultaneously the controlling member being movable by hand about orthogonal axes, e.g. joysticks with additional push or pull action on the handle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/013Force feedback applied to a game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/015Force feedback applied to a joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【産業上の利用分野】
この発明は三次元画像処理装置およびそれに用いる外部記憶装置に関し、特にたとえば三次元空間に存在する操作オブジェクトや他のオブジェクトを所定の撮影位置(視点)から撮影した映像をディスプレイに表示する三次元画像処理装置、およびそれに用いる外部記憶装置に関する。
【0002】
【従来の技術】
従来のいわゆる3D(3−Dimensional) ゲームにおいては、三次元データで構成された操作オブジェクト(操作者によって操作され得るオブジェクト)を所定の方向および距離からカメラで撮影した映像をに表示していた。
【0003】
【発明が解決しようとする課題】
従来の3Dゲームでは、操作オブジェクトとカメラとの間に背景画像または敵キャラクタとして使用されているオブジェクト(他のオブジェクト)が存在するとき、または、他のオブジェクトが移動して操作オブジェクトとカメラの間に割り込んできたとき、操作オブジェクトを撮影できなかった。
【0004】
したがって、このような従来の3Dゲームでは、プログラムによって、操作オブジェクトとカメラとの間に他のオブジェクトが存在しないように他のオブジェクトの配置を制限しなければならなかった。
それゆえに、この発明の主たる目的は、常に操作オブジェクトを表示することができ、したがって、他のオブジェクトの配置を制限することがない、画像処理装置を提供することである。
【0005】
【課題を解決するための手段】
第1の発明は、三次元空間に存在する操作オブジェクトおよび他のオブジェクトを所定の撮影位置から撮影した映像をディスプレイに表示する画像処理装置であって、操作オブジェクトおよび他のオブジェクトのデータおよび所定のプログラムを記憶している外部記憶手段、操作オブジェクトの三次元空間での位置を変化させるデータを入力するための入力手段、入力手段によって入力されたデータに基づいて三次元空間での操作オブジェクトの位置を変化させるように操作オブジェクト位置データを発生する操作オブジェクト位置データ発生手段、外部記憶手段に記憶されているデータと操作オブジェクト位置データとに基づいて三次元データを作成する三次元データ作成手段、操作オブジェクトを撮影するための三次元空間での撮影位置を示す撮影位置データを発生する撮影位置データ発生手段、撮影位置と操作オブジェクト位置との間に他のオブジェクトを形成するポリゴンが存在するか否かを検出する遮蔽ポリゴン検出手段、遮蔽ポリゴン検出手段によって検出されたポリゴンが、撮影位置に対して表向きであるか裏向きであるかを検出する、表裏判定手段、目標物を原点として、表裏判定手段によって裏向きであると判定されたポリゴンの法線のみに垂直な角度を形成するように、撮影位置を回転移動する、撮影位置データ回転変更手段、三次元データおよび撮影位置データに基づいて三次元空間の所定の撮影位置から操作オブジェクトを撮影した映像をディスプレイに表示するための表示データを作成する表示データ作成手段、および表示データ作成手段によって作成された表示データに基づいてディスプレイに画像信号を出力する画像信号発生手段を備える、三次元画像処理装置である。
第2の発明は、操作オブジェクトおよび他のオブジェクトのデータおよび所定のプログラムを記憶している外部記憶手段を備えた画像処理装置を用いて、三次元空間に存在する操作オブジェクトおよび他のオブジェクトを所定の撮影位置から撮影した映像をディスプレイに表示する画像処理方法であって、入力手段を介して、操作オブジェクトの三次元空間での位置を変化させるデータが入力されるステップ、操作オブジェクト位置データ発生手段が、入力手段によって入力されたデータに基づいて三次元空間での操作オブジェクトの位置を変化させるように操作オブジェクト位置データを発生するステップ、三次元データ作成手段が、外部記憶手段に記憶されているデータと操作オブジェクト位置データとに基づいて三次元データを作成するステップ、撮影位置データ発生手段が、操作オブジェクトを撮影するための三次元空間での撮影位置を示す撮影位置データを発生するステップ、遮蔽ポリゴン検出手段が、撮影位置と操作オブジェクト位置との間に他のオブジェクトを形成するポリゴンが存在するか否かを検出するステップ、表裏判定手段が、遮蔽ポリゴン検出手段によって検出されたポリゴンが、撮影位置に対して表向きであるか裏向きであるかを検出するステップ、撮影位置データ回転変更手段が、目標物を原点として、表裏判定手段によって裏向きであると判定されたポリゴンの法線のみに垂直な角度を形成するように、撮影位置を回転移動するステップ、表示データ作成手段が、三次元データおよび撮影位置データに基づいて三次元空間の所定の撮影位置から操作オブジェクトを撮影した映像をディスプレイに表示するための表示データを作成するステップ、および画像信号発生手段が、表示データ作成手段によって作成された表示データに基づいてディスプレイに画像信号を出力するステップから構成される、三次元画像処理方法である。
【0006】
【作用】
遮蔽ポリゴン検出手段が、撮影位置と操作オブジェクト位置との間に他のオブジェクトを形成するポリゴンが存在するか否かを検出する。他のオブジェクトのポリゴンの存在が検出されると、表裏判定手段が、そのポリゴンが、撮影位置に対して表向きであるか裏向きであるかを検出する。撮影位置と操作オブジェクト位置との間に存在する他のオブジェクトのポリゴンが裏向きであれば、撮影位置データ回転変更手段が、目標物を原点として、表裏判定手段によって裏向きであると判定されたポリゴンの法線のみに垂直な角度を形成するように、撮影位置を回転移動する。したがって、操作オブジェクトが他のオブジェクトに邪魔されずにカメラによって写される。
【0007】
【発明の効果】
この発明によれば、他のオブジェクトを自由に配置していても、操作オブジェクトを常にディスプレイ画面に表示させることが可能である。したがって、この発明がゲーム装置に適用された場合には、操作オブジェクトや多数の他のオブジェクトがディスプレイ画面中を移動するようなゲームにおいても、常に操作オブジェクトをディスプレイ上に表示することができる。
【0008】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0009】
【実施例】
図1はこの発明の一実施例の画像処理システムのシステム構成を示す外観図である。画像処理システムは、たとえばビデオゲームシステムであって、画像処理装置本体10と、外部記憶装置の一例のROMカートリッジ20と、画像処理装置本体10に接続される表示手段の一例のディスプレイ30と、操作手段の一例のコントローラ40と、コントローラ40に着脱自在に装着される拡張装置の一例のRAMカートリッジ50とを含んで構成される。なお、外部記憶装置は、ゲーム等の画像処理のための画像データやプログラムデータを記憶するとともに、必要に応じて音楽や効果音等の音声データを記憶するものであり、ROMカートリッジに代えてCD−ROMや磁気ディスクを用いてもよい。操作手段は、この実施例の画像処理システムがパーソナルコンピュータに適用される場合には、キーボードやマウス等の入力装置が用いられる。
【0010】
図2はこの実施例の画像処理システムのブロック図である。画像処理装置10には、中央処理ユニット(以下「CPU」)11およびバス制御回路12が内蔵される。バス制御回路12には、ROMカートリッジ20を着脱自在に装着するためのカートリッジ用コネクタ13が接続されるととともに、ワーキングRAM14が接続される。また、バス制御回路14には、CPU11によって処理された音声信号を出力するための音声信号発生回路15および画像信号を出力するための画像信号発生回路16が接続され、さらに1つまたは複数のコントローラ40の操作データおよび/またはRAMカートリッジ50のデータをシリアルで転送するためのコントローラ制御回路17が接続される。コントローラ制御回路17には、画像処理装置10の前面に設けられるコントローラ用コネクタ(以下「コネクタ」と略称する)181〜184が接続される。コネクタ18には、接続用ジャック41およびケーブル42を介してコントローラ40が着脱自在に接続される。このように、コネクタ181〜184にコントローラ40を接続することにより、コントローラ40が画像処理装置10と電気的に接続され、相互間のデータの送受信が可能とされる。
【0011】
より具体的には、バス制御回路12は、CPU11からバスを介してパラレル信号で出力されたコマンドを入力し、パラレル−シリアル変換して、シリアル信号でコマンドをコントローラ制御回路17に出力し、かつコントローラ制御回路17から入力したシリアル信号のデータをパラレル信号に変換し、バスに出力する。バスから出力されたデータは、CPU11によって処理されたり、W−RAM14に記憶される等の処理が行われる。換言すれば、W−RAM14は、CPU11によって処理されるデータを一時記憶するためのメモリであって、バス制御回路12を介してデータの読出・書込が可能とされる。
【0012】
図3はCPU11のメモリ空間に割り当てられた各メモリの領域を示す図解である。CPU11がバス制御回路12を介してアクセスできるメモリ空間には、ROMカートリッジ20の外部メモリ領域と、W−RAM14のメモリ領域がある。ROMカートリッジ20は、ゲーム処理のためのデータを記憶したROMを基板に実装し、その基板をハウジングに収納して構成されるが、ROM記憶データが図3に示す外部メモリ領域に示される。すなわち、ROMには、画像処理装置10にゲームのための画像信号を発生させるために必要な画像データを記憶した画像データ領域201と、CPU11が所定の動作を行うために必要なプログラムデータを記憶したプログラムデータ領域202とが含まれる。プログラムデータ領域202には、画像データ201に基づいて画像表示を行うための画像表示プログラムと、計時処理を行うための計時プログラムと、カートリッジ20と後述の拡張装置50とが所定の関係にあることを判断するための判断プログラムとが固定的に記憶されている。なお、計時プログラムおよび判断プログラムの詳細については後述する。一方、W−RAM14のメモリ領域は、コントロールパッドからの操作状態を示すデータを一時記憶する領域141を含む。
【0013】
図4はコントローラ制御回路17の詳細な回路図である。コントローラ制御回路17は、バス制御回路12とコントローラ用コネクタ181〜184との間でデータをシリアルで送受信するために設けられ、データ転送制御回路171,送信回路172,受信回路173および送受信データを一時記憶するためのRAM174を含む。データ転送制御回路171は、データ転送時にデータフォーマットを変換するためにパラレル−シリアル変換回路とシリアル−パラレル変換回路とを含むとともに、RAM174の書込み読出し制御を行う。シリアル−パラレル変換回路は、バス制御回路12から供給されるシリアルデータをパラレルデータに変換してRAM174または送信回路172に与える。パラレル−シリアル変換回路は、RAM174,または受信回路173から供給されるパラレルデータをシリアルデータに変換してバス制御回路12に与える。送信回路172は、データ転送制御回路171から供給されるコントローラ40の信号読込制御のためのデータおよびRAMカートリッジ50への書込データ(パラレルデータ)をシリアルデータに変換して、複数のコントローラ40のそれぞれに対応するチャンネルCH1〜CH4から送信する。受信回路173は、各コントローラ40に対応するチャンネルCH1〜CH4から入力される各コントローラ40の操作状態を示すデータおよびRAMカートリッジ50からの読出データをシリアルデータで受信し、パラレルデータに変換してデータ転送制御回路171に与える。
【0014】
送信回路172および受信回路173は、変調・復調(以下「変復調」という)方式の一例として、デューティーサイクル変復調方式を採用している。デューティーサイクル変復調方式は、図5に示すように、一定時間間隔で信号のHiの期間とLoの期間とを変化させることによって「1」と「0」とを表す変復調方式である。変調方式を具体的に説明すると、シリアル送信すべきデータが論理「1」のとき、1サイクル期間Tにおいてハイレベル期間tHをローレベル期間tLより長くした信号(tH>tL)を送信し、送信すべきデータが論理「0」のとき、1サイクル期間Tにおいて、tHをtLより短くした信号(tH<tL)で送信する。
【0015】
一方、復調方式は、受信したシリアル信号(ビット伝送信号)をサンプリングし、受信信号がハイレベルかローレベルかを常時監視しておき、受信信号のレベルがハイからローに変わるまでの時間をtL、ハイからローに変わるまでの時間をtHとすれば、1サイクルがT=tL+tHで表される。このとき、tLとtHとの関係がtL<tHであるとき論理「1」と認識し、tL>tHであるとき論理「0」と認識することにより、復調する。このようなデューティーサイクル変復調方式を使用すれば、クロックに同期させてデータを送る必要がなくなり、1本の信号線だけでデータを送受信できる利点がある。なお、2本の信号線を有する場合は、他の変復調方式を用いても良いことは勿論である。
【0016】
RAM174は、図6のメモリマップに示すように記憶領域または記憶エリア174a〜17hを含む。具体的には、エリア174aには1チャンネル用のコマンドが記憶され、エリア174bには1チャンネル用の送信データおよび受信データが記憶される。エリア174cには2チャンネル用のコマンドが記憶され、エリア174dには2チャンネル用の送信データおよび受信データが記憶される。エリア174eには3チャンネル用のコマンドが記憶され、エリア174fには3チャンネル用の送信データおよび受信データが記憶される。エリア174gには4チャンネル用のコマンドが記憶され、エリア174hには4チャンネル用の送信データおよび受信データが記憶される。
【0017】
従って、データ転送制御回路171は、バス制御回路12から転送されたデータまたは受信回路173で受信されたコントローラ40の操作状態データやRAMカートリッジ50の読出データをRAM174に書込み制御したり、バス制御回路12からの命令に基づいてRAM174のデータを読出してバス制御回路12へ転送するように働く。
【0018】
図7および図8はコントローラ40の表面と裏面の外観斜視図である。コントローラ40は、両手または片手で掌握可能な形状であり、そのハウジングの外部には押圧することによって電気的信号を発生する複数のボタンと、垂直に直立した操作部が突出して形成される。具体的には、コントローラ40は、上ハウジングと下ハウジングから構成される。コントローラ40のハウジングには、横長の平面形状を有する上面に操作部領域が形成される。コントローラ40の操作部領域には、左側に十字型のディジタル方向スイッチ(以下「十字スイッチ」という)403が設けられ、右側に複数のボタンスイッチ(以下単に「スイッチ」と略称する)404A〜404Fが設けられ、横方向の略中央部にスタートスイッチ405が設けられ、中央下部にアナログ入力可能なジョイスティック45が設けられる。十字スイッチ403は、主人公キャラクタまたはカーソルの移動方向を指示する方向スイッチであり、上,下,左,右の押点を有し、4方向の移動を指定するのに使用される。スイッチ404A〜404Fは、ゲームソフトによって異なるが、たとえばシューティングゲームではミサイルの発射ボタン、アクショゲームではジャンプ,キックや物を取る等の各種の動作を指示するために使用される。ジョイステック45は、十字スイッチ403に代えて主人公キャラクタの移動方向の指示等に用いられるが、360度の全角度範囲の方向指示が可能であるので、アナログ方向指示スイッチとして利用される。
【0019】
コントローラ40のハウジングには、操作部領域の3か所の下方に突出するように、3本のグリップ402L,402Cおよび402Rが形成される。グリップ402L,402Cおよび402Rは、手で握ったときに掌と中指,薬指,小指とで形作られる棒状であって、付け根部分が少し細く、中央で太くなり、解放端(図7の下方側)に向かって細く形成される。コントローラ40の下ハウジングの中央上部には、拡張装置であるRAMカートリッジ50を着脱自在に装着するための挿入口409が裏面より突出して形成される。ハウジングの上辺側面の左右には、プレイヤが左右の人指し指を延ばした位置に対応する位置にボタンスイッチ406Lおよびボタン406Rが設けられる。中央のグリップ402Cの付け根部分の裏面には、十字スイッチ403に代えてジョイスティック45を使用するときに、スイッチ406Lに代わる機能のスイッチとしてスイッチ407が設けられる。
【0020】
ハウジングの下ハーフの背面側は底面方向に延長され、その先端には開口部408が形成されている。開口部408の奥には拡張カートリッジ50がそこに接統されるコネクタ(図示せず)が設けられている。また、開口部408に挿入されたカートリッジ50を排出するためのレバー409が開口部408に形成されている。そして、上述の拡張カートリッジ50を挿入する開口部408のレバー409の反対側には、切欠410が形成され、この切欠410はレバー409を用いて拡張カートリッジ50を取り出すときに拡張カートリッジ50を引き出すためのスペースを形成する。
【0021】
図9はコントローラ40および拡張装置の一例のRAMカートリッジ50の詳細な回路図である。コントローラ40のハウジング内には、各スイッチ403〜407またはジョイスティック45等の操作状態を検出しかつその検出データをコントローラ制御回路17へ転送するために、操作信号処理回路44等の電子回路が内蔵される。操作信号処理回路44は、受信回路441,制御回路442,スイッチ信号検出回路443,カウンタ回路444,送信回路445,ジョイポート制御回路446,リセット回路447およびNORゲーム448を含む。
【0022】
受信回路441は、コントローラ制御回路17から送信される制御信号やRAMカートリッジ50への書込データ等のシリアル信号をパラレル信号に変換して制御回路442に与える。制御回路442は、コントローラ制御回路17から送信される制御信号がジョイスティック45のX,Y座標のリセット信号であるとき、リセット信号を発生してNORゲート448を介してカウンタ444に含まれるX軸用カウンタ444XとY軸用カウンタ444Yの計数値をリセット(0)させる。ジョイステック45は、レバーの傾き方向のX軸方向とY軸方向に分解して傾き量に比例したパルス数を発生するように、X軸用とY軸用のフォトインタラプトを含み、それぞれのパルス信号をカウンタ444Xとカウンタ444Yに与える。カウンタ444Xは、ジョイスティック45がX軸方向に傾けられたとき、その傾き量に応じて発生されるパルス数を計数する。カウンタ444Yは、ジョイスティック45がY軸方向に傾けられたとき、その傾き量に応じて発生されるパルス数を計数する。従って、カウンタ444Xとカウンタ444Yとの計数値によって決まるX軸とY軸の合成ベクトルによって、主人公キャラクタまたはカーソルの移動方向と座標位置が決定されることになる。なお、カウンタ444Xおよびカウンタ444Yは、電源投入時にリセット信号発生回路447から与えられるリセット信号、またはプレイヤが予め定める2つのスイッチが同時に押圧されたときにスイッチ信号検出回路443から与えられるリセット信号によっても、その計数値がリセットされる。
【0023】
スイッチ信号検出回路443は、制御回路442から一定周期(たとえば、テレビジョンのフレーム周期の1/30秒間隔)で与えられるスイッチ状態の出力指令信号に応答して、十字スイッチ403,スイッチ404A〜404F,405,406L,406Rおよび407の押圧状態によって変化する信号を読込み、それを制御回路442へ与える。
【0024】
制御回路442は、コントローラ制御回路17からの操作状態データの読出指令信号に応答して、各スイッチ403〜407の操作状態データおよびカウンタ444X,444Yの計数値を所定のデータフォーマットの順序で送信回路445に与える。送信回路445は、制御回路442から出力されたこれらのパラレル信号をシリアルデータに変換して、変換回路43および信号線42を介してコントローラ制御回路17へ転送する。
【0025】
また、制御回路442には、アドレスバスおよびデータバスならびにポートコネクタ46を介してポート制御回路446が接続される。ポート制御回路446は、拡張装置の一例のRAMカートリッジ50がポートコネクタ46に接続されているとき、CPU11の命令に従ってデータの入出力制御(または送受信制御)を行う。RAMカートリッジ50は、アドレスバスおよびデータバスにRAM51および時間関連情報発生手段の一例のタイマチップ(またはカレンダタイマ)53を接続し、RAM51およびタイマカウンタ53に電源を供給するための電池52を接続し、さらに所定のアドレスが与えられたときタイマカウンタ53を能動化するためのデコーダ54とを含んで構成される。RAM51は、アドレスバスを用いてアクセス可能な最大メモリ容量の半分以下の容量のRAMであって、たとえば256kビットのRAMから成る。これは、アドレスバスの最上位ビットが「1」になったときにタイマチップ53内の任意のカウンタの値を読み出すようにして、RAMの書込・読出アドレスとタイマチップ53の読出アドレスとが重複しないようにするためである。このRAM51は、ゲームに関連するバックアップデータを記憶するものであり、RAMカートリッジ50がポートコネクタ46から抜き取られても電池52からの電源供給を受けて記憶データを保持するものである。なお、RAM51の記憶データの種類,データの書込みおよび記憶データの利用の詳細は、後述する。
【0026】
図10は、画像処理装置が、コントローラ40からスイッチ403〜407およびジョイスティック45の各操作状態を示すデータを読み出す際のデータフォーマットを図解したものである。コントローラ40によって発生されるデータは4バイトのデータから成る。第1バイト目のデータは、B,A,G,START,上,下,左および右、すなわちスイッチ404B,404A,407,405および十字スイッチ403の上下左右の各押点が押圧されていることを示し、たとえばBボタンすなわちスイッチ404Bが押圧されると第1バイト目の最上位ビットが「1」となる。同様に、第2バイト目は、JSRST,0(実施例では使用していない),L,R,E,D,CおよびF、すなわちスイッチ409,406L,406R,404E,404D,404C,404Fが押圧されていることを示す。第3バイト目は、ジョイスティック45のX方向の傾倒角度に応じた値であるX座標(Xカウンタ444Xの計数値)を2進数で示す。第4バイト目は、ジョイスティック45のY方向の傾斜角度に応じた値であるY座標(Yカウンタ444Yの計数値)を2進数で示す。各X,Y座標値はそれぞれ8ビットの2進数で表されるため、これを10進数に変換するとジョイスティック45の傾斜角度を0〜255までの数値を表すことができる。また、最上位ビットを負の値を示すシグネチャに用いれば、ジョイスティック45の傾斜角度を−128〜127までの数値で表すことができる。
【0027】
図11〜図14を参照して、画像処理装置10とコントローラ40との間で送受信される信号のフォーマットについて説明する。
図11は、画像処理装置10が、コントローラ40のタイプを識別するためにコントローラ40との間で送受信する信号のフォーマットを図解したものである。画像処理装置10は、コントローラ40内の制御回路442に対して1バイト(8ビット)で構成されるコマンド「0」のタイプデータ要求信号を送信し、これに応答して制御回路442が発生するTYPE L(1バイト),TYPE H(1バイト)およびステータスの計3バイトのコントローラ40のタイプデータ信号を受信する。ここで、TYPE LおよびTYPE Hは、ジョイポートコネクタ46に接続されている機器の機能を表すデータである。TYPE LおよびTYPE Hデータは、RAMカートリッジに記憶されたRAMカートリッジ50のタイプ毎に固有のデータである。画像処理装置10は、このデータに基づいて、コントローラ40のタイプ、すなわちコントローラ40に接続されたRAMカートリッジ50のタイプを識別する。RAMカートリッジ50のタイプとしては、例えば単にRAM51のみを搭載したタイプ,RAM51とタイマチップを搭載したタイプおよびRAM51と液晶表示器を搭載したタイプ等があり、この実施例においてはRAM51とタイマチップを搭載したタイプについて詳細に説明している。また、ステータスデータは、ポートにRAMカートリッジ50等の拡張装置が接続されているか否か、およびリセット後に拡張装置が接続されたか否かを示すデータである。
【0028】
図12は、画像処理装置10が、コントローラ40の操作状態を識別するためにコントローラ40との間で送受信する信号のフォーマットを図解したものである。画像処理装置10は、コントローラ40内の制御回路442に対して1バイト(8ビット)で構成されるコマンド「1」のコントローラデータ要求信号を送信し、これに応答して制御回路442が発生するコントローラ40の操作状態データ信号を受信する。これらの操作状態データに基づいて、画像処理装置10は、操作者がコントローラ40をどのように操作したかを認識し、画像を変化させるのに利用する。なお、操作状態データ信号については、図10の説明で詳述したためここでは省略する。
【0029】
図13は、画像処理装置10が、コントローラ40に接続されたRAMカートリッジ50内のRAM51からデータの読出しを行う際のリードデータ信号のフォーマットを図解したものである。画像処理装置10は、制御回路442に対して、1バイト(8ビット)で構成されるコマンド2のリードコマンド信号,アドレスの上位ビットを示すアドレスH(8ビット)信号,アドレスの下位ビット(3ビット)を表わすアドレスL信号およびアドレスH信号とアドレスL信号のアドレスデータ送信エラーをチェックするためのアドレスCRC(5ビット)信号を送信し、これに応答して制御回路442が発生するRAM51の記憶データ(32バイト)信号およびデータ送信エラーをチェックするためのデータCRC(8ビット)信号を受信する。なお、画像処理装置10が、タイマチップ53の時間関連情報を読み出すには、単にアドレスH信号を80h以上の値にして8000h以上のアドレスを読み出せばよい。
【0030】
図14は、画像処理装置10が、コントローラ40に接続されたRAMカートリッジ50内のRAM51へデータの書込みを行う際のライトデータ信号のフォーマットを図解したものである。画像処理装置10は、制御回路442に対して、1バイト(8ビット)で構成されるコマンド3のライトコマンド信号,アドレスの上位ビットを示すアドレスH(8ビット)信号,アドレスの下位ビット(3ビット)を表わすアドレスL信号およびアドレスH信号,アドレスL信号のアドレスデータ送信エラーをチェックするためのアドレスCRC(5ビット)信号とRAM51に書込むべき32バイトの書込データ信号を送信し、これに応答して制御回路442が発生するデータ受信エラーをチェックするためのデータCRC(8ビット)信号を受信する。画像処理装置10は、データCRC信号を受信して送信した書込データとCRCチェックを行うことに基づいて、RAM51に正常にデータが書き込まれたことを判断する。なお、画像処理装置10が、タイマチップに時間関連情報を書き込んで例えば年月日や時間を再設定するには、単にアドレスH信号を80h以上の値にして8000h以上のアドレスに書込みを行えばよい。
【0031】
次に画像処理装置10とコントローラ40とのデータの送受信に関する動作説明をする。
まず、図15の画像処理装置10のCPU11のフローチャートを参照して画像処理に関する説明を行う。ステップS11で、CPU11は、図5のプログラムデータ領域202に記憶されている初期値(図示せず)に基づき、初期設定を行う。次に、ステップS12で、CPU11は、プログラムデータ領域202に記憶されているコントールパッドデータ要求コマンドをバス制御回路12に出力する。次に、ステップS13で、CPU11は、図5のプログラムデータ領域202に記憶されているプログラムにおよび画像データ領域201に基づき所定の画像処理を行う。また、CPU11がステップS13を実行しているときに、バス制御回路12は、ステップS21−S24を実行している。次に、ステップS14で、CPU11は、図3のコントロールパッドデータ領域141に記憶されているコントロールパッドデータに基づき画像データを出力する。ステップS14を終了した後は、CPU11は、ステップS12−ステップS14を繰り返し実行する。
【0032】
バス制御回路12の動作を図16を用いて説明する。ステップS21で、バス制御回路12は、CPU11がコントローラデータ要求コマンド(コントローラ40のスイッチデータまたは拡張装置50のデータ等の要求命令)を出力したか否かを判断する。コントローラデータ要求コマンドが出力されていなければ、出力されるまで待機する。コントローラデータ要求コマンドが出力されていれば、ステップS22に移る。ステップS22で、バス制御回路12は、コントローラ制御回路17にコントローラ40のデータを読み込むためのコマンド(後に示すコマンド1またはコマンド2等)を出力する。次に、ステップS23で、バス制御回路12は、コントローラ制御回路17がコントローラ40からデータを受信してRAM174に記憶したか否かを判断する。バス制御回路12は、コントローラ制御回路17がコントローラ40からデータを受信してRAM174に記憶していなければ、ステップS23で待機し、コントローラ制御回路17がコントローラ40からデータを受信してRAM174に記憶していれば、ステップS24に移る。ステップS24で、バス制御回路12は、コントローラ制御回路17のRAM174に記憶されているコントローラ40のデータをW−RAM14へ転送する。バス制御回路12は、W−RAM14へのデータ転送が終わるとステップS21に戻り、ステップS21−ステップS24の動作を繰り返す。
【0033】
なお、図15および図16のフローチャートでは、バス制御回路12がRAM174からW−RAM14ヘデータを転送した後、CPU11がW−RAM14に記憶されたデータを処理する例を示したが、CPU11がバス制御回路12を介して直接RAM174のデータを処理してもよい。
図17はコントローラ制御回路17の動作を説明するためのフローチャートである。ステップS31において、バス制御回路12からの書込み待ちの有無が判断される。書込み待ちでなければ、データ転送制御回路171はバス制御回路12からの書込み待ちが有るまで待機する。書込み待ちで有れば、次のステップS32において、データ転送制御回路171が第1〜第4チャンネルに対するコマンドおよび/またはデータ(以下「コマンド/データ」と略称する)をRAM174に記憶させる。ステップS33において、第1チャンネルのコマンド/データがコネクタ181に接続されているコントローラ40に送信される。制御回路442は、コマンド/データに基づいて所定の動作を行い、画像処理装置10に送信すべきデータを出力する。このデータの内容は、制御回路442の動作説明で後述する。ステップS34において、データ転送制御回路171が制御回路442から出力されたデータを受信し、そのデータをRAMに記憶させる。
【0034】
以後、ステップS33およびS34の第1チャンネルの動作と同様にして、ステップS35において、第2チャンネルのコマンド/データがコントローラ40に送信される。制御回路442は、このコマンド/データに基づいて所定の動作を行い、画像処理装置10に送信すべきデータを出力する。ステップS36において、第2チャンネルのデータ転送および書込処理が行われる。また、ステップS37において、第3チャンネルのコマンド/データがコントローラ40に送信される。制御回路442は、このコマンド/データに基づいて所定の動作を行い、画像処理装置10に送信すべきデータを出力する。ステップS38において、第2チャンネルのデータ転送および書込処理が行われる。さらに、ステップS39において、第4チャンネルのコマンド/データがコントローラ40に送信される。コントローラ40の制御回路442は、このコマンド/データに基づいて所定の動作を行い、画像処理装置10に送信すべきデータを出力する。ステップS40において、第4チャンネルのデータ転送および書込処理が行われる。続くステップS41において、データ転送制御回路171がステップS34,S36,S38およびS40において受信したデータを一括してバス制御回路12へ転送する。
【0035】
上述のようにして、第1チャンネルから第4チャンネルのデータ、すなわちコネクタ181〜184に接続されている各コントローラ40に対するコマンドおよび各コントローラ40から読出すべき操作状態データが時分割処理によってデータ転送制御回路171と各コントローラ40内の制御回路442との間で転送される。
【0036】
図18はコントローラ回路44の動作を説明するためのフローチャートである。まず、ステップS51において、コマンドが画像処理装置10から制御回路442に入力されたか否かが判断される。コマンドが入力されていなければ、コマンドが入力されるまで待機する。コマンドが入力されると、ステップS52において、制御回路442に入力されたコマンドがステータス要求コマンド(コマンド「0」)であるか否かが判断される。コマンド「0」の場合は、ステップS53へ進み、ステータス送出処理が行われる。
【0037】
ステップS53において、CPU11がコマンド「0」を出力した場合、画像処理装置10とコントローラ40との間で図13に示すフォーマットのデータが送受信される。このとき、制御回路442は、1バイト(8ビット)で構成されるコマンド「0」のデータを受信すると、TYPE L(1バイト),TYPEH(1バイト)およびステータスを送信する。ここで、TYPE LおよびTYPE Hは、ジョイポートコネクタ46に接続されている機器がどんな機能を有するかを識別するデータであり、RAMカートリッジ50に記録されている固有のデータである。これによって、画像処理装置10は、コントローラ40にどの様な拡張装置(たとえば、RAMカートリッジ50または液晶表示器等のその他の拡張機器)が接続されているかを認識することが可能となる。ステータスは、ポートにRAMカートリッジ50等の拡張装置が接続されているか否か、およびリセット後に拡張装置が接続されたか否かを示すデータである。
【0038】
一方、ステップS52においてコマンド「0」でないことが判断されると、ステップS54において入力されたコマンドがパッドデータ要求コマンド(コマンド「1」)であるか否かが判断される。コマンド「1」の場合は、ステップS55へ進み、パッドデータの送出処理が行われる。具体的には、CPU11がコマンド「1」を出力した場合は、画像処理装置10とコントローラ40との間で図14に示すフォーマットのデータが送受信される。このとき、制御回路442は、1バイト(8ビット)で構成されるコマンド1のデータを受信すると、B,A,G,START,上,下,左,右,L,R,E,D,C,Fの14個のスイッチのデータ(16ビット)とJSRST(1ビット)とカウンタ444Xおよびカウンタ444Yのデータ(16ビット)を送信する。これらのデータを画像処理装置10に送信することによって、操作者がコントローラ40をどのように操作したかを画像処理装置10に認識させ、画像処理装置10がコントローラ40の操作状態に応じて画像を変化させるのに利用される。
【0039】
前述のステップS54においてコマンド「1」でないことが判断されると、続くステップS56において入力されたコマンドが拡張コネクタに接続されるRAMカートリッジ50に関連するデータの読出要求コマンド(コマンド「2」)であるか否かが判断される。コマンド「2」の場合は、ステップS57へ進み、拡張コネクタ書き出し処理が行われる。具体的には、CPU11がコマンド「2」を出力した場合は、画像処理装置10とコントローラ40との間で図15に示すフォーマットのデータが送受信される。このとき、制御回路442は、1バイト(8ビット)で構成されるコマンド2のデータ,アドレスの上位ビットを示すアドレスH(8ビット),アドレスの下位ビット(3ビット)を表わすアドレスLおよび送受信のアドレスデータエラーをチェックするためのアドレスCRC(5ビット)を受信すると、受信したアドレスデータに基づいて、RAMカートリッジに記憶されているデータ(32バイト)およびデータエラーをチェックするためのCRC(8ビット)を送信する。このように、RAMカートリッジ50(または他の拡張装置)と画像処理装置10とが接続されることにより、画像処理装置10がRAMカートリッジ50等からのデータを処理することができる。
【0040】
前述のステップS56においてコマンド「2」でないことが判断されると、続くステップS58において入力されたコマンドが拡張コネクタ46に接続されているRAMカートリッジ50に関連する情報の読込要求コマンド(コマンド「3」)か否かが判断される。コマンド「3」の場合は、ステップS59において拡張コネクタ46に接続されているRAMカートリッジ50のデータ読出処理が行われる。具体的には、CPU11がコマンド「3」を出力すると、コマンド「3」に応答して図3に示すデータが画像処理装置10とコントローラ40との間で送受信される。
【0041】
つまり、制御回路442は、1バイト(8ビット)で構成されるコマンド3のデータ,アドレスの上位ビットを示すアドレスH(8ビット),アドレスの下位ビット(3ビット)を表わすアドレスL,送受信のアドレスデータエラーをチェックするためのアドレスCRC(5ビット)およびRAMカートリッジ50に送信すべきデータ(32バイト)を受信すると、受信したデータに対してエラーをチェックするためのCRC(8ビット)を送信する。このように、拡張装置50と画像処理装置10とが接続されることにより、画像処理装置10が拡張装置50を制御可能となる。また、このように、拡張装置50と画像処理装置10とが接続されることにより、コントローラ40の機能を飛躍的に向上させることができる。
【0042】
前述のステップS58においてコマンド「3」でないことが判断されると、ステップS60においてリセットコマンド(コマンド255)であるか否かが判断される。リセットコマンド(255)の場合は、ステップS61においてジョイスティック45のカウンタ444のリセット処理が行われる。
具体的には、CPU11がコマンド255を出力した場合、画像処理装置10とコントローラ40との間では、図21に示すデータが送受信される。つまり、コントローラ40の制御回路442は、1バイト(8ビット)で構成されるコマンド255のデータを受信すると、リセット信号を出力し、Xカウンタ444XおよびYカウンタ444Yをリセットし、前述のTYPE L(1バイト),TYPE H(1バイト)およびステータスを送信する。
【0043】
次に、この発明の特徴である三次元空間におけるカメラ(視点)の回り込みについて説明する。つまり、従来の3Dゲームでは、図20に示すようにカメラと操作オブジェクト(たとえば、マリオ)との間に他のオブジェクト(たとえば、壁や敵キャラクタ)が存在するとき、操作オブジェクトすなわちマリオをカメラで写すことはできなかった。これに対して、この発明では、図20の点線で示すように、カメラをマリオの側面に回り込ませて常にマリオを表示し続けることができる。
【0044】
簡単にいえば、図21に示す状態にあるとき、マリオからカメラまでの間の直線上の数点でマリオ側から地形のポリゴンとの衝突判定を行う。このとき、各点から半径Rの内部でXZ平面に垂直なポリゴンをチェックする。そして、衝突判定がなされたポリゴンPについてカメラの回り込み処理を行う。壁面Pは数1の平面方程式によって表される。
【0045】
【数1】
Ax+By+Cz+D=0
そして、カメラ位置(撮影位置)の補正はこの面Pに対して平行になるようにカメラ位置を移動させる。なお、面に平行なY軸の角度は面の方程式によって算出される。
【0046】
より詳しく説明すると、図22の最初のステップS101において、衝突判定すべきポリゴンの番号nを初期化(n=1)する。次のステップS102では、チェックすべきポリゴンの数Nとポリゴンの番号nとが等しいかどうか、つまり全てのポリゴンについて衝突判定を行ったかどうかを判断する。このステップS102で“NO”なら、次のステップS103において衝突判定を行う。
【0047】
図23にこのステップS103すなわち衝突判定ルーチンが詳細に示される。この衝突判定ルーチンの説明に先立って、衝突判定すべき壁データは図24および図25に示される。つまり、壁データは図25のような三角形ポリゴンの集合として図24のように表され、このようなそれぞれのポリゴンは壁ポリゴンのリストとしてメモリに格納されている。
【0048】
図23の最初のステップS201では、点Q(Xg,Yg,Zg)および半径Rを入力する。なお、点Qはチェックすべき点であり、半径Rは壁と衝突するとみなす距離である。次のステップS202では、壁当たりフラグをリセットする。そして、ステップS203では、先に説明した壁ポリゴンリストがメモリ内に格納されているかどうか判断する。壁ポリゴンリストがあれば、次のステップS204においてそのポリゴンがカメラの回り込み処理をすべきポリゴンであるかどうかを判断する。このステップS204において“YES”ならステップS205に進む。
【0049】
ステップS205では、点Qと壁ポリゴンの平面との距離(dR)を数2に従って計算する。
【0050】
【数2】
dR=AXg+BYg+CZg+D
そして、ステップS206において、ステップS205で計算した距離dRが半径Rより小さいかどうか判断する。この距離dRが半径Rより大きいときは、マリオと壁とは衝突しないので、先のステップS203に戻る。
【0051】
ステップS206で“YES”が判断されたとき、すなわち|dR|<Rのとき、ステップS207において点Qから壁ポリゴンPへ垂直に引いた直線と壁ポリゴン平面との接する点Q′の位置座標(Xg′,Yg′,Zg′)を、数3に従って計算する。
【0052】
【数3】
Xg′=Xg+A×dR
Yg′=Yg+B×dR
Zg′=Zg+C×dR
そして、次のステップS208で点Q′がポリゴンの内側(範囲内)であるか否かをチェックする。
【0053】
このステップS208では、まず、壁の向き(Aの値)に応じて投影する面を決定する。すなわち、A<−0.707またはA>0.707のときには図26に示すYZ平面に投影し、それ以外のときには図26のXY平面に投影する。そして、YZ平面に投影する場合、図27において、点Q′がポリゴンP1の内側にあるかどうかを判定する。
【0054】
またXY平面に投影する場合、図28で点Q′とポリゴンP1の各頂点の座標について左回りの外積値の正負を判断する。つまり、ポリゴン平面方程式におけるCがC≧0のときは、外積の結果が全て0または負ならば点Q′はポリゴンP1の内側にあると判断する。
【0055】
【数4】
(Y1−Yq) ×(X2−X1) −(X1−Xq) ×(Y2−Y1) ≦0
(Y2−Yq) ×(X3−X2) −(X2−Xq) ×(Y3−Y2) ≦0
(Y3−Yq) ×(X1−X3) −(X3−Xq) ×(Y1−Y3) ≦0
またC<0のときは、外積の結果が全て0または正ならば点Q′がポリゴンP1の内側にあると判断する。
【0056】
【数5】
(Y1−Yq) ×(X2−X1) −(X1−Xq) ×(Y2−Y1) ≧0
(Y2−Yq) ×(X3−X2) −(X2−Xq) ×(Y3−Y2) ≧0
(Y3−Yq) ×(X1−X3) −(X3−Xq) ×(Y1−Y3) ≧0
このようにしてステップS208で点Q′がポリゴンの内側か否かをチェックし、ステップS209で点Q′がポリゴンの内側かどうか判断する。このステップS209で“YES”なら、先のステップS202でリセットした壁当たりフラグをセットする(ステップS210)。その後、図22にリターンする。
【0057】
ただし、上述の衝突判定は一例であり、他の方法によっても衝突判定可能なことはいうまでもない。
図22に戻って、ステップS103の衝突判定の後、ステップS104で壁当たりフラグがセットされているかどうかを判断する。このステップS104で“NO”なら、回り込み処理は必要ないので、ステップS105でチェックする点の番号nをインクリメントしてステップS102に戻る。
【0058】
ステップS104で“YES”なら、次に、ステップS106およびS107において壁の裏かどうかを判断する。つまり、ポリゴンの向きを判断する。ポリゴンがカメラ(視点)を向いているかどうかは、図29の面の法線ベクトルNと視線ベクトルVとの内積の符号を調べることにより判定することができる。その条件式は数6で与えられる。
【0059】
【数6】
A=V・N=VxNx+VyNy+VzNz
そして、A≧0なら壁はカメラの方向を向いている(表)と、またA<0なら壁は裏を向いているとそれぞれ判断できる。そして、カメラとマリオとの間に存在する面がカメラに向かって表向きならば、図30のカメラの回り込み処理をしない。この場合、ステップS105において点の番号nをインクリメントしてステップS102に戻る。
【0060】
カメラとマリオとの間の面が裏向きならばステップS107で“YES”となり、次のステップS108およびS109において回り込み処理を行う。ステップS108では、壁の平面方程式に基づいてカメラの位置(撮影位置)を変更するための移動角度を計算する。すなわち、平面上の3点P1(X1,Y1,Z1)、P2(X2,Y2,Z2)およびP3(X3,Y3,Z3)による平面の方程式は数7の多項式で表される。
【0061】
【数7】
Ax+By+Cz+D=0
ただし、A=Y1(Z2−Z3)+Y2(Z3−Z1)+Y3(Z1−Z2)
B=Z1(X2−X3)+Z2(X3−X1)+Z3(X1−X2)
C=X1(Y2−Y3)+X2(Y3−Y1)+X3(Y1−Y2)
D=X1(Y2Z3−Z2Y3)+Y1(Z2X3−X2Z3)+Z1(X2Y3−Y2X3)
そして、法線ベクトルのY軸の角度Ryは数8である。
【0062】
【数8】
Ry= tan−1(A/C)
したがって、カメラの回り込み角度はRy+90°かRy−90°のどちらかである。つまり、ステップS109において、カメラはマリオすなわち操作オブジェクトを中心にRy+90°かRy−90°の方向に回転移動される。具体的には、現在のカメラ位置(図21のC)から近い位置に移動される。
【図面の簡単な説明】
【図1】この発明の一実施例を示す概略図解図である。
【図2】図1実施例の画像処理装置を詳細に示すブロック図である。
【図3】図2実施例のCPUのメモリマップを示す図解図であり、カートリッジに内蔵されている外部メモリおよびW−RAMを示す。
【図4】図2実施例におけるコントローラ制御回路を詳細に示すブロック図である。
【図5】データの変復調方法を示す図解図である。
【図6】図4のRAMのメモリマップを示す図解図である。
【図7】図2実施例のコントローラの上から見た斜視図である。
【図8】図2実施例のコントローラの下から見た斜視図である。
【図9】コントローラおよび拡張装置を詳細に示すブロック図である。
【図10】コントローラのアナログジョイスティックおよび各ボタンのデータを示す図解図である。
【図11】コントローラ制御回路からコマンド”0”が送信されたときの制御回路の送受信データを示す図解図である。
【図12】コントローラ制御回路からコマンド”1”が送信されたときの制御回路の送受信データを示す図解図である。
【図13】コントローラ制御回路からコマンド”2”が送信されたときの制御回路の送受信データを示す図解図である。
【図14】コントローラ制御回路からコマンド”3”が送信されたときの制御回路の送受信データを示す図解図である。
【図15】図2実施例のCPUの動作を示すフローチャートである。
【図16】図2実施例のバス制御回路の動作を示すフローチャートである。
【図17】図2実施例のコントローラ制御回路の動作を示すフローチャートである。
【図18】図2実施例のコントローラ回路の動作を示すフローチャートである。
【図19】コントローラ制御回路からコマンド”255”が送信されたときの制御回路の送受信データを示す図解図である。
【図20】操作オブジェクト(マリオ)とカメラとの間に壁が存在する状態を示す図解図である。
【図21】図20の状態を座標で示す図解図である。
【図22】カメラの回り込み処理のための動作を示すフローチャートである。
【図23】衝突判定ルーチンを示すフローチャートである。
【図24】壁ポリゴンを示す図解図である。
【図25】各ポリゴンを示す図解図である。
【図26】投影面を示す図解図である。
【図27】YZ平面に投影した状態を示す図解図である。
【図28】XY平面に投影した状態を示す図解図である。
【図29】面の法線ベクトルおよびカメラの視線ベクトルを示す図解図である。
【符号の説明】
10 …画像処理装置本体
11 …CPU
17 …コントローラ制御回路
20 …ROMカートリッジ
30 …ディスプレイ
40 …コントローラ
45 …ジョイスティック
50 …RAMカートリッジ

Claims (4)

  1. 三次元空間に存在する操作オブジェクトおよび他のオブジェクトを所定の撮影位置から撮影した映像をディスプレイに表示する画像処理装置であって、
    前記操作オブジェクトおよび前記他のオブジェクトのデータおよび所定のプログラムを記憶している外部記憶手段、
    前記操作オブジェクトの前記三次元空間での位置を変化させるデータを入力するための入力手段、
    前記入力手段によって入力されたデータに基づいて前記三次元空間での前記操作オブジェクトの位置を変化させるように操作オブジェクト位置データを発生する操作オブジェクト位置データ発生手段、
    前記外部記憶手段に記憶されているデータと前記操作オブジェクト位置データとに基づいて三次元データを作成する三次元データ作成手段、
    前記操作オブジェクトを撮影するための前記三次元空間での撮影位置を示す撮影位置データを発生する撮影位置データ発生手段、
    前記撮影位置と前記操作オブジェクト位置との間に前記他のオブジェクトを形成するポリゴンが存在するか否かを検出する遮蔽ポリゴン検出手段、
    前記遮蔽ポリゴン検出手段によって検出されたポリゴンが、前記撮影位置に対して表向きであるか裏向きであるかを検出する、表裏判定手段、
    目標物を原点として、前記表裏判定手段によって裏向きであると判定されたポリゴンの法線のみに垂直な角度を形成するように、撮影位置を回転移動する、撮影位置データ回転変更手段、
    前記三次元データおよび前記撮影位置データに基づいて前記三次元空間の所定の撮影位置から前記操作オブジェクトを撮影した映像をディスプレイに表示するための表示データを作成する表示データ作成手段、および
    前記表示データ作成手段によって作成された表示データに基づいてディスプレイに画像信号を出力する画像信号発生手段を備える、三次元画像処理装置。
  2. 前記遮蔽ポリゴン検出手段は、前記撮影位置と、前記操作オブジェクト位置とを結ぶ直線上における、任意の点において検出を行うものであって、前記任意の点から所定距離の中にポリゴンが存在するときに、該ポリゴンを遮蔽ポリゴンとして検出する、請求項1記載の三次元画像処理装置。
  3. 前記遮蔽ポリゴン検出手段は、遮蔽ポリゴン選別手段をさらに含み、
    前記遮蔽ポリゴン選別手段は、前記任意の点から所定距離内にポリゴンが存在したときに、前記任意の点から該ポリゴンに垂直に下ろされた直線との接点が、該ポリゴンに含まれるかどうかを判定し、
    前記遮蔽ポリゴン検出手段は、前記遮蔽ポリゴン選別手段によって、該ポリゴンに含まれると判断されたポリゴンを遮蔽ポリゴンとして検出する、請求項記載の三次元画像処理装置。
  4. 操作オブジェクトおよび他のオブジェクトのデータおよび所定のプログラムを記憶している外部記憶手段を備えた画像処理装置を用いて、三次元空間に存在する操作オブジェクトおよび他のオブジェクトを所定の撮影位置から撮影した映像をディスプレイに表示する画像処理方法であって、
    入力手段を介して、前記操作オブジェクトの前記三次元空間での位置を変化させるデータが入力されるステップ、
    操作オブジェクト位置データ発生手段が、前記入力手段によって入力されたデータに基づいて前記三次元空間での前記操作オブジェクトの位置を変化させるように操作オブジェクト位置データを発生するステップ、
    三次元データ作成手段が、前記外部記憶手段に記憶されているデータと前記操作オブジェクト位置データとに基づいて三次元データを作成するステップ、
    撮影位置データ発生手段が、前記操作オブジェクトを撮影するための前記三次元空間での撮影位置を示す撮影位置データを発生するステップ、
    遮蔽ポリゴン検出手段が、前記撮影位置と前記操作オブジェクト位置との間に前記他のオブジェクトを形成するポリゴンが存在するか否かを検出するステップ、
    表裏判定手段が、前記遮蔽ポリゴン検出手段によって検出されたポリゴンが、前記撮影位置に対して表向きであるか裏向きであるかを検出するステップ、
    撮影位置データ回転変更手段が、目標物を原点として、前記表裏判定手段によって裏向きであると判定されたポリゴンの法線のみに垂直な角度を形成するように、撮影位置を回転移動するステップ、
    表示データ作成手段が、前記三次元データおよび前記撮影位置データに基づいて前記三次元空間の所定の撮影位置から前記操作オブジェクトを撮影した映像をディスプレイに表示するための表示データを作成するステップ、および
    画像信号発生手段が、前記表示データ作成手段によって作成された表示データに基づいてディスプレイに画像信号を出力するステップから構成される、三次元画像処理方法。
JP15272896A 1995-10-09 1996-06-13 三次元画像処理装置およびそれを用いた画像処理方法 Expired - Lifetime JP3544268B2 (ja)

Priority Applications (17)

Application Number Priority Date Filing Date Title
JP15272896A JP3544268B2 (ja) 1995-10-09 1996-06-13 三次元画像処理装置およびそれを用いた画像処理方法
TW85107540A TW308672B (en) 1996-06-13 1996-06-21 The 3D image processing device
PCT/JP1996/002931 WO1997014115A1 (fr) 1995-10-09 1996-10-09 Dispositif de traitement d'une image en trois dimensions
KR1019970703892A KR100356429B1 (ko) 1995-10-09 1996-10-09 3차원화상처리장치
DE69630584T DE69630584T2 (de) 1995-10-09 1996-10-09 Dreidimensionaler bildprozessor
CN96191192A CN1111824C (zh) 1995-10-09 1996-10-09 三维图像处理装置
BR9606670A BR9606670A (pt) 1995-10-09 1996-10-09 Aparelho processador de imagens em três dimensões
AU72270/96A AU724018B2 (en) 1995-10-09 1996-10-09 Three-dimensional image processor
CA002205058A CA2205058C (en) 1995-10-09 1996-10-09 Three-dimensional image processor
EP96933600A EP0801363B1 (en) 1995-10-09 1996-10-09 Three-dimensional image processor
US08/836,739 US5973704A (en) 1995-10-09 1996-10-09 Three-dimensional image processing apparatus
MX9704154A MX9704154A (es) 1995-10-09 1996-10-09 Aparato procesador de imagenes tridimensionales.
HK98102460A HK1003398A1 (en) 1995-10-09 1998-03-23 Three-dimensional image processor
US09/309,375 US6778190B1 (en) 1995-10-09 1999-05-11 Three-dimensional image processing apparatus
US09/377,160 US6421056B1 (en) 1995-10-09 1999-08-19 Three-dimensional image processing apparatus
US09/794,623 US6590578B2 (en) 1995-10-09 2001-02-28 Three-dimensional image processing apparatus
US10/042,175 US20020057274A1 (en) 1995-10-09 2002-01-11 Three-dimensional image processing apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-288006 1995-10-09
JP28800695 1995-10-09
JP15272896A JP3544268B2 (ja) 1995-10-09 1996-06-13 三次元画像処理装置およびそれを用いた画像処理方法

Publications (2)

Publication Number Publication Date
JPH09167260A JPH09167260A (ja) 1997-06-24
JP3544268B2 true JP3544268B2 (ja) 2004-07-21

Family

ID=26481572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15272896A Expired - Lifetime JP3544268B2 (ja) 1995-10-09 1996-06-13 三次元画像処理装置およびそれを用いた画像処理方法

Country Status (12)

Country Link
US (5) US5973704A (ja)
EP (1) EP0801363B1 (ja)
JP (1) JP3544268B2 (ja)
KR (1) KR100356429B1 (ja)
CN (1) CN1111824C (ja)
AU (1) AU724018B2 (ja)
BR (1) BR9606670A (ja)
CA (1) CA2205058C (ja)
DE (1) DE69630584T2 (ja)
HK (1) HK1003398A1 (ja)
MX (1) MX9704154A (ja)
WO (1) WO1997014115A1 (ja)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6241611B1 (en) 1995-05-10 2001-06-05 Nintendo Co., Ltd. Function expansion device and operating device using the function expansion device
KR100429078B1 (ko) 1995-05-10 2004-04-29 닌텐도가부시키가이샤 아날로그 조이스틱을 구비한 조작장치
US8574074B2 (en) 2005-09-30 2013-11-05 Sony Computer Entertainment America Llc Advertising impression determination
US6007428A (en) 1995-10-09 1999-12-28 Nintendo Co., Ltd. Operation controlling device and video processing system used therewith
JP3524247B2 (ja) 1995-10-09 2004-05-10 任天堂株式会社 ゲーム機およびそれを用いたゲーム機システム
DE69628727T2 (de) 1995-10-09 2004-05-13 Nintendo Co., Ltd. System zum bearbeiten von dreidimensionalen bildinformationen
JP3544268B2 (ja) 1995-10-09 2004-07-21 任天堂株式会社 三次元画像処理装置およびそれを用いた画像処理方法
CN1109960C (zh) 1995-11-10 2003-05-28 任天堂株式会社 万向操作杆装置
US6139433A (en) 1995-11-22 2000-10-31 Nintendo Co., Ltd. Video game system and method with enhanced three-dimensional character and background control due to environmental conditions
US6267673B1 (en) 1996-09-20 2001-07-31 Nintendo Co., Ltd. Video game system with state of next world dependent upon manner of entry from previous world via a portal
US6022274A (en) 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
US6155926A (en) 1995-11-22 2000-12-05 Nintendo Co., Ltd. Video game system and method with enhanced three-dimensional character and background control
US6500069B1 (en) * 1996-06-05 2002-12-31 Kabushiki Kaisha Sega Enterprises Image processor, image processing method, game machine and recording medium
US6139434A (en) 1996-09-24 2000-10-31 Nintendo Co., Ltd. Three-dimensional image processing apparatus with enhanced automatic and user point of view control
US6657627B1 (en) 1997-02-18 2003-12-02 Konami Co., Ltd. Video simulation system for calculating distance between characters and applying polygon to polygon plane
US6989829B2 (en) * 1997-02-18 2006-01-24 Kabushiki Kaisha Sega Enterprises Image processing device and image processing method
JP3103322B2 (ja) * 1997-05-23 2000-10-30 コナミ株式会社 シューティングゲーム装置、シューティングゲームの画像表示方法及び可読記録媒体
JP3655438B2 (ja) 1997-07-17 2005-06-02 任天堂株式会社 ビデオゲームシステム
JP3372832B2 (ja) * 1997-07-25 2003-02-04 コナミ株式会社 ゲーム装置、ゲーム画像処理方法およびゲーム画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US6538655B1 (en) * 1997-08-29 2003-03-25 Kabushiki Kaisha Sega Enterprises Image processing system and image processing method
JPH11128533A (ja) * 1997-10-30 1999-05-18 Nintendo Co Ltd ビデオゲーム装置およびその記憶媒体
JPH11207029A (ja) 1998-01-28 1999-08-03 Konami Co Ltd ビデオゲーム装置、ビデオゲームにおける画面表示方法及び画面表示プログラムが格納された可読記録媒体
JP3342393B2 (ja) * 1998-03-19 2002-11-05 株式会社コナミコンピュータエンタテインメントジャパン ビデオゲーム装置、コンピュータ読み取り可能な記録媒体
JP2000153063A (ja) * 1998-11-19 2000-06-06 Nintendo Co Ltd ビデオゲーム装置およびビデオゲーム用情報記憶媒体
JP2000172878A (ja) * 1998-12-09 2000-06-23 Sony Corp 情報処理装置および情報処理方法、並びに提供媒体
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
JP2000333377A (ja) * 1999-05-21 2000-11-30 Sony Computer Entertainment Inc エンタテインメントシステムおよび充電システム
EP1125609A3 (en) * 2000-01-21 2005-03-30 Sony Computer Entertainment Inc. Entertainment apparatus, storage medium and object display method
EP1125610A3 (en) * 2000-01-21 2004-04-14 Sony Computer Entertainment Inc. Entertainment apparatus, storage medium and operation method of manipulating object
US6670957B2 (en) 2000-01-21 2003-12-30 Sony Computer Entertainment Inc. Entertainment apparatus, storage medium and object display method
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
JP2001276420A (ja) * 2000-03-30 2001-10-09 Namco Ltd ゲーム装置および情報記憶媒体
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6895520B1 (en) 2001-03-02 2005-05-17 Advanced Micro Devices, Inc. Performance and power optimization via block oriented performance measurement and control
KR100446236B1 (ko) * 2001-07-02 2004-08-30 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
CN1669056A (zh) * 2002-06-19 2005-09-14 西门子公司 3d数据组的平台交叉和针对数据的可视化
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US20040137983A1 (en) * 2003-01-13 2004-07-15 Gaming Accessory For Wireless Devices Gaming accessory for wireless devices
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US20040219980A1 (en) * 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
CA2550512C (en) * 2003-12-19 2012-12-18 Tdvision Corporation S.A. De C.V. 3d videogame system
JP3700857B2 (ja) * 2004-03-03 2005-09-28 コナミ株式会社 ゲームプログラム及びゲーム装置
JP4242318B2 (ja) 2004-04-26 2009-03-25 任天堂株式会社 3次元画像生成装置および3次元画像生成プログラム
JP3949674B2 (ja) * 2004-05-11 2007-07-25 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
KR100696656B1 (ko) 2004-06-30 2007-03-19 삼성에스디아이 주식회사 이동식 이미지 포착부를 갖는 입체영상 기기
CN100337250C (zh) * 2004-10-26 2007-09-12 中国科学院计算技术研究所 一种人体模型与柔性物体间的冲突检测方法
JP4312737B2 (ja) * 2005-05-13 2009-08-12 任天堂株式会社 ゲームプログラムおよびゲーム装置
FR2886800A1 (fr) * 2005-06-03 2006-12-08 France Telecom Procede et dispositif de commande d'un deplacement d'une ligne de visee, systeme de visioconference, terminal et programme pour la mise en oeuvre du procede
US8589142B2 (en) * 2005-06-29 2013-11-19 Qualcomm Incorporated Visual debugging system for 3D user interface program
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
US20070118425A1 (en) 2005-10-25 2007-05-24 Podbridge, Inc. User device agent for asynchronous advertising in time and space shifted media network
US11004089B2 (en) 2005-10-25 2021-05-11 Sony Interactive Entertainment LLC Associating media content files with advertisements
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US9327191B2 (en) * 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
JP5427343B2 (ja) 2007-04-20 2014-02-26 任天堂株式会社 ゲームコントローラ
JP5427346B2 (ja) 2007-10-05 2014-02-26 任天堂株式会社 荷重検出プログラム、荷重検出装置、荷重検出システムおよび荷重検出方法
JP5080196B2 (ja) 2007-10-09 2012-11-21 任天堂株式会社 プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP4382844B2 (ja) 2007-10-31 2009-12-16 任天堂株式会社 調整用加重機、および調整用加重方法
JP5361349B2 (ja) 2008-11-28 2013-12-04 任天堂株式会社 情報処理装置、コンピュータプログラム、情報処理システム、および情報処理方法
JP5806443B2 (ja) 2008-12-26 2015-11-10 任天堂株式会社 生体情報管理システム
JP5271121B2 (ja) 2009-03-09 2013-08-21 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5436909B2 (ja) 2009-03-30 2014-03-05 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5161182B2 (ja) 2009-09-28 2013-03-13 任天堂株式会社 情報処理プログラム及び情報処理装置
JP5610735B2 (ja) 2009-09-29 2014-10-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法、および、情報処理システム
JP5496591B2 (ja) 2009-09-30 2014-05-21 任天堂株式会社 情報処理プログラム及び情報処理装置
JP6085411B2 (ja) 2011-06-02 2017-02-22 任天堂株式会社 画像処理装置、画像処理方法、および画像処理装置の制御プログラム
CN102722250A (zh) * 2012-06-07 2012-10-10 何潇 一种影像控制点交互编辑的方法及***
JP6530899B2 (ja) * 2014-10-07 2019-06-12 株式会社三共 遊技機
JP6649742B2 (ja) * 2015-10-27 2020-02-19 株式会社コーエーテクモゲームス 情報処理装置、動作制御方法及び動作制御プログラム
JP7140465B2 (ja) * 2016-06-10 2022-09-21 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、ゲーム処理方法
JP7233399B2 (ja) * 2020-06-23 2023-03-06 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法

Family Cites Families (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1284685A (en) * 1969-12-18 1972-08-09 Square D Co Multi-position electric switch assembly
US3729129A (en) * 1971-06-22 1973-04-24 Nasa Numerical computer peripheral interactive device with manual controls
US3827313A (en) * 1973-01-24 1974-08-06 Square D Co Miniaturized joystick and cam structure with push button switch operating means
JPS5022475A (ja) * 1973-07-03 1975-03-10
US4161726A (en) * 1977-04-06 1979-07-17 Texas Instruments Incorporated Digital joystick control
US4148014A (en) * 1977-04-06 1979-04-03 Texas Instruments Incorporated System with joystick to control velocity vector of a display cursor
US4359222A (en) * 1978-10-30 1982-11-16 Smith Engineering Hand-held electronic game playing device with replaceable cartridges
US4315113A (en) * 1980-01-18 1982-02-09 Harman International Industries, Inc. Actuator switch for remote control rearview mirrors
JPS572084A (en) * 1980-06-05 1982-01-07 Fujitsu Ltd Cursor controlling system
JPS5718236A (en) * 1980-07-04 1982-01-30 Sekisui Plastics Foaming molding laminate
JPS57136217A (en) * 1981-02-03 1982-08-23 Fujitsu Ltd Cursor shift control system
US4467412A (en) 1981-05-18 1984-08-21 Atari, Inc. Slave processor with clock controlled by internal ROM & master processor
US4469330A (en) * 1982-01-07 1984-09-04 Atari, Inc. Controller unit for video game
DE3204428A1 (de) * 1982-02-09 1983-08-18 Siemens Ag Steueranordnung zum verschieben von auf dem bildschirm eines sichtgeraetes dargestellten zeichen
JPS59188A (ja) 1982-06-24 1984-01-05 シャープ株式会社 携帯型汎用電子装置
US4685678A (en) * 1982-08-13 1987-08-11 Bally Manufacturing Corporation Position transducer system for a joystick
JPS5940258A (ja) * 1982-08-31 1984-03-05 Sharp Corp 光電式ロ−タリ−エンコ−ダ
US4462594A (en) * 1982-09-29 1984-07-31 Coleco, Industries, Inc. Video game with control of rate of movement of game objects
JPS5968072A (ja) 1982-10-13 1984-04-17 Sharp Corp 機能変換用小形電子機器
JPS59121500A (ja) * 1982-12-27 1984-07-13 株式会社東芝 画像表示処理装置
US4538035A (en) * 1983-02-11 1985-08-27 Pool Danny J Joystick occlusion gate control for video games
US4485457A (en) 1983-05-31 1984-11-27 Cbs Inc. Memory system including RAM and page switchable ROM
US4799677A (en) 1983-09-02 1989-01-24 Bally Manufacturing Corporation Video game having video disk read only memory
US4587510A (en) * 1983-10-19 1986-05-06 Wico Corporation Analog joystick controller
US4575591A (en) * 1984-04-23 1986-03-11 Lugaresi Thomas J Joystick attachment for a computer keyboard
JPS6116641A (ja) * 1984-07-03 1986-01-24 Nec Corp 自動多重化遅延方式
US4789932A (en) 1984-09-21 1988-12-06 Austin T. Musselman Apparatus and method for automatically scoring a dart game
US4620176A (en) 1984-09-25 1986-10-28 Hayes Charles L Control stick mechanism
FR2573552B1 (fr) 1984-10-25 1988-12-02 Monfort Jean Jacques Systeme de traitement de jeux de paris
JPS61185138A (ja) * 1984-12-28 1986-08-18 東急ムサシ工業株式会社 共喰い防止養殖装置
JPS61198286A (ja) * 1985-02-28 1986-09-02 ぺんてる株式会社 カ−ソル制御方式
US4783812A (en) 1985-08-05 1988-11-08 Nintendo Co., Ltd. Electronic sound synthesizer
US4659313A (en) * 1985-11-01 1987-04-21 New Flite Inc. Control yoke apparatus for computerized aircraft simulation
JPH0668758B2 (ja) 1986-01-07 1994-08-31 株式会社日立製作所 カーソル制御方法及び3次元図形表示装置
JPS62260244A (ja) 1986-05-06 1987-11-12 Nintendo Co Ltd メモリカ−トリツジ
US5226136A (en) 1986-05-06 1993-07-06 Nintendo Company Limited Memory cartridge bank selecting apparatus
US4748441A (en) * 1986-09-17 1988-05-31 Brzezinski Stephen R M Multiple function control member
CA1330596C (en) 1986-11-19 1994-07-05 Yoshiaki Nakanishi Memory cartridge and data processing apparatus
JPS63201816A (ja) * 1987-02-18 1988-08-19 Hitachi Ltd カ−ソル表示装置
US4870389B1 (en) 1987-02-23 1997-06-17 Ascii Corp Joystick
JP2615607B2 (ja) * 1987-04-07 1997-06-04 ソニー株式会社 入力操作装置
DE3716892A1 (de) * 1987-05-20 1988-12-01 Fresenius Ag Vorrichtung zur eingabe von numerischen bzw. alphanumerischen daten in ein geraet
US4974192A (en) * 1987-07-23 1990-11-27 Face Technologies, Inc. Communication processor for personal computer
US4868780A (en) * 1987-07-27 1989-09-19 Ambrosia Microcomputer Products, Inc. Emulation circuit for interfacing joystick to ROM cartridge slot of computer
JP2710316B2 (ja) 1987-08-26 1998-02-10 任天堂株式会社 パスワード作成装置およびパスワード作成装置を用いたゲーム機
US4924216A (en) * 1988-02-12 1990-05-08 Acemore International Ltd. Joystick controller apparatus
US4858930A (en) * 1988-06-07 1989-08-22 Namco, Ltd. Game system
US4887966A (en) * 1988-06-30 1989-12-19 Gellerman Floyd R Flight simulation control apparatus
DE3823575A1 (de) * 1988-07-12 1990-01-18 Rothemuehle Brandt Kritzler Verfahren zur minderung von stickoxiden (no(pfeil abwaerts)x(pfeil abwaerts)) aus feuerungsabgasen
US4933670A (en) * 1988-07-21 1990-06-12 Picker International, Inc. Multi-axis trackball
JPH0241342A (ja) * 1988-08-01 1990-02-09 Mitsui Petrochem Ind Ltd ポリエステル樹脂組成物
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5016876A (en) 1988-10-14 1991-05-21 Williams Electronics Games, Inc. Video display co-processor for use in a video game
US4976435A (en) 1988-10-17 1990-12-11 Will Shatford Video game control adapter
US4976429A (en) * 1988-12-07 1990-12-11 Dietmar Nagel Hand-held video game image-projecting and control apparatus
US5001632A (en) * 1989-12-22 1991-03-19 Hall Tipping Justin Video game difficulty level adjuster dependent upon player's aerobic activity level during exercise
USD316879S (en) 1989-01-09 1991-05-14 Shulman Donald P Joystick for electronic games
FI111789B (fi) 1989-01-10 2003-09-15 Nintendo Co Ltd Elektroninen pelilaite, jossa on mahdollisuus pseudostereofoniseen äänen kehittämiseen
USD317946S (en) 1989-03-08 1991-07-02 Std Electronic International Ltd. Joystick
KR0149503B1 (ko) 1989-04-20 1999-05-15 야마우찌 히로시 메모리 카트리지
GB2234575A (en) 1989-07-28 1991-02-06 Philips Electronic Associated User input device for an interactive display system
JP2725062B2 (ja) 1989-08-01 1998-03-09 株式会社リコー 画像処理装置
US5227689A (en) 1989-08-11 1993-07-13 Mabuchi Motor Co., Ltd. Metal-filled graphite for miniature motors and method of making same
JPH0380786U (ja) * 1989-12-07 1991-08-19
JP3047185B2 (ja) 1990-01-26 2000-05-29 任天堂株式会社 ディジタル音源装置、およびそれに用いられる外部メモリカートリッジ
US5453763A (en) 1990-02-02 1995-09-26 Nintendo Co., Ltd. Still picture display apparatus and external memory cartridge used therefor
GB2244546A (en) 1990-05-10 1991-12-04 Primax Electronics Ltd Computer input device
DE4018052A1 (de) * 1990-06-06 1990-12-20 Klaus Dr Ing Eckert Verfahren zum steuern von anwenderprogrammablaeufen eines computers und einrichtung zur durchfuehrung des verfahrens
US5160918A (en) * 1990-07-10 1992-11-03 Orvitek, Inc. Joystick controller employing hall-effect sensors
US5146557A (en) 1990-07-27 1992-09-08 General Electric Company User interface for a golf green and a golf putt modelling system
JPH0442029U (ja) * 1990-08-09 1992-04-09
JP3068842B2 (ja) 1990-08-27 2000-07-24 任天堂株式会社 画像処理装置におけるダイレクトメモリアクセス装置およびそれに用いる外部記憶装置
JP3274682B2 (ja) 1990-08-27 2002-04-15 任天堂株式会社 静止画像表示装置およびそれに用いる外部記憶装置
US5046739A (en) * 1990-10-31 1991-09-10 Dynasound Organizer, Inc. Ergonomic handle for game controller
US5393070A (en) 1990-11-14 1995-02-28 Best; Robert M. Talking video games with parallel montage
US5393072A (en) 1990-11-14 1995-02-28 Best; Robert M. Talking video games with vocal conflict
US5393071A (en) 1990-11-14 1995-02-28 Best; Robert M. Talking video games with cooperative action
US5393073A (en) 1990-11-14 1995-02-28 Best; Robert M. Talking video games
EP0557444A1 (en) 1990-11-14 1993-09-01 Best, Robert MacAndrew Talking video games
US5371512A (en) 1990-11-19 1994-12-06 Nintendo Co., Ltd. Background picture display apparatus and external storage used therefor
US5329276A (en) * 1990-12-19 1994-07-12 Kabushiki Kaisha Yaskawa Denki Multidimensional signal input device
US5273294A (en) 1991-02-04 1993-12-28 Tengen Ltd. Game memory
US5286024A (en) * 1991-03-20 1994-02-15 Atari Games Corporation System for sensing the position of a joystick
US5415549A (en) * 1991-03-21 1995-05-16 Atari Games Corporation Method for coloring a polygon on a video display
US5203563A (en) * 1991-03-21 1993-04-20 Atari Games Corporation Shaker control device
US5251909A (en) 1991-05-28 1993-10-12 Reed Michael J Secured high throughput data channel for public broadcast system
JP2794230B2 (ja) * 1991-07-16 1998-09-03 株式会社スクウェア ビデオ・ゲーム装置,その制御方法および制御ディバイス
US5237311A (en) * 1991-08-01 1993-08-17 Picker International, Inc. Hingedly supported integrated trackball and selection device
US5437464A (en) 1991-08-30 1995-08-01 Kabushiki Kaisha Sega Enterprises Data reading and image processing system for CD-ROM
US5213327A (en) * 1991-10-24 1993-05-25 Konami Co. Ltd. Game apparatus
GB2263802A (en) 1992-01-24 1993-08-04 Chen Chin Tung Television game with wireless remote-control for two players
CA2074388C (en) 1992-01-30 2003-01-14 Jeremy E. San Programmable graphics processor having pixel to character conversion hardware for use in a video game system or the like
US5388841A (en) 1992-01-30 1995-02-14 A/N Inc. External memory system having programmable graphics processor for use in a video game system or the like
US5357604A (en) 1992-01-30 1994-10-18 A/N, Inc. Graphics processor with enhanced memory control circuitry for use in a video game system or the like
JP3248215B2 (ja) 1992-02-24 2002-01-21 日本電気株式会社 音声符号化装置
EP0571138A3 (en) 1992-05-20 1995-03-29 Codemasters Ltd Memory cartridge and interface for video game console.
US5551701A (en) * 1992-08-19 1996-09-03 Thrustmaster, Inc. Reconfigurable video game controller with graphical reconfiguration display
US5389950A (en) * 1992-07-09 1995-02-14 Thurstmaster, Inc. Video game/flight simulator controller with single analog input to multiple discrete inputs
US5245320A (en) * 1992-07-09 1993-09-14 Thrustmaster, Inc. Multiport game card with configurable address
US5222136A (en) 1992-07-23 1993-06-22 Crest Industries, Inc. Encrypted communication system
US5259626A (en) * 1992-08-07 1993-11-09 Std Electronic International Ltd. Programmable video game controller
JP2502438B2 (ja) * 1992-08-13 1996-05-29 コナミ株式会社 ゲ―ム装置
US5513307A (en) * 1992-11-20 1996-04-30 Sega Of America, Inc. Video game with switchable collision graphics
US5394168A (en) * 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5290034A (en) * 1993-01-15 1994-03-01 Derral Hineman Game chair apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
ES2155471T3 (es) * 1993-04-09 2001-05-16 Sega Enterprises Kk Dispositivo de multiconexion para un aparato de juegos.
US5388990A (en) * 1993-04-23 1995-02-14 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Virtual reality flight control display with six-degree-of-freedom controller and spherical orientation overlay
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US5421590A (en) * 1993-07-23 1995-06-06 Commodore Electronics Limited Multiple linked game controllers
US5473325A (en) * 1993-08-11 1995-12-05 Mcalindon; Peter J. Ergonomic human-computer interface apparatus and method
JP3311830B2 (ja) * 1993-09-20 2002-08-05 株式会社東芝 3次元動画作成装置
IT1264225B1 (it) * 1993-09-24 1996-09-23 Sintecna S R L Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi
US5436640A (en) * 1993-10-29 1995-07-25 Thrustmaster, Inc. Video game and simulator joystick controller with geared potentiometer actuation
USD357712S (en) 1994-01-03 1995-04-25 James Wu Video game control unit
US5515044A (en) * 1994-04-18 1996-05-07 Sensormatic Electronics Corporation Controller apparatus using force sensing resistors
USD375326S (en) 1994-05-02 1996-11-05 Nintendo Co., Ltd. Controller for game machine
JP3628358B2 (ja) * 1994-05-09 2005-03-09 株式会社ソニー・コンピュータエンタテインメント ゲーム機用コントローラ
US6004134A (en) 1994-05-19 1999-12-21 Exos, Inc. Interactive simulation including force feedback
US5680154A (en) 1994-05-25 1997-10-21 Alps Electric Co., Ltd. Operation inputting apparatus
JP3220328B2 (ja) 1994-06-01 2001-10-22 株式会社ソニー・コンピュータエンタテインメント ビデオゲーム機
JPH0816530A (ja) * 1994-07-04 1996-01-19 Kurieiteibu Design:Kk コプロセサシステムおよび補助演算機能付外部メモリ装置
JP3603285B2 (ja) 1994-07-21 2004-12-22 株式会社セガ 画像処理装置
US5624117A (en) * 1994-07-28 1997-04-29 Sugiyama Electron Co., Ltd. Game machine controller
US5820462A (en) * 1994-08-02 1998-10-13 Nintendo Company Ltd. Manipulator for game machine
US5512920A (en) * 1994-08-17 1996-04-30 Mitsubishi Electric Research Laboratories, Inc. Locator device for control of graphical objects
USD363092S (en) 1994-08-29 1995-10-10 Michael Hung Hand-held controller
JPH0869274A (ja) 1994-08-30 1996-03-12 Sega Enterp Ltd 画像処理装置およびその方法
US5451053A (en) * 1994-09-09 1995-09-19 Garrido; Fernando P. Reconfigurable video game controller
BR9506375A (pt) 1994-09-27 1997-09-16 Sega Enterprises Kk Dispositivo de transferencia de dados aparelho pa ra processar informação aparelho de vídeo game e circuito de acesso direto a memória
EP0733243A1 (en) 1994-10-12 1996-09-25 Sega Enterprises, Ltd. Improvement in communication between data processing apparatus and peripheral device thereof
US5680534A (en) * 1994-10-31 1997-10-21 Nintendo Co., Ltd. Video game/videographics program fabricating system and method with superimpose control
US5593350A (en) * 1994-11-04 1997-01-14 Thrustmaster, Inc. Video game card having interrupt resistant behavior
TW282527B (ja) * 1994-11-11 1996-08-01 Nintendo Co Ltd
JPH08191951A (ja) 1995-01-17 1996-07-30 Sony Corp ゲーム機およびその中継器
JP3267463B2 (ja) * 1995-01-23 2002-03-18 松下電器産業株式会社 景色表示装置
US5670955A (en) * 1995-01-31 1997-09-23 Microsoft Corporation Method and apparatus for generating directional and force vector in an input device
US5558329A (en) * 1995-03-01 1996-09-24 Liu; William S. Y. Photoelectric digitized joystick
US5706029A (en) * 1995-03-15 1998-01-06 United Microelectronics Corp. Apparatus and method for retrieving data from a joystick
US5640177A (en) * 1995-03-15 1997-06-17 Anko Electronic Co., Ltd. Optical analog rocker
US5714981A (en) * 1995-04-21 1998-02-03 Advanced Gravis Computer Technology, Ltd. Gameport communication apparatus and method
GB2300503A (en) 1995-05-05 1996-11-06 United Microelectronics Corp Video game with display of key programming process
KR100429078B1 (ko) 1995-05-10 2004-04-29 닌텐도가부시키가이샤 아날로그 조이스틱을 구비한 조작장치
MX9700277A (es) 1995-05-10 1997-05-31 Nintendo Co Ltd Sistema de procesamiento de imagenes que utiliza palanca de mando analogica.
US5653637A (en) * 1995-05-12 1997-08-05 United Microelectronics Corp. Expandable controllers capable of connecting in series to a control deck of a video game machine
KR100276598B1 (ko) 1995-05-19 2000-12-15 이리마지리 쇼우이치로 화상처리장치, 화상처리방법 및 이것을 이용한 게임장치
TW300974B (ja) 1995-05-31 1997-03-21 Sega Of America Inc
US5691898A (en) 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
US5805138A (en) 1995-06-07 1998-09-08 International Business Machines Corporation Gross motion input controller for a computer system
US5589854A (en) * 1995-06-22 1996-12-31 Tsai; Ming-Chang Touching feedback device
US5628686A (en) 1995-07-31 1997-05-13 Microsoft Corporation Apparatus and method for bidirectional data communication in a game port
US5694153A (en) 1995-07-31 1997-12-02 Microsoft Corporation Input device for providing multi-dimensional position coordinate signals to a computer
US5793356A (en) * 1995-07-31 1998-08-11 Microsoft Corporation System and method for the software emulation of a computer joystick
US5632680A (en) * 1995-08-09 1997-05-27 Quickshot Patent (Bvi) Ltd. Method and apparatus for controlling a computer game
JP3734045B2 (ja) 1995-08-10 2006-01-11 株式会社セガ 仮想画像生成方法及びその装置
JP2845175B2 (ja) * 1995-08-25 1999-01-13 株式会社オプテック ゲーム機用コントローラ
IT1279444B1 (it) * 1995-09-22 1997-12-10 Nordica Spa Struttura di calzatura in particolare per pattini
JPH09153146A (ja) 1995-09-28 1997-06-10 Toshiba Corp 仮想空間表示方法
US6007428A (en) 1995-10-09 1999-12-28 Nintendo Co., Ltd. Operation controlling device and video processing system used therewith
DE69628727T2 (de) * 1995-10-09 2004-05-13 Nintendo Co., Ltd. System zum bearbeiten von dreidimensionalen bildinformationen
JP3544268B2 (ja) 1995-10-09 2004-07-21 任天堂株式会社 三次元画像処理装置およびそれを用いた画像処理方法
US5663747A (en) * 1995-10-23 1997-09-02 Norandor Systems, Inc. Pointing device
US5896125A (en) 1995-11-06 1999-04-20 Niedzwiecki; Richard H. Configurable keyboard to personal computer video game controller adapter
CN1109960C (zh) 1995-11-10 2003-05-28 任天堂株式会社 万向操作杆装置
US6022274A (en) 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
US6169540B1 (en) 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US5615083A (en) * 1995-12-11 1997-03-25 Gateway 2000, Inc. Detachable joystick for a portable computer
US5734376A (en) 1995-12-27 1998-03-31 Hsien; Ming-Kun Joypad circuit for playing PC games
JP2950228B2 (ja) 1996-02-15 1999-09-20 株式会社セガ・エンタープライゼス ゲーム画像表示方法及びゲーム装置
JPH09223098A (ja) 1996-02-19 1997-08-26 Sega Enterp Ltd 画像拡張機能ボード及びこれを用いた電子装置
TW346611B (en) 1996-03-28 1998-12-01 Sega Enterprises Kk An image processor, a game machine using the image processor, a method of image processing and a medium
US6050718A (en) 1996-03-28 2000-04-18 Immersion Corporation Method and apparatus for providing high bandwidth force feedback with improved actuator feel
US5769718A (en) 1996-05-15 1998-06-23 Rieder; William R. Video game apparatus and medium readable by a computer stored with video game program
US5684512A (en) * 1996-05-20 1997-11-04 Schoch; Paul T. Ergonomic apparatus for controlling video or computer equipment
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
JP3187439B2 (ja) 1996-08-21 2001-07-11 コナミ株式会社 コマンド入力方法及び記録媒体
US5731806A (en) * 1996-09-20 1998-03-24 Vlsi Technology, Inc. Interrupt based positioning system for joysticks and method therefor
US6139434A (en) * 1996-09-24 2000-10-31 Nintendo Co., Ltd. Three-dimensional image processing apparatus with enhanced automatic and user point of view control
US5898424A (en) 1996-09-30 1999-04-27 Gateway 2000, Inc. Pointing device with differing actuation forces for primary and secondary buttons
US5804781A (en) * 1996-11-07 1998-09-08 Perfect 360 Controls, Inc. Feed-back control plate for joystick
US5867051A (en) 1996-11-20 1999-02-02 Cretech Co., Ltd. Digital joystick interface circuit
US5784051A (en) * 1997-01-27 1998-07-21 Vlsi Technology, Inc. Digital power management system
US6042478A (en) 1997-02-10 2000-03-28 Tiger Electronics, Ltd. Hand held video game
US6020876A (en) 1997-04-14 2000-02-01 Immersion Corporation Force feedback interface with selective disturbance filter
JP3103322B2 (ja) 1997-05-23 2000-10-30 コナミ株式会社 シューティングゲーム装置、シューティングゲームの画像表示方法及び可読記録媒体
JP3767094B2 (ja) 1997-06-17 2006-04-19 株式会社セガ ビデオゲーム装置における遊戯者により操作される複数キャラクタの表示制御方法
US6071194A (en) 1997-06-19 2000-06-06 Act Labs Ltd Reconfigurable video game controller
US5883628A (en) 1997-07-03 1999-03-16 International Business Machines Corporation Climability: property for objects in 3-D virtual environments
JP2997439B2 (ja) 1997-07-16 2000-01-11 コナミ株式会社 ビデオゲーム機,及びコンピュータプログラムを記録した機械読取可能な記録媒体
US6034669A (en) 1998-02-12 2000-03-07 Realtek Semiconductor Corp. Joystick control device having cursor correcting function
US6067077A (en) 1998-04-10 2000-05-23 Immersion Corporation Position sensing for force feedback devices
JPH11319312A (ja) 1998-05-18 1999-11-24 Sega Enterp Ltd 電子遊戯装置

Also Published As

Publication number Publication date
JPH09167260A (ja) 1997-06-24
US6421056B1 (en) 2002-07-16
EP0801363A4 (en) 1999-12-22
HK1003398A1 (en) 1998-10-30
AU724018B2 (en) 2000-09-07
US20010013868A1 (en) 2001-08-16
KR100356429B1 (ko) 2003-01-06
US20020057274A1 (en) 2002-05-16
US5973704A (en) 1999-10-26
KR980700623A (ko) 1998-03-30
WO1997014115A1 (fr) 1997-04-17
CA2205058A1 (en) 1997-04-17
DE69630584T2 (de) 2004-08-19
BR9606670A (pt) 1997-11-04
MX9704154A (es) 1997-09-30
CN1111824C (zh) 2003-06-18
CN1166220A (zh) 1997-11-26
DE69630584D1 (de) 2003-12-11
AU7227096A (en) 1997-04-30
US6590578B2 (en) 2003-07-08
EP0801363B1 (en) 2003-11-05
CA2205058C (en) 2001-08-07
US6778190B1 (en) 2004-08-17
EP0801363A1 (en) 1997-10-15

Similar Documents

Publication Publication Date Title
JP3544268B2 (ja) 三次元画像処理装置およびそれを用いた画像処理方法
US7102618B2 (en) User controlled graphics object movement based on a amount of joystick angular rotation and point of view angle
US5903257A (en) Operating device and image processing system using same
US6497618B1 (en) Video game system with data transmitting/receiving controller
US6908388B2 (en) Game system with tilt sensor and game program including viewpoint direction changing feature
US6139434A (en) Three-dimensional image processing apparatus with enhanced automatic and user point of view control
RU2155368C2 (ru) Система обработки изображения с аналоговым джойстиком
US6325718B1 (en) Operation controlling device and video processing system used therewith
US7831064B2 (en) Position calculation apparatus, storage medium storing position calculation program, game apparatus, and storage medium storing game program
US6346046B2 (en) Three-dimensional image processing system having dynamically changing character polygon number
US6390918B1 (en) Video game apparatus, model display method for video games, and readable recording medium for storing model display program for video games

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term