WO2017038836A1 - ロボットハンド及びこれを操作するためのマスタ - Google Patents

ロボットハンド及びこれを操作するためのマスタ Download PDF

Info

Publication number
WO2017038836A1
WO2017038836A1 PCT/JP2016/075377 JP2016075377W WO2017038836A1 WO 2017038836 A1 WO2017038836 A1 WO 2017038836A1 JP 2016075377 W JP2016075377 W JP 2016075377W WO 2017038836 A1 WO2017038836 A1 WO 2017038836A1
Authority
WO
WIPO (PCT)
Prior art keywords
joint
axis
finger
wire
robot hand
Prior art date
Application number
PCT/JP2016/075377
Other languages
English (en)
French (fr)
Inventor
龍 中楯
誠 橋爪
Original Assignee
国立大学法人九州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人九州大学 filed Critical 国立大学法人九州大学
Priority to JP2017538057A priority Critical patent/JPWO2017038836A1/ja
Publication of WO2017038836A1 publication Critical patent/WO2017038836A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J17/00Joints
    • B25J17/02Wrist joints

Definitions

  • the present invention relates to a robot hand and a master for measuring the movement of an operator's hand to operate the robot hand, and more particularly to a medical robot, in particular, a master-slave type laparoscopic surgery 15 that can be inserted into a body through a 12 mm port. It relates to the development of a five-fingered robot hand and a master.
  • the shape of the end effector of the forceps robot described above is a forceps composed of two claws, the affected area and the manipulation of the needle thread are in a form specialized for the forceps.
  • the present inventor considers that the form of the slave pursuing the intuitive operational feeling in the master-slave system to the limit is the same shape as a human hand, and the present invention verifies this in a robot for laparoscopic surgery.
  • the present invention is small enough to be inserted into the body by laparoscopic surgery, has a high degree of freedom, and has a finger part of a robot hand that is as close as possible to the shape of a human hand, and a glove that can detect the degree of freedom. It relates to trial production of a formula master.
  • Patent Document 2 Many previous studies of robot hands (for example, Patent Document 2 to Patent Document 5) have the same size as human hands. Even in the prior art, research on miniature robot hands exists (for example, Patent Document 6), but at most one degree of freedom per finger is the limit.
  • An object of the present invention is to provide the world's smallest master-slave robot hand having multiple degrees of freedom per finger. As a result, it can be expected that a surgical robot can be realized that feels as if the patient is operating with both hands in the abdominal cavity.
  • a robot hand includes a plurality of fingers having a palm, a proximal joint connected to the palm by a joint, and a terminal joint directly or indirectly connected to the fundamental joint by a joint.
  • a robot hand which is stretched along the palm and each finger, passes through a node connected to each other by the joint, and is fixed to a node located at the end of the joint.
  • a driving means for bending the joint by applying a tension to the wire is provided.
  • the robot hand according to the present invention is a robot hand including a palm, a thumb, and a finger other than the thumb, and the direction in which the finger other than the thumb extends in the plane of the palm is defined by the x-axis.
  • the thumb has a degree of freedom around the x-axis, y-axis, and z-axis with respect to the palm. It is preferable that fingers other than the thumb have a joint having degrees of freedom around the y-axis and the z-axis.
  • the thumb is driven by a CM joint having one degree of freedom around the x axis and one degree of freedom around the z axis, and the CM joint, each of which is around the y axis.
  • An IP joint having one degree of freedom and an MP joint, and the number of fingers other than the thumb is preferably four, and an MP joint having two degrees of freedom around the y axis and the z axis; It is preferable to include a PIP joint and a DIP joint that follow the MP joint and each have at least one degree of freedom around the y-axis.
  • the joint is formed by stacking arc-shaped irregularities.
  • the sensor glove according to the present invention is a device for measuring the movement of a human finger, and the palm of the glove and the tip of the wire stretched along each finger are placed at least on the base joint and the terminal joint for each finger. The movement of the finger is measured by fixing and fixing the wire.
  • a tube through which the wire is inserted is provided on the palm of the sensor glove and the upper part of each finger, and the plurality of wires stretched on the sensor glove are gathered into a camera. It is further preferable to detect the displacement of the wire from the obtained image.
  • the master according to the present invention includes any one of the above sensor gloves.
  • an extremely small robot hand having multiple degrees of freedom per finger was realized, and in addition, a low-cost, multi-degree-of-freedom globe-type sensor was realized.
  • a desired shape and grip were possible regardless of the minimum size.
  • a high-degree-of-freedom robot hand application that can be inserted into the abdominal cavity, for example, as a surgical instrument, functions such as an electric knife, a thread trimmer, and a fingertip for holding a needle can be assigned to different fingers.
  • functions such as an electric knife, a thread trimmer, and a fingertip for holding a needle can be assigned to different fingers.
  • the degree of freedom of the grip shape increases, it is possible to try palpation by adding a sensor.
  • FIG. 1 is a diagram showing a degree of freedom arrangement of slave fingers.
  • FIG. 2 is an exploded perspective view showing the structure of the slave index finger.
  • FIG. 3 is an overall external view of a slave robot according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing a 15-degree-of-freedom globe-type master according to an embodiment of the present invention.
  • FIG. 5 is a conceptual view of the mechanism showing the wire wiring of the master.
  • FIG. 6 is an imaging image diagram of a camera showing an image of a wire break.
  • FIG. 7: is a figure which shows the specific structure of a glove, FIG. 7A is a top view, FIG. 7B is a side view of FIG. 7A.
  • FIG. 8 is a diagram showing a state where rice grains are gripped by a 15-degree-of-freedom slave robot according to an embodiment of the present invention.
  • FIG. 9 is a flowchart showing a specific method of calculating data instructed to the motor from the displacement of the marker position.
  • FIG. 10 (FIGS. 10-1 to 10-3): FIG. 10 is a diagram showing a gesture and gripping experiment of a slave robot according to an embodiment of the present invention.
  • 10A to 10C are Janken gestures
  • D to E of FIG. 10-1 are operating the MP joint and the PIP + DIP joint independently
  • F of FIG. 10-2 is inserted into a cylinder having an inner diameter of 12 mm.
  • 10G, G and J in FIG. 10-2 and K and L in FIG. 10-3 are realizing the Schlesinger grip 6 form
  • M through O in FIG. 10-3 are the threads behind the fingers. The movements of hooking and pulling each are shown.
  • a preferred embodiment of the medical robot according to the present invention will be described as a robot hand 1 serving as a slave that is a mechanism operated in accordance with the movement of the operator and a master 3 that controls the operation of the robot hand 1.
  • the robot hand of the present invention and its operation are not limited to those of the above-described embodiments, and are not limited to those related to the robot hand of a medical robot.
  • a pipe called a trocar is installed on the body surface, and this is the entrance for the forceps.
  • the general size of the trocar at the time of this application has a maximum inner diameter of 12 mm. Therefore, in this embodiment, as a size requirement specification of the robot hand serving as a slave, the cross section is set within a circle having a diameter of 12 mm.
  • the robot hand of this example is provided with five fingers in order to resemble the shape and movement of a human hand as much as possible.
  • 1 and 2 show the external appearance of the slave robot according to the present invention
  • FIG. 3 shows the external appearance of the master (control means).
  • the robot hand 1 serving as a slave in this embodiment places a minimum degree of freedom. It was decided.
  • the target is a knot that is representative of complex operations that occur during the operation in the medium term
  • the tip of each finger is arbitrarily placed in a three-dimensional space.
  • Each finger has 3 degrees of freedom, which is the degree of freedom that can be positioned, and a total of 15 degrees of freedom.
  • An example of the degree of freedom arrangement is shown in FIG.
  • the thumb 1A has one degree of freedom around the x-axis (inner rotation) and z-axis of the CM joint, and the IP joint and the MP joint are driven, each with one degree of freedom, for a total of four degrees of freedom and three active degrees of freedom.
  • the four fingers 1B to 1E from the index finger to the little finger are provided with a hinge that can be bent in the y- and z-axes at the MP joint, with two active degrees of freedom, and the PIP and DIP joints are driven, each with one degree of freedom. And 3 active degrees of freedom.
  • the finger diameter is as small as 2.3 mm, a complicated mechanism cannot be mounted.
  • the driving by the wire W is adopted, and the hinge used for the joint has a shape in which arc-shaped irregularities are stacked. That is, in this embodiment, as shown in FIG. 2 as an example, the MP joint, the PIP joint, and the DIP joint are one of the nodes connected to each other by the joint (the hinge located on the palm side on the terminal node side).
  • a concave groove 1a extending in the y direction is formed on the surface), and a convex portion 1b that engages with the concave groove 1a is formed on the other (hinge surface located on the terminal node side on the palm side). Further, one end Wa of the wire W is fixed to the terminal node, and the other end of the wire W is connected to a motor M provided independently as shown in FIG. In this way, by driving the motor M, a tension can be applied to the wire W without providing a pin at the center of rotation.
  • FIG. 2 shows the links separated for the sake of explanation.
  • the MP joint has two degrees of freedom in the y and z axes by making one of the hinge surfaces arc-shaped around the z axis.
  • the wire W of the same line type shown in FIG. 2 makes a pair of antagonistic driving.
  • bending of the PIP and DIP joints and two degrees of freedom around the z axis of the MP joint are driven by two sets of wires indicated by a broken line and a solid line, and one degree of freedom around the y axis of the MP joint is driven by a wire indicated by a one-dot chain line.
  • Driving degrees is driven by a wire indicated by a broken line and a solid line.
  • the thumb internal rotation mechanism constituted a hinge with a pin, and the direction of the wire was changed to a right angle through a hole provided on the front and back of the palm. If the pin pulling force with 2 degrees of freedom of the thumb tip is supported by the internal rotation hinge, the pin hinge is not rigid enough. Yes.
  • the material used was resin (PEEK) instead of metal for ease of cutting.
  • the wire must have a small diameter, bend with a very small radius, have low elongation, and have low friction. While metal ropes are less stretched, they do not become familiar with finger bending radii. For this reason, in the present Example, the high intensity
  • Master Glove-type sensors that measure the movement of fingers with multiple degrees of freedom are called data gloves, and many are commercially available (for example, D. Laura et al .: “A survey of globe-based systems and therair applications.” (See IEEE Transactions on Systems, Man, and Cybernetics, Part C, vol. 38, no. 4, pp. 461-482, 2008).
  • Conventional data gloves include optical fibers that leak light from the side when bent, and measure the decrease in light quantity at each joint, and those that use a semiconductor pressure sensor whose resistance value changes due to bending. Those capable of sensing with a high degree of freedom per finger necessary for implementing the invention are very expensive. In addition, it is impossible to determine whether a finger is bent or deflected with a semiconductor pressure sensor.
  • FIG. 5 shows the configuration of the index finger as an example.
  • the wire W (2) (shown by a broken line) has a stump fixed to the end node, and passes through a guide pipe (hatched) fixed to the middle node and the base node.
  • the stump of the wire W (1) (shown by the alternate long and short dash line) is fixed to the base joint.
  • Each of these wires enters a flexible tube secured to the back of the palm and protrudes from the opposite end of the flexible tube.
  • the displacement of the wire W (2) depends on the three total angles of the DIP, PIP, and MP joints. Since wire W (1) depends only on the indirect angle of MP, the angle of MP is obtained, and the total angle of the DIP and PIP joints can be obtained by subtracting the displacement of wire W (1) from the displacement of wire W (2). Can be separated.
  • the wire W (3) (shown by a solid line) is fixed to the side surface of the base joint. The angle around the z-axis of the MP joint is obtained from the difference in displacement between the wires W (1) and W (3), and this difference is constant regardless of the angle around the y-axis of the joint.
  • the wire arrangement of the middle finger, ring finger, and little finger is the same as that of the index finger.
  • the thumb extends the beam from the palm toward the thumb and fixes the flexible tube stump.
  • the three-axis wires of the thumb are arranged so as to minimize interference.
  • a Ni-Ti alloy wire called superelasticity was used for the wire.
  • the one with low bending rigidity such as thread and rope will buckle when compressed unless it is pulled on the base end (wrist) side, but the Ni-Ti wire is pulled out from the tube T without buckling due to moderate rigidity. ⁇ Pushback was possible.
  • flexible PTFE with little friction was used for the tube T.
  • the glove 5 is preferably made of leather with less stretch so as not to damage the wire W and the like, and is preferably thin so as to reflect the surface shape of the hand. In this example, a baseball leather batting glove was employed.
  • a 15-wire W displacement measurement method may be a pulley-type encoder or a linear variable resistance.
  • the required specifications are to eliminate frictional resistance as much as possible and to reduce costs.
  • FIG. 6 an image of a point moving on a straight line of 15 wires W is obtained by constraining both ends of the wire W coming out of the flexible tube T with the tube T and coloring one point of the wire. This is obtained, and the displacement of the wire can be obtained by photographing them together with a camera.
  • the advantage is that the cost does not change even if the number of wires increases, and that all the components are easy to obtain and process, and the prototype can be improved immediately at the laboratory level.
  • the camera specifications are 60 fps, a fisheye lens, and a USB 2.0 connection
  • the image size captured on a PC is 640 ⁇ 480.
  • the image processing after distortion correction and binarization, the right end of the marker is detected in the ROI for each wire. No false detection was experienced by assigning a 10 pixel width on the imaging surface per wire. Therefore, simultaneous measurement of at least 48 wires is possible.
  • the total time delay due to the latency due to image capture, the frame rate of image processing, etc. was 190 ms at the maximum. Most of the cost of the master is the cost of the camera, and an inexpensive multi-degree-of-freedom data glove has been realized.
  • FIG. 7A is a plan view and FIG. 7B is a side view of FIG. 7A.
  • the wire W is fixed to the globe 5 at the wire end fixing portion 1 at the end, and is inserted into the guide tube T.
  • the guide tube T is fixed to the globe 5.
  • the opposite end of the wire W1 protrudes from the guide tube T bundled near the wrist and extends to the displacement detector.
  • the end of the wire W is fixed to the terminal node, and the wire length changes depending on the total bending angle of the DIP joint, the PIP joint, and the MP joint.
  • the end of the wire W6 is fixed to the instep side of the proximal joint, and the wire length changes only from the bending angle of the MP joint.
  • the total bending angle of the DIP joint and the PIP joint is obtained from the difference in length between the wires W5 and W6.
  • the end of the wire W4 is fixed at a location apart from the end of the wire W6 of the base node. While the lengths of the wires W4 and W6 change the same depending on the bending angle of the MP joint, the lengths of the wires W4 and W6 change in the opposite direction due to the bending of the joint in the horizontal direction.
  • the bending angle to the left and right of the finger is determined by the difference in height.
  • the arrangement of the four fingers from the index finger to the little finger is the same as that of the index finger.
  • the wire W1 is fixed to the terminal node, and the wire length changes depending on the total bending angle of the IP joint and the MP joint.
  • the opening angle of the thumb is determined by the length of the wire W3 whose end is fixed on the metacarpal bone.
  • the 14 wires W and the corresponding tube T except for the wire W2 are all arranged in the back surface of the hand.
  • the wire W2 protrudes from the tube T fixed at a position away from the back of the hand by a beam fixed to the back of the hand, and is fixed to the metacarpal bone in order to measure the inward angle of the thumb.
  • Middle finger to little finger is similar to index finger Thumb inversion angle k2 ⁇ x2 Total bending angle of thumb IP joint and MP joint ... k1 x1 Opening angle of thumb ... k3 x3 k1 to 15 are conversion coefficients from the wire length displacement to the joint angle.
  • the robot joint is converted from the detected 15 joint angles of the glove as described above, and the command value to each motor is set. Can be requested.
  • the overall processing flow is shown in FIG.
  • FIGS. 10A to 10C show the Janken gesture
  • FIGS. 10D to E show that the MP joint and the PIP + DIP joint of the index finger can be operated independently.
  • FIG. 10F shows that it can pass through a laparoscopic surgical port having an inner diameter of 12 mm.
  • FIGS. 10G to 10L show a state in which all of the 6 types of Schlesinger grips frequently used in hand evaluation (Cylindrical Grasp, Tip, Hook, Palmar, Spiral Grasp, Lateral) are realized. Finally, in the operation of surgical ligation, there is a frequent appearance of hooking a thread with a finger without moving the palm, but FIGS. 10M to O show that it is possible to hook the thread behind the finger and pull it back. It seems to have been verified.
  • the present invention relates to a robot hand and a master that measures the movement of an operator's hand to operate the robot hand, and in particular, a medical robot, particularly a master slave that can be inserted into a body from a 12 mm port. Development of 15-degree-of-freedom 5-finger robot hand and master for laparoscopic surgery.

Abstract

手掌に対して関節により接続された基節と、該基節に対して関節により直接または間接的に接続された末節とを有する複数の指を備えたロボットハンドであって、前記手掌及び各指に沿って張設され、各指について、前記関節によって相互に接続される節を貫通し、該関節のうち末端に位置する節に固定されたワイヤと、このワイヤにテンションを付与することにより前記関節を屈曲するための制御手段とを備える。また、このロボットハンドを操作するために操作者の手の動作を計測するマスタであって、手掌及び各指に沿って張られたワイヤの先端を、各指について少なくとも前記基節及び末節に固定し、該ワイヤの変位により操作者の手の動作を計測する。

Description

ロボットハンド及びこれを操作するためのマスタ
 本発明は、ロボットハンドと、これを操作するために操作者の手の動作を計測するマスタに係り、特に医療用ロボット、とりわけ、12mmポートから体内に挿入可能なマスタスレーブ式腹腔鏡手術用15自由度5本指ロボットハンドとマスタの開発に関する。
 近年の外科手術では,体表に小さな穴を数か所開け,5−10mm径のカメラと細長い鉗子を挿入して行う腹腔鏡手術が増えている。開腹するよりも短期間で退院・社会復帰できる等、多くの患者メリットがある一方、医師には高度な技術の習得が求められる。この腹腔鏡手術をより簡単、安全、微細にするため、直観的な操作が可能なマスタスレーブ型の鉗子ロボット(例えば、特許文献1を参照)が普及しており、あたかも鉗子の先端をつまんでいるかのような操作感を実現している。
 しかし、上述した鉗子ロボットのエンドエフェクタの形状は2本の爪からなる鉗子であるため、患部や針糸のマニピュレーションは鉗子に特化した態様となる。本発明者は、マスタスレーブ系における直観的な操作感を極限まで追求したスレーブの形態は人の手と同一形状であると考え、本発明は、これを腹腔鏡手術用のロボットにおいて検証することを目的としてる。このように、本発明は、腹腔鏡手術で体内に挿入可能な程度に小さく、多自由度を持ち、人の手の形状にできるだけ近いロボットハンドの手指部、および同自由度を検出可能なグローブ式マスタの試作に関する。
 これまでのロボットハンドの先行研究(例えば、特許文献2~特許文献5)は、その多くが人の手と同じ大きさである。従来技術にあっても、ミニチュアロボットハンドの研究は存在する(例えば、特許文献6)が、1指あたりせいぜい1自由度が限界であった。本発明では、1指あたりに多自由度をもつ世界最小のマスタスレーブ型ロボットハンドを提供することを目的とする。これによりあたかも腹腔内に両手を突っ込んで手術しているように感じられる手術ロボットが実現することが期待できる。
[非特許文献]
G.S.Gurthart et al.:"The intuitive telesurgery system:overview and application,"Proc.of IEEE Int.Conf.on Robotics and Automation,pp.618−621,2000 M.A.Diftler et al.:″Robonaut 2−The first humanoid robot in space,″Proc.of IEEE Int.Conf.on Robotics and Auto−mation,pp.2178−2183,2011 K.Kojima et al.:"Sensor Prediction and Grasp Stability Evalu−ation for In−Hand Manipulation,"Proc.of IEEE/RSJ Int.Conf.on Intelligent Robots and Systems,pp.2479−2484,2013 M.S.Johannes et al.:″An overview of the developmental process for the modular prosthetic limb.″Johns Hopkins APL Technical Digest 30.3,pp.207−216,2011 M.Grebenstein et al.:″The DLR hand arm system.″Proc.of IEEE Int.Conf.on Robotics and Automation,pp.3175−3182,2011 K.Shinya et al.:″Fluid−resistive bending sensor having perfect compatibility with flexible pneumatic balloon actu−ator,″Proc.of IEEE Int.Conf.Micro Electro Mechanical Systems,pp.615−618,2007
 本発明に係るロボットハンドは、手掌と、該手掌に対して関節により接続された基節と、該基節に対して関節により直接または間接的に接続された末節とを有する複数の指を備えたロボットハンドであって、前記手掌及び各指に沿って張設され、各指について、前記関節によって相互に接続される節を貫通し、該関節のうち末端に位置する節に固定されたワイヤと、このワイヤにテンションを付与することにより前記関節を屈曲させる駆動手段とを備えたことを特徴とする。
 ここで、本発明に係るロボットハンドは、手掌、拇指、及び該拇指以外の指を備えたロボットハンドであって、前記手掌の面内において前記拇指以外の指が伸びる方向をx軸、同面内においてx軸と直交する方向をy軸、前記手掌の面と直交する方向をz軸としたとき、前記手掌に対して、前記拇指は、前記x軸、y軸及びz軸周りの自由度を有する関節を備え、前記拇指以外の指は、前記y軸及びz軸周りの自由度を有する関節を備えることが好ましい。さらに、本発明のロボットハンドは、前記拇指は、前記x軸周りの1自由度と前記z軸周りの1自由度をもつCM関節と、該CM関節に従動し、それぞれが前記y軸周りの1自由度をもつIP関節とMP関節とを備えることを特徴としたり、前記拇指以外の指は、好ましくは4本であり、前記y軸周り及びz軸周りの2自由度をもつMP関節と、該MP関節に従動し、それぞれが少なくとも前記y軸周りの1自由度をもつPIP、DIP関節とを備えることが好ましい。
 さらに、本発明に係るロボットハンドは、前記関節は、円弧状の凹凸を積み重ねることにより形成されていることが好ましい。
 また、本発明に係るセンサグローブは、人の手指の動作を計測する装置であって、グローブの手掌及び各指に沿って張られたワイヤの先端を、各指について少なくとも前記基節及び末節に固定し、該ワイヤの変位により手指の動作を計測することを特徴とする。ここで、本発明のセンサグローブは、前記センサグローブの手掌及び各指の上部に、前記ワイヤが挿通されるチューブを設けることが好ましく、前記センサグローブに張られた複数の前記ワイヤをまとめてカメラで撮像し、得られた画像から前記ワイヤの変位を検出することがさらに好ましい。
 そして、本発明に係るマスタは、上記いずれかのセンサグローブを備えたことを特徴とする。
 本発明によれば、1指あたり多自由度をもつ極小サイズのロボットハンドが実現し、加えて低コストで多自由度のグローブ型センサが実現した。本発明のロボットハンドを用いて、ジェスチャおよび把持形態の再現実験を施行したところ、極少サイズに関わらず、所望の形状、把持が可能であった。
 今後引き続き、腕(手首・肘・肩関節)を開発し、本発明に係るロボットハンドとの統合を試みる。あわせて腕用のマスタを開発し、最終的には2本の手と3Dカメラを備えた手術システムを目指す。長期的な目的である直観的な操作感の検証については、身体所有感の評価法(J.Arata et al.:“Robotically Enhanced Rubber Hand Illu−sion,″IEEE Transact)からのアプローチにより新たな知見を得ることができよう。
 腹腔内に挿入可能な高自由度のロボットハンドのアプリケーションとして、例えば手術器具としては、別々の指に電気メス、糸切りはさみ、持針用指先等の機能を割り当てることができる。また、把持形態の自由度が増すことから、センサを付加し触診を試みることができる。
 図1: スレーブ指の自由度配置を示す図である。
 図2: スレーブ示指の構造を示す分解斜視図である。
 図3: 本発明の実施例によるスレーブロボットの全体外観図である。
 図4: 本発明の実施例による15自由度グローブ型マスタを示す図である。
 図5: マスタのワイヤ配線を示す機構概念図である。
 図6: ワイヤ断端のイメージを示すカメラの撮像イメージ図である。
 図7: グローブの具体的構成を示す図であり、図7Aは平面図、図7Bは図7Aの側面図である。
 図8: 本発明の実施例による15自由度スレーブロボットにより米粒を把持している様子を示す図である。
 図9: マーカの位置の変位からモータに指示するデータの具体的算出方法を示すフロー図である。
 図10(図10−1~図10−3): 本発明の実施例によるスレーブロボットのジェスチャおよび把持実験を示す図である。図10−1のA~Cはじゃんけんジェスチャ、図10−1のD~EはMP関節とPIP+DIP関節を独立して動作させている様子、図10−2のFは内径12mmの円筒に挿入している様子、図10−2のG~J及び図10−3のK及びLはSchlesingerの把持6形態を実現している様子、図10−3のM~Oは指の背後にある糸を引っ掛けて手繰り寄せる動作をそれぞれ示している。
 以下、本発明に係る医療用ロボットの好適な実施例について、操作者の動きに合わせて操作される機構であるスレーブとなるロボットハンド1と、このロボットハンド1の操作を制御するマスタ3とに分けて詳述する。本発明のロボットハンド及びその動作を計測するは、上記実施例のものに限定されず、また、医療用ロボットのロボットハンドに係るものに限定されない。
 腹腔鏡手術では、体表にトロッカーと呼ばれるパイプが設置され、ここが鉗子の出入り口となる。本出願時におけるトロッカーの一般的なサイズは、最大内径が12mmである。そこで、本実施例においては、スレーブとなるロボットハンドのサイズ要求仕様として、断面が12mm径の円に収まることとした。そして、本実施例のロボットハンドは、人の手の形状・動作にできるだけ似せるため、5本指を備えることとした。図1、2に本発明に係るスレーブロボットの外観、図3にマスタ(制御手段)の外観を示す。
=スレーブ=
 実際の人の片手の中には多数の自由度が存在するが、これを全部実現するのは困難であるため、本実施例のスレーブとなるロボットハンド1は、最低限の自由度を配置することとした。中期的には術中に発生する複雑な作業の代表である糸結びを目標としているため、本実施例では、図1に示されるように、例えば、各指の先端を3次元空間内で任意の位置に位置決め可能な自由度である各指能動3自由度、計15自由度を持たせることとした。自由度配置の実施例を図1に示す。拇指1AはCM関節のx軸周り(内転)とz軸周りに1自由度ずつ、IP関節とMP関節を従動とし各1自由度配置し、計4自由度、能動3自由度とした。示指~小指の4本1B~1Eは、MP関節にてy、z2軸の屈曲が可能なヒンジを設け能動2自由度、PIP、DIP関節は従動とし各1自由度配置し、同じく計4自由度、能動3自由度とした。
 本実施例では、指の径が2.3mmと微小であるため複雑な機構を搭載できない。またアクチュエータを遠位に配置するため、図2に示されるように、ワイヤWによる駆動を採用するとともに、関節に用いるヒンジは円弧状の凹凸を積み重ねる形状とした。すなわち、本実施例では、図2に示指を例として示されるように、MP関節、PIP関節及びDIP関節は、当該関節によって相互に連結される節の一方(末節側の手掌側に位置するヒンジ面)にy方向に延びる凹溝1aが形成され、他方(手掌側の末節側に位置するヒンジ面)に凹溝1aと係合する凸部1bが形成されている。また、ワイヤWの一端部Waは末節に固定され、ワイヤWの他端部は図3に示されるように、それぞれが独立して設けられたモータMに連結されている。このようにすることによって、モータMを駆動することによって、ワイヤWにテンションを加えることにより回転中心にピンを設けなくとも、ヒンジが構成できる。図2は説明のため各リンクを離して図示してある。
 MP関節はヒンジ面のうち一方をさらにz軸周りの円弧状とすることで、y、z軸の2自由度を持っている。図2に示される同じ線種のワイヤWは一対の拮抗駆動をなす。図2中、破線及び実線で示す2組のワイヤによりPIP、DIP関節の曲げとMP関節のz軸周りの2自由度を駆動し、一点鎖線で示すワイヤによりMP関節のy軸周りの1自由度を駆動する。なお、拇指の内転機構1軸のみは、ピンでヒンジを構成し、ワイヤは手掌の表裏に設けた穴を経由させて直角に方向変換させた。拇指先端2自由度のワイヤ牽引力を内転用ヒンジで支えると、ピンヒンジの剛性が足りないため、この2自由度の駆動ワイヤのみ蛇管ワイヤ方式とし、コイルチューブで内転用ヒンジとモータユニットを接続している。素材は切削加工の容易さから金属ではなく樹脂(PEEK)を用いた。ワイヤは細径であって、非常に小さな半径で曲げられ、かつ伸びが少なく、さらに摩擦が小さい必要がある。金属ロープは伸びが少ない一方、指の屈曲半径になじまない。このため、本実施例では、釣り糸等に使用される高強度の合成繊維を用いた。
 以上の設計手法により、例えば12mmの円筒に収まるサイズの全20自由度、能動15自由度のロボットハンドの試作に成功した。
=マスタ=
 手指の動作を多自由度で計測する手袋型のセンサはデータグローブと呼ばれ、多数が市販されている(例えば、D.Laura et al.:″A survey of glove−based systems and their applications.″IEEE Transactions on Systems,Man,and Cybernetics,Part C,vol.38,no.4,pp.461−482,2008を参照)。従来のデータグローブには、屈曲すると側面より光が漏れる光ファイバを各関節に配置して光量の減少を計測するもの、屈曲により抵抗値の変化する半導体圧力センサを用いるものなどがあるが、本発明の実施に必要な1指あたり多自由度のセンシングが可能なものは非常に高価である。また半導体圧力センサでは例えば指を屈曲させているのか逸らせているのかは判別できない。ほかに、2眼赤外線カメラにより手の立体情報を取得する安価な手指用のモーションキャプチャが市販されているが、オクルージョンの問題が解決できない。そこで、本発明のロボットハンドに用いて好適な各指3自由度、計15自由度をもつ高精度、低コストのデータグローブを新たに開発した。
 基本原理はこれまでに存在するデータグローブとは異なり、図4に示されるように、手袋5上の指の各リンク間にワイヤWとチューブTを張り、関節の屈曲によるワイヤWのチューブTに対する変位を計測するものである。図5に例として示指の構成を示した。ワイヤW▲2▼(破線図示)は末節に断端が固定され、中節、基節に固定されたガイド用のパイプ(ハッチングを付した)を通る。ワイヤW▲1▼(一点鎖線図示)の断端は基節に固定される。これらのワイヤはそれぞれ手掌の甲に固定された柔軟チューブに入り、柔軟チューブの反対端から突出する。この突出の変位を計測することで、関節の角度が求まる。ワイヤW▲2▼の変位はDIP、PIP、MP関節の3つの合計角度に依存する。ワイヤW▲1▼はMP間接の角度のみに依存するため、MPの角度が求まり、ワイヤW▲2▼の変位からワイヤW▲1▼の変位を減じることで、DIP、PIP関節の合計角を分離できる。ワイヤW▲3▼(実線図示)は基節の側面に固定される。MP関節のz軸周りの角度はワイヤW▲1▼、W▲3▼の変位の差から求まり、この差は同関節のy軸周りの角度に寄らず一定である。中指、薬指、小指のワイヤ配置は示指に同様である。拇指は内転の動きを計測するために手掌から拇指方向に梁を伸ばし、柔軟チューブ断端を固定している。拇指の3軸のワイヤは、互いに干渉の最も小さくなる配置とした。
 本実施例では、ワイヤに超弾性と呼ばれるNi−Ti合金線を用いた。糸やロープのように曲げ剛性の低いものは基端(手首)側で牽引しないと圧縮時に座屈してしまうが、Ni−Ti剛金線は適度な剛性により座屈せずにチューブTからの引き出し・押し戻しが可能であった。また、本実施例では、チューブTに摩擦の少ない柔軟なPTFEを用いた。手袋5はワイヤW等を損傷しないよう伸びが少ない皮製が好ましく、かつ手の表面形状を反映するよう薄いものが良い。本実施例では、野球の皮製バッティンググローブを採用した。
 15本のワイヤWの変位の計測方法には、プーリ式のエンコーダや直線状の可変抵抗などが考えられるが、摩擦抵抗を極力排除すること、コストを抑えることを要求仕様とし、カメラでまとめて計測することとした。図6に示されるように、柔軟チューブTから出たワイヤWの両端をチューブTで拘束し、ワイヤの1点に色を付けることで、15本ワイヤWの直線上を点が移動する画像が得られ、これをカメラでまとめて撮影することによりワイヤの変位が得られる。この利点は、ワイヤの本数が増えてもコストが変わらないこと、さらに全ての構成品が入手・加工容易であり、試作改良が実験室レベルですぐにできることである。本実施例では、カメラの仕様は60fps、魚眼レンズ、USB2.0接続でPCへの取り込み画像サイズ640x480である。画像処理はひずみ補正、2値化の後、ワイヤ毎のROI内でマーカの右端を検出する。ワイヤ1本あたり撮像面上10ピクセル幅を割り当てて誤検知を経験しなかった。よって少なくとも48本まではワイヤの同時計測が可能である。画像の取込みによるレイテンシ、画像処理のフレームレート等による時間遅れの合計は最大時に190msであった。マスタのコストの殆どはカメラのコストであり、安価な多自由度データグローブが実現した。
 以下、グローブの具体的構成について述べる。図7(図7Aは平面図、図7Bは図7Aの側面図である。)を参照してグローブ5の構成を説明する。ワイヤWは末節のワイヤ端固定部1にてグローブ5に固定され、ガイドチューブTに挿通される。ガイドチューブTはグローブ5に固定される。ワイヤW1の反対側の端は手首付近で束ねられたガイドチューブTから突出し、変位検出部へと延びる。人差し指の場合、ワイヤWの端は末節に固定され、DIP関節、PIP関節、MP関節の折り曲げ角度の合計によりワイヤ長が変化する。ワイヤW6の端は基節の甲側に固定され、MP関節の折り曲げ角度のみよりワイヤ長が変化する。ワイヤW5、W6の長さの差よりDIP関節、PIP関節の折り曲げ角度の合計が求まる。ワイヤW4の端は基節の、ワイヤW6の端から離れた場所に固定される。MP関節の折り曲げ角度によりワイヤW4,W6の長さは同じ変化をする一方、同関節の左右方向への曲げによりワイヤW4、W6は逆向きに長さが変化するため、ワイヤW4、W6の長さの差により指の左右への曲げ角度が求まる。人差し指から小指までの4指のワイヤ配置は人差し指と同様である。親指の場合、ワイヤW1は末節に固定され、IP関節とMP関節の合計の曲げ角度によりワイヤ長が変化する。親指の開き角は、中手骨上に端が固定されたワイヤW3の長さにより求まる。ワイヤW2を除く14本のワイヤW及び対応するチューブTは全て手の甲側表面内に配置される。ワイヤW2は親指の内転角を測るため、図7Bに示すように、手の甲に固定された梁により手の甲面から離れた場所に固定されたチューブTから突出して中手骨に固定される。
 次いで、マーカの位置の変位からモータに指示するデータの具体的算出方法について述べる。図7AにおけるワイヤW1~W15にそれぞれ付けられたマーカの位置をカメラで撮像し、基準点(手をじゃんけんのパーの状態にしたときのマーカ位置)からの変位を画像処理により求める。この変位をx1~x15とする。それぞれの関節角度は下記のように求まる。
 人差し指のMP関節の折り曲げ角・・・k6・x6
 人差し指のDIP関節とPIP関節の折り曲げ角の合計・・・k5・(x5−x6)
 人差し指のMP関節の左右曲げ角・・・k4・(x6−x4)
 中指から小指は人差し指に同様
 親指の内転角・・・k2・x2
 親指のIP関節とMP関節の折り曲げ角の合計・・・k1・x1
 親指の開き角・・・k3・x3
 k1~15はワイヤ長さ変位から関節角度への変換係数
 ロボットハンドを操作する場合は、上記により検出したグローブの15関節の角度から、ロボットの関節への変換を行い、各モータへの指令値を求めることができる。以上の全体の処理の流れを図8にフローで示す。
=性能評価=
 本マスタ、スレーブを用いた全体のシステムを構築し、各種のジェスチャおよび各種の把持形態を実現する実験を行った。実験の様子を図9及び10に示す。図9は、本発明に係るロボットハンド1が米粒を把持している様子を示している。図10A~Cはじゃんけんジェスチャ、図10D~Eは示指のMP関節とPIP+DIP関節を独立して動作させることが可能であることを示している。図10Fは内径12mmの腹腔鏡手術用ポートの内部を通過可能であることを示している。図10G~Lはハンドの評価でしばしば用いられるSchlesingerの把持6形態の全て(順にCylindrical grasp,Tip,Hook,Palmar,Spherical grasp,Lateral)を実現している様子である。最後に、外科結紮の動作には手掌を動かさずに指だけで糸を引っ掛ける動作が頻繁に現れるが、図10M~Oは指の背後にある糸を引っ掛けて手繰り寄せる動作が可能であることを検証した様子である。
産業上の利用可能性
 本発明は、ロボットハンドと、これを操作するために操作者の手の動作を計測するマスタに係り、特に医療用ロボット、とりわけ、12mmポートから体内に挿入可能なマスタスレーブ式腹腔鏡手術用15自由度5本指ロボットハンドとマスタの開発に関する。

Claims (9)

  1.  手掌と、該手掌に対して関節により接続された基節と、該基節に対して関節により直接または間接的に接続された末節とを有する複数の指を備えたロボットハンドであって、
     前記手掌及び各指に沿って張設され、各指について、前記関節によって相互に接続される節を貫通し、該関節のうち末端に位置する節に固定されたワイヤと、
     このワイヤにテンションを付与することにより前記関節を屈曲させる駆動手段とを備えたことを特徴とするロボットハンド。
  2.  手掌、拇指、及び該拇指以外の指を備えたロボットハンドであって、
     前記手掌の面内において前記拇指以外の指が伸びる方向をx軸、同面内においてx軸と直交する方向をy軸、前記手掌の面と直交する方向をz軸としたとき、前記手掌に対して、前記拇指は、前記x軸、y軸及びz軸周りの自由度を有する関節を備え、前記拇指以外の指は、前記y軸及びz軸周りの自由度を有する関節を備えることを特徴とする請求項1に記載のロボットハンド。
  3.  前記拇指は、前記x軸周りの1自由度と前記z軸周りの1自由度をもつCM関節と、該CM関節に従動し、それぞれが前記y軸周りの1自由度をもつIP関節とMP関節とを備えることを特徴とする請求項2に記載のロボットハンド。
  4.  前記拇指以外の指は、好ましくは4本であり、前記y軸周り及びz軸周りの2自由度をもつMP関節と、該MP関節に従動し、それぞれが少なくとも前記y軸周りの1自由度をもつPIP、DIP関節とを備えることを特徴とする請求項2に記載のロボットハンド。
  5.  前記関節は、円弧状の凹凸を積み重ねることにより形成されていることを特徴とする請求項1~4のいずれかに記載のロボットハンド。
  6.  人の手指の動作を計測する装置であって、グローブの手掌及び各指に沿って張られたワイヤの先端を、各指について少なくとも前記基節及び末節に固定し、該ワイヤの変位により手指の動作を計測することを特徴とするセンサグローブ。
  7.  前記センサグローブの手掌及び各指の上部に、前記ワイヤが挿通されるチューブを設けたことを特徴とする請求項6に記載のセンサグローブ。
  8.  前記センサグローブに張られた複数の前記ワイヤをまとめてカメラで撮像し、得られた画像から前記ワイヤの変位を検出することを特徴とする請求項6または請求項7に記載のセンサグローブ。
  9.  請求項6~8のいずれかに記載のセンサグローブを備えたマスタ。
PCT/JP2016/075377 2015-08-28 2016-08-24 ロボットハンド及びこれを操作するためのマスタ WO2017038836A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017538057A JPWO2017038836A1 (ja) 2015-08-28 2016-08-24 ロボットハンド及びこれを操作するためのマスタ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562211558P 2015-08-28 2015-08-28
US62/211,558 2015-08-28

Publications (1)

Publication Number Publication Date
WO2017038836A1 true WO2017038836A1 (ja) 2017-03-09

Family

ID=58187671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/075377 WO2017038836A1 (ja) 2015-08-28 2016-08-24 ロボットハンド及びこれを操作するためのマスタ

Country Status (2)

Country Link
JP (1) JPWO2017038836A1 (ja)
WO (1) WO2017038836A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108789482A (zh) * 2017-04-26 2018-11-13 株式会社安川电机 机器人
WO2020105504A1 (ja) * 2018-11-20 2020-05-28 株式会社メルティンMmi ロボットハンド装置
US10690155B2 (en) 2018-08-28 2020-06-23 Kabushiki Kaisha Toshiba Actuator
CN111546312A (zh) * 2020-04-24 2020-08-18 天津大学 一种具有三级放大机构的二自由度折展立体微机械手
KR20200098940A (ko) * 2019-02-13 2020-08-21 한국기술교육대학교 산학협력단 커플링와이어를 포함하는 로봇 손가락 어셈블리
WO2021110060A1 (zh) * 2019-12-02 2021-06-10 深圳忆海原识科技有限公司 32自由度仿生柔顺内骨骼灵巧手
KR102362574B1 (ko) 2020-09-14 2022-02-15 성균관대학교산학협력단 로봇손 및 로봇손의 손가락 기구
KR102550237B1 (ko) * 2022-08-25 2023-06-30 성균관대학교산학협력단 터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06262549A (ja) * 1993-03-04 1994-09-20 Daum Gmbh 外科用マニピュレータ
JP2011110620A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの動作を制御する方法およびロボットシステム
JP2011245575A (ja) * 2010-05-25 2011-12-08 Univ Of Tokyo ロボットハンド及びロボットシステム
JP2013510672A (ja) * 2009-11-13 2013-03-28 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 遠隔操作される低侵襲スレーブ手術器具の手による制御のための方法およびシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06262549A (ja) * 1993-03-04 1994-09-20 Daum Gmbh 外科用マニピュレータ
JP2013510672A (ja) * 2009-11-13 2013-03-28 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 遠隔操作される低侵襲スレーブ手術器具の手による制御のための方法およびシステム
JP2011110620A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの動作を制御する方法およびロボットシステム
JP2011245575A (ja) * 2010-05-25 2011-12-08 Univ Of Tokyo ロボットハンド及びロボットシステム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108789482B (zh) * 2017-04-26 2022-03-01 株式会社安川电机 机器人
CN108789482A (zh) * 2017-04-26 2018-11-13 株式会社安川电机 机器人
US10690155B2 (en) 2018-08-28 2020-06-23 Kabushiki Kaisha Toshiba Actuator
WO2020105504A1 (ja) * 2018-11-20 2020-05-28 株式会社メルティンMmi ロボットハンド装置
JPWO2020105504A1 (ja) * 2018-11-20 2021-09-27 株式会社メルティンMmi ロボットハンド装置
EP3878609A4 (en) * 2018-11-20 2022-01-19 Meltin MMI Co., Ltd. ROBOT HAND DEVICE
JP7087224B2 (ja) 2018-11-20 2022-06-21 株式会社メルティンMmi ロボットハンド装置
KR20200098940A (ko) * 2019-02-13 2020-08-21 한국기술교육대학교 산학협력단 커플링와이어를 포함하는 로봇 손가락 어셈블리
KR102167373B1 (ko) 2019-02-13 2020-10-19 한국기술교육대학교 산학협력단 커플링와이어를 포함하는 로봇 손가락 어셈블리
WO2021110060A1 (zh) * 2019-12-02 2021-06-10 深圳忆海原识科技有限公司 32自由度仿生柔顺内骨骼灵巧手
CN111546312A (zh) * 2020-04-24 2020-08-18 天津大学 一种具有三级放大机构的二自由度折展立体微机械手
CN111546312B (zh) * 2020-04-24 2022-07-01 天津大学 一种具有三级放大机构的二自由度折展立体微机械手
KR102362574B1 (ko) 2020-09-14 2022-02-15 성균관대학교산학협력단 로봇손 및 로봇손의 손가락 기구
KR102550237B1 (ko) * 2022-08-25 2023-06-30 성균관대학교산학협력단 터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법
WO2024043684A1 (ko) * 2022-08-25 2024-02-29 성균관대학교산학협력단 터치패드 기반의 손가락 벤딩 센서 장치 및 이를 이용한 로봇 핸드 파지 제스처 제어 방법

Also Published As

Publication number Publication date
JPWO2017038836A1 (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
WO2017038836A1 (ja) ロボットハンド及びこれを操作するためのマスタ
US20220211455A1 (en) Virtual reality surgical device
EP2739231B1 (en) Operation support device
Ding et al. Design and coordination kinematics of an insertable robotic effectors platform for single-port access surgery
CN111902096A (zh) 虚拟现实腕部组件
Phee et al. Robotic system for no‐scar gastrointestinal surgery
US20180338804A1 (en) System and method of registration between devices with movable arms
CN106232048B (zh) 机器人接口定位确定系统及方法
KR101789064B1 (ko) 원격조종 최소 침습 종속 수술 기구의 손 제어를 위한 방법 및 시스템
Tan et al. Design, characterization and applications of a novel soft actuator driven by flexible shafts
US20140194699A1 (en) Single port surgical robot and control method thereof
EP3399938A1 (en) Snare tool manipulator system
EP3706657A1 (en) Tension control in actuation of jointed instruments
KR20150097238A (ko) 수술 로봇용 마스터 장치 및 그 제어 방법
KR101740310B1 (ko) 케이블을 이용한 착용형 손 외골격 장치
US20230200630A1 (en) Method for positioning an endoscope with flexible shaft
US20130173055A1 (en) Robot hand and humanoid robot having the same
Berthet-Rayne et al. Rolling-joint design optimization for tendon driven snake-like surgical robots
KR20140037122A (ko) 최소 침습 수술을 위한 마스터/슬레이브 타입 의료 장치
Babu et al. Holding, grasping and sensing of prosthetic robot arm like a real human hand, a journey beyond limits: an extensive review
Lai et al. Verticalized-tip trajectory tracking of a 3D-printable soft continuum robot: Enabling surgical blood suction automation
Yihun et al. Single degree-of-freedom exoskeleton mechanism design for thumb rehabilitation
Feiling et al. Optimal teleoperation control of a constrained tendon-driven serpentine manipulator
Low et al. Master-slave robotic system for therapeutic gastrointestinal endoscopic procedures
US20140343730A1 (en) Robot control methods

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16841866

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017538057

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16841866

Country of ref document: EP

Kind code of ref document: A1