Wiki de Projets IMA - Contributions de l’utilisateur [fr]

IMA3/IMA4 2021/2023 P9

2023-01-05T20:50:38Z

Hzhu : /* Logiciel */

=<div class="mcwiki-header" style="border-radius: 15px; padding: 15px; font-weight: bold; color: #FFFFFF; text-align: center; font-size: 80%; background: #dc143c; vertical-align: top; width: 98%;"> Sommaire </div>=

I- Objectifs du semestre 

II- Robot Nyrio NED1 

III- Traitement d'image et Aphelion 

IV- Perspectives 

=<div class="mcwiki-header" style="border-radius: 15px; padding: 15px; font-weight: bold; color: #FFFFFF; text-align: center; font-size: 80%; background: #dc143c; vertical-align: top; width: 98%;"> Objectifs </div>=

Se familiariser avec le Robot NED 1 et sa bibliothèque PyNiryo en testant plusieurs applications.

Utilisation de la caméra et l'obtention de plusieurs images qui vont nous servir pour le traitement d'image.

Expérimenter le traitement d’image avec le logiciel Aphelion.

Tenter de contrôler le robot à travers le logiciel Aphelion.

=NIRYO NED 1 AVEC PYNIRYO 1 =

[[Fichier:Niryo ned presentation.png|350px|thumb|left]]

==Le Robot ==

Ned est un bras robot collaboratif 6 axes conçu pour l’éducation et la recherche.
Ned est conçu pour reproduire tous les mouvements requis dans les utilisations les plus avancées de l’industrie 4.0, avec une précision et une répétabilité de 0.5mm.
La structure en aluminium de Ned lui confère une robustesse exemplaire, lui permettant d’accomplir avec fluidité les mouvements nécessaires à vos projets de robotique.
Ce robot tire pleinement profit des capacités de la Raspberry Pi 4, avec un processeur 64-bit ARM V8 haute performance, 2Go de RAM, et une connectivité améliorée.
Ned est un robot basé sur Ubuntu 18.04 et ROS (Robot Operating System) Melodic, une solution open-source complète conçue pour la robotique. Avec ROS, Ned dispose d’un ensemble de librairies permettant de concevoir des programmes les plus simples aux plus complexes pour répondre à vos besoins de manière flexible.


Les spécifications techniques des outils de Ned


Avec le système Easy Connect, changer d’outil n’a jamais été aussi simple. Il vous suffit de brancher votre outil, de connecter son câble et il est prêt à être utilisé.
Ned est fourni avec un Gripper Custom. Ses mors standards peuvent manipuler de petits objets, et si vous possédez une imprimante 3D, vous pouvez créer vos propres mors.


[[Fichier:overview gripper.png|350px]]


Ned peut également être utilisé avec :

<ul>
<li> Le Gripper Large qui a la capacité de saisir des objets plus gros tout en gardant la possibilité de se fermer entièrement.</li>
<li>Le Gripper Adaptatif qui permet au robot de saisir des objets non standards avec des formes complexes (ex. un œuf). </li>
<li>La Pompe à vide pour saisir des objets avec des surfaces planes et non poreuses.
L’Électroaimant utile pour manipuler de un à plusieurs objets métalliques (ex. vis, boulons…). </li>
<li>L’écosystème de Ned est conçu pour vous permettre de reproduire des cas d’utilisation avancés de l’industrie 4.0 </li>
<ul>


[[Fichier:standard gripper schema.png|450px]]



Les spécifications techniques du Gripper Custom



[[Fichier:specifications techniques gripper.png|550px]]



Spécifications techniques de Ned



[[Fichier:ned skelette.png|350px]]



[[Fichier:Parametres techniques 1.png|550px]]



[[Fichier:Parametres techniques 2.png|550px]]



Interface mécanique


Ned est un bras robot 6 axes collaboratif. Il se compose de six articulations robotisées en aluminium recouvertes de plastique. Ned comprend 7 parties :


[[Fichier:interface meca 7 composants.png|500px]]



[[Fichier:schema meca.png|500px]]



Espace de travail - Ned



[[Fichier:espace de travail 1.png|500px]]



[[Fichier:espace de travail 2.png|500px]]


==Logiciel ==

Ned est un robot basé sur Raspberry, Arduino & ROS. Il utilise ROS afin de créer une interface entre le matériel et les liaisons de haut niveau.
Voici sur le schéma suivant un aperçu global du logiciel de Ned afin de comprendre où sont placées chaque partie du logiciel.


[[Fichier:Ros stack global overview.png|500px]]


PyNiryo est une API TCP créée avec Python, qui permet aux développeurs de créer des programmes robotiques et de contrôler les robots en communiquant à distance par le biais de leurs ordinateurs. Contrairement au Wrapper ROS Python, l’utilisateur ne nécessitera pas d’être connecté au robot par le biais d’un terminal.

Avant de programmer avec la bibliothèque PyNiryo 1, il faut avoir installé le langage de programmation Python sur son ordinateur. La version doit être égale ou supérieure:

<ul class ="dashed">
<li>2.7 si vous utilisez Python 2 </li>
<li>3.6 si vous utilisez Python 3 </li>
</ul>

Après, on vous montre quelque exemple du code avec PyNiryo 1:

 


Premier code pour tester le fonction de base


<pre>

from pyniryo import*

#l'adresse 'robot_ip_address' depend de son connection
#avec le robot

#si Connexion ethernet directe: 169.254.200.200
#si Mode Hotspot: 10.10.10.10
#si Simulation ou directement sur le robot: 127.0.0.1
#si l'Ordinateur et robot sont connectés au même routeur: il faut trouver
#l'addresse IP du robot dans le VLAN

robot_ip_address = "10.10.10.10"

#connecter avec le robot et calibrer le
robot = NiryoRobot(robot_ip_address)
robot.calibrate_auto()

#bouger les axes
robot.move_joints(0.2, -0.3, 0.1, 0.0, 0.5, -0.8)

#allumer le mode learning
robot.arm.set_learning_mode(True)

#arrêter le connection TCP
robot.close_connection()

</pre>

<ul>
<li>
Dans la ligne 1 on importe toutes les fonctions de la bibliothèque ‘pyniryo’.
</li>
<li>
Dans la ligne 12 on définit l’adresse du robot, qui dépend de notre connexion avec Ned.
</li>
<li>
Dans la ligne 15 on crée une instance de la classe NiryoRobot avec l’adresse IP correspondante pour avoir l’accès à toutes les fonctions du robot.
</li>
<li>
Dans la ligne 16 on démarre une calibration automatique des moteurs si les moteurs n’ont pas encore été calibrés. </li>
<li>
Dans la ligne 19 on bouge les 6 axes du robot en donnant la position des 6 axes en radians (6 floats)
</li>

</ul>


[[Fichier:max rotation.png|600px]]


Il a y aussi le possibilité de bouger les robots avec:

'NiryoRobot.move_pose(x, y, z, roulis, tangage, lacet)’

x,y,z (floats) sont exprimés en mètres et roulis, tangage, lacet (floats) sont exprimés en radians


[[Fichier:roulis tangage lacet.png|600px]]


<ul>
<li>Dans la ligne 22 on allume ‘learning mode’, qui nous permet de bouger Niryo au main et récupère la position</li>
<li>Dans la ligne 25 on arrête la connexion avec Niryo</li>
</ul>


Code pour utiliser le gripper

<pre>
from pyniryo import*

robot_ip_address = "x.x.x.x" # Robot address

# The pick pose
pick_pose = PoseObject(
x=0.25, y=0., z=0.15, roll=-0.0, pitch=1.57, yaw=0.0)

# The Place pose
place_pose = PoseObject(
x=0.0, y=-0.25, z=0.1,
roll=0.0, pitch=1.57, yaw=-1.57)

def pick_n_place_version_2(robot):

height_offset = 0.05 # Offset according to Z-Axis to go over pick & place poses
gripper_speed = 400

pick_pose_high = pick_pose.copy_with_offsets(z_offset=height_offset)
place_pose_high = place_pose.copy_with_offsets(z_offset=height_offset)

# Going Over Object
robot.move_pose(pick_pose_high)
# Opening Gripper
robot.open_gripper(gripper_speed)
# Going to picking place
robot.move_pose(pick_pose)
# Closing gripper
robot.close_gripper(gripper_speed)
# Raising
robot.move_pose(pick_pose_high)
# Going Over Place pose
robot.move_pose(place_pose_high)
# Going to Place pose
robot.move_pose(place_pose)
# Opening Gripper
robot.open_gripper(gripper_speed)
# Raising
robot.move_pose(place_pose_high)

if __name__ == '__main__':
# Connect to robot
client = NiryoRobot(robot_ip_address)
# Calibrate robot if robot needs calibration
client.calibrate_auto()
# Changing tool
client.update_tool()
# Commence du fonction pick_n_place
pick_n_place_version_2(client)
# Releasing connection
client.close_connection()
</pre>

<ul>
<li>Dans les lignes 5-12 on définit les positions de saisir et déposer</li>
<li>Dans ligne 17 il faut définir la vitesse du mouvement du gripper</li>
<li>Dans les lignes 19-20 on définit les positions un peu dessus des positions de saisir et déposer</li>
<li>Dans les lignes 22-35 on fait le process de se rendre jusqu'à la position de prélèvement avec move_pose, d’avant saisir un objet avec close_gripper, on ouvre le gripper avec open_gripper. Après on se rend à la position de placement et on y place l’objet.</li>
<li>Dans ligne 47 update_tool() est pour équiper un nouvel outil. Cette fonction scannera les connexions au moteur et ajoutera le nouvel outil</li>
<li>Dans ligne 51 on déconnecte alors le robot.
</li>
</ul>


Code pour utiliser l’autre outil

<pre>
from pyniryo import*

robot = NiryoRobot("10.10.10.10")

robot.calibrate_auto()
robot.update_tool()
# Pour relâcher un objet avec n’importe quel outil, vous pouvez utiliser la fonction
robot.release_with_tool()
robot.move_pose(0.2, -0.1, 0.25, 0.0, 1.57, 0.0)
# Afin d’attraper des objets avec n’importe quel outil, vous pouvez utiliser la fonction
robot.grasp_with_tool()
robot.move_pose(0.2, 0.1, 0.25, 0.0, 1.57, 0.0)
robot.release_with_tool()
robot.close_connection()
</pre>

Dans ligne 9 pour relâcher un objet avec n’importe quel outil, on peut utiliser la fonction release_with_tool()
<ul>
<li>Open gripper pour les grippers
</li>
<li>Push Air pour la Pompe à Vide
</li>
<li>Deactivate pour l’Électroaimant
</li>
</ul>
Dans ligne 13 Afin d’attraper des objets avec n’importe quel outil, on peut utiliser la fonction grasp_with_tool()
<ul>
<li>Close gripper pour les grippers
</li>
<li>Pull Air pour la Pompe à vide
</li>
<li>Activate pour l’Électroaimant
</li>
</ul>


Code pour utiliser le gripper

<pre>
from pyniryo import*
from PIL import Image # PIL = Pillow Library

#source website https://note.nkmk.me/en/python-numpy-image-processing/
#another source https://www.pluralsight.com/guides/importing-image-data into-numpy-arrays

robot = NiryoRobot("10.10.10.10") #hotspot mode
robot.calibrate_auto()
robot.update_tool()

#getting image
img_compressed = robot.get_img_compressed()
img_array = uncompress_image(img_compressed)

#displaying
show_img_and_wait_close("img_stream", img_array)

#transfers image_array into image file and saves it in the designated path
im_jpg = Image.fromarray(img_array)
img_array.save('~/Desktop/image_niryo.jpg') # ~ = user’s home directory
</pre>
<ul>
<li>Dans la ligne 2 on utilise la bibliothèque PIL sauvegarder l’image sur son ordinateur
</li>
<li>Dans la ligne 9 on met à jour les outils connectés au robot pour pouvoir utiliser le camera.
</li>
<li>Dans la ligne 12 on obtient l’image du flux vidéo dans un format compressé pour éviter de saturer le réseau.
</li>
<li>Dans la ligne 13 on décompresse l’image compressé.
</li>
<li>Après on affiche l’image et la sauvegarde sur l’ordinateur.
</li>
</ul>

IMA3/IMA4 2021/2023 P9

2023-01-05T20:49:37Z

Hzhu : /* Logiciel */

IMA3/IMA4 2021/2023 P9

2023-01-05T20:42:45Z

Hzhu : /* Logiciel */

Fichier:Max rotation.png

2023-01-05T20:39:20Z

Hzhu : Hzhu a téléversé une nouvelle version de Fichier:Max rotation.png

IMA3/IMA4 2021/2023 P9

2023-01-05T20:35:03Z

Hzhu : /* Logiciel */

Fichier:Roulis tangage lacet.png

2023-01-05T20:33:25Z

Hzhu :

Fichier:Max rotation.png

2023-01-05T20:28:12Z

Hzhu :

IMA3/IMA4 2021/2023 P9

2023-01-05T20:13:35Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T20:12:58Z

Hzhu : /* Logiciel */

IMA3/IMA4 2021/2023 P9

2023-01-05T20:11:50Z

Hzhu : /* Logiciel */

IMA3/IMA4 2021/2023 P9

2023-01-05T20:09:01Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

Fichier:Ros stack global overview.png

2023-01-05T20:08:28Z

Hzhu :

IMA3/IMA4 2021/2023 P9

2023-01-05T20:05:10Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T20:03:51Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T20:02:14Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:59:04Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:58:44Z

Hzhu : /* Le Robot */

Fichier:Espace de travail 2.png

2023-01-05T19:57:56Z

Hzhu :

Fichier:Espace de travail 1.png

2023-01-05T19:57:40Z

Hzhu :

Fichier:Schema meca.png

2023-01-05T19:54:22Z

Hzhu :

Fichier:Interface meca 7 composants.png

2023-01-05T19:53:57Z

Hzhu :

Fichier:Parametres techniques 2.png

2023-01-05T19:49:23Z

Hzhu :

Fichier:Parametres techniques 1.png

2023-01-05T19:48:42Z

Hzhu :

Fichier:Ned skelette.png

2023-01-05T19:46:12Z

Hzhu :

IMA3/IMA4 2021/2023 P9

2023-01-05T19:41:52Z

Hzhu : /* Le Robot */

Fichier:Specifications techniques gripper.png

2023-01-05T19:41:12Z

Hzhu :

IMA3/IMA4 2021/2023 P9

2023-01-05T19:35:14Z

Hzhu : /* Le Robot */

Fichier:Standard gripper schema.png

2023-01-05T19:33:11Z

Hzhu :

IMA3/IMA4 2021/2023 P9

2023-01-05T19:30:48Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:27:25Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:25:09Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:24:46Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:24:30Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

Fichier:Overview gripper.png

2023-01-05T19:22:37Z

Hzhu :

IMA3/IMA4 2021/2023 P9

2023-01-05T19:21:25Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO 1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:21:15Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:21:01Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:20:47Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:20:16Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:19:46Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:19:39Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:19:30Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:19:15Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:17:58Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:17:41Z

Hzhu : /* NIRYO NED 1 AVEC PYNIRYO1 */

Fichier:Niryo ned presentation.png

2023-01-05T19:16:10Z

Hzhu :

IMA3/IMA4 2021/2023 P9

2023-01-05T19:11:28Z

Hzhu : /* Le Robot */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:09:52Z

Hzhu : /* Le Robot */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:09:46Z

Hzhu : /* Le Robot */

IMA3/IMA4 2021/2023 P9

2023-01-05T19:09:12Z

Hzhu : /* Le Robot */