Problème de configuration de cluster à distance

Discutez d'informatique ici !
Kvas²
Membre Naturel
Messages: 23
Enregistré le: 20 Juin 2012, 14:35

problème de configuration de cluster à distance

par Kvas² » 29 Aoû 2012, 16:32

Bonsoir,

J'ai ecrit un code en python et malheureusement pour moi, ma machine n'est pas assez puissante pour que je puisse executer mon programme. Pour pallier à cette difficulté, j'ai la possibilité d'acceder à un cluster de calcul distant et j'aimerai savoir comment lancer mon programme sur ce poste sachant que Python y est deja installé et que mon code marche bien sur des petites données mais en local.


Merci!



Avatar de l’utilisateur
ampholyte
Membre Transcendant
Messages: 3940
Enregistré le: 21 Juil 2012, 09:03

par ampholyte » 29 Aoû 2012, 18:46

Kvas² a écrit:Bonsoir,

J'ai ecrit un code en python et malheureusement pour moi, ma machine n'est pas assez puissante pour que je puisse executer mon programme. Pour pallier à cette difficulté, j'ai la possibilité d'acceder à un cluster de calcul distant et j'aimerai savoir comment lancer mon programme sur ce poste sachant que Python y est deja installé et que mon code marche bien sur des petites données mais en local.


Merci!


Bonjour,

Pour pouvoir utiliser ton cluster, tu vas devoir effectuer plusieurs étapes. Je te conseille de faire un petit tour ici http://climserv.ipsl.polytechnique.fr/fr/utilisation-du-cluster-climserv/le-cluster-de-calcul-4.html pour que tu puisses comprendre comment cela fonctionne.

Bien évidemment chaque ferme de calcul a sa façon de procéder mais le principe reste le même. Il faut que tu demandes à ton administrateur les commandes qu'il faut pour définir ton job, l'exécuter, récupérer les résultats et détruire ton job.

Kvas²
Membre Naturel
Messages: 23
Enregistré le: 20 Juin 2012, 14:35

par Kvas² » 31 Aoû 2012, 13:13

ampholyte a écrit:Bonjour,

Pour pouvoir utiliser ton cluster, tu vas devoir effectuer plusieurs étapes. Je te conseille de faire un petit tour ici http://climserv.ipsl.polytechnique.fr/fr/utilisation-du-cluster-climserv/le-cluster-de-calcul-4.html pour que tu puisses comprendre comment cela fonctionne.

Bien évidemment chaque ferme de calcul a sa façon de procéder mais le principe reste le même. Il faut que tu demandes à ton administrateur les commandes qu'il faut pour définir ton job, l'exécuter, récupérer les résultats et détruire ton job.



Bonjour,

Merci pour le lien mais dans ce site,j'ai l'impression que l'on montre comment utiliser un ordonnaceur de taches. Peut etre ai-je mal compris mais moi je ne veu pas de ça. Je veux juste lancer mon code (non paralléle) pour pouvoir beneficier de la grande mémoire du cluster.

J'ai accès au cluster et je peux me connecter, j'y ai copié mes fichiers mais malheureusement, je n'ai pas toutes les librairies dont j'ai besoin. J'ai donc demander à l'administrateur de les installer pour moi et comme il n'est pas là (en vacances), je cherche une alternative!

Donc ce que je veux en gros (si cela est possible) c'est de faire python mon_fichier.py depuis mon PC mais de l'executer sur le(s) processeur(s) et la memoire du cluster!

Dlzlogic
Membre Transcendant
Messages: 5273
Enregistré le: 14 Avr 2009, 14:39

par Dlzlogic » 31 Aoû 2012, 13:28

Bonjour,
Je n'ai pas de réponse concernant précisément votre question, mais elle m'intéresse sur le fond.
J'ai un peu de mal à imaginer que vous manquiez de mémoire au moment de l'exécution.
S'agit-il de données à conserver en mémoire en permanence, ou de tableaux énormes générés par le programme ?
Dans les deux cas, une écriture sur fichier avec hachage serait peut-être à envisager.

Avatar de l’utilisateur
ampholyte
Membre Transcendant
Messages: 3940
Enregistré le: 21 Juil 2012, 09:03

par ampholyte » 31 Aoû 2012, 14:16

Kvas² a écrit:
Donc ce que je veux en gros (si cela est possible) c'est de faire python mon_fichier.py depuis mon PC mais de l'executer sur le(s) processeur(s) et la memoire du cluster!


Comme la précisé Dlzlogic, peut-être que la meilleure solution serait de passer par des fichiers avec hachage.
Pour l'implémenter peut-être qu'un autre fichier serait nécessaire, par exemple un fichier mon_fichier.py qui générerait les informations qu'ils faut avec les librairies (une fois tes données écrites tu les déplaces sur ton cluster). Ensuite sur ton cluster tu lances un fichier mon_fichier_2.py qui va traiter les données qui se trouvent dans ton fichier et qui va régénérer un nouveau fichier contenant tes résultats. Il ne te reste plus qu'à récupérer tes résultats où lancer un autre fichier python permettant d'afficher ou je ne sais quoi tes nouveaux résultats.

Après il existe peut-être un moyen d'exécuter un fichier python dans un cluster mais depuis son PC (mais cela dépasse mes compétences).

Avatar de l’utilisateur
fatal_error
Modérateur
Messages: 6492
Enregistré le: 22 Nov 2007, 14:00

par fatal_error » 01 Sep 2012, 00:20

bjr,

en supposant que c vraiment ta machine qui est pourrie et pas ton algo, si tu te connectes sur la becane distante, t'as qu'à installer toi même ton python et tes dépendances, tu récupères les sources et tu compiles, pas besoin d'installer à tout va!
la vie est une fête :)

Avatar de l’utilisateur
ampholyte
Membre Transcendant
Messages: 3940
Enregistré le: 21 Juil 2012, 09:03

par ampholyte » 01 Sep 2012, 12:35

fatal_error a écrit:bjr,

en supposant que c vraiment ta machine qui est pourrie et pas ton algo, si tu te connectes sur la becane distante, t'as qu'à installer toi même ton python et tes dépendances, tu récupères les sources et tu compiles, pas besoin d'installer à tout va!


Peut-être que l'installation de librairie supplémentaire ne peut pas être effectuée si l'administrateur n'est pas présent pour lui donner les droits (ou le faire lui-même), du coup son script ne pourra s’exécuter vu que les librairies importées ne sont pas présentes.

C.Ret
Membre Relatif
Messages: 497
Enregistré le: 02 Juil 2012, 14:33

par C.Ret » 01 Sep 2012, 12:36

Kvas² a écrit:[...], j'ai la possibilité d'accéder à un cluster de calcul distant et j'aimerai savoir comment lancer mon programme sur ce poste[...]


Bonjour,

Je suis un peu surpris, comment peut-on avoir accès à un Cluster (ou autre service équivalent) sans avoir été informé de l'interface et des protocoles à utiliser sur celui-ci.

Le laboratoire où je travaille utilise régulièrement les services de "fermes de calculs". Il y a deux type de service auquel nous avons accès, le premier est du calcul "in abysso" de gros volumes de donné. Le cluster fait toujours exactement le même traitement sur le même type de donnée (en fait quelque chose qui s'apparente à du traitement d'image spécifique). Dans ce cas, on utilise une interface type terminal qui permet du nous loguer et d'uploader au vers le "Cluster" nos fichier. En réalité, nous indiquons où se trouve les données à traiter sur notre propre serveur de fichiers de données. Le terminal permet aussi de surveiller le déroulement du traitement et la disponibilité des résultats que l'on peut alors "down loader".
C'est le type de service le plus courant que nous faisons des "Cluster", c'est aussi celui qui coûte le moins cher !

De temps en temps, on peut aussi utiliser le "Cluster" pour des calculs "individuels", mais dans ce cas, il faut utiliser une autre interface. Le programme et les données à traiter sont transmise au "Cluster " à l'aide d'un termnal du même type. Bien évidemment le "Programme" doit être communiqué sous forme d'un "Script" rédiger dans le langage (ou méta-langage) convenu lors de la négociation avec l'administration du "Cluster".

Nous n'utilisons jamais de services où c'est nous qui administrons directement le "Cluster". Je ne crois pas que ce soit un service offert par notre fournisseur. Car en fait l'intérêt du Cluster est sa grande performance, performance qui est garantie par sa bonne administration et l'optimisation des ressources; c'est le job des techniciens et ingénieurs travaillant dans la ferme de calcul, pas de l'utilisateur.


Donc, je suppose que par "Cluster", il faut comprendre "Serveur" ou "Ordinateur distant" sur lequel est déjà installé un compilateur pour Python.
C'est très diffèrent d'un "Cluster" !
Pour l'utiliser, il faut respecter le protocole (certainement TelNet) qui permet d'exploiter cette ressource distante à travers le terminal (type VT ou autre) qu'est maintenant l'ordinateur "local".

Il y a de grande chance qu'il faille dans un premier temps uploader le code source (ou un p-code compatible, voir le code objet ?) dans le répertoire de travail de "l'ordinateur distant" et, par ligne de commande lancé la compilation (ou l'assemblage du code objet) pour finalement pouvoir lancer l'exécution du programme.

Kvas²
Membre Naturel
Messages: 23
Enregistré le: 20 Juin 2012, 14:35

par Kvas² » 03 Sep 2012, 12:16

Excuse moi C.Ret mais je crois que tu m'a encore plus embrouillée!

Je l'ai di et je le redis encore: j'aimerai executer mon code python sur le cluster distant sans avoir à installer les modules complementaires car l'administrateur n'est pas encore revenu des vacances!

Pourkoi est ce difficile à comprendre? S'il n'ya pa de moyen d'exploiter les ressources distantes telles que le processeur et la memoire du cluster (qui a plusieurs noeuds de calcul), il suffit de me le dire...

Dlzlogic
Membre Transcendant
Messages: 5273
Enregistré le: 14 Avr 2009, 14:39

par Dlzlogic » 03 Sep 2012, 12:27

Kvas² a écrit:Excuse moi C.Ret mais je crois que tu m'a encore plus embrouillée!

Je l'ai di et je le redis encore: j'aimerai executer mon code python sur le cluster distant sans avoir à installer les modules complementaires car l'administrateur n'est pas encore revenu des vacances!

Pourkoi est ce difficile à comprendre? S'il n'ya pa de moyen d'exploiter les ressources distantes telles que le processeur et la memoire du cluster (qui a plusieurs noeuds de calcul), il suffit de me le dire...

Bonjour,
Comme je l'ai dit, ma partie, c'est plutôt la programmation, mais j'ai très bien compris ce qu'a expliqué C.Ret. Concernant l'administrateur, il a des pouvoirs exclusifs, justement pour être sûr que personne, autre que lui, ne puisse avoir accès au système.

SaintAmand
Membre Rationnel
Messages: 901
Enregistré le: 17 Oct 2011, 13:47

par SaintAmand » 03 Sep 2012, 12:56

Kvas² a écrit: J'ai donc demander à l'administrateur de les installer pour moi et comme il n'est pas là (en vacances), je cherche une alternative!


Tu peux évidemment installer les modules dont tu as besoin dans ton dossier personnel.

http://docs.python.org/install/index.html#alternate-installation-the-home-scheme

SaintAmand
Membre Rationnel
Messages: 901
Enregistré le: 17 Oct 2011, 13:47

par SaintAmand » 03 Sep 2012, 13:03

Avec pythonbrew https://github.com/utahta/pythonbrew, tu peux même gérer plusieurs environnements python (différentes versions de python, chacun avec ses modules) dans ton dossier personnel.

Kvas²
Membre Naturel
Messages: 23
Enregistré le: 20 Juin 2012, 14:35

par Kvas² » 03 Sep 2012, 15:29

Merci pour le lien mais python est deja installé dans cette machine, il me faut juste installer d'autres librairies

Kvas²
Membre Naturel
Messages: 23
Enregistré le: 20 Juin 2012, 14:35

par Kvas² » 03 Sep 2012, 15:30

SaintAmand a écrit:Avec pythonbrew https://github.com/utahta/pythonbrew, tu peux même gérer plusieurs environnements python (différentes versions de python, chacun avec ses modules) dans ton dossier personnel.

Merci pour le lien mais python est deja installé dans cette machine, il me faut juste installer d'autres librairies

Avatar de l’utilisateur
ampholyte
Membre Transcendant
Messages: 3940
Enregistré le: 21 Juil 2012, 09:03

par ampholyte » 03 Sep 2012, 16:46

Kvas² a écrit:Merci pour le lien mais python est deja installé dans cette machine, il me faut juste installer d'autres librairies


Je ne suis pas sûr que tu puisses faire l'installation de ces librairies, seul l'administrateur le peut.

Avatar de l’utilisateur
fatal_error
Modérateur
Messages: 6492
Enregistré le: 22 Nov 2007, 14:00

par fatal_error » 03 Sep 2012, 16:59

de maniere generale, rien nempeche dinstaller des librairies dans son repertoire personnel.

cela dit, il semblerait que l'un des postes de SaintAmand ait quelque peu ete hativement ecarte : (
Tu peux évidemment installer les modules dont tu as besoin dans ton dossier personnel.
http://docs.python.org/install/index.html#alternate-installation-the-home-scheme
la vie est une fête :)

Kvas²
Membre Naturel
Messages: 23
Enregistré le: 20 Juin 2012, 14:35

par Kvas² » 03 Sep 2012, 17:01

ampholyte a écrit:Je ne suis pas sûr que tu puisses faire l'installation de ces librairies, seul l'administrateur le peut.

Merci Ampholyte

Je sais que je ne peux pas faire mes installations moi même et qu'il me faut l'aide de l'administrateur mais je repondai surtout à SaintAmand qui m'a proposé d'installer mes modules dans mon home!

Avatar de l’utilisateur
ampholyte
Membre Transcendant
Messages: 3940
Enregistré le: 21 Juil 2012, 09:03

par ampholyte » 04 Sep 2012, 01:21

Kvas² a écrit:Merci Ampholyte

Je sais que je ne peux pas faire mes installations moi même et qu'il me faut l'aide de l'administrateur mais je repondai surtout à SaintAmand qui m'a proposé d'installer mes modules dans mon home!


Autant pour moi,

As-tu pensé à la solution suggérée par Dlzlogic à propos de l'envoi de fichier sur le cluster ?

Avatar de l’utilisateur
fatal_error
Modérateur
Messages: 6492
Enregistré le: 22 Nov 2007, 14:00

par fatal_error » 04 Sep 2012, 08:11

Je sais que je ne peux pas faire mes installations moi même et qu'il me faut l'aide de l'administrateur


tu sais mal.
la vie est une fête :)

Kvas²
Membre Naturel
Messages: 23
Enregistré le: 20 Juin 2012, 14:35

par Kvas² » 04 Sep 2012, 16:32

ampholyte a écrit:Autant pour moi,

As-tu pensé à la solution suggérée par Dlzlogic à propos de l'envoi de fichier sur le cluster ?

si Ampholyte et comme je l'ai dis j'ai envoyé mes données sur le cluster mais je ne peux pas executer à cause de l'absence de kelke librairies qui n'y sont pas.

Merci d'etre un peu plus claire dans tes reponse Fatal_error...
Je ne pense pas que si je savai faire un truc j'aurai posé la question ici pour embeter. Je veux vraiment savoir alors si ta une idée je te prie de me la communiquer cra la procedure voudrai qu'on demande une installation à l'administrateur du cluster et c'est ce que j'ai fai mais je n'ai pas encore reçu de reponse.

 

Retourner vers ϟ Informatique

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 2 invités

Tu pars déja ?



Fais toi aider gratuitement sur Maths-forum !

Créé un compte en 1 minute et pose ta question dans le forum ;-)
Inscription gratuite

Identification

Pas encore inscrit ?

Ou identifiez-vous :

Inscription gratuite