Problème de configuration de cluster à distance

[Kvas²]

Bonsoir,

J'ai ecrit un code en python et malheureusement pour moi, ma machine n'est pas assez puissante pour que je puisse executer mon programme. Pour pallier à cette difficulté, j'ai la possibilité d'acceder à un cluster de calcul distant et j'aimerai savoir comment lancer mon programme sur ce poste sachant que Python y est deja installé et que mon code marche bien sur des petites données mais en local.


Merci!

[ampholyte]

Bonsoir,

J'ai ecrit un code en python et malheureusement pour moi, ma machine n'est pas assez puissante pour que je puisse executer mon programme. Pour pallier à cette difficulté, j'ai la possibilité d'acceder à un cluster de calcul distant et j'aimerai savoir comment lancer mon programme sur ce poste sachant que Python y est deja installé et que mon code marche bien sur des petites données mais en local.


Merci!

Bonjour,

Pour pouvoir utiliser ton cluster, tu vas devoir effectuer plusieurs étapes. Je te conseille de faire un petit tour ici http://climserv.ipsl.polytechnique.fr/fr/utilisation-du-cluster-climserv/le-cluster-de-calcul-4.html pour que tu puisses comprendre comment cela fonctionne.

Bien évidemment chaque ferme de calcul a sa façon de procéder mais le principe reste le même. Il faut que tu demandes à ton administrateur les commandes qu'il faut pour définir ton job, l'exécuter, récupérer les résultats et détruire ton job.

[Kvas²]

Bonjour,

Pour pouvoir utiliser ton cluster, tu vas devoir effectuer plusieurs étapes. Je te conseille de faire un petit tour ici http://climserv.ipsl.polytechnique.fr/fr/utilisation-du-cluster-climserv/le-cluster-de-calcul-4.html pour que tu puisses comprendre comment cela fonctionne.

Bien évidemment chaque ferme de calcul a sa façon de procéder mais le principe reste le même. Il faut que tu demandes à ton administrateur les commandes qu'il faut pour définir ton job, l'exécuter, récupérer les résultats et détruire ton job.

Bonjour,

Merci pour le lien mais dans ce site,j'ai l'impression que l'on montre comment utiliser un ordonnaceur de taches. Peut etre ai-je mal compris mais moi je ne veu pas de ça. Je veux juste lancer mon code (non paralléle) pour pouvoir beneficier de la grande mémoire du cluster.

J'ai accès au cluster et je peux me connecter, j'y ai copié mes fichiers mais malheureusement, je n'ai pas toutes les librairies dont j'ai besoin. J'ai donc demander à l'administrateur de les installer pour moi et comme il n'est pas là (en vacances), je cherche une alternative!

Donc ce que je veux en gros (si cela est possible) c'est de faire python mon_fichier.py depuis mon PC mais de l'executer sur le(s) processeur(s) et la memoire du cluster!

[Dlzlogic]

Bonjour,
Je n'ai pas de réponse concernant précisément votre question, mais elle m'intéresse sur le fond.
J'ai un peu de mal à imaginer que vous manquiez de mémoire au moment de l'exécution.
S'agit-il de données à conserver en mémoire en permanence, ou de tableaux énormes générés par le programme ?
Dans les deux cas, une écriture sur fichier avec hachage serait peut-être à envisager.

[ampholyte]

Donc ce que je veux en gros (si cela est possible) c'est de faire python mon_fichier.py depuis mon PC mais de l'executer sur le(s) processeur(s) et la memoire du cluster!

Comme la précisé Dlzlogic, peut-être que la meilleure solution serait de passer par des fichiers avec hachage.
Pour l'implémenter peut-être qu'un autre fichier serait nécessaire, par exemple un fichier mon_fichier.py qui générerait les informations qu'ils faut avec les librairies (une fois tes données écrites tu les déplaces sur ton cluster). Ensuite sur ton cluster tu lances un fichier mon_fichier_2.py qui va traiter les données qui se trouvent dans ton fichier et qui va régénérer un nouveau fichier contenant tes résultats. Il ne te reste plus qu'à récupérer tes résultats où lancer un autre fichier python permettant d'afficher ou je ne sais quoi tes nouveaux résultats.

Après il existe peut-être un moyen d'exécuter un fichier python dans un cluster mais depuis son PC (mais cela dépasse mes compétences).

[fatal_error]

bjr,

en supposant que c vraiment ta machine qui est pourrie et pas ton algo, si tu te connectes sur la becane distante, t'as qu'à installer toi même ton python et tes dépendances, tu récupères les sources et tu compiles, pas besoin d'installer à tout va!

[ampholyte]

bjr,

en supposant que c vraiment ta machine qui est pourrie et pas ton algo, si tu te connectes sur la becane distante, t'as qu'à installer toi même ton python et tes dépendances, tu récupères les sources et tu compiles, pas besoin d'installer à tout va!

Peut-être que l'installation de librairie supplémentaire ne peut pas être effectuée si l'administrateur n'est pas présent pour lui donner les droits (ou le faire lui-même), du coup son script ne pourra s’exécuter vu que les librairies importées ne sont pas présentes.

[C.Ret]

[...], j'ai la possibilité d'accéder à un cluster de calcul distant et j'aimerai savoir comment lancer mon programme sur ce poste[...]

Bonjour,

Je suis un peu surpris, comment peut-on avoir accès à un Cluster (ou autre service équivalent) sans avoir été informé de l'interface et des protocoles à utiliser sur celui-ci.

Le laboratoire où je travaille utilise régulièrement les services de "fermes de calculs". Il y a deux type de service auquel nous avons accès, le premier est du calcul "in abysso" de gros volumes de donné. Le cluster fait toujours exactement le même traitement sur le même type de donnée (en fait quelque chose qui s'apparente à du traitement d'image spécifique). Dans ce cas, on utilise une interface type terminal qui permet du nous loguer et d'uploader au vers le "Cluster" nos fichier. En réalité, nous indiquons où se trouve les données à traiter sur notre propre serveur de fichiers de données. Le terminal permet aussi de surveiller le déroulement du traitement et la disponibilité des résultats que l'on peut alors "down loader".
C'est le type de service le plus courant que nous faisons des "Cluster", c'est aussi celui qui coûte le moins cher !

De temps en temps, on peut aussi utiliser le "Cluster" pour des calculs "individuels", mais dans ce cas, il faut utiliser une autre interface. Le programme et les données à traiter sont transmise au "Cluster " à l'aide d'un termnal du même type. Bien évidemment le "Programme" doit être communiqué sous forme d'un "Script" rédiger dans le langage (ou méta-langage) convenu lors de la négociation avec l'administration du "Cluster".

Nous n'utilisons jamais de services où c'est nous qui administrons directement le "Cluster". Je ne crois pas que ce soit un service offert par notre fournisseur. Car en fait l'intérêt du Cluster est sa grande performance, performance qui est garantie par sa bonne administration et l'optimisation des ressources; c'est le job des techniciens et ingénieurs travaillant dans la ferme de calcul, pas de l'utilisateur.


Donc, je suppose que par "Cluster", il faut comprendre "Serveur" ou "Ordinateur distant" sur lequel est déjà installé un compilateur pour Python.
C'est très diffèrent d'un "Cluster" !
Pour l'utiliser, il faut respecter le protocole (certainement TelNet) qui permet d'exploiter cette ressource distante à travers le terminal (type VT ou autre) qu'est maintenant l'ordinateur "local".

Il y a de grande chance qu'il faille dans un premier temps uploader le code source (ou un p-code compatible, voir le code objet ?) dans le répertoire de travail de "l'ordinateur distant" et, par ligne de commande lancé la compilation (ou l'assemblage du code objet) pour finalement pouvoir lancer l'exécution du programme.

[Kvas²]

Excuse moi C.Ret mais je crois que tu m'a encore plus embrouillée!

Je l'ai di et je le redis encore: j'aimerai executer mon code python sur le cluster distant sans avoir à installer les modules complementaires car l'administrateur n'est pas encore revenu des vacances!

Pourkoi est ce difficile à comprendre? S'il n'ya pa de moyen d'exploiter les ressources distantes telles que le processeur et la memoire du cluster (qui a plusieurs noeuds de calcul), il suffit de me le dire...

[Dlzlogic]

Excuse moi C.Ret mais je crois que tu m'a encore plus embrouillée!

Je l'ai di et je le redis encore: j'aimerai executer mon code python sur le cluster distant sans avoir à installer les modules complementaires car l'administrateur n'est pas encore revenu des vacances!

Pourkoi est ce difficile à comprendre? S'il n'ya pa de moyen d'exploiter les ressources distantes telles que le processeur et la memoire du cluster (qui a plusieurs noeuds de calcul), il suffit de me le dire...

Bonjour,
Comme je l'ai dit, ma partie, c'est plutôt la programmation, mais j'ai très bien compris ce qu'a expliqué C.Ret. Concernant l'administrateur, il a des pouvoirs exclusifs, justement pour être sûr que personne, autre que lui, ne puisse avoir accès au système.

[SaintAmand]

J'ai donc demander à l'administrateur de les installer pour moi et comme il n'est pas là (en vacances), je cherche une alternative!

Tu peux évidemment installer les modules dont tu as besoin dans ton dossier personnel.

http://docs.python.org/install/index.html#alternate-installation-the-home-scheme

[SaintAmand]

Avec pythonbrew https://github.com/utahta/pythonbrew, tu peux même gérer plusieurs environnements python (différentes versions de python, chacun avec ses modules) dans ton dossier personnel.

[Kvas²]

Merci pour le lien mais python est deja installé dans cette machine, il me faut juste installer d'autres librairies

[Kvas²]

Avec pythonbrew https://github.com/utahta/pythonbrew, tu peux même gérer plusieurs environnements python (différentes versions de python, chacun avec ses modules) dans ton dossier personnel.

Merci pour le lien mais python est deja installé dans cette machine, il me faut juste installer d'autres librairies

[ampholyte]

Merci pour le lien mais python est deja installé dans cette machine, il me faut juste installer d'autres librairies

Je ne suis pas sûr que tu puisses faire l'installation de ces librairies, seul l'administrateur le peut.

[fatal_error]

de maniere generale, rien nempeche dinstaller des librairies dans son repertoire personnel.

cela dit, il semblerait que l'un des postes de SaintAmand ait quelque peu ete hativement ecarte : (

Tu peux évidemment installer les modules dont tu as besoin dans ton dossier personnel.
http://docs.python.org/install/index.html#alternate-installation-the-home-scheme

[Kvas²]

Je ne suis pas sûr que tu puisses faire l'installation de ces librairies, seul l'administrateur le peut.

Merci Ampholyte

Je sais que je ne peux pas faire mes installations moi même et qu'il me faut l'aide de l'administrateur mais je repondai surtout à SaintAmand qui m'a proposé d'installer mes modules dans mon home!

[ampholyte]

Merci Ampholyte

Je sais que je ne peux pas faire mes installations moi même et qu'il me faut l'aide de l'administrateur mais je repondai surtout à SaintAmand qui m'a proposé d'installer mes modules dans mon home!

Autant pour moi,

As-tu pensé à la solution suggérée par Dlzlogic à propos de l'envoi de fichier sur le cluster ?

[fatal_error]

Je sais que je ne peux pas faire mes installations moi même et qu'il me faut l'aide de l'administrateur

tu sais mal.

[Kvas²]

Autant pour moi,

As-tu pensé à la solution suggérée par Dlzlogic à propos de l'envoi de fichier sur le cluster ?

si Ampholyte et comme je l'ai dis j'ai envoyé mes données sur le cluster mais je ne peux pas executer à cause de l'absence de kelke librairies qui n'y sont pas.

Merci d'etre un peu plus claire dans tes reponse Fatal_error...
Je ne pense pas que si je savai faire un truc j'aurai posé la question ici pour embeter. Je veux vraiment savoir alors si ta une idée je te prie de me la communiquer cra la procedure voudrai qu'on demande une installation à l'administrateur du cluster et c'est ce que j'ai fai mais je n'ai pas encore reçu de reponse.