Galaxy-France September 2012

galaxy-france@lists.galaxyproject.org

7 participants
10 discussions

Comment modifier le nom du job envoyé sur le cluster (pour une instance locale connectée au LDAP) ?
by Sarah Maman 01 Oct '12

01 Oct '12

Bonjour, Je souhaiterai pour modifier le nom du job galaxy envoyé sur le cluster. Par défaut, le nom du job est de la sorte : s125_AddVal , par exemple, lorsque l'outil "add value" est lançé sur le cluster. Je souhaiterai pouvoir modifier ce nom en ajoutant le login de l'utilisateur sachant que mon instance de Galaxy est locale et connecter au LDAP. Pour ce faire, je pensais qu'il fallait modifier le fichier de configuration de la sorte (ajout de l'option -N) : universe_wsgi.ini : # The URL for the default runner to use when a tool doesn't explicitly define a # runner below. default_cluster_job_runner = drmaa://-q galaxyq -N username -V/ Mais je ne sais pas comment récupérer l'user name ou bien comment modifier le nom généré par défaut ? Remerciements anticipés, Sarah Maman

2 2

[IMPORTANT/A LIRE] Bienvenue sur la liste de diffusion Galaxy France!
by Alban Lermine 01 Oct '12

01 Oct '12

Bonjour à tous et toutes, Bienvenue sur la liste de diffusion Galaxy France! Cette liste a pour but de partager et communiquer sur nos différentes expériences avec Galaxy au sein de l'hexagone. La langue officielle de cette liste est le français. Vous avez besoin d'aide dans l'utilisation de Galaxy, Vous hébergez un serveur public Galaxy, Vous maintenez une instance locale de Galaxy, Vous venez de déposer un outil sur le toolshed, Vous avez des trucs et astuces pouvant interresser la communauté, Vous organisez des formations avec Galaxy, Postez une annonce à galaxy-france(a)lists.bx.psu.edu ! Pour toutes les questions techniques (installation, développement d'outil) nous tenterons de vous aider dans la mesure du possible, mais nous vous conseillons de vous adresser en parallèle à la liste de développement (http://dev.list.galaxyproject.org/), le temps que la communauté française se mette en place. Pour vous aider dans votre utilisation de Galaxy, voici une liste de liens utiles (en plus de la présente liste): http://wiki.g2.bx.psu.edu <http://wiki.g2.bx.psu.edu/> -> Wiki Galaxy officiel https://main.g2.bx.psu.edu/ -> Serveur public principal http://announce.list.galaxyproject.org/ -> Liste d'annonce http://user.list.galaxyproject.org/ -> Liste utilisateurs "simples" Galaxy http://dev.list.galaxyproject.org/ -> Liste developpeurs Galaxy A très bientôt sur la liste Galaxy France, Les administrateurs: Alban Lermine, Olivier Inizan, Rémi Marenco, Dave Clements & Jennifer Jackson -- Alban Lermine Unité 900 : Inserm - Mines ParisTech - Institut Curie « Bioinformatics and Computational Systems Biology of Cancer » 11-13 rue Pierre et Marie Curie (1er étage) - 75005 Paris - France Tel : +33 (0) 1 56 24 69 84

2 1

[APPEL A EXPERIENCE] Solutions techniques pour gérer un workshop de plus de 20 personnes avec Galaxy
by Alban Lermine 18 Sep '12

18 Sep '12

Bonjour à tous, Nous allons avoir à préparer différents workshops avec Galaxy dans les mois à venir, et d'après ma très petite experience (1 workshop 40 personnes), quelques limitations peuvent intervenir et géner la bonne marche du workshop. En effet, la première limitation que j'ai pu identifier concerne les accès serveurs (x personnes cliquant simultanément, ça fait quelques embouteillages!). Quoi faire? - Paramétrer son serveur en fonction du nombre de participants (efficacité?) - Changer de serveur web pour G-WAN (http://gwan.com/) qui permet de gérer plus d'accès concurrents - La solution qui me semble la plus indiquée est de passer par un système de machines virtuelles (OS + Galaxy préinstallé et préconfiguré), ce qui permet de s'affranchir completement des problèmes serveurs (1 instance par participant) + la possibilité pour chaque participant de repartir avec sa machine virtuelle Galaxy sous le bras et réappliquer ce qu'il aura appris durant le workshop à la maison. Deuxième limitation, les temps de calcul. - Doit on laisser la possibilité aux participants d'analyser leurs propres données (moins de contrôle sur les temps de calcul mais plus interressant pour le participant) - Préparer un set de données ciblées. Par ex, réduire un alignement à la zone ou des variants sont clairement identifiés. Le but est clairement didactique et moins interressant du point de vue des résultats. - Précomputer tous les résultats et finalement n'effectuer aucun calcul. Aucune charge serveur, mais impossible de faire varier les paramètres (et donc difficile de montrer l'impact de ceux ci sur le résultat). Bref, je pense que ça vaut le coup de bien préparer sa stratégie pour un workshop réussit (ou les participants ne sont pas interrompu par un serveur qui tombe ou des temps de calculs trop long). Pour compléter cette petite réflexion, un petit lien vers les notes prises par Dave Clements lors d'un brainstorming qui a eut lieu en off de la GCC2012 sur "comment bien organiser une formation avec Galaxy". Lien: http://wiki.g2.bx.psu.edu/Events/GCC2012/Program/Breakouts/BioinformaticsTr… Donnez moi votre avis et solutions envisagées, la compilation de toutes vos reflexions aidera très certainement à la mise en place d'une stratégie robuste. Bonne journée, Alban NB: petite anecdote entendue lors du brainstorming avec Dave Clements, un labo situé en Inde a organisé un workshop pour 200 personnes sur le site principal de Galaxy. Résultat des courses: le site est resté offline pendant 48h! -- Alban Lermine Unité 900 : Inserm - Mines ParisTech - Institut Curie « Bioinformatics and Computational Systems Biology of Cancer » 11-13 rue Pierre et Marie Curie (1er étage) - 75005 Paris - France Tel : +33 (0) 1 56 24 69 84

3 2

Re: [Galaxy-france] Comment choisir le répertoire de sortie pour un outil Galaxy?
by Fabien Mareuil 14 Sep '12

14 Sep '12

Bonjour, J'ai préféré de mon coté implémenter un outil qui fait une copie de la donnée demandée par l'utilisateur dans un répertoire précis (accessible à l'utilisateur) en limitant la taille possible du répertoire (pour éviter trop de copies de données) et la syntaxe du nom de fichier de sortie (pour des problèmes de sécurité). Cela permet d'éviter les problèmes de liens symboliques cassés et de modifier les xml qui sont du coup plus difficiles à distribuer. Si ce code vous intéresse, je peux vous envoyer le code shell et le xml correspondant. Bonne journée Fabien -- Fabien Mareuil | Centre d'Informatique pour la Biologie fabien.mareuil(a)pasteur.fr | Institut Pasteur 25,28 rue du Docteur Roux 75015 Paris, France > Le 12 sept. 2012 à 15:36, Alban Lermine <alermine(a)curie.fr> a écrit : >>  >> <data format="txt" name="output" label="${file_name}"/> >> </ouputs> > Super, ça s'éloigne du sujet initial mais je trouve que ça va bien aider à > s'y retrouver dans les histoires. > Next step : faire qu'un label soit passé de job en job dans un workflow ... ;-) afin de visualiser plus facilement les résultats de ce workflow (une sorte de préfix qui se rajouterait sur tous les labels de datasets générés par un workflow - sans avoir à éditer le workflow complet à chaque > fois évidement !) > Chris > --- > Christophe Antoniewski > Drosophila Genetics and Epigenetics > Laboratoire de Biologie du Développement UMR7622 > CNRS Université Pierre & Marie Curie > 5ème étage - pièce 517 > Case 24, 9 quai Saint Bernard > 75252 Paris cedex 05 > France > Phone: +33 1 44 27 34 39 > Fax: +33 1 44 27 34 45 > Mobile: +33 6 68 60 51 50 > web site http://drosophile.org > _______________________________________________ > Galaxy-France mailing list > Galaxy-France(a)lists.bx.psu.edu > http://lists.bx.psu.edu/listinfo/galaxy-france

2 3

Comment choisir le répertoire de sortie pour un outil Galaxy?
by Alban Lermine 12 Sep '12

12 Sep '12

Bonjour à tous, Pour notre instance locale de Galaxy, nous souhaitions que nos utilisateurs puissent choisir l'emplacement ou écrire leurs résultats et cela sans "casser" les liens dans la base de donnée. Pour cela, nous avons ainsi mis en place une modification simple du xml des outils existants: Prenons l'exemple d'un outil simple dont le xml serait le suivant: <tool id="example" name="Tool example"> <description>Un exemple d'outil simple</description> <command interpreter="bash">example.sh -i $input -o $output</command> <inputs> <param name="input" type="text" label="Input"/> </inputs> <outputs> <data format="txt" name="output" label="outputExample"/> </ouputs> </tool> Dans cet exemple, le fichier de sortie portera le nom "dataset_xxx" et sera écrit dans le répertoire par défaut <INSTALL_GALAXY>/galaxy-dist/database/files/000/ La modification que nous allons apporter maintenant va nous permettre de définir le répertoire d'écriture de l'output ainsi que le nom du fichier. Après modification, le xml ressemble à ça: <tool id="example" name="Tool example"> <description>Un exemple d'outil simple</description> <command interpreter="bash">example.sh -i $input -o $output;mv $output $output_dir/${file_name}.txt 2>/dev/null;ln -s $output_dir/${file_name}.txt $output</command> <inputs> <param name="input" type="text" label="Input"/>  <param name="file_name" type="text" size="150" label="File name (without extension)"> <validator type="empty_field" message="You must specify a file name"/> </param> <param name="output_dir" type="text" size="150" label="Output directory"> <validator type="empty_field" message="You must specify an output path"/> </param>  </inputs> <outputs> <data format="txt" name="output" label="outputExample"/> </ouputs> </tool> Nous avons 2 champs input pour le path et le nom du fichier de sortie (ainsi que les valideurs associés, l'outil ne s'execute pas si l'un de ces champs est vide). Puis dans la balise <command> , nous avons ajouter: mv $output $output_dir/${file_name}.txt 2>/dev/null;ln -s $output_dir/${file_name}.txt $output qui correpond à un move de <INSTALL_GALAXY>/galaxy-dist/database/files/000/dataset_xxx vers <OUTPUT_CHOISIT>/<NOM_DE_FICHIER_CHOISIT>, suivit de la création d'un lien symbolique <INSTALL_GALAXY>/galaxy-dist/database/files/000/dataset_xxx qui pointe vers <OUTPUT_CHOISIT>/<NOM_DE_FICHIER_CHOISIT>. Cette modification fonctionne très bien quelque soit l'interpreteur défini dans la balise <command>, et est surtout très rapide à mettre en place. Je suis très interressé de savoir si d'autres personnes ont implémentés une solution pour le choix du répertoire de sortie, et si oui de quelle manière? Bonne journée à tous, Alban -- Alban Lermine Unité 900 : Inserm - Mines ParisTech - Institut Curie « Bioinformatics and Computational Systems Biology of Cancer » 11-13 rue Pierre et Marie Curie (1er étage) - 75005 Paris - France Tel : +33 (0) 1 56 24 69 84

2 3

Re: [Galaxy-france] Comment choisir le répertoire de sortie pour un outil Galaxy? (sarah maman)
by Sarah Maman 12 Sep '12

12 Sep '12

Bonjour, Voici ce que j'ai implémenter pour le choix du répertoire de sortie (surtout pour les fichiers intermédiaires générés, pas pour l'output "final" présenté dans l'historique de Galaxy) : - Le fichier xml n'est pas impacté. - Le script est modifié en créant un nouveau répertoire de sortie dans lequel le fichier output est créé, puis je récupère l'output créé pour le copier dans l'output automatiquement généré par Galaxy : #!/usr/bin/perl -w ..................... my $input_bam = $ARGV[0]; my $output_file = $ARGV[1]; my $input_dir = dirname($input_bam); my $input_basename=basename($input_bam,'.bam'); my $input_bamsorted="$input_dir/${input_basename}-sorted"; .......................... $cmd = "($SCRIPT_BIOINFO $input_bam $input_bamsorted) >& ./samtools.log 2>&1"; system $cmd; if (! -e "${input_bamsorted}.bam"){print STDERR "OUTPUT FILE NOT FOUND\n";} else{`(cp ${input_bamsorted}.bam $output_file) >& ./cp.log 2>&1`} close( IN ); Donc je pense que c'est un peu différent de l'objectif visé , mais si cela peut être utile ... A bientôt, Sarah > > Message: 1 > Date: Wed, 12 Sep 2012 12:03:06 +0200 > From: Alban Lermine <alermine(a)curie.fr> > To: <galaxy-france(a)lists.bx.psu.edu> > Subject: [Galaxy-france] Comment choisir le répertoire de sortie pour > un outil Galaxy? > Message-ID: <50505DDA.9050505(a)curie.fr> > Content-Type: text/plain; charset="ISO-8859-1" > > Bonjour à tous, > > Pour notre instance locale de Galaxy, nous souhaitions que nos > utilisateurs puissent choisir l'emplacement ou écrire leurs résultats et > cela sans "casser" les liens dans la base de donnée. > > Pour cela, nous avons ainsi mis en place une modification simple du xml > des outils existants: > > Prenons l'exemple d'un outil simple dont le xml serait le suivant: > > <tool id="example" name="Tool example"> > <description>Un exemple d'outil simple</description> > <command interpreter="bash">example.sh -i $input -o $output</command> > <inputs> > <param name="input" type="text" label="Input"/> > </inputs> > <outputs> > <data format="txt" name="output" label="outputExample"/> > </ouputs> > </tool> > > Dans cet exemple, le fichier de sortie portera le nom "dataset_xxx" et > sera écrit dans le répertoire par défaut > <INSTALL_GALAXY>/galaxy-dist/database/files/000/ > > La modification que nous allons apporter maintenant va nous permettre de > définir le répertoire d'écriture de l'output ainsi que le nom du fichier. > > Après modification, le xml ressemble à ça: > > <tool id="example" name="Tool example"> > <description>Un exemple d'outil simple</description> > <command interpreter="bash">example.sh -i $input -o $output;mv $output > $output_dir/${file_name}.txt 2>/dev/null;ln -s > $output_dir/${file_name}.txt $output</command> > <inputs> > <param name="input" type="text" label="Input"/> > >  > > <param name="file_name" type="text" size="150" label="File name > (without extension)"> > <validator type="empty_field" message="You must specify a file > name"/> > </param> > <param name="output_dir" type="text" size="150" label="Output > directory"> > <validator type="empty_field" message="You must specify an output > path"/> > </param> > >  > > </inputs> > <outputs> > <data format="txt" name="output" label="outputExample"/> > </ouputs> > </tool> > > Nous avons 2 champs input pour le path et le nom du fichier de sortie > (ainsi que les valideurs associés, l'outil ne s'execute pas si l'un de > ces champs est vide). > Puis dans la balise <command> , nous avons ajouter: > > mv $output $output_dir/${file_name}.txt 2>/dev/null;ln -s > $output_dir/${file_name}.txt $output > > qui correpond à un move de > <INSTALL_GALAXY>/galaxy-dist/database/files/000/dataset_xxx vers > <OUTPUT_CHOISIT>/<NOM_DE_FICHIER_CHOISIT>, > suivit de la création d'un lien symbolique > <INSTALL_GALAXY>/galaxy-dist/database/files/000/dataset_xxx qui pointe > vers <OUTPUT_CHOISIT>/<NOM_DE_FICHIER_CHOISIT>. > > Cette modification fonctionne très bien quelque soit l'interpreteur > défini dans la balise <command>, et est surtout très rapide à mettre en > place. > > Je suis très interressé de savoir si d'autres personnes ont implémentés > une solution pour le choix du répertoire de sortie, et si oui de quelle > manière? > > Bonne journée à tous, > > Alban > >

1 0

[PRESENTATION] Fabien Mareuil - Institut Pasteur
by Fabien Mareuil 04 Sep '12

04 Sep '12

Bonjour à tous, Je me présente, je m'appelle Fabien Mareuil et je suis Ingénieur Bioinformaticien au Centre d'Informatique pour la Biologie de l'Institut Pasteur (http://www.pasteur.fr/ip/easysite/pasteur/fr/recherche/Centre-Informatique-…). J'ai en charge la maintenance et le support de 4 instances Galaxy dédiées à 4 plateformes de l'Institut Pasteur. De même, je travaille sur des projets liés à Galaxy et au cloud computing (Amazon, StratusLab). Nous disposons actuellement de : -4 instances Galaxy en accès privé permettant le lancement de programmes sur un cluster SGE. -Une instance Toolshed -Une instance locale de développement Nous avons commencé à utiliser galaxy en 2011. Nous avons notamment installé et adapté à notre système les outils disponibles dans Nebula (http://nebula.curie.fr/). Les Bioinformaticiens des différentes plateformes et moi-même intégrons régulièrement de nouveaux outils développés soit en interne soit en externe (Bowtie2 par exemple en attendant la version officielle). Nous travaillons actuellement à l'intégration dans le code de galaxy d'un système permettant de gérer plus facilement module (http://modules.sourceforge.net/) utilisé sur de nombreux clusters pour la gestion des versions de programmes. La mise en place d'une instance unique pour l'ensemble de l'Institut Pasteur est aussi à l'étude. Comme dit par d'autres, Galaxy et cette communauté est une grande opportunité pour s'échanger bonnes pratiques, savoir-faire et connaissances aussi bien au niveau outil que système. A bientôt, Fabien -- Fabien Mareuil | Centre d'Informatique pour la Biologie fabien.mareuil(a)pasteur.fr | Institut Pasteur 25,28 rue du Docteur Roux 75015 Paris, France

1 0

[PRESENTATION] Olivier Inizan - INRA
by Olivier Inizan 04 Sep '12

04 Sep '12

Bonjour à tous, Je m'appelle Olivier Inizan et je travaille à l'Unité de Recherche en génomique info de l'INRA de Versailles (http://urgi.versailles.inra.fr/) où je m'occupe des aspects développement logiciel liés aux chaînes de bioanalyse (pipelines & workflows). Nous disposons actuellement de deux type d'instances Galaxy: -Un serveur de production avec des accès publics et des accès privés (http://urgi.versailles.inra.fr/galaxy) -Des instances locales de développement Nous avons débuté le développement en 2010 avec l'intégration d'un pipeline de détection de SNP et d'indels (MAPHITS: http://urgi.versailles.inra.fr/Tools/MAPHiTS). Une boîte à outils dédiée à l'analyse de données RNA-Seq à également été intégrée (S-MART: http://urgi.versailles.inra.fr/Tools/S-Mart). Nous travaillons actuellement, dans le cadre du projet AppliBio, et en collaboration avec d'autre plateforme d'Ile de france, à la mise au point de divers pipelines (analyse d'expression différentielle, détection de petits ARN). Nous envisageons également la mise à disposition dans le ToolShed de ces outils, mais actuellement le temps nous manque ... Galaxy me parait être un outil puissant pour la mise à disposition et le partage des outils et des données. L'ambition accessibilité/reproductibilité/transparence affichée par l'équipe Galaxy, la constitution d'un environnement d'analyse intégré, le rapprochement des différents acteurs des disciplines (informatique, bioinformatique et biologie), tous ces aspects me paraissent cruciaux et à expérimenter. Et la communauté française Galaxy est un lieu possible pour justement, expérimenter :) A très bientôt, Olivier -- Olivier Inizan Unité de Recherche en Génomique Info INRA URGI - Bat 18 Route de Saint Cyr, 78026 Versailles oinizan(a)versailles.inra.fr 01 30 83 38 25

3 2

[PRESENTATION] Christophe Antoniewski - Institut de Biologie Paris Seine
by Christophe Antoniewski 03 Sep '12

03 Sep '12

Bonjour à toutes et à tous. Je m'appelle Christophe Antoniewski. Je suis Directeur de Recherche au CNRS et je suis responsable du groupe "Génétique et Epigénétique de la Drosophile" dans l'UMR7622 (Laboratoire de Biologie du Développement) situé sur le quai Saint-Bernard, Université Paris 6 Pierre & Marie Curie. Nous étudions la biogenèse et les fonctions des petits ARN: siRNA, miRNA et piRNA. Dans ce contexte, nous avons participé au développement des premiers séquenceurs Illumina à l'Institut Pasteur (2008), et nous avons été tôt confrontés à la difficulté d'intégrer les compétences des biologistes et des informaticiens pour parvenir à des analyses pertinentes. Nous avons commencé à évaluer Galaxy pendant l'été 2010, en local, puis sur le cloud Amazon après la parution de l'article décrivant le système Cloudman. Nous utilisons Galaxy en configuration de production depuis notre arrivée à l'Université Pierre et Marie Curie, en janvier 2012. A l'heure actuelle, nous travaillons également avec trois instances. - Un serveur local de développement installé sous MacOS - Un serveur distant installé sur le Cloud Amazon, également destiné à tester l'analyse en environnement déporté - Un serveur de production sous Ubuntu, accessible depuis http://drosophile.org (onglet Galaxy). Cet accès est soumis à une demande de credentials, pour gérer la charge de la machine. Mais je souhaite vivement améliorer notre infrastructure (en local ou en cloud) pour que l'instance soit ouverte sans aucune restriction. Nous utilisons Galaxy pour analyser les données de small RNAseq. A cet effet, nous avons développé un portefeuille d'outils et de workflows (Mississipi tools) disponibles pour tous les utilisateurs de l'instance. Ce portefeuille inclus des procédures d'établissement de cartes, d'annotation génomique des petits ARNs, d'analyse statistique de "signatures" (par exemple la signature ping-pong des piRNA) et enfin d'analyse statistique pour profiling (encapsulation de packages R pour unrooted clustering, DESeq, tests de fisher, etc...) Nous n'utilisons pas encore ToolShed pour partager les outils, par manque de temps pour implémenter le "feature", mais nous souhaitons trouver du temps pour le faire ! Nos moyens en temps et personnels étant limités, notre priorité est d'améliorer nos outils d'analyses des petits ARN et de travailler à l'implementation de Trackster car nous pensons que ce génome browser intégré à Galaxy est une excellente opportunité pour améliorer le travail de recherche en collaboration. Je suis partisan de l'open source - open science, et je pense que ce modèle, pas toujours partagé, peux faire avancer la recherche plus rapidement. Il me semble que la recherche en biologie et en médecine est aujourd'hui sérieusement freinée à cause de la difficulté de communication entre les biologistes et les informaticiens. Comme Alban, je crois que Galaxy représente une belle opportunité (parmi d'autres) pour partager savoir-faire et connaissances, pour le bénéfice de tous. Il m'arrive d'intervenir sur la liste galaxy-dev (christophe - drosofff(a)gmail.com), et je me demande déjà si discuter de Galaxy en français ce n'est pas se couper un peu d'une source majeure de solutions. Mais, je suis un bavard invétéré et tous les moyens pour chatter à propos de bio, de médecine, de codes, de projets collaboratifs, sont bons... Christophe -- Christophe Antoniewski Drosophila Genetics and Epigenetics Laboratoire de Biolologie du Développement 9, Quai St Bernard, Boîte courrier 24 75252 Paris Cedex 05 Tel +33 1 44 27 34 39 Fax +33 1 44 27 34 45 Mobile +33 6 68 60 51 50 http://drosophile.org

1 0

[PRESENTATION] Christophe Antoniewski - Institut de Biologie Paris Seine
by Christophe Antoniewski 02 Sep '12

02 Sep '12

1 0

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

Galaxy-France September 2012