Atelier Phylogénomique Arbre espèces
From silico.biotoul.fr
m (Created page with '==Liens== *[http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique#Phylog.C3.A9nie_bas.C3.A9e_sur_les_s.C3.A9quences_des_ARNr Phylogénie ARNr]') |
m (→Evaluation des alignements avec t_coffee) |
||
(25 intermediate revisions not shown) | |||
Line 1: | Line 1: | ||
==Liens== | ==Liens== | ||
- | *[http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique# | + | *retour à [http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique#Arbre_esp.C3.A8ces:_pr.C3.A9paration_des_fichiers Atelier Phylogénomique] |
+ | |||
+ | ==Introduction== | ||
+ | '''Support de cours :''' [http://genoweb.toulouse.inra.fr/~formation/M2_Phylogenomique/2020_supports/ supports] | ||
+ | |||
+ | Nous allons utiliser un sous ensemble de gènes concervés chez ''Prochlorococcus'' et ''Synechococcus'' pour expérimenter les différentes méthodes de reconstruction phylogénomiques. Nous nous initierons à la comparaison d’arbres. | ||
+ | ==Extraction des séquences nucléotidiques des gènes orthologues== | ||
+ | Créer un fichier avec toutes les séquences nucléotidiques (cds): | ||
+ | |||
+ | Si le répertoire n'existe pas déjà, le créer. | ||
+ | <source lang='bash'> | ||
+ | mkdir -p ~/work/ProchlorococcusSynechococcus/DNA | ||
+ | cat ~/work/Prochlorococcus/prokka/Aaa*/Aaa*.ffn ~/work/Synechococcus/prokka/Aaa*/Aaa*.ffn > ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn | ||
+ | |||
+ | grep -c '>' ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn | ||
+ | </source> | ||
+ | ===Extraire les groupes de gènes orthologues=== | ||
+ | Exemple de la création d'un script et lancement du job avec sbatch | ||
+ | <source lang='bash'> | ||
+ | mkdir -p ~/work/ProchlorococcusSynechococcus/OG/DNA | ||
+ | </source> | ||
+ | Créer le fichier suivant ''commande.sh''. | ||
+ | <source lang='bash'> | ||
+ | #!/usr/bin/bash | ||
+ | ~/work/scripts/extract_sequences_from_matchtable.pl --fasta ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn --matchtable ~/work/ProchlorococcusSynechococcus/panoct/results/matchtable.txt --outdir ~/work/ProchlorococcusSynechococcus/OG/DNA --quorum 16 | ||
+ | </source> | ||
+ | <source lang='bash'> | ||
+ | sbatch commande.sh | ||
+ | </source> | ||
+ | Vérifier que les fichiers contiennent au moins 16 séquences: | ||
+ | <source lang='bash'> | ||
+ | grep -c '>' ~/work/ProchlorococcusSynechococcus/OG/DNA/*fas | ||
+ | </source> | ||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.1: | ||
+ | A quoi correspond ce quorum. Pourquoi utiliser un seuil de 16? | ||
+ | Combien de fichiers avez-vous obtenus? | ||
+ | Est-ce pertinent dans les situations où vous avez un grand nombre de souches? | ||
+ | Et quand les espèces étudiées sont très éloignées phylogénétiquement parlant ? | ||
+ | </pre> | ||
+ | |||
+ | ===Transformation en alignement multiples des séquences ADN des gènes=== | ||
+ | Le script ''aa_to_dna_aln.pl'' prend en entrée un fichier fasta contenant des séquences d'ADN. Il traduit des séquences, réalise un alignement multiple avec '''muscle''' et retraduit en ADN cet alignement multiple (merci [https://bioperl.org/ BioPerl]). | ||
+ | |||
+ | <source lang='bash'> | ||
+ | mkdir ~/work/ProchlorococcusSynechococcus/OG/alignment | ||
+ | </source> | ||
+ | Attention à faire un script et le lancer en sbatch ou en srun --pty bash | ||
+ | <source lang='bash'> | ||
+ | ~/work/scripts/aa_to_dna_aln.pl -dna ~/work/ProchlorococcusSynechococcus/OG/DNA/OG_1471.fas --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment | ||
+ | </source> | ||
+ | |||
+ | La traduction en peptides ajoute un '*' à la fin des séquences. Vous pouvez ignorer le message: | ||
+ | *** WARNING *** Invalid character '*' in FASTA sequence data, ignored | ||
+ | En sortie: | ||
+ | <pre> | ||
+ | pep_OG_1471.fas peptides | ||
+ | ali_pep_OG_1471.fas alignement des peptides | ||
+ | ali_dna_OG_1471.fas alignement des nucléotides | ||
+ | </pre> | ||
+ | Le programme suivant réalise le traitement pour un sous ensemble de ''sample'' fichiers tirés au hasard. | ||
+ | |||
+ | Il soumet sur le cluster donc, merci de vous remettre sur ''genologin'' pour lancer la commande ci-dessous. | ||
+ | |||
+ | Pour monitorer vos jobs : squeue -u $USER | ||
+ | <source lang='bash'> | ||
+ | ~/work/scripts/aa_to_dna_aln_loop.pl --directory ~/work/ProchlorococcusSynechococcus/OG/DNA --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment --sample 100 | ||
+ | </source> | ||
+ | Comptez les nombre d'alignements obtenus. | ||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.2: | ||
+ | Quelle est la raison de passer par un alignement des peptides pour obtenir l'alignement en nucléotides? | ||
+ | Pour quelle raison allons nous travailler sur un sous ensemble d'alignements? | ||
+ | Est-il pertinent de réaliser un échantillonnage des alignements par tirage aléatoire? Quelles autres approches pouvez-vous envisager? | ||
+ | Serait-il pertinent de réaliser plusieurs tirages? Quel usage pourriez-vous en faire? | ||
+ | </pre> | ||
+ | |||
+ | MSK | ||
+ | <!-- | ||
+ | ==Construction des arbres des groupes de gènes orthologues== | ||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.3: | ||
+ | Quels sont les traitements réalisés par le logiciel trimal? | ||
+ | Quelles sont les options possibles pour réaliser ces traitements ? Ne pas lister toutes les options, les regrouper par type de traitement! | ||
+ | Connaissez-vous d'autres logiciels réalisant un traitement comparable des alignements multiples? | ||
+ | </pre> | ||
+ | --> | ||
+ | ===Evaluation des alignements avec ''t_coffee''=== | ||
+ | *[https://tcoffee.readthedocs.io/en/latest/tcoffee_main_documentation.html?highlight=score#transitive-consistency-score-tcs Transitive-Consistency-Score] | ||
+ | TCS is an alignment evaluation score that makes it possible to identify the most correct positions in an MSA. It has been shown that these positions are the most likely to be structuraly correct and also the most informative when estimating phylogenetic trees. The TCS '''evaluation''' and '''filtering procedure''' can be used to evaluate and filter any MSA. | ||
+ | sample_seq1.score_ascii displays the score of the MSA, the sequences and the residues. | ||
+ | sample_seq1.score_html displays a colored version score of the MSA, the sequences and the residues. | ||
+ | TCS allows you to filter out from your alignment regions that appears unreliable according to the consistency score; the filtering can be made at the residue level or the column level: | ||
+ | sample_seq1.tcs_residue_filter3 All residues with a TCS score lower than 3 are filtered out | ||
+ | sample_seq1.tcs_column_filter3 All columns with a TCS score lower than 3 are filtered out | ||
+ | |||
+ | <syntaxhighlight lang="bash"> | ||
+ | original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/ | ||
+ | for i in $original_alignments/ali_dna_OG_*.fas | ||
+ | do | ||
+ | ip=$(basename $i .aln) | ||
+ | outfile="~/work/ProchlorococcusSynechococcus/OG/alignment/"$ip".ali" | ||
+ | echo "module load bioinfo/T-COFFEE_11.00.8cbe486; t_coffee -infile $i -output score_ascii, aln, score_html -outfile $outfile;" | ||
+ | done > OG_t_coffee_TCS.sh | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | sarray -J mkdb -o %j.out -e %j.err -t 01:00:00 --cpus-per-task=1 OG_t_coffee_TCS.sh | ||
+ | squeue -l -u $USER | ||
+ | </pre> | ||
+ | |||
+ | Sélection alignements avec un SCORE=1000. | ||
+ | <syntaxhighlight lang="bash"> | ||
+ | goodDNA_alignments=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/ | ||
+ | goodPEP_alignments=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/ | ||
+ | original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/ | ||
+ | mkdir $goodDNA_alignments $goodPEP_alignments | ||
+ | |||
+ | goodDNA_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/DNASCORE1000.lst | ||
+ | goodPEP_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/PEPSCORE1000.lst | ||
+ | |||
+ | if [[ -f $goodDNA_alignment_list ]]; then | ||
+ | rm $goodDNA_alignment_list | ||
+ | fi | ||
+ | |||
+ | if [[ -f $goodPEP_alignment_list ]]; then | ||
+ | rm $goodPEP_alignment_list | ||
+ | fi | ||
+ | |||
+ | for i in ~/work/ProchlorococcusSynechococcus/OG/alignment/*.ali; | ||
+ | do | ||
+ | if [[ $(grep -H 'SCORE=1000' $i) ]]; then | ||
+ | ip=$(basename $i .ali) | ||
+ | oriDNA="$original_alignments$ip" | ||
+ | goodDNA="$goodDNA_alignments$ip" | ||
+ | cp $oriDNA $goodDNA | ||
+ | echo $oriDNA >> $goodDNA_alignment_list | ||
+ | |||
+ | PEP=${ip:11:15} | ||
+ | oriPEP="${original_alignments}ali_pep_OG_${PEP}" | ||
+ | goodPEP="${goodPEP_alignments}ali_pep_OG_${PEP}" | ||
+ | cp $oriPEP $goodPEP | ||
+ | echo $oriPEP >> $goodPEP_alignment_list | ||
+ | fi | ||
+ | done | ||
+ | cat $goodDNA_alignment_list | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | Edition des alignements avec trimal: MSK | ||
+ | <!-- | ||
+ | ===Edition des alignements avec trimal=== | ||
+ | Trimer les alignements avec trimal. Nous pouvons utiliser les résultats de trimal pour identifier des alignements de mauvaise qualité. | ||
+ | |||
+ | genologin softwares : [http://bioinfo.genotoul.fr/index.php/resources-2/softwares/?searchll=trimal trimal] | ||
+ | |||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | srun --pty bash | ||
+ | module load bioinfo/trimal-1.4.1 | ||
+ | n=1 | ||
+ | for i in ~/work/ProchlorococcusSynechococcus/OG/alignment/ali_dna_OG_*.fas | ||
+ | do | ||
+ | echo -e "Nb:" $n | ||
+ | echo -e "Alignement:" $i "\n" | ||
+ | dir=$(dirname $i) | ||
+ | prefix=$(basename $i .fas) | ||
+ | trimal -in $dir/$prefix.fas -out $dir/$prefix.trim.aln -sident -sgt | ||
+ | ((n++)) | ||
+ | done > ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.txt | ||
+ | </pre> | ||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.4: | ||
+ | Editez le fichier de résultats et analysez son contenu. | ||
+ | </pre> | ||
+ | =====Pour chaque alignement, extraction des % de sites sans indels et de la conservation moyenne des alignements===== | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | awk 'BEGIN { | ||
+ | i=1; | ||
+ | col[""]=0; | ||
+ | } | ||
+ | { | ||
+ | if ( $5==0) | ||
+ | { | ||
+ | col[i "," 1]=$2 | ||
+ | } | ||
+ | else | ||
+ | if ( $2=="AverageIdentity" && $3!="Average") | ||
+ | { | ||
+ | col[i "," 2]=$3 | ||
+ | i = i+1; | ||
+ | } | ||
+ | } | ||
+ | END { | ||
+ | max = i | ||
+ | i=1; | ||
+ | while (i < max) { | ||
+ | print i "\t" col[i "," 1] "\t" col[i "," 2]; | ||
+ | i = i+1; | ||
+ | } | ||
+ | }' < ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.txt > ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.tab | ||
+ | </pre> | ||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.5: | ||
+ | Vérifiez que vous avez extrait les informations attendues. | ||
+ | </pre> | ||
+ | |||
+ | <pre style="color:grey;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | awk 'BEGIN { min = max = "NaN" } | ||
+ | { | ||
+ | min = (NR==1 || $2<min ? $2 : min) | ||
+ | max = (NR==1 || $2>max ? $2: max) | ||
+ | } | ||
+ | END { print min, max }' < ~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.tab | ||
+ | </pre> | ||
+ | =====Tracé de la distribution des deux paramètres===== | ||
+ | Tracé de la distribution des deux paramètres pour définir des seuils permettant de retenir les meilleurs alignements | ||
+ | <pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | module load system/R-3.6.1 | ||
+ | R | ||
+ | pdf_file <- '~/work/ProchlorococcusSynechococcus/images/alignment_statistics.pdf' | ||
+ | data <- read.table('~/work/ProchlorococcusSynechococcus/OG/alignment/statistics.tab', row.names=1) | ||
+ | pdf(file=pdf_file, paper="a4r") | ||
+ | plot(data, xlim=c(1,100), ylim=c(0,1), pch=20, xlab="% without gap", ylab="AverageIdentity") | ||
+ | text(data, labels=row.names(data), pos=4) | ||
+ | dev.off() | ||
+ | cat(pdf_file, "\n") | ||
+ | quit() | ||
+ | </pre> | ||
+ | |||
+ | Vous pouvez utiliser filezilla (sous Windows) ou un scp (sous linux) pour télécharger le fichier pdf en local. | ||
+ | |||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.6: | ||
+ | Éditez les alignements de plus mauvaises qualités. | ||
+ | Commentez. | ||
+ | </pre> | ||
+ | |||
+ | =====Sélection des meilleurs alignements===== | ||
+ | Sélection des meilleurs alignements à partir de la distribution du nombre de sites sans indels et de la conservation moyenne des alignements. | ||
+ | |||
+ | Choisir --gap dans {0,100} et --identity dans {0, 1}: | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | ~/work/scripts/trimal_selection.pl --alignment ~/work/ProchlorococcusSynechococcus/OG/alignment --gap {0,100} --identity {0, 1} | ||
+ | </pre> | ||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.7: | ||
+ | Combien d'alignements avez-vous retenu? | ||
+ | </pre> | ||
+ | --> | ||
+ | |||
+ | <!-- | ||
+ | ==Super-arbres== | ||
+ | |||
+ | Nous allons utiliser les arbres individuels protéiques ainsi que celui reconstruit à partir de la petite sous-unité de l’rRNA. | ||
+ | Sur genologin le script ssuTree.sh était celui-là : | ||
+ | #!/bin/bash | ||
+ | iqtree -s ./ssu_renamed_simplified.aln -nt 1 -AIC -bb 1000 -alrt 1000 -redo | ||
+ | |||
+ | Et on a tapé : | ||
+ | module load bioinfo/iqtree-2.0.6 | ||
+ | sbatch --mem=20G ssuTree.sh | ||
+ | |||
+ | Voici l’arbre obtenu : /home/formation/work/ProchlorococcusSynechococcus/phyloG/ssu_renamed_simplified.aln.treefile | ||
+ | |||
+ | '''A vous :''' | ||
+ | |||
+ | Loguez-vous sur genologin. | ||
+ | |||
+ | Lançons les arbres protéiques. Pour cela faire un seul script que vous appellerez ind_pep_trees.sh et qui écrira toutes les commandes en bouclant sur chaque fichier d’entrée. Le but étant d’obtenir une ligne par commande iqtree sur un fichier d’alignement protéique. | ||
+ | Les fichiers d’input sont /home/formation/work/ProchlorococcusSynechococcus/phyloG/proteine/*_renamed.fas. | ||
+ | |||
+ | Il vous faut les copier dans votre work car sinon iqtree écrira les fichiers d'output sur le répertoire du compte de formation et pas dans le votre... | ||
+ | |||
+ | Pour vous aider inspirez vous de la réponse à la question "How to generate an sarray command file with bash for single (fastq) file ?" sur la page http://bioinfo.genotoul.fr/index.php/faq/bioinfo_tips_faq/. | ||
+ | |||
+ | '''Attention à bien spécifier -nt 1. Si vous souhaitez utiliser plus d’un CPU il faut le réserver avec l’option --cpus-per-task dans la commande sbatch / sarray. Pas besoin d’augmenter la RAM pour les protéines. Pensez aussi à mettre -AIC comme critère de sélection de modèle.''' | ||
+ | |||
+ | Regarder le contenu de ind_pep_trees.sh. Est-il correct ? | ||
+ | |||
+ | Rajouter la première ligne obligatoire sur genologin avec vi par exemple : | ||
+ | #!/bin/bash | ||
+ | |||
+ | Pour le lancer en parallèle sur plusieurs nœuds du cluster : | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | module load bioinfo/iqtree-2.0.6 | ||
+ | sarray ind_pep_trees.sh | ||
+ | </pre> | ||
+ | |||
+ | Pour monitorer votre job : | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | squeue -l -u <login> | ||
+ | </pre> | ||
+ | |||
+ | Pour le killer si besoin : | ||
+ | scancel jobid | ||
+ | |||
+ | Quand tous vos jobs sont terminés, vérifiez que les fichiers de sorties ne soient pas vides et que ça s’est bien passé en faisant par exemple : | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | tail *_renamed.fas.log | ||
+ | </pre> | ||
+ | |||
+ | Vous pouvez aussi regarder les modèles sélectionnés : | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | grep 'Best-fit model:' *_renamed.fas.log | ||
+ | </pre> | ||
+ | |||
+ | Concaténer tous les arbres (les 31 arbres protéiques et l’arbre ARNr obtenu hier) avec la commande cat. | ||
+ | Nommez le fichier alltrees.tree. | ||
+ | |||
+ | '''Test de plusieurs méthodes de super-arbres :''' | ||
+ | |||
+ | Commençons par la méthode la plus répandue : le MRP. | ||
+ | |||
+ | Pour aller sur un nœud : | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | srun --pty bash | ||
+ | </pre> | ||
+ | puis taper : | ||
+ | <pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | module load system/R-3.5.1 | ||
+ | R | ||
+ | library(phytools) | ||
+ | trees=read.tree("./alltrees.tree") | ||
+ | supertrees<-mrp.supertree(trees,rearrangements="SPR", start="NJ") | ||
+ | </pre> | ||
+ | Vous avez obtenu les super-arbres les plus parcimonieux. Sauvez-les en utilisant la fonction write.tree de R. | ||
+ | <pre style="color:purple;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | write.tree(supertrees, file = "./superTrees.tree") | ||
+ | quit() | ||
+ | </pre> | ||
+ | Nous sommes sortis de R. | ||
+ | |||
+ | Dans notre cas, nous avons un seul arbre le plus parcimonieux, mais nous aurions pu en obtenir plusieurs. | ||
+ | |||
+ | Utiliser iqtree pour obtenir le consensus des 32 arbres avec la règle majoritaire étendue. | ||
+ | |||
+ | Pour cela restez sur le nœud et tapez : | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | module load bioinfo/iqtree-2.0.6 | ||
+ | iqtree -con -t alltrees.tree -nt 1 | ||
+ | </pre> | ||
+ | |||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.12: | ||
+ | D’après vous que signifie les valeurs aux nœuds sur cet arbre consensus ? | ||
+ | </pre> | ||
+ | |||
+ | Lancez aussi l’arbre consensus en réseau : | ||
+ | <pre style="color:blue;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | iqtree -net -t alltrees.tree -nt 1 | ||
+ | </pre> | ||
+ | |||
+ | Et visualisez-le avec splitstree en local. | ||
+ | |||
+ | https://software-ab.informatik.uni-tuebingen.de/download/splitstree5/welcome.html | ||
+ | |||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.13: | ||
+ | Commentez ce réseau par rapport aux autres arbres obtenus. Qu’en pensez-vous ? | ||
+ | </pre> | ||
+ | --> | ||
+ | |||
+ | <!-- | ||
+ | ==Comparaison des arbres== | ||
+ | |||
+ | Concaténez maintenant les deux arbres de super-matrice (celui sur les codons que vous avez lancé toute à l'heure et celui sur les protéines) ainsi que les deux super-arbres (le consensus et le MRP). | ||
+ | |||
+ | Si vous avez eu des difficultés à obtenir l'arbre à partir de l'alignement en codon il est disponible ici : /home/formation/work/ProchlorococcusSynechococcus/phyloG/alignment_0.4_70_31.fas*. | ||
+ | |||
+ | Attention marquez quelques part l'ordre avec lequel vous les avez concaténés pour créer le fichier d'arbres à comparer afin de vous en souvenir ensuite. | ||
+ | Lancer ensuite le calcul de la distance de Robinson and Foulds sur ce fichier avec iqtree entre les 4 arbres 2 à 2. | ||
+ | |||
+ | Attention à faire le module load bioinfo/iqtree-2.0.6 | ||
+ | |||
+ | Et à rajouter -nt 1 dans les options. | ||
+ | Restez sur le nœud ou faites un sbatch, mais ne lancez rien sur le nœud maître. | ||
+ | |||
+ | <pre style="color:red;white-space: pre-wrap;white-space: -moz-pre-wrap;white-space: -pre-wrap;white-space: -o-pre-wrap"> | ||
+ | Question 5.14: | ||
+ | Commentez les résultats. Quel est l’arbre le plus différent des autres ? Qu’est-ce qui pourrait l’expliquer ? | ||
+ | </pre> | ||
+ | --> | ||
+ | ---- | ||
+ | *retour à [http://silico.biotoul.fr/p/Atelier_Phylog%C3%A9nomique#Arbre_esp.C3.A8ces:_pr.C3.A9paration_des_fichiers Atelier Phylogénomique] |
Current revision as of 14:49, 8 December 2022
Contents |
Liens
- retour à Atelier Phylogénomique
Introduction
Support de cours : supports
Nous allons utiliser un sous ensemble de gènes concervés chez Prochlorococcus et Synechococcus pour expérimenter les différentes méthodes de reconstruction phylogénomiques. Nous nous initierons à la comparaison d’arbres.
Extraction des séquences nucléotidiques des gènes orthologues
Créer un fichier avec toutes les séquences nucléotidiques (cds):
Si le répertoire n'existe pas déjà, le créer.
mkdir -p ~/work/ProchlorococcusSynechococcus/DNA cat ~/work/Prochlorococcus/prokka/Aaa*/Aaa*.ffn ~/work/Synechococcus/prokka/Aaa*/Aaa*.ffn > ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn grep -c '>' ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn
Extraire les groupes de gènes orthologues
Exemple de la création d'un script et lancement du job avec sbatch
mkdir -p ~/work/ProchlorococcusSynechococcus/OG/DNA
Créer le fichier suivant commande.sh.
#!/usr/bin/bash ~/work/scripts/extract_sequences_from_matchtable.pl --fasta ~/work/ProchlorococcusSynechococcus/DNA/combined_dna.ffn --matchtable ~/work/ProchlorococcusSynechococcus/panoct/results/matchtable.txt --outdir ~/work/ProchlorococcusSynechococcus/OG/DNA --quorum 16
sbatch commande.sh
Vérifier que les fichiers contiennent au moins 16 séquences:
grep -c '>' ~/work/ProchlorococcusSynechococcus/OG/DNA/*fas
Question 5.1: A quoi correspond ce quorum. Pourquoi utiliser un seuil de 16? Combien de fichiers avez-vous obtenus? Est-ce pertinent dans les situations où vous avez un grand nombre de souches? Et quand les espèces étudiées sont très éloignées phylogénétiquement parlant ?
Transformation en alignement multiples des séquences ADN des gènes
Le script aa_to_dna_aln.pl prend en entrée un fichier fasta contenant des séquences d'ADN. Il traduit des séquences, réalise un alignement multiple avec muscle et retraduit en ADN cet alignement multiple (merci BioPerl).
mkdir ~/work/ProchlorococcusSynechococcus/OG/alignment
Attention à faire un script et le lancer en sbatch ou en srun --pty bash
~/work/scripts/aa_to_dna_aln.pl -dna ~/work/ProchlorococcusSynechococcus/OG/DNA/OG_1471.fas --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment
La traduction en peptides ajoute un '*' à la fin des séquences. Vous pouvez ignorer le message:
*** WARNING *** Invalid character '*' in FASTA sequence data, ignored
En sortie:
pep_OG_1471.fas peptides ali_pep_OG_1471.fas alignement des peptides ali_dna_OG_1471.fas alignement des nucléotides
Le programme suivant réalise le traitement pour un sous ensemble de sample fichiers tirés au hasard.
Il soumet sur le cluster donc, merci de vous remettre sur genologin pour lancer la commande ci-dessous.
Pour monitorer vos jobs : squeue -u $USER
~/work/scripts/aa_to_dna_aln_loop.pl --directory ~/work/ProchlorococcusSynechococcus/OG/DNA --outdir ~/work/ProchlorococcusSynechococcus/OG/alignment --sample 100
Comptez les nombre d'alignements obtenus.
Question 5.2: Quelle est la raison de passer par un alignement des peptides pour obtenir l'alignement en nucléotides? Pour quelle raison allons nous travailler sur un sous ensemble d'alignements? Est-il pertinent de réaliser un échantillonnage des alignements par tirage aléatoire? Quelles autres approches pouvez-vous envisager? Serait-il pertinent de réaliser plusieurs tirages? Quel usage pourriez-vous en faire?
MSK
Evaluation des alignements avec t_coffee
TCS is an alignment evaluation score that makes it possible to identify the most correct positions in an MSA. It has been shown that these positions are the most likely to be structuraly correct and also the most informative when estimating phylogenetic trees. The TCS evaluation and filtering procedure can be used to evaluate and filter any MSA.
sample_seq1.score_ascii displays the score of the MSA, the sequences and the residues. sample_seq1.score_html displays a colored version score of the MSA, the sequences and the residues.
TCS allows you to filter out from your alignment regions that appears unreliable according to the consistency score; the filtering can be made at the residue level or the column level:
sample_seq1.tcs_residue_filter3 All residues with a TCS score lower than 3 are filtered out sample_seq1.tcs_column_filter3 All columns with a TCS score lower than 3 are filtered out
original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/ for i in $original_alignments/ali_dna_OG_*.fas do ip=$(basename $i .aln) outfile="~/work/ProchlorococcusSynechococcus/OG/alignment/"$ip".ali" echo "module load bioinfo/T-COFFEE_11.00.8cbe486; t_coffee -infile $i -output score_ascii, aln, score_html -outfile $outfile;" done > OG_t_coffee_TCS.sh
sarray -J mkdb -o %j.out -e %j.err -t 01:00:00 --cpus-per-task=1 OG_t_coffee_TCS.sh squeue -l -u $USER
Sélection alignements avec un SCORE=1000.
goodDNA_alignments=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/ goodPEP_alignments=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/ original_alignments=~/work/ProchlorococcusSynechococcus/OG/alignment/ mkdir $goodDNA_alignments $goodPEP_alignments goodDNA_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodDNA_alignments/DNASCORE1000.lst goodPEP_alignment_list=~/work/ProchlorococcusSynechococcus/OG/goodPEP_alignments/PEPSCORE1000.lst if [[ -f $goodDNA_alignment_list ]]; then rm $goodDNA_alignment_list fi if [[ -f $goodPEP_alignment_list ]]; then rm $goodPEP_alignment_list fi for i in ~/work/ProchlorococcusSynechococcus/OG/alignment/*.ali; do if [[ $(grep -H 'SCORE=1000' $i) ]]; then ip=$(basename $i .ali) oriDNA="$original_alignments$ip" goodDNA="$goodDNA_alignments$ip" cp $oriDNA $goodDNA echo $oriDNA >> $goodDNA_alignment_list PEP=${ip:11:15} oriPEP="${original_alignments}ali_pep_OG_${PEP}" goodPEP="${goodPEP_alignments}ali_pep_OG_${PEP}" cp $oriPEP $goodPEP echo $oriPEP >> $goodPEP_alignment_list fi done cat $goodDNA_alignment_list
Edition des alignements avec trimal: MSK
- retour à Atelier Phylogénomique