silico.biotoul.fr
 

M1 BBS Graphes - Projets

From silico.biotoul.fr

(Difference between revisions)
Jump to: navigation, search
m (Created page with '= Bibliothèque Python = Une partie du projet consiste à terminer la bibliothèque python entamée au cours des TP. La liste des méthodes à implémenter est la suivante : * T…')
m (→Bibliothèque Python)
 
(69 intermediate revisions not shown)
Line 1: Line 1:
= Bibliothèque Python =
= Bibliothèque Python =
-
Une partie du projet consiste à terminer la bibliothèque python entamée au cours des TP.
+
Une partie du projet consiste à terminer le module python entamé au cours des TP.
-
La liste des méthodes à implémenter est la suivante :
+
La liste des fonctions à terminer est la suivante (correspond à l'ensemble des questions des 3 premiers TP) :
-
* TP1: dfs, isAcyclic, topologicalSort
+
* TP1: de <tt>create_graph</tt> jusqu'à <tt>neighbors</tt>
-
* TP2: bfs, BellmanFord, FloydWarshall, FloydWarshallPath, diameter
+
* TP2 : bfs (facultatif : induced_subgraph, clustering_coeficient)
 +
* TP3 : dfs, is_acyclic, topological_sort
 +
* TP4 (à confirmer) : BellmanFord (facultatif : <tt>script graphmaster.STRINGdb_path.py</tt>, FloydWarshall et FloydWarshallPath, diameter)
-
Une attention particulière sera portée à la qualité du code et de ses commentaires. Un script de tests/validations devra être fourni (ou bien intégré directement dans la bibliothèque).
+
<!--
 +
 
 +
L'algorithme de Floyd-Warshall ainsi que la fonction ''diameter'' (renvoyant le diamètre du graphe) peuvent-être ajoutés et pourront faire l'objet d'un bonus.
 +
, FloydWarshall, FloydWarshallPath, diameter
 +
* ajouter
 +
** une fonction qui renvoie la liste des sommets sources : <tt>sources(g)</tt>
 +
** une fonction qui renvoie la liste des puits : <tt>sinks(g)</tt>
 +
-->
 +
 
 +
Une attention particulière sera portée à la qualité du code et de ses commentaires.  
 +
 
 +
'''Pour cette partie, il n'est pas demandé de rapport et seul un script de tests/validations devra être fourni (ou bien intégré directement dans la bibliothèque) et testera chacune des fonctions sur un exemple'''.
 +
 
 +
<!--
 +
'''Bonus ''' si vous ajoutez également l'algorithme de Dijkstra et/ou Johnson.
 +
-->
= Gene Ontology =
= Gene Ontology =
La deuxième partie du projet consiste à étendre la bibliothèque python afin de fournir des utilitaires pour la Gene Ontology. Ses principales fonctionnalités seront :
La deuxième partie du projet consiste à étendre la bibliothèque python afin de fournir des utilitaires pour la Gene Ontology. Ses principales fonctionnalités seront :
-
* le chargement du graphe représentant la Gene Ontology
+
* le chargement du graphe représentant la Gene Ontology (fonction <tt>load_OBO</tt> fournie en TP) disponible sur http://geneontology.org : http://purl.obolibrary.org/obo/go/go-basic.obo
-
* le chargement des associations gene product - GO Term
+
* le chargement des associations ''GeneProduct'' - ''GOTerm''  (fonction <tt>load_GOA</tt> fournie en TP) concernant un génome de votre choix
-
Une fois ces étapes réalisées, les méthodes à implémenter sont :
+
Une fois ces étapes réalisées, les fonctions à implémenter sont :
-
* détermination du plus long chemin afin d'obtenir la profondeur maximale des trois ontologies (biological process, molecular function et cellular component)
+
* détermination du plus long chemin possible entre 2 sommets afin d'obtenir la profondeur maximale de chacune des trois ontologies (''biological process'', ''molecular function'' et ''cellular component'')
-
* obtention des gene products directement associés à un GO Term et inversement
+
* obtention des ''GeneProducts'' directement associés à un ''GOTerm''
-
* obtention des gene products associés à un GO Term ou à un de ses descendants
+
* obtention des ''GOTerms'' directement associés à un ''GeneProduct''
-
* pour un gene product, l'obtention des GO Term associés (avec les termes ancêtres)
+
* obtention des ''GeneProducts'' associés à un ''GOTerm'' ou à un de ses descendants (ou ancêtres selon le choix sur l'orientation des arcs lors du chargement du graphe) correspondant à des termes GO plus spécifiques
 +
* pour un ''gene product'', l'obtention des ''GO Terms'' associés en incluant les termes ancêtres (ou descendants ...) correspondant à des termes GO plus généraux
-
Pour le '''chargement du graphe''', il s'agit d'implémenter la méthode loadOBO qui charge le format OBO (version 1.2, cf. [[silico:enseignement/m1/graph/GO.format.obo-1_2.html|OBO_1.2]]). Toutes les spécifications du format '''ne sont pas''' à respecter. On ne s'intéressera qu'aux tags : id, name, namespace, def, is_a, relationship. Les termes indiqués ''obsolete'' sont à ignorer. Le fichier à charger sera celui nommé go-basic dans la partie téléchargement de http://geneontology.org.
+
'''Remarque :''' Vous êtes libres d'apporter toutes les modifications que vous voulez aux modules commencés en TP ainsi qu'au code fourni pour le chargement de la Gene Ontology et des annotations d'un génome (ex: orientation des arcs, représentation interne du graphe, ...), mais la pertinence et l'efficacité (complexité en temps/espace) seront prises en compte.  
-
Pour le '''chargement des annotations''', le format à prendre en charge s'appelle gaf (version 2.1). Vous pourrez travailler sur le(s) fichier(s) de votre choix à sélectionner dans la partie Annotations de la section téléchargement de http://geneontology.org. Un ensemble de proteomes est disponible sur le FTP de l'EBI : ftp://ftp.ebi.ac.uk/pub/databases/GO/goa avec le [ftp://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/README README] qui vous indique à quoi correspondent les colonnes des fichiers. Celles (au minimum) à conserver sont :  
+
Pour le '''chargement des annotations''', le format à prendre en charge s'appelle gaf (version 2.1). Vous pourrez travailler sur le(s) fichier(s) de votre choix. Un ensemble de proteomes est disponible sur le FTP de l'EBI : http://ftp.ebi.ac.uk/pub/databases/GO/goa, notamment le répertoire [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/ proteomes], avec le [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/README README] qui vous indique à quoi correspondent les colonnes des fichiers. Celles (au minimum) à conserver sont :  
* 2) DB_Object_ID = identifiant unique (id)
* 2) DB_Object_ID = identifiant unique (id)
* 3) DB_Object_Symbol = nom du produit du gène (name)
* 3) DB_Object_Symbol = nom du produit du gène (name)
* 7) Evidence Code = qualité de l'annotation (evidence-code)
* 7) Evidence Code = qualité de l'annotation (evidence-code)
* 11)  DB_Object_Synonym = autres identifiants pour ce produit de gène (aliases).
* 11)  DB_Object_Synonym = autres identifiants pour ce produit de gène (aliases).
 +
 +
Vous devez donc '''choisir un organisme''' parmi tout ceux disponibles ou bien en prendre un dans la liste ci dessous :
 +
<!-- # ''E. coli'' [[silico:enseignement/m1/graph/goa/18.E_coli_MG1655.goa|18.E_coli_MG1655.goa]]  -->
 +
# ''M. musculus''      [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/59.M_musculus.goa 59.M_musculus.goa]                - [[silico:enseignement/m1/graph/goa/59.M_musculus.goa|archive de 2017]]                              → Claire
 +
# ''H. sapiens''      [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/25.H_sapiens.goa 25.H_sapiens.goa]                  - [[silico:enseignement/m1/graph/goa/25.H_sapiens.goa|archive de 2017]]                                → Moussa
 +
# ''C. elegans''      [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/9.C_elegans.goa 9.C_elegans.goa]                    - [[silico:enseignement/m1/graph/goa/9.C_elegans.goa|archive de 2017]]                                                      → Julie
 +
# ''G. gallus''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/21457.G_gallus.goa 21457.G_gallus.goa]              - [[silico:enseignement/m1/graph/goa/21457.G_gallus.goa|archive de 2017]]                                                  → Lucie
 +
# ''R. norvegicus''    [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/122.R_norvegicus.goa 122.R_norvegicus.goa]          - [[silico:enseignement/m1/graph/goa/122.R_norvegicus.goa|archive de 2017]]
 +
# ''D. melanogaster''  [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/17.D_melanogaster.goa 17.D_melanogaster.goa]        - [[silico:enseignement/m1/graph/goa/17.D_melanogaster.goa|archive de 2017]]                                    → Priscilla
 +
# ''A. thaliana''      [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/217288.A_thaliana.goa 217288.A_thaliana.goa]        - [[silico:enseignement/m1/graph/goa/217288.A_thaliana.goa|archive de 2017]]                                        → Margaux
 +
# ''D. rerio''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/4832498.D_rerio_1.goa 4832498.D_rerio_1.goa]        - [[silico:enseignement/m1/graph/goa/20721.D_rerio.goa|archive de 2017]]                                                    → Jean
 +
# ''S. aureus''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/22608.S_aureus_NCTC_8325.goa 22608.S_aureus_NCTC_8325.goa] - [[silico:enseignement/m1/graph/goa/22608.S_aureus_NCTC_8325.goa|archive de 2017]]                                → Asmaa
 +
# ''S. cerevisiae''    [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/71242.S_cerevisiae_ATCC_204508.goa 71242.S_cerevisiae_ATCC_204508.goa] - [[silico:enseignement/m1/graph/goa/71242.S_cerevisiae_ATCC_204508.goa|archive de 2017]]                            → Anastasiia
 +
# ''S. mutans''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/102.S_mutans_ATCC_700610.goa 102.S_mutans_ATCC_700610.goa] - [[silico:enseignement/m1/graph/goa/102.S_mutans_ATCC_700610.goa|archive de 2017]]
 +
# ''P. putida''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/109.P_putida_KT2440.goa 109.P_putida_KT2440.goa]          - [[silico:enseignement/m1/graph/goa/109.P_putida_KT2440.goa|archive de 2017]]
 +
# ''C. tetani''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/119.C_tetani.goa 119.C_tetani.goa]                        - [[silico:enseignement/m1/graph/goa/119.C_tetani.goa|archive de 2017]]
 +
# ''B. cereus''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/134.B_cereus_ATCC_14579.goa 134.B_cereus_ATCC_14579.goa]  - [[silico:enseignement/m1/graph/goa/134.B_cereus_ATCC_14579.goa|archive de 2017]]                    → Catherine
 +
# ''D. radiodurans''  [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/16.D_radiodurans.goa 16.D_radiodurans.goa]                - [[silico:enseignement/m1/graph/goa/16.D_radiodurans.goa|archive de 2017]]
 +
# ''S. thermophilum''  [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/20300.S_thermophilum.goa 20300.S_thermophilum.goa]        - [[silico:enseignement/m1/graph/goa/20300.S_thermophilum.goa|archive de 2017]]
 +
# ''T. thermophilus''  [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/20981.T_thermophilus_HB8.goa 20981.T_thermophilus_HB8.goa] - [[silico:enseignement/m1/graph/goa/20981.T_thermophilus_HB8.goa|archive de 2017]]
 +
# ''H. influenzae''    [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/21.H_influenzae_ATCC_51907.goa 21.H_influenzae_ATCC_51907.goa] - [[silico:enseignement/m1/graph/goa/21.H_influenzae_ATCC_51907.goa|archive de 2017]]
 +
# ''L. major''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/21780.L_major.goa 21780.L_major.goa]                      - [[silico:enseignement/m1/graph/goa/21780.L_major.goa|archive de 2017]]
 +
# ''P. fluorescens''  [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/21840.P_fluorescens_Pf-5.goa 21840.P_fluorescens_Pf-5.goa] - [[silico:enseignement/m1/graph/goa/21840.P_fluorescens_Pf-5.goa|archive de 2017]]
 +
# ''N. crassa''        [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/22025.N_crassa.goa 22025.N_crassa.goa]                    - [[silico:enseignement/m1/graph/goa/22025.N_crassa.goa|archive de 2017]]
 +
# ''A. gambiae''      [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/22426.A_gambiae.goa 22426.A_gambiae.goa]                  - [[silico:enseignement/m1/graph/goa/22426.A_gambiae.goa|archive de 2017]]
 +
# ''M. truncatula''    [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/23232.M_truncatula.goa 23232.M_truncatula.goa]            - [[silico:enseignement/m1/graph/goa/23232.M_truncatula.goa|archive de 2017]]
 +
# ''O. sativa indica'' [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/23240.O_sativa_indica.goa 23240.O_sativa_indica.goa] - [[silico:enseignement/m1/graph/goa/23240.O_sativa_indica.goa|archive de 2017]]                                                      → Han
 +
# ''P. parasitica''    [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/2325912.P_parasitica_CBS_412.66.goa 2325912.P_parasitica_CBS_412.66.goa] - [[silico:enseignement/m1/graph/goa/2325912.P_parasitica_CBS_412.66.goa|archive de 2017]]
 +
# ''O. oeni''          [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/25791.O_oeni.goa 25791.O_oeni.goa]                  - [[silico:enseignement/m1/graph/goa/25791.O_oeni.goa|archive de 2017]]
 +
# ''M. smegmatis''    [http://ftp.ebi.ac.uk/pub/databases/GO/goa/proteomes/25827.M_smegmatis.goa 25827.M_smegmatis.goa]        - [[silico:enseignement/m1/graph/goa/25827.M_smegmatis.goa|archive de 2017]]
 +
 +
 +
'''Votre choix de l'organisme doit être envoyé par mail à R. Barriot.''' La règle est que deux étudiant·e·s ne doivent pas travailler sur le même organisme (premier arrivé, premier servi).
'''Dossier à rendre''' sous la forme d'une archive au format zip ou tar.gz
'''Dossier à rendre''' sous la forme d'une archive au format zip ou tar.gz
-
Le code de la bibliothèque annoté et assorti de jeux de tests (<u>sans le fichier obo</u> qui est le même pour tous).
+
Les modules python annotés et assortis de jeux de tests (<u>sans le fichier obo</u> qui est le même pour tous). Cela devrait correspondre à vos fichiers <tt>graphmaster.py</tt> et <tt>geneontology.py</tt>.
 +
 
 +
Un rapport synthétique au format PDF ressemblant à un rapport de projet d'ingéieurie qui comprend en général les sections suivantes :
 +
* Contexte
 +
: Une très brève introduction sur le cadre et l'objectif du projet. La description de l'organisme choisi.
 +
* Analyse
 +
: Analyse du contexte, des besoins et des fonctionnalités à fournir : qu'est-ce qui est disponible et où et qu'est-ce qu'il manque et qu'il faudra réaliser.
 +
* Conception
 +
: Fort de l'analyse précédente, présenter l'approche choisie et pourquoi.
 +
:* Choix d'une représentation (si différente de celle utilisée en TP) : listes ou matrice d'adjacence, informations sur les sommets, les arcs/arêtes, ...
 +
:* Élaboration des algorithmes (avec leur complexité) pour réaliser les fonctionnalités demandées. Par exemple, comment (en français) est conçu votre algorithme pour récupérer tous les ''GeneProducts'' concernés par un ''GOTerm'' ?
 +
* Réalisation
 +
** Choix techniques s'il y en a (ex: format de fichier utilisé, structures de données propres au langage utilisé, ...)
 +
** Résultats obtenus sur les données traitées
 +
*** Temps d'exécution
 +
*** Nombre de sommets, d'arcs, nombre de ''GeneProducts'', de ''GOTerms'' (avec et/ou sans annotations directes), ... il sera intéressant dans cette partie de calculer des statistiques permettant d'étudier à quel point l'organisme choisi est annoté (nombre de gènes annotés ''vs.'' nombre de gènes dans le génome, en fonction des différentes branches de la GO, distribution du nombre d'annotation par gènes, ...).
 +
*** Résultats des tests réalisés
 +
* Discussion
 +
: Quelques observations remarquables par rapport à l'annotation en GOTerm de l'organisme utilisé.
 +
* Bilan et perspectives
 +
** Est-ce que les besoins sont satisfaits ?
 +
** Discussion sur les résultats obtenus par rapport aux choix effectués
 +
** Qu'est-ce qu'il est possible d'améliorer ?
 +
** Quelles études permettent les résultats et codes obtenus ?
 +
 
 +
Pour ces différentes sections, des schémas peuvent venir appuyer votre discours.
 +
 
 +
<big><big>Date limite d'envoi du dossier :</big></big> avant le 22 décembre
 +
 
 +
 
 +
 
 +
 
 +
 
 +
<!-- ARCHIVE DOC GeneOntology
 +
= Documentation pour <tt>GeneOntology.py</tt> =
 +
 
 +
Les fichiers sont disponibles sur le gitlab utilisé en TP : https://gitlab.com/rbarriot/graph
 +
 
 +
<big>'''<tt>load_OBO(filename)</tt>'''</big>
 +
<source lang='python'>
 +
def load_OBO(filename):
 +
"""
 +
parse the OBO file and returns the graph
 +
obsolete terms are discarded
 +
only is_a and part_of relationships are loaded
 +
 
 +
Extract of a file to be parsed:
 +
[Term]
 +
id: GO:0000028
 +
name: ribosomal small subunit assembly
 +
namespace: biological_process
 +
def: "The aggregation, arrangement and bonding together of constituent RNAs and proteins to form the small ribosomal subunit." [GOC:jl]
 +
subset: gosubset_prok
 +
synonym: "30S ribosomal subunit assembly" NARROW [GOC:mah]
 +
synonym: "40S ribosomal subunit assembly" NARROW [GOC:mah]
 +
is_a: GO:0022618 ! ribonucleoprotein complex assembly
 +
relationship: part_of GO:0042255 ! ribosome assembly
 +
relationship: part_of GO:0042274 ! ribosomal small subunit biogenesis
 +
"""
 +
def parseTerm(lines):
 +
# search for obsolete
 +
for l in lines:
 +
if l.startswith('is_obsolete: true'): return
 +
# otherwise create node
 +
id = lines.pop(0)[4:].rstrip()
 +
term = gr.add_node(g,id)
 +
term['id'] = id
 +
term['type'] = 'GOTerm'
 +
for line in lines:
 +
# attributes (name, namespace, def)
 +
if line.startswith('name: '): term['name'] = line[6:]
 +
elif line.startswith('namespace: '): term['namespace'] = line[11:]
 +
elif line.startswith('def: '): term['def'] = line[5:]
 +
elif line.startswith('alt_id: '): g['alt_id'][ line[8:] ] = id # alternate ids
 +
# relationships
 +
elif line.startswith('is_a:'): # is_a
 +
parent = line[6:line.index('!')].rstrip()
 +
e = gr.add_edge(g,id, parent)
 +
e['type'] = 'is_a'
 +
elif line.startswith('relationship: part_of '): # part_of
 +
line = line[line.index('GO:'):]
 +
dest = line[:line.index(' ')]
 +
e = gr.add_edge(g,id, dest)
 +
e['type'] = 'part_of'
 +
#
 +
g=gr.create_graph(directed=True, weighted=False)
 +
g['alt_id'] = {} # alternate GO ids
 +
with open(filename) as f:
 +
line = f.readline().rstrip()
 +
# skip header to reach 1st Term
 +
while not line.startswith('[Term]'):
 +
line = f.readline().rstrip()
 +
buff = []
 +
line = f.readline()
 +
stop = False
 +
while line and not stop:
 +
# buffer lines until the next Term is found
 +
line = line.rstrip()
 +
# new Term
 +
if line.startswith('[Term]'):
 +
# next Term found: create corresponding node and edges in parseTerm and empty buffer
 +
parseTerm(buff)
 +
buff=[]
 +
# last Term
 +
elif line.startswith('[Typedef]'):
 +
parseTerm(buff)
 +
stop=True
 +
# or append to buffer
 +
else:
 +
buff.append(line)
 +
line = f.readline()
 +
return g
 +
</source>
 +
 
 +
Exemple pour le GOTerm suivant du fichier <tt>.obo</tt>
 +
[Term]
 +
id: GO:0000028
 +
name: ribosomal small subunit assembly
 +
namespace: biological_process
 +
def: "The aggregation, arrangement and bonding together of constituent RNAs and proteins to form the small ribosomal subunit." [GOC:jl]
 +
subset: gosubset_prok
 +
synonym: "30S ribosomal subunit assembly" NARROW [GOC:mah]
 +
synonym: "40S ribosomal subunit assembly" NARROW [GOC:mah]
 +
is_a: GO:0022618 ! ribonucleoprotein complex assembly
 +
relationship: part_of GO:0042255 ! ribosome assembly
 +
relationship: part_of GO:0042274 ! ribosomal small subunit biogenesis
 +
 
 +
Dans le script python, un sommet correspondant sera créé :
 +
<source lang='python'>
 +
go['nodes']['GO:0000028'] = {
 +
  'id'        : 'GO:0000028',
 +
  'name'      : 'ribosomal small subunit assembly',
 +
  'def'      : 'The aggregation, arrangement and bonding together of constituent RNAs and proteins to form the small ribosomal subunit." [GOC:jl]',
 +
  'namespace' : 'biological_process',
 +
  'type'      : 'GOTerm'
 +
}
 +
</source>
 +
 
 +
Et les arcs suivants :
 +
<source lang='python'>
 +
go['edges']['GO:0000028']['GO:0022618'] = { 'type': 'is_a' }
 +
go['edges']['GO:0000028']['GO:0042255'] = { 'type': 'part_of' }
 +
go['edges']['GO:0000028']['GO:0042274'] = { 'type': 'part_of' }
 +
</source>
 +
 
 +
<big>'''<tt>load_GOA</tt>'''</big>
 +
<source lang='python'>
 +
def load_GOA(go, filename):
 +
"""
 +
parse GOA file and add annotated gene products to previsouly loaded graph go
 +
 
 +
Extract of a file to be parsed:
 +
!gaf-version: 2.1
 +
!GO-version: http://purl.obolibrary.org/obo/go/releases/2016-10-29/go.owl
 +
UniProtKB  A5A605  ykfM      GO:0006974  PMID:20128927  IMP              P  Uncharacterized protein YkfM    YKFM_ECOLI|ykfM|b4586        protein taxon:83333  20100901  EcoCyc
 +
UniProtKB  A5A605  ykfM      GO:0016020  GO_REF:0000037  IEA              C  Uncharacterized protein YkfM    YKFM_ECOLI|ykfM|b4586        protein taxon:83333  20161029  UniProt
 +
UniProtKB  P00448  sodA      GO:0004784  GO_REF:0000003  IEA  EC:1.15.1.1 F  Superoxide dismutase [Mn]      SODM_ECOLI|sodA|JW3879|b3908  protein taxon:83333  20161029  UniProt
 +
UniProtKB  P00393  ndh  NOT  GO:0005737  PMID:6784762    IDA              C  NADH dehydrogenase              DHNA_ECOLI|ndh|JW1095|b1109  protein taxon:83333  20100621  EcoliWiki
 +
    0        1      2  3      4            5          6        7      8            9                              10
 +
            id    name        go_id              evidence-codes                    desc                          aliases
 +
"""
 +
names = {}
 +
go['names'] = names # gene names or gene product names (column 3)
 +
with open(filename) as f:
 +
line = f.readline()
 +
while line:
 +
if not line.startswith('!'):
 +
cols = line.rstrip().split('\t')
 +
id = cols[1]
 +
go_id = cols[4]
 +
if go_id not in go['nodes']: # GOTerm not found search alternate ids
 +
if go_id in go['alt_id']: # success
 +
go_id = go['alt_id'][go_id] # replace term
 +
else: # warn user
 +
print('Warning: could not attach a gene product (%s) to a non existing GO Term (%s)' % (id, go_id))
 +
if go_id in go['nodes']:
 +
# create node for gene product if not already present
 +
if id not in go['nodes']:
 +
g = gr.add_node(go,id)
 +
g['id'] = id
 +
g['type'] = 'GeneProduct'
 +
names[cols[2]] = id
 +
# create or update gene product attributes
 +
gp = go['nodes'][id]
 +
gp['name'] = cols[2]
 +
gp['desc'] = cols[9]
 +
gp['aliases'] = cols[10]
 +
# attach gene product to GOTerm
 +
go_term = go['nodes'][go_id]
 +
e = gr.add_edge(go, id, go_id)
 +
e['type'] = 'annotation'
 +
if 'evidence-codes' not in e: e['evidence-codes'] = []
 +
e['evidence-codes'].append( cols[6] )
 +
else: # go_id or alt_id not found in GOTerms
 +
print('Error: could not attach a gene product (%s) to non existing GO Term (%s)' % (id, go_id))
 +
line = f.readline()
 +
</source>
 +
 
 +
Exemple pour les lignes suivantes du fichier <tt>.goa</tt> d'''Escherichia coli'' K12
 +
UniProtKB      A5A605  ykfM            GO:0006974      PMID:20128927  IMP                                    P      Uncharacterized protein YkfM    YKFM_ECOLI|ykfM|b4586  protein taxon:83333    20100901        EcoCyc         
 +
UniProtKB      A5A605  ykfM            GO:0016020      GO_REF:0000037  IEA    UniProtKB-KW:KW-0472            C      Uncharacterized protein YkfM    YKFM_ECOLI|ykfM|b4586  protein taxon:83333    20161029        UniProt       
 +
UniProtKB      A5A605  ykfM            GO:0016020      GO_REF:0000039  IEA    UniProtKB-SubCell:SL-0162      C      Uncharacterized protein YkfM    YKFM_ECOLI|ykfM|b4586  protein taxon:83333    20161029        UniProt       
 +
UniProtKB      A5A605  ykfM            GO:0016021      GO_REF:0000037  IEA    UniProtKB-KW:KW-0812            C      Uncharacterized protein YkfM    YKFM_ECOLI|ykfM|b4586  protein taxon:83333    20161029        UniProt       
 +
UniProtKB      A5A605  ykfM            GO:0046677      PMID:20128927  IMP                                    P      Uncharacterized protein YkfM    YKFM_ECOLI|ykfM|b4586  protein taxon:83333    20100901        EcoCyc         
-
Un rapport synthétique au format PDF comprenant ''a minima'' les sections :
+
Le sommet suivant sera créé
-
* analyse : analyse du contexte, des besoins et des fonctionnalités à fournir
+
<source lang='python'>
-
* conception : choix d'une représentation et algorithmes (avec leur complexité) pour réaliser les fonctionnalités
+
go['nodes']['A5A605'] = {
-
* réalisation : choix techniques
+
  'id'      : 'A5A605',
-
* bilan et perspectives : est-ce que les besoins sont satisfaits ? qu'est-ce que l'on pourrait améliorer
+
  'name'    : 'ykfM',
 +
  'desc'    : 'Uncharacterized protein YkfM',
 +
  'aliases' : 'YKFM_ECOLI|ykfM|b4586',
 +
  'type'    : 'GeneProduct'
 +
}
 +
</source>
-
Pour ces différentes sections, des schémas peuvent venir appuyer votre discours ; par exemple pour la conception, il est d'usage de fournir un diagramme de classe dans un projet comme celui-ci. Vous pourrez par exemple vous inspirer du diagramme ci-dessous (réalisé avec le logiciel Umbrello) :
+
et les arcs suivants :
 +
<source lang='python'>
 +
go['edges']['A5A605'] = {
 +
  'GO:0006974': { 'evidence-codes': ['IMP'],       'type': 'annotation'},
 +
  'GO:0016020': { 'evidence-codes': ['IEA', 'IEA'], 'type': 'annotation'},
 +
  'GO:0016021': { 'evidence-codes': ['IEA'],        'type': 'annotation'},
 +
  'GO:0046677': { 'evidence-codes': ['IMP'],        'type': 'annotation'}}
 +
</source>
 +
D'autres fonctions avec la documentation sont aussi présentes :
 +
* max_depth
 +
* GOTerms
 +
* GeneProducts
-
Un exemple de choix technique de réalisation (que j'ai personnellement fait) est de ne pas concrètement créer de classe GORelationship : j'ai utilisé des objets de classe Edge et stocké le type comme attribut.
+
Il s'agira de compléter le code pour qu'elles renvoient bien ce qu'elles sont censées renvoyer.

Current revision as of 16:33, 6 November 2023

Bibliothèque Python

Une partie du projet consiste à terminer le module python entamé au cours des TP.

La liste des fonctions à terminer est la suivante (correspond à l'ensemble des questions des 3 premiers TP) :

  • TP1: de create_graph jusqu'à neighbors
  • TP2 : bfs (facultatif : induced_subgraph, clustering_coeficient)
  • TP3 : dfs, is_acyclic, topological_sort
  • TP4 (à confirmer) : BellmanFord (facultatif : script graphmaster.STRINGdb_path.py, FloydWarshall et FloydWarshallPath, diameter)


Une attention particulière sera portée à la qualité du code et de ses commentaires.

Pour cette partie, il n'est pas demandé de rapport et seul un script de tests/validations devra être fourni (ou bien intégré directement dans la bibliothèque) et testera chacune des fonctions sur un exemple.


Gene Ontology

La deuxième partie du projet consiste à étendre la bibliothèque python afin de fournir des utilitaires pour la Gene Ontology. Ses principales fonctionnalités seront :

Une fois ces étapes réalisées, les fonctions à implémenter sont :

  • détermination du plus long chemin possible entre 2 sommets afin d'obtenir la profondeur maximale de chacune des trois ontologies (biological process, molecular function et cellular component)
  • obtention des GeneProducts directement associés à un GOTerm
  • obtention des GOTerms directement associés à un GeneProduct
  • obtention des GeneProducts associés à un GOTerm ou à un de ses descendants (ou ancêtres selon le choix sur l'orientation des arcs lors du chargement du graphe) correspondant à des termes GO plus spécifiques
  • pour un gene product, l'obtention des GO Terms associés en incluant les termes ancêtres (ou descendants ...) correspondant à des termes GO plus généraux

Remarque : Vous êtes libres d'apporter toutes les modifications que vous voulez aux modules commencés en TP ainsi qu'au code fourni pour le chargement de la Gene Ontology et des annotations d'un génome (ex: orientation des arcs, représentation interne du graphe, ...), mais la pertinence et l'efficacité (complexité en temps/espace) seront prises en compte.

Pour le chargement des annotations, le format à prendre en charge s'appelle gaf (version 2.1). Vous pourrez travailler sur le(s) fichier(s) de votre choix. Un ensemble de proteomes est disponible sur le FTP de l'EBI : http://ftp.ebi.ac.uk/pub/databases/GO/goa, notamment le répertoire proteomes, avec le README qui vous indique à quoi correspondent les colonnes des fichiers. Celles (au minimum) à conserver sont :

  • 2) DB_Object_ID = identifiant unique (id)
  • 3) DB_Object_Symbol = nom du produit du gène (name)
  • 7) Evidence Code = qualité de l'annotation (evidence-code)
  • 11) DB_Object_Synonym = autres identifiants pour ce produit de gène (aliases).

Vous devez donc choisir un organisme parmi tout ceux disponibles ou bien en prendre un dans la liste ci dessous :

  1. M. musculus 59.M_musculus.goa - archive de 2017 → Claire
  2. H. sapiens 25.H_sapiens.goa - archive de 2017 → Moussa
  3. C. elegans 9.C_elegans.goa - archive de 2017 → Julie
  4. G. gallus 21457.G_gallus.goa - archive de 2017 → Lucie
  5. R. norvegicus 122.R_norvegicus.goa - archive de 2017
  6. D. melanogaster 17.D_melanogaster.goa - archive de 2017 → Priscilla
  7. A. thaliana 217288.A_thaliana.goa - archive de 2017 → Margaux
  8. D. rerio 4832498.D_rerio_1.goa - archive de 2017 → Jean
  9. S. aureus 22608.S_aureus_NCTC_8325.goa - archive de 2017 → Asmaa
  10. S. cerevisiae 71242.S_cerevisiae_ATCC_204508.goa - archive de 2017 → Anastasiia
  11. S. mutans 102.S_mutans_ATCC_700610.goa - archive de 2017
  12. P. putida 109.P_putida_KT2440.goa - archive de 2017
  13. C. tetani 119.C_tetani.goa - archive de 2017
  14. B. cereus 134.B_cereus_ATCC_14579.goa - archive de 2017 → Catherine
  15. D. radiodurans 16.D_radiodurans.goa - archive de 2017
  16. S. thermophilum 20300.S_thermophilum.goa - archive de 2017
  17. T. thermophilus 20981.T_thermophilus_HB8.goa - archive de 2017
  18. H. influenzae 21.H_influenzae_ATCC_51907.goa - archive de 2017
  19. L. major 21780.L_major.goa - archive de 2017
  20. P. fluorescens 21840.P_fluorescens_Pf-5.goa - archive de 2017
  21. N. crassa 22025.N_crassa.goa - archive de 2017
  22. A. gambiae 22426.A_gambiae.goa - archive de 2017
  23. M. truncatula 23232.M_truncatula.goa - archive de 2017
  24. O. sativa indica 23240.O_sativa_indica.goa - archive de 2017 → Han
  25. P. parasitica 2325912.P_parasitica_CBS_412.66.goa - archive de 2017
  26. O. oeni 25791.O_oeni.goa - archive de 2017
  27. M. smegmatis 25827.M_smegmatis.goa - archive de 2017


Votre choix de l'organisme doit être envoyé par mail à R. Barriot. La règle est que deux étudiant·e·s ne doivent pas travailler sur le même organisme (premier arrivé, premier servi).

Dossier à rendre sous la forme d'une archive au format zip ou tar.gz

Les modules python annotés et assortis de jeux de tests (sans le fichier obo qui est le même pour tous). Cela devrait correspondre à vos fichiers graphmaster.py et geneontology.py.

Un rapport synthétique au format PDF ressemblant à un rapport de projet d'ingéieurie qui comprend en général les sections suivantes :

  • Contexte
Une très brève introduction sur le cadre et l'objectif du projet. La description de l'organisme choisi.
  • Analyse
Analyse du contexte, des besoins et des fonctionnalités à fournir : qu'est-ce qui est disponible et où et qu'est-ce qu'il manque et qu'il faudra réaliser.
  • Conception
Fort de l'analyse précédente, présenter l'approche choisie et pourquoi.
  • Choix d'une représentation (si différente de celle utilisée en TP) : listes ou matrice d'adjacence, informations sur les sommets, les arcs/arêtes, ...
  • Élaboration des algorithmes (avec leur complexité) pour réaliser les fonctionnalités demandées. Par exemple, comment (en français) est conçu votre algorithme pour récupérer tous les GeneProducts concernés par un GOTerm ?
  • Réalisation
    • Choix techniques s'il y en a (ex: format de fichier utilisé, structures de données propres au langage utilisé, ...)
    • Résultats obtenus sur les données traitées
      • Temps d'exécution
      • Nombre de sommets, d'arcs, nombre de GeneProducts, de GOTerms (avec et/ou sans annotations directes), ... il sera intéressant dans cette partie de calculer des statistiques permettant d'étudier à quel point l'organisme choisi est annoté (nombre de gènes annotés vs. nombre de gènes dans le génome, en fonction des différentes branches de la GO, distribution du nombre d'annotation par gènes, ...).
      • Résultats des tests réalisés
  • Discussion
Quelques observations remarquables par rapport à l'annotation en GOTerm de l'organisme utilisé.
  • Bilan et perspectives
    • Est-ce que les besoins sont satisfaits ?
    • Discussion sur les résultats obtenus par rapport aux choix effectués
    • Qu'est-ce qu'il est possible d'améliorer ?
    • Quelles études permettent les résultats et codes obtenus ?

Pour ces différentes sections, des schémas peuvent venir appuyer votre discours.

Date limite d'envoi du dossier : avant le 22 décembre




Retrieved from "http://www.m2p-bioinfo.ups-tlse.fr/p/M1_BBS_Graphes_-_Projets"