Wiki

Version 236 (Etienne Pallier, 03/08/2016 11:57 pm)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 209 Etienne Pallier
*Traitement batch (Python) faisant l'extraction des HK et les associant à leurs fichiers spectres respectifs dans un fichier résultat de log et en les contextualisant* 
4 209 Etienne Pallier
5 220 Etienne Pallier
HELP sur ce wiki : http://www.redmine.org/projects/redmine/wiki/User_Guide
6 1 Etienne Pallier
7 211 Etienne Pallier
8 8 Etienne Pallier
{{toc}}
9 3 Etienne Pallier
10 105 Etienne Pallier
11 1 Etienne Pallier
---
12 211 Etienne Pallier
13 217 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}STATUT ACTUEL DU LOGICIEL%
14 1 Etienne Pallier
15 218 Etienne Pallier
*Version 2.0 en cours...*
16 218 Etienne Pallier
17 223 Etienne Pallier
https://projects.irap.omp.eu/projects/cspechkanalyser/roadmap (puis aller sur la version 2.0) 
18 221 Etienne Pallier
19 215 Etienne Pallier
version:"Version 2.0" (lien direct vers la version 2.0)
20 215 Etienne Pallier
21 225 Etienne Pallier
Trié par sujet : https://projects.irap.omp.eu/projects/cspechkanalyser/issues?page=1&per_page=50&query_id=190
22 224 Etienne Pallier
23 215 Etienne Pallier
(ou bien cliquer sur l'onglet Roadmap)
24 215 Etienne Pallier
25 215 Etienne Pallier
26 215 Etienne Pallier
---
27 1 Etienne Pallier
28 231 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}PRESENTATION DU LOGICIEL%
29 231 Etienne Pallier
30 231 Etienne Pallier
31 231 Etienne Pallier
---
32 231 Etienne Pallier
33 233 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Presentation
34 232 Etienne Pallier
35 124 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}UTILISATION EFFECTIVE EN SALLE BLANCHE%
36 124 Etienne Pallier
37 234 Etienne Pallier
Ce logiciel est installé sur le Pc Chemcam, en salle blanche
38 124 Etienne Pallier
39 235 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Utilisation
40 231 Etienne Pallier
41 231 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}INSTALLATION%
42 231 Etienne Pallier
43 236 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_15_16_2_16
44 105 Etienne Pallier
45 105 Etienne Pallier
---
46 123 Etienne Pallier
47 123 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}DEPOT SVN%
48 123 Etienne Pallier
49 35 Etienne Pallier
50 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
51 35 Etienne Pallier
52 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
53 35 Etienne Pallier
54 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
55 35 Etienne Pallier
56 35 Etienne Pallier
 * Administrateur : Etienne Pallier
57 35 Etienne Pallier
58 35 Etienne Pallier
 * Groupes :
59 76 Etienne Pallier
60 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
61 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
62 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
63 35 Etienne Pallier
64 35 Etienne Pallier
 * Ajout d'utilisateurs 
65 35 Etienne Pallier
66 11 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
67 42 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
68 41 Etienne Pallier
69 104 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
70 104 Etienne Pallier
71 104 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
72 104 Etienne Pallier
73 104 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
74 104 Etienne Pallier
75 104 Etienne Pallier
76 104 Etienne Pallier
77 104 Etienne Pallier
78 121 Etienne Pallier
79 11 Etienne Pallier
80 120 Etienne Pallier
---
81 120 Etienne Pallier
82 227 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}TRANSFORMATION EN VUE D'UNE COLLABORATION AVEC C-GDL (2015 Juin-Juillet)%
83 122 Etienne Pallier
84 134 Etienne Pallier
Suite aux réunions du 29/4/15 et du 22/5/15 avec OG, WR, AC, PM, et EP,
85 152 Etienne Pallier
un nouveau besoin a été exprimé qui pourrait être résolu en faisant collaborer 2 outils existants (C-SPEC-HK et [[cgdl:|C-GDL]]),
86 134 Etienne Pallier
et en leur apportant quelques adaptations.
87 134 Etienne Pallier
88 141 Etienne Pallier
*Actions* : 
89 150 Etienne Pallier
- OG et AC : réfléchir à une simplification éventuelle de l'outil CGDL (en un seul formulaire au lieu de plusieurs onglets)
90 141 Etienne Pallier
91 197 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}1. BESOIN%
92 1 Etienne Pallier
93 131 Etienne Pallier
Créer un *contexte* (ensemble d'informations de description) pour décrire chaque *observation* (série de tirs ChemCam) effectuée en salle blanche.
94 131 Etienne Pallier
A ce contexte, seront automatiquement associés tous les fichiers (spectres, HK, ...) générés à l'occasion des tirs ChemCam.
95 1 Etienne Pallier
Un nouveau contexte devra être créé à chaque fois qu'on change de roche, de distance de tir, ou bien de type d'atmosphère...
96 1 Etienne Pallier
97 198 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}2. SOLUTION TECHNIQUE (updated 3/7/15)%
98 129 Etienne Pallier
99 130 Etienne Pallier
Pour répondre à ce besoin, plutôt que de re-développer un nouvel outil, on doit pouvoir faire collaborer efficacement deux outils existants que sont C-GDL et C-SPEC-HK,
100 130 Etienne Pallier
et qui devront en outre subir quelques adaptations plus ou moins importantes.
101 126 Etienne Pallier
*C-GDL* est une IHM Java qui permet de créer manuellement un contexte 
102 126 Etienne Pallier
*C-SPEC-HK* est un script Python qui s'exécute en permanence en arrière-plan, et qui associe automatiquement les fichiers HK (SOH) aux fichiers spectres et crée un fichier LOG quotidien décrivant ces associations (pour la journée), au fur et à mesure des tirs ChemCam
103 126 Etienne Pallier
Il faut donc faire collaborer ces 2 outils pour qu'un contexte C-GDL soit automatiquement associé aux fichiers générés par les tirs ChemCam et qui sont regroupés par C-SPEC-HK (y-compris le fichier de LOG généré par C-SPEC-HK).
104 126 Etienne Pallier
105 198 Etienne Pallier
h4. 2.1 *Proposition de collaboration entre ces 2 outils*
106 145 Etienne Pallier
107 144 Etienne Pallier
{{thumbnail(Collaboration C-SPEC-HK et C-GDL.jpg, size=300, title=Dashboard_Controller)}}
108 143 Etienne Pallier
109 1 Etienne Pallier
_Document original (Open Office Presentation) : attachment:"Collaboration C-SPEC-HK et C-GDL.odg"_
110 194 Etienne Pallier
111 198 Etienne Pallier
h4. 2.2 *ALGORITHME GENERAL (en Python, mais lisible pour tout le monde)*
112 194 Etienne Pallier
113 205 Etienne Pallier
<pre><code class="python">
114 196 Etienne Pallier
    # delay between each iteration (seconds)
115 196 Etienne Pallier
    ITERATION_DELAY=60
116 194 Etienne Pallier
117 194 Etienne Pallier
    # get today date
118 194 Etienne Pallier
    today = getDate() # YYYYMMDD
119 1 Etienne Pallier
    
120 194 Etienne Pallier
    # process past data files if exist
121 194 Etienne Pallier
    processPastDataFiles(getPastDataFiles())
122 194 Etienne Pallier
    
123 195 Etienne Pallier
    # Every ITERATION_DELAY, process today data files and context files
124 194 Etienne Pallier
    while(True):
125 194 Etienne Pallier
        
126 194 Etienne Pallier
        # if exists new data files for today, re-process ALL today data files according to today context files
127 194 Etienne Pallier
        todayCurrentDataFiles = getTodayCurrentDataFiles()
128 194 Etienne Pallier
        if todayCurrentDataFiles:
129 194 Etienne Pallier
            # Move today current data files from data/ to EQM_DATA/<YYYYMMDD>/ALL/
130 194 Etienne Pallier
            archiveTodayCurrentDataFiles(todayCurrentDataFiles)     
131 194 Etienne Pallier
            # Create/Update <YYYYMMDD>_LOG.csv log file in EQM_DATA/<YYYYMMDD>/, from today current data files in EQM_DATA/<YYYYMMDD>/ALL/ 
132 194 Etienne Pallier
            updateTodayLogFile()               
133 194 Etienne Pallier
            
134 208 Etienne Pallier
        # (re-)Associate all related data files (from TODAY but also from the PAST) with their context files from cgdl/contexts/
135 194 Etienne Pallier
        # and put them into EQM_DATA/YYYYMMDD/BY_CONTEXT/<context name>/
136 208 Etienne Pallier
        bindDataFilesWithContextFilesCreatedOrModifiedOrDeletedToday(getContextFilesCreatedOrModifiedOrDeletedToday())                    
137 194 Etienne Pallier
             
138 194 Etienne Pallier
        # wait 60s
139 194 Etienne Pallier
        time.sleep(ITERATION_DELAY)
140 201 Etienne Pallier
141 201 Etienne Pallier
142 202 Etienne Pallier
143 202 Etienne Pallier
144 206 Etienne Pallier
#########################
145 206 Etienne Pallier
# FONCTIONS IMPORTANTES #
146 206 Etienne Pallier
#########################
147 201 Etienne Pallier
148 201 Etienne Pallier
def copyFilesIntoContextFolderForContextFile(cf):
149 201 Etienne Pallier
    copyContextFileIntoContextFolderForContextFile(cf)
150 201 Etienne Pallier
    copyLogFileIntoContextFolderForContextFile(cf)
151 201 Etienne Pallier
    copyRelatedDataFilesIntoContextFolderForContextFile(cf)
152 201 Etienne Pallier
153 201 Etienne Pallier
154 208 Etienne Pallier
def bindDataFilesWithContextFilesCreatedOrModifiedOrDeletedToday(contextFilesCreatedOrModifiedOrDeletedToday):
155 201 Etienne Pallier
    # Associate today ALL data files from EQM_DATA/YYYYMMDD/ALL/ with their context files from cgdl/contexts/ (and also the EQM_DATA/<YYYYMMDD>/>YYYYMMDD>_LOG.csv log file)
156 201 Etienne Pallier
    # and put them into EQM_DATA/YYYYMMDD/BY_CONTEXT/<context name>/
157 201 Etienne Pallier
    # Process each context file (from oldest to newest)
158 201 Etienne Pallier
    for cf in contextFilesCreatedOrModifiedOrDeletedToday:
159 201 Etienne Pallier
        
160 201 Etienne Pallier
        # DELETED context file
161 201 Etienne Pallier
        if isDeletedContextFile(cf):
162 201 Etienne Pallier
            # This is not actual but only virtual "delete" 
163 201 Etienne Pallier
            deleteContextFolderForContextFile(cf)
164 201 Etienne Pallier
            continue
165 201 Etienne Pallier
        
166 201 Etienne Pallier
        # CREATED OR MODIFIED context file
167 201 Etienne Pallier
        #TODO: This should work even for 2 context files with different names but SAME date and time (both should get filled with the same content) 
168 201 Etienne Pallier
        # if context folder does not yet exist, create it (EQM_DATA/YYYYMMDD/BY_CONTEXT/<context name>/)
169 201 Etienne Pallier
        if not existsContextFolderForContextFile(cf): createContextFolderForContextFile(cf)
170 201 Etienne Pallier
        copyFilesIntoContextFolderForContextFile(cf)
171 201 Etienne Pallier
172 205 Etienne Pallier
</code></pre>
173 194 Etienne Pallier
174 200 Etienne Pallier
h4. 2.3. *Explications du déroulement d'une session d'observations ChemCam (selon le diagramme ci-dessus) (A METTRE A JOUR)* :
175 159 Etienne Pallier
176 185 Etienne Pallier
Cette solution technique a été mise à jour suite à la réunion du 5/6/15 (avec OG, AC, WR, et Richard Hitier).
177 171 Etienne Pallier
178 159 Etienne Pallier
Au démarrage du pc, les 2 logiciels C-SPEC-HK et C_GDL se lancent automatiquement.
179 159 Etienne Pallier
180 190 Etienne Pallier
Voici le workflow idéal :
181 190 Etienne Pallier
182 190 Etienne Pallier
On commence par créer un contexte avec C-GDL (mais on peut très bien le faire a posteriori, après les observations). Une fois enregistré (YYYYMMDD_HHMM-HHMM_context_<parametres>.xml), ce fichier se trouve dans cgdl/contexts/
183 162 Etienne Pallier
184 162 Etienne Pallier
On effectue des tirs ChemCam. Ces tirs génèrent des fichiers (SPEC, SOH...) qui sont automatiquement placés dans le dossier data/.
185 162 Etienne Pallier
Si jamais quelques tirs ont été effectués juste pour tester ChemCam avant de faire les vraies observations, on peut retarder la date début (Start time) du contexte pour que ces tirs ne soient pas pris en compte dans ce contexte.
186 1 Etienne Pallier
187 171 Etienne Pallier
C-SPEC-HK qui tourne en arrière plan effectue le traitement suivant toutes les minutes (ou delta secondes, délai à affiner en production) :
188 162 Etienne Pallier
189 1 Etienne Pallier
1) Il complète (ou crée, si c'est la première itération) le fichier de LOG (YYYYMMDD_LOG.csv) dans le dossier EQM_DATA/YYYYMMDD/
190 162 Etienne Pallier
à partir des fichiers qui sont dans data/
191 172 Etienne Pallier
C'est un fichier texte contenant des données tabulaires (CSV) qui font le lien entre les fichiers spectres et les fichiers HK (SOH et *+_TOUS_+* les autres) associés, en extrayant quelques paramètres essentiels dans les 2 types de fichiers
192 1 Etienne Pallier
193 163 Etienne Pallier
2) Il déplace (move) les fichiers concernés de data/ vers EQM_DATA/YYYYMMDD/ALL/, puisqu'ils ont été traités
194 1 Etienne Pallier
195 165 Etienne Pallier
3) Enfin, il associe les fichiers de données avec les contextes 
196 174 Etienne Pallier
197 185 Etienne Pallier
Pour cela, il suit cet algorithme :
198 165 Etienne Pallier
199 163 Etienne Pallier
* pour chaque fichier de contexte trouvé dans le dossier cgdl/contexts/ qui est à la date du jour :
200 177 Etienne Pallier
  
201 184 Etienne Pallier
 * si un dossier *du même nom* n'existe pas déjà dans EQM_DATA/YYYYMMDD/BY_CONTEXT/, il le crée 
202 184 Etienne Pallier
 * si un dossier *du même nom* existe (qu'il vienne d'être créé ou bien qu'il soit déjà là depuis longtemps), il y copie (copy) tous les fichiers manquants (par rapport à ceux qui devraient y être)
203 184 Etienne Pallier
les fichiers à copier sont :
204 1 Etienne Pallier
205 184 Etienne Pallier
  * le fichier de contexte 
206 184 Etienne Pallier
  * tous les fichiers du dossier EQM_DATA/YYYYMMDD/ALL/ dont la date est comprise entre le "start time" et le "stop time" du contexte
207 184 Etienne Pallier
  * la partie du fichier LOG concernée (on fera une sélection de "start time" à "stop time")
208 184 Etienne Pallier
209 192 Etienne Pallier
* s'il reste des dossiers qui n'ont pas de correspondance avec un contexte (parce qu'un contexte a été renommé ou supprimé), il leur ajoute le préfixe "_DELETED_"
210 1 Etienne Pallier
211 182 Etienne Pallier
_Par ce moyen, on peut créer un contexte qui se termine (bien) plus tard que l'heure actuelle (les nouveaux fichiers seront ainsi ajoutés au fur et à mesure de leur arrivée),
212 184 Etienne Pallier
et on s'assure d'avoir un dossier par contexte, contenant le fichier de contexte (+LOG) et tous les fichiers de données associés.
213 184 Etienne Pallier
Et ces dossiers devraient rester à jour même si le nom du contexte est modifié en cours de journée, voire même supprimé_.
214 179 Etienne Pallier
215 192 Etienne Pallier
NB : il faudra penser à supprimer manuellement de temps en temps les dossiers préfixés par "_DELETED_"
216 166 Etienne Pallier
217 166 Etienne Pallier
Les fichiers de données qui n'ont pas été associés à un contexte (soit par ce qu'aucun contexte n'a été créé dans la journée, soit parce qu'il n'y a pas de contexte créé pour cette période là)
218 166 Etienne Pallier
seront de toutes façons dans le dossier EQM_DATA/YYYYMMDD/ALL/
219 166 Etienne Pallier
220 168 Etienne Pallier
Une fois les sessions d'observations ChemCam terminées, on peut fermer le logiciel C-GDL,
221 168 Etienne Pallier
mais il n'est pas nécessaire de terminer le logiciel C-SPEC-HK car il s'arrêtera automatiquement lors de l'extinction du pc (brutalement, mais, sauf cas exceptionnel, sans dommage)
222 1 Etienne Pallier
223 168 Etienne Pallier
Il sera cependant préférable d'attendre quelques minutes avant d'éteindre le pc après la création, la modification, ou la suppression d'un contexte,
224 168 Etienne Pallier
le temps que C-SPEC-HK traite ce changement dans une nouvelle itération...
225 162 Etienne Pallier
226 161 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}ADAPTATIONS NÉCESSAIRES SUR LES 2 LOGICIELS%
227 133 Etienne Pallier
228 149 Etienne Pallier
*Adaptations de C-GDL* : voir [[cgdl:wiki#Collaboration-avec-loutil-C-SPEC-HK|C-GDL]]
229 1 Etienne Pallier
230 133 Etienne Pallier
*Adaptations de C-SPEC-HK* : 
231 1 Etienne Pallier
232 169 Etienne Pallier
(Le fichier de LOG est un tableau de synthèse qui sera utile pour la partie processing, sorte de masterlist)
233 138 Etienne Pallier
234 169 Etienne Pallier
Transférer TOUS les types de fichiers (TXT, RAW…)
235 1 Etienne Pallier
236 138 Etienne Pallier
Fichier SOH le plus près AVANT le transmit (génère le spectre)
237 138 Etienne Pallier
(ce fichier SOH a été fait après le tir, et avant le transmit)
238 138 Etienne Pallier
239 138 Etienne Pallier
Changer label Distance : dist(mm) => dist SEED (mm)
240 138 Etienne Pallier
241 169 Etienne Pallier
Convertir la colonne pm en distance réelle : (quelqu'un donnera la formule) « dist real (mm)»
242 138 Etienne Pallier
243 138 Etienne Pallier
C-Spec-HK est déjà installé sur le pc-EGSE. Il faudra y ajouter C-GDL.
244 138 Etienne Pallier
245 138 Etienne Pallier
Fichier LOG : Produire un CSV + un fichier HTML (ou fichier texte séparé par tabulations) pour qu'il soit lisible sans devoir passer par Open Office
246 138 Etienne Pallier
247 138 Etienne Pallier
DARK BEFORE/AFTER : priorité au DARK AFTER
248 138 Etienne Pallier
Le DARK BEFORE est très rare, il existerait seulement si il y a 2 DARK à la suite (le 2ème serait le DARK BEFORE du SPECTRE LIBS qui arrive ensuite)
249 138 Etienne Pallier
=> pour simplifier, on peut le supprimer (donc supprimer 2 colonnes dans le fichier LOG)
250 138 Etienne Pallier
251 169 Etienne Pallier
Objectif : passer le délai de la boucle du traitement quotidien à 10 secondes (au lieu de 60 actuellement)
252 138 Etienne Pallier
253 1 Etienne Pallier
Les 2 fichiers "LOG général" et "LOG du jour" doivent s’afficher automatiquement au démarrage
254 1 Etienne Pallier
255 1 Etienne Pallier
Le LOG général affiche l'état en cours d'exécution du script, pour savoir où on en est :
256 138 Etienne Pallier
- a) traitement global des fichiers, avec affichage des dossiers jours créés
257 1 Etienne Pallier
Ne pas afficher le contenu de /home/vx/EQM_DATA/
258 138 Etienne Pallier
(log files « created » in …)
259 138 Etienne Pallier
car ces dossiers ont été créés antérieurement
260 138 Etienne Pallier
N’afficher le contenu QUE du dossier qui vient d’être créé
261 138 Etienne Pallier
- b) traitement quotidien des fichiers du jour, avec affichage de : 
262 138 Etienne Pallier
  - numéro d'itération
263 138 Etienne Pallier
  - fichiers SPECTRE et SOH traités (+ leur nombre)
264 138 Etienne Pallier
265 138 Etienne Pallier
Le LOG quotidien affiche le contenu du fichier LOG du jour (qui se remplit au fur et à mesure)
266 138 Etienne Pallier
267 138 Etienne Pallier
Mettre les 4 champs de température laser
268 138 Etienne Pallier
269 138 Etienne Pallier
Supprimer nshots
270 138 Etienne Pallier
271 169 Etienne Pallier
Dans l'idéal, si on veut vraiment faire collaborer les 3 outils C-Spec-HK, C-GDL, et la prise de photos par la webcam du pc portable de la salle blanche (...), 
272 169 Etienne Pallier
la communication avec la webcam nécessiterait de mettre les 2 pc (PC-EGSE et le portable webcam) en réseau (soit sur le réseau global IRAP, soit sur un réseau privé salle blanche avec un hub ou switch ; sachant que pc-EGSE est déjà en réseau privé avec le BU-EGSE, il faudrait donc mettre ces 3 éléments sur un même réseau, pas simple...).
273 169 Etienne Pallier
En attendant, on pourrait se contenter d'un "mode dégradé", qui consisterait à copier manuellement (via clé ou disque usb) les photos de la webcam sur le pc-EGSE
274 138 Etienne Pallier
275 169 Etienne Pallier
(Changement Technique internes : Ne laisser que c-spec-hk-workflow à la racine du projet, le reste doit être dans un sous-dossier (contiendra c-spec-hk + tests))
276 138 Etienne Pallier
277 138 Etienne Pallier
278 138 Etienne Pallier
279 138 Etienne Pallier
280 138 Etienne Pallier
281 138 Etienne Pallier
282 138 Etienne Pallier
283 138 Etienne Pallier
284 138 Etienne Pallier
285 138 Etienne Pallier
286 138 Etienne Pallier
287 138 Etienne Pallier
288 138 Etienne Pallier
289 138 Etienne Pallier
290 138 Etienne Pallier
291 138 Etienne Pallier
292 138 Etienne Pallier
293 138 Etienne Pallier
294 138 Etienne Pallier
295 138 Etienne Pallier
296 138 Etienne Pallier
297 138 Etienne Pallier
298 138 Etienne Pallier
299 138 Etienne Pallier
300 138 Etienne Pallier
301 138 Etienne Pallier
302 138 Etienne Pallier
303 138 Etienne Pallier
---
304 126 Etienne Pallier
305 120 Etienne Pallier
306 120 Etienne Pallier
---
307 128 Etienne Pallier
308 128 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}SPECIFICATIONS%
309 128 Etienne Pallier
310 1 Etienne Pallier
311 11 Etienne Pallier
312 12 Etienne Pallier
h3. Schéma de connexion
313 11 Etienne Pallier
314 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
315 11 Etienne Pallier
316 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
317 11 Etienne Pallier
- MU : fait les tirs
318 11 Etienne Pallier
- BU : analyse les spectres
319 11 Etienne Pallier
320 11 Etienne Pallier
SOH (Spectra O? HK)
321 11 Etienne Pallier
322 30 Etienne Pallier
h3. Types d’observations
323 30 Etienne Pallier
324 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
325 11 Etienne Pallier
326 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
327 11 Etienne Pallier
-----	---------	------------------
328 11 Etienne Pallier
329 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
330 11 Etienne Pallier
331 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
332 1 Etienne Pallier
333 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
334 11 Etienne Pallier
335 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
336 11 Etienne Pallier
337 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
338 11 Etienne Pallier
339 11 Etienne Pallier
5		32 		BS
340 11 Etienne Pallier
341 11 Etienne Pallier
342 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
343 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
344 11 Etienne Pallier
345 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
346 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
347 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
348 11 Etienne Pallier
349 31 Etienne Pallier
h3. Fichier spectre
350 11 Etienne Pallier
351 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
352 11 Etienne Pallier
A représenter sur axe 
353 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
354 11 Etienne Pallier
- Y : intensité
355 11 Etienne Pallier
356 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
357 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
358 1 Etienne Pallier
359 32 Etienne Pallier
h3. Stratégie de développement
360 13 Etienne Pallier
361 11 Etienne Pallier
Prendre le last stack only
362 11 Etienne Pallier
363 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
364 11 Etienne Pallier
365 11 Etienne Pallier
1 fich/jour
366 11 Etienne Pallier
367 11 Etienne Pallier
Methods to write :
368 11 Etienne Pallier
369 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
370 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
371 11 Etienne Pallier
372 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
373 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
374 16 Etienne Pallier
=> regarde un peu autour (avant et après)
375 11 Etienne Pallier
376 11 Etienne Pallier
findAutofocus(...)
377 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
378 11 Etienne Pallier
379 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
380 11 Etienne Pallier
381 11 Etienne Pallier
data_Feb25_2014_5 
382 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
383 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
384 1 Etienne Pallier
385 11 Etienne Pallier
id, SPECT_file, SOH_file, 
386 1 Etienne Pallier
387 11 Etienne Pallier
// from *_SOH.TXT file :
388 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
389 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
390 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
391 15 Etienne Pallier
pm(cnts), 					// Motor_Position
392 11 Etienne Pallier
393 11 Etienne Pallier
// from *_spect.TXT file :
394 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
395 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
396 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
397 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
398 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
399 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
400 11 Etienne Pallier
401 11 Etienne Pallier
402 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
403 11 Etienne Pallier
404 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
405 11 Etienne Pallier
406 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
407 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
408 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
409 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
410 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
411 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
412 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
413 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
414 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
415 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
416 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
417 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
418 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
419 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
420 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
421 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
422 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
423 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
424 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
425 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
426 15 Etienne Pallier
427 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
428 43 Etienne Pallier
429 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
430 43 Etienne Pallier
431 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
432 43 Etienne Pallier
433 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
434 43 Etienne Pallier
435 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
436 47 Etienne Pallier
437 136 Etienne Pallier
---
438 136 Etienne Pallier
439 83 Etienne Pallier
h2. RECUPERATION DU PROJET
440 91 Etienne Pallier
441 83 Etienne Pallier
442 83 Etienne Pallier
*a) Directement, depuis svn*
443 83 Etienne Pallier
444 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
445 83 Etienne Pallier
446 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
447 1 Etienne Pallier
448 90 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
449 90 Etienne Pallier
450 91 Etienne Pallier
451 58 Etienne Pallier
452 1 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
453 1 Etienne Pallier
454 230 Etienne Pallier
(OLD VERSION) https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
455 86 Etienne Pallier
456 137 Etienne Pallier
---
457 137 Etienne Pallier
458 228 Etienne Pallier
h2. EXECUTION (out of date)
459 92 Etienne Pallier
460 92 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
461 92 Etienne Pallier
462 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
463 92 Etienne Pallier
464 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
465 92 Etienne Pallier
466 92 Etienne Pallier
sudo port select --set python python27
467 92 Etienne Pallier
468 92 Etienne Pallier
$ which python
469 92 Etienne Pallier
/opt/local/bin/python
470 92 Etienne Pallier
471 92 Etienne Pallier
$ python --version
472 92 Etienne Pallier
Python 2.7.9
473 92 Etienne Pallier
474 92 Etienne Pallier
Mettre à jour MacPort :
475 92 Etienne Pallier
sudo port -v selfupdate
476 92 Etienne Pallier
sudo port upgrade outdated
477 92 Etienne Pallier
478 92 Etienne Pallier
479 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
480 92 Etienne Pallier
481 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
482 92 Etienne Pallier
483 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
484 92 Etienne Pallier
485 94 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
486 86 Etienne Pallier
487 89 Etienne Pallier
h3. 2) EXECUTING TESTS
488 89 Etienne Pallier
489 86 Etienne Pallier
h4. Depuis Eclipse
490 86 Etienne Pallier
491 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
492 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
493 86 Etienne Pallier
Run As / Python unit-test
494 89 Etienne Pallier
495 86 Etienne Pallier
496 89 Etienne Pallier
h4. En mode ligne de commande
497 86 Etienne Pallier
498 72 Etienne Pallier
h5. TESTS faits avec Python 2.7
499 72 Etienne Pallier
500 1 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
501 72 Etienne Pallier
502 73 Etienne Pallier
cd test/
503 1 Etienne Pallier
504 72 Etienne Pallier
$ py27 premiertest.py
505 1 Etienne Pallier
<pre>
506 72 Etienne Pallier
...
507 72 Etienne Pallier
----------------------------------------------------------------------
508 1 Etienne Pallier
Ran 3 tests in 0.000s
509 72 Etienne Pallier
510 72 Etienne Pallier
OK
511 73 Etienne Pallier
</pre>
512 72 Etienne Pallier
513 72 Etienne Pallier
$ py27 c_spec_hk_TEST.py
514 72 Etienne Pallier
515 72 Etienne Pallier
<pre>
516 72 Etienne Pallier
...
517 1 Etienne Pallier
======================================================================
518 62 Etienne Pallier
----------------------------------------------------------------------
519 1 Etienne Pallier
Ran 14 tests in 5.833s
520 1 Etienne Pallier
521 72 Etienne Pallier
OK
522 72 Etienne Pallier
</pre>
523 1 Etienne Pallier
524 62 Etienne Pallier
525 72 Etienne Pallier
526 72 Etienne Pallier
527 70 Etienne Pallier
*2) Tests de Performance (Benchmark)*
528 70 Etienne Pallier
529 62 Etienne Pallier
Depuis la racine du projet :
530 62 Etienne Pallier
531 62 Etienne Pallier
<pre>
532 62 Etienne Pallier
$ py27 c_spec_hk.py -t
533 62 Etienne Pallier
...Executing main program...
534 62 Etienne Pallier
Testing execution time of several methods
535 62 Etienne Pallier
536 62 Etienne Pallier
All times are in SECONDS
537 62 Etienne Pallier
538 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
539 62 Etienne Pallier
0.000790863037109
540 62 Etienne Pallier
541 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
542 62 Etienne Pallier
0.000117941689491
543 62 Etienne Pallier
544 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
545 62 Etienne Pallier
0.0429699897766
546 62 Etienne Pallier
547 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
548 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
549 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
550 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
551 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
552 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
553 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
554 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
555 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
556 62 Etienne Pallier
total 56
557 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
558 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
559 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
560 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
561 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
562 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
563 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
564 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
565 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
566 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
567 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
568 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
569 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
570 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
571 62 Etienne Pallier
572 62 Etienne Pallier
1.91459012032
573 1 Etienne Pallier
Average time per day : 0.273513
574 1 Etienne Pallier
575 1 Etienne Pallier
*** finished TIMING ***
576 62 Etienne Pallier
577 1 Etienne Pallier
</pre>
578 86 Etienne Pallier
579 89 Etienne Pallier
580 86 Etienne Pallier
581 72 Etienne Pallier
h5. TESTS faits avec Python 2.6
582 1 Etienne Pallier
583 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
584 1 Etienne Pallier
585 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
586 1 Etienne Pallier
587 72 Etienne Pallier
cd test/
588 72 Etienne Pallier
589 72 Etienne Pallier
$ python premiertest.py
590 72 Etienne Pallier
<pre>
591 72 Etienne Pallier
...
592 72 Etienne Pallier
----------------------------------------------------------------------
593 72 Etienne Pallier
Ran 3 tests in 0.000s
594 72 Etienne Pallier
595 72 Etienne Pallier
OK
596 72 Etienne Pallier
</pre>
597 72 Etienne Pallier
598 72 Etienne Pallier
$ python c_spec_hk_TEST.py
599 72 Etienne Pallier
600 72 Etienne Pallier
<pre>
601 72 Etienne Pallier
...
602 72 Etienne Pallier
======================================================================
603 72 Etienne Pallier
----------------------------------------------------------------------
604 72 Etienne Pallier
Ran 14 tests in 6.742s
605 72 Etienne Pallier
606 72 Etienne Pallier
OK
607 72 Etienne Pallier
</pre>
608 72 Etienne Pallier
609 72 Etienne Pallier
---
610 72 Etienne Pallier
611 72 Etienne Pallier
612 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
613 72 Etienne Pallier
614 58 Etienne Pallier
Depuis la racine du projet 
615 58 Etienne Pallier
616 58 Etienne Pallier
$ ./c_spec_hk.py -t
617 58 Etienne Pallier
<pre>
618 58 Etienne Pallier
...Executing main program...
619 58 Etienne Pallier
Testing execution time of several methods
620 58 Etienne Pallier
621 58 Etienne Pallier
All times are in SECONDS
622 58 Etienne Pallier
623 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
624 58 Etienne Pallier
0.00105306601524
625 58 Etienne Pallier
626 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
627 58 Etienne Pallier
0.000152537894249
628 58 Etienne Pallier
629 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
630 58 Etienne Pallier
0.0518409013748
631 58 Etienne Pallier
632 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
633 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
634 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
635 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
636 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
637 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
638 59 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
639 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
640 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
641 58 Etienne Pallier
total 56
642 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
643 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
644 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
645 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
646 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
647 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
648 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
649 80 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
650 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
651 25 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
652 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
653 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
654 22 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
655 21 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
656 21 Etienne Pallier
657 77 Etienne Pallier
2.33647012711
658 21 Etienne Pallier
Average time per day : 0.333781
659 21 Etienne Pallier
660 1 Etienne Pallier
*** finished TIMING ***
661 96 Etienne Pallier
</pre>
662 21 Etienne Pallier
663 97 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
664 1 Etienne Pallier
665 88 Etienne Pallier
h4. Depuis Eclipse
666 88 Etienne Pallier
667 21 Etienne Pallier
clic-droit sur c_spec_hk.py
668 97 Etienne Pallier
Run As / Python Run
669 21 Etienne Pallier
670 21 Etienne Pallier
h4. In Command line mode
671 1 Etienne Pallier
672 80 Etienne Pallier
	a) Pour voir l'aide :
673 81 Etienne Pallier
674 80 Etienne Pallier
$ python c_spec_hk.py -h
675 1 Etienne Pallier
676 80 Etienne Pallier
...Executing main program...
677 1 Etienne Pallier
678 81 Etienne Pallier
Usage:
679 1 Etienne Pallier
680 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
681 1 Etienne Pallier
OR
682 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
683 1 Etienne Pallier
684 80 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
685 80 Etienne Pallier
686 80 Etienne Pallier
All options available are (none is mandatory) :
687 80 Etienne Pallier
-d : activate DEBUG mode
688 80 Etienne Pallier
-h : print this HELP message
689 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
690 80 Etienne Pallier
-t : test execution TIME of several methods
691 1 Etienne Pallier
-v : print current VERSION number
692 21 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
693 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
694 81 Etienne Pallier
695 80 Etienne Pallier
696 23 Etienne Pallier
697 81 Etienne Pallier
	b) Speed testing (benchmark)
698 21 Etienne Pallier
699 21 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
700 21 Etienne Pallier
701 21 Etienne Pallier
702 82 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
703 1 Etienne Pallier
704 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
705 82 Etienne Pallier
706 21 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
707 21 Etienne Pallier
708 82 Etienne Pallier
Exemple d'affichage attendu :
709 21 Etienne Pallier
710 82 Etienne Pallier
...Executing main program...
711 82 Etienne Pallier
712 21 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
713 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
714 82 Etienne Pallier
715 21 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
716 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
717 82 Etienne Pallier
718 21 Etienne Pallier
Log files created in /tmp/LOGS/ :
719 21 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
720 36 Etienne Pallier
721 54 Etienne Pallier
722 36 Etienne Pallier
---
723 52 Etienne Pallier
724 229 Etienne Pallier
h2. DAILY WORKFLOW (out of date)
725 52 Etienne Pallier
726 1 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
727 52 Etienne Pallier
728 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
729 1 Etienne Pallier
730 1 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
731 52 Etienne Pallier
732 37 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
733 53 Etienne Pallier
734 50 Etienne Pallier
<pre>
735 50 Etienne Pallier
736 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
737 50 Etienne Pallier
738 36 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
739 36 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
740 142 Etienne Pallier
        - le fichier log produit (CSV)
741 40 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
742 48 Etienne Pallier
743 1 Etienne Pallier
</pre>
744 51 Etienne Pallier
745 48 Etienne Pallier
h3. 2) WORKFLOW
746 57 Etienne Pallier
747 55 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
748 1 Etienne Pallier
749 39 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
750 57 Etienne Pallier
751 1 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
752 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
753 57 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
754 57 Etienne Pallier
755 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
756 57 Etienne Pallier
757 48 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
758 1 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
759 51 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
760 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
761 1 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
762 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
763 1 Etienne Pallier
764 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE