Wiki

Version 166 (Etienne Pallier, 05/29/2015 04:15 pm)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 8 Etienne Pallier
{{toc}}
4 3 Etienne Pallier
5 105 Etienne Pallier
6 35 Etienne Pallier
---
7 35 Etienne Pallier
8 1 Etienne Pallier
9 124 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}UTILISATION EFFECTIVE EN SALLE BLANCHE%
10 124 Etienne Pallier
11 124 Etienne Pallier
12 106 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Utilisation_du_logiciel_C_SPEC_H
13 105 Etienne Pallier
14 105 Etienne Pallier
15 105 Etienne Pallier
---
16 123 Etienne Pallier
17 123 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}DEPOT SVN%
18 123 Etienne Pallier
19 35 Etienne Pallier
20 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
21 35 Etienne Pallier
22 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
23 35 Etienne Pallier
24 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
25 35 Etienne Pallier
26 35 Etienne Pallier
 * Administrateur : Etienne Pallier
27 35 Etienne Pallier
28 35 Etienne Pallier
 * Groupes :
29 76 Etienne Pallier
30 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
31 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
32 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
33 35 Etienne Pallier
34 35 Etienne Pallier
 * Ajout d'utilisateurs 
35 35 Etienne Pallier
36 11 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
37 42 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
38 41 Etienne Pallier
39 104 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
40 104 Etienne Pallier
41 104 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
42 104 Etienne Pallier
43 104 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
44 104 Etienne Pallier
45 104 Etienne Pallier
46 104 Etienne Pallier
47 104 Etienne Pallier
48 121 Etienne Pallier
49 11 Etienne Pallier
50 120 Etienne Pallier
---
51 120 Etienne Pallier
52 122 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}COLLABORATION DE CET OUTIL AVEC C-GDL%
53 122 Etienne Pallier
54 134 Etienne Pallier
Suite aux réunions du 29/4/15 et du 22/5/15 avec OG, WR, AC, PM, et EP,
55 152 Etienne Pallier
un nouveau besoin a été exprimé qui pourrait être résolu en faisant collaborer 2 outils existants (C-SPEC-HK et [[cgdl:|C-GDL]]),
56 134 Etienne Pallier
et en leur apportant quelques adaptations.
57 134 Etienne Pallier
58 141 Etienne Pallier
*Actions* : 
59 150 Etienne Pallier
- OG et AC : réfléchir à une simplification éventuelle de l'outil CGDL (en un seul formulaire au lieu de plusieurs onglets)
60 141 Etienne Pallier
- EP : proposer une solution technique répondant au besoin
61 141 Etienne Pallier
62 141 Etienne Pallier
63 1 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}BESOIN%
64 1 Etienne Pallier
65 131 Etienne Pallier
Créer un *contexte* (ensemble d'informations de description) pour décrire chaque *observation* (série de tirs ChemCam) effectuée en salle blanche.
66 131 Etienne Pallier
A ce contexte, seront automatiquement associés tous les fichiers (spectres, HK, ...) générés à l'occasion des tirs ChemCam.
67 1 Etienne Pallier
Un nouveau contexte devra être créé à chaque fois qu'on change de roche, de distance de tir, ou bien de type d'atmosphère...
68 1 Etienne Pallier
69 129 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}SOLUTION TECHNIQUE%
70 129 Etienne Pallier
71 130 Etienne Pallier
Pour répondre à ce besoin, plutôt que de re-développer un nouvel outil, on doit pouvoir faire collaborer efficacement deux outils existants que sont C-GDL et C-SPEC-HK,
72 130 Etienne Pallier
et qui devront en outre subir quelques adaptations plus ou moins importantes.
73 126 Etienne Pallier
*C-GDL* est une IHM Java qui permet de créer manuellement un contexte 
74 126 Etienne Pallier
*C-SPEC-HK* est un script Python qui s'exécute en permanence en arrière-plan, et qui associe automatiquement les fichiers HK (SOH) aux fichiers spectres et crée un fichier LOG quotidien décrivant ces associations (pour la journée), au fur et à mesure des tirs ChemCam
75 126 Etienne Pallier
Il faut donc faire collaborer ces 2 outils pour qu'un contexte C-GDL soit automatiquement associé aux fichiers générés par les tirs ChemCam et qui sont regroupés par C-SPEC-HK (y-compris le fichier de LOG généré par C-SPEC-HK).
76 126 Etienne Pallier
77 145 Etienne Pallier
Voici une proposition de collaboration entre ces 2 outils :
78 145 Etienne Pallier
79 144 Etienne Pallier
{{thumbnail(Collaboration C-SPEC-HK et C-GDL.jpg, size=300, title=Dashboard_Controller)}}
80 143 Etienne Pallier
81 158 Etienne Pallier
_Document original (Open Office Presentation) : attachment:"Collaboration C-SPEC-HK et C-GDL.odg"_
82 154 Etienne Pallier
83 160 Etienne Pallier
*Explications du déroulement d'une session d'observations ChemCam (selon le diagramme ci-dessus)* :
84 159 Etienne Pallier
85 159 Etienne Pallier
Au démarrage du pc, les 2 logiciels C-SPEC-HK et C_GDL se lancent automatiquement.
86 159 Etienne Pallier
87 163 Etienne Pallier
Dans l'idéal, on commence par créer un contexte avec C-GDL (mais on peut très bien le faire a posteriori, après les observations). Une fois enregistré (YYYYMMDD_HHMM-HHMM_context_<parametres>.xml), ce fichier se trouve dans cgdl/contexts/
88 162 Etienne Pallier
89 162 Etienne Pallier
On effectue des tirs ChemCam. Ces tirs génèrent des fichiers (SPEC, SOH...) qui sont automatiquement placés dans le dossier data/.
90 162 Etienne Pallier
Si jamais quelques tirs ont été effectués juste pour tester ChemCam avant de faire les vraies observations, on peut retarder la date début (Start time) du contexte pour que ces tirs ne soient pas pris en compte dans ce contexte.
91 162 Etienne Pallier
92 162 Etienne Pallier
C-SPEC-HK qui tourne en arrière plan effectue le traitement suivant toutes les minutes (délai à affiner en production) :
93 162 Etienne Pallier
94 162 Etienne Pallier
1) Il complète (ou crée, si c'est la première itération) le fichier de LOG (YYYYMMDD_LOG.csv) dans le dossier EQM_DATA/YYYYMMDD/
95 162 Etienne Pallier
à partir des fichiers qui sont dans data/
96 162 Etienne Pallier
Ce fichier de LOG un est fichier texte contenant des données tabulaires (CSV) qui font le lien entre les fichiers spectres et les fichiers HK (SOH) associés, en extrayant quelques paramètres essentiels dans les 2 types de fichiers
97 1 Etienne Pallier
98 163 Etienne Pallier
2) Il déplace (move) les fichiers concernés de data/ vers EQM_DATA/YYYYMMDD/ALL/, puisqu'ils ont été traités
99 163 Etienne Pallier
100 163 Etienne Pallier
3) Enfin, il associe les fichiers de données avec les contextes 
101 163 Etienne Pallier
Pour cela, il suit l'algorithme suivant :
102 165 Etienne Pallier
103 163 Etienne Pallier
* si un (ou des) dossier existant dans EQM_DATA/YYYYMMDD/BY_CONTEXT/ ne correspond plus à un nom de contexte existant dans le dossier cgdl/contexts/ (parce que le nom du contexte a été modifié ou que le contexte a été supprimé), il est supprimé
104 165 Etienne Pallier
105 163 Etienne Pallier
* pour chaque fichier de contexte trouvé dans le dossier cgdl/contexts/ qui est à la date du jour :
106 164 Etienne Pallier
107 163 Etienne Pallier
 * si un dossier *du même nom* n'existe pas déjà dans EQM_DATA/YYYYMMDD/BY_CONTEXT/, il le crée
108 163 Etienne Pallier
 * il y copie (copy) le fichier de contexte ainsi que tous les fichiers de données du dossier EQM_DATA/YYYYMMDD/ALL/ dont la date est comprise entre le "start time" et le "stop time" du contexte
109 163 Etienne Pallier
110 166 Etienne Pallier
Par ce moyen, on s'assure d'avoir un dossier par contexte, contenant le fichier de contexte et tous les fichiers de données associés.
111 166 Etienne Pallier
Et ces dossiers devraient rester à jour même si le nom du contexte est modifié en cours de journée, voire même supprimé.
112 166 Etienne Pallier
113 166 Etienne Pallier
Les fichiers de données qui n'ont pas été associés à un contexte (soit par ce qu'aucun contexte n'a été créé dans la journée, soit parce qu'il n'y a pas de contexte créé pour cette période là)
114 166 Etienne Pallier
seront de toutes façons dans le dossier EQM_DATA/YYYYMMDD/ALL/
115 166 Etienne Pallier
116 163 Etienne Pallier
117 162 Etienne Pallier
 
118 162 Etienne Pallier
119 162 Etienne Pallier
120 162 Etienne Pallier
121 162 Etienne Pallier
122 162 Etienne Pallier
123 162 Etienne Pallier
124 162 Etienne Pallier
125 162 Etienne Pallier
126 162 Etienne Pallier
127 162 Etienne Pallier
128 162 Etienne Pallier
129 159 Etienne Pallier
Une fois les sessions d'observations ChemCam terminées, on peut fermer le logiciel C-GDL,
130 159 Etienne Pallier
mais il n'est pas nécessaire de terminer le logiciel C-SPEC-HK car il s'arrêtera automatiquement lors de l'extinction du pc (brutalement, mais sans dommage)
131 159 Etienne Pallier
132 161 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}ADAPTATIONS NÉCESSAIRES SUR LES 2 LOGICIELS%
133 133 Etienne Pallier
134 149 Etienne Pallier
*Adaptations de C-GDL* : voir [[cgdl:wiki#Collaboration-avec-loutil-C-SPEC-HK|C-GDL]]
135 133 Etienne Pallier
136 139 Etienne Pallier
*Adaptations de C-SPEC-HK* : 
137 138 Etienne Pallier
138 138 Etienne Pallier
NOUVELLES NOTES A TRIER
139 138 Etienne Pallier
140 138 Etienne Pallier
Transférer tous les types de fichiers (TXT, RAW…)
141 138 Etienne Pallier
142 138 Etienne Pallier
Fichier SOH le plus près AVANT le transmit (génère le spectre)
143 138 Etienne Pallier
144 138 Etienne Pallier
(ce fichier SOH a été fait après le tir, et avant le transmit)
145 138 Etienne Pallier
146 138 Etienne Pallier
Changer label Distance : dist(mm) => dist SEED (mm)
147 138 Etienne Pallier
148 138 Etienne Pallier
Tableau utile pour la partie processing, sorte de masterlist
149 138 Etienne Pallier
150 138 Etienne Pallier
Convertir la colonne pm en distance réelle : (donner formule) « dist real (mm)»
151 138 Etienne Pallier
152 138 Etienne Pallier
******************
153 138 Etienne Pallier
154 138 Etienne Pallier
Anciennes notes à trier :
155 138 Etienne Pallier
156 138 Etienne Pallier
*Objectif final* : Faire collaborer les 3 outils C-Spec-HK, C-GDL, et la prise de photos par la webcam du pc portable de la salle blanche
157 138 Etienne Pallier
158 138 Etienne Pallier
C-Spec-HK est déjà installé sur le pc-EGSE. Il faudra y ajouter C-GDL.
159 138 Etienne Pallier
Dans l'idéal, la communication avec la webcam nécessitera de mettre les 2 pc (PC-EGSE et le portable webcam) en réseau (soit sur le réseau global IRAP, soit sur un réseau privé salle blanche avec un hub ou switch ; sachant que pc-EGSE est déjà en réseau privé avec le BU-EGSE, il faudrait donc mettre ces 3 éléments sur un même réseau).
160 138 Etienne Pallier
En attendant, on pourrait se contenter d'un "mode dégradé", qui consisterait à copier manuellement (via clé ou disque usb) les photos de la webcam sur le pc-EGSE
161 138 Etienne Pallier
162 138 Etienne Pallier
Fichier LOG : Produire un CSV + un fichier HTML (ou fichier texte séparé par tabulations) pour qu'il soit lisible sans devoir passer par Open Office
163 138 Etienne Pallier
164 138 Etienne Pallier
DARK BEFORE/AFTER : priorité au DARK AFTER
165 138 Etienne Pallier
Le DARK BEFORE est très rare, il existerait seulement si il y a 2 DARK à la suite (le 2ème serait le DARK BEFORE du SPECTRE LIBS qui arrive ensuite)
166 138 Etienne Pallier
=> pour simplifier, on peut le supprimer (donc supprimer 2 colonnes dans le fichier LOG)
167 138 Etienne Pallier
168 138 Etienne Pallier
Passer le délai de la boucle du traitement quotidien à 2 secondes (au lieu de 60 actuellement)
169 138 Etienne Pallier
170 138 Etienne Pallier
Les 2 fichiers "LOG général" et "LOG du jour" doivent s’afficher automatiquement au démarrage
171 138 Etienne Pallier
172 138 Etienne Pallier
Le LOG général affiche l'état en cours d'exécution du script, pour savoir où on en est :
173 138 Etienne Pallier
- a) traitement global des fichiers, avec affichage des dossiers jours créés
174 138 Etienne Pallier
Ne pas afficher le contenu de /home/vx/EQM_DATA/
175 138 Etienne Pallier
(log files « created » in …)
176 138 Etienne Pallier
car ces dossiers ont été créés antérieurement
177 138 Etienne Pallier
N’afficher le contenu QUE du dossier qui vient d’être créé
178 138 Etienne Pallier
- b) traitement quotidien des fichiers du jour, avec affichage de : 
179 138 Etienne Pallier
  - numéro d'itération
180 138 Etienne Pallier
  - fichiers SPECTRE et SOH traités (+ leur nombre)
181 138 Etienne Pallier
182 138 Etienne Pallier
Le LOG quotidien affiche le contenu du fichier LOG du jour (qui se remplit au fur et à mesure)
183 138 Etienne Pallier
184 138 Etienne Pallier
Mettre les 4 champs de température laser
185 138 Etienne Pallier
186 138 Etienne Pallier
Formule pour distance à partir de pm (quelqu'un doit me la donner)
187 138 Etienne Pallier
(supprimer dist(mm))
188 138 Etienne Pallier
189 138 Etienne Pallier
Supprimer nshots
190 138 Etienne Pallier
191 138 Etienne Pallier
Créer un dossier avec pour nom datedujour+contexte-name/
192 138 Etienne Pallier
Si pas de contexte avec la date du jour (au démarrage), créer un dossier datedujour+NO-CONTEXT/
193 138 Etienne Pallier
Quand le contexte change (un nouveau fichier contexte a été créé via C-GDL), alors un nouveau dossier est créé
194 138 Etienne Pallier
*Problème : que va-t-il se passer si le contexte est créé A POSTERIORI, après avoir fait tous les tirs ???*
195 138 Etienne Pallier
196 138 Etienne Pallier
(Technique interne : Ne laisser que c-spec-hk-workflow à la racine du projet, le reste doit être dans un sous-dossier (contiendra c-spec-hk + tests))
197 138 Etienne Pallier
198 138 Etienne Pallier
199 138 Etienne Pallier
200 138 Etienne Pallier
201 138 Etienne Pallier
202 138 Etienne Pallier
203 138 Etienne Pallier
204 138 Etienne Pallier
205 138 Etienne Pallier
206 138 Etienne Pallier
207 138 Etienne Pallier
208 138 Etienne Pallier
209 138 Etienne Pallier
210 138 Etienne Pallier
211 138 Etienne Pallier
212 138 Etienne Pallier
213 138 Etienne Pallier
214 138 Etienne Pallier
215 138 Etienne Pallier
216 138 Etienne Pallier
217 138 Etienne Pallier
218 138 Etienne Pallier
219 138 Etienne Pallier
220 138 Etienne Pallier
221 138 Etienne Pallier
222 138 Etienne Pallier
223 138 Etienne Pallier
224 138 Etienne Pallier
225 138 Etienne Pallier
226 138 Etienne Pallier
---
227 126 Etienne Pallier
228 120 Etienne Pallier
229 120 Etienne Pallier
---
230 128 Etienne Pallier
231 128 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}SPECIFICATIONS%
232 128 Etienne Pallier
233 1 Etienne Pallier
234 11 Etienne Pallier
235 12 Etienne Pallier
h3. Schéma de connexion
236 11 Etienne Pallier
237 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
238 11 Etienne Pallier
239 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
240 11 Etienne Pallier
- MU : fait les tirs
241 11 Etienne Pallier
- BU : analyse les spectres
242 11 Etienne Pallier
243 11 Etienne Pallier
SOH (Spectra O? HK)
244 11 Etienne Pallier
245 30 Etienne Pallier
h3. Types d’observations
246 30 Etienne Pallier
247 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
248 11 Etienne Pallier
249 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
250 11 Etienne Pallier
-----	---------	------------------
251 11 Etienne Pallier
252 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
253 11 Etienne Pallier
254 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
255 1 Etienne Pallier
256 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
257 11 Etienne Pallier
258 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
259 11 Etienne Pallier
260 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
261 11 Etienne Pallier
262 11 Etienne Pallier
5		32 		BS
263 11 Etienne Pallier
264 11 Etienne Pallier
265 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
266 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
267 11 Etienne Pallier
268 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
269 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
270 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
271 11 Etienne Pallier
272 31 Etienne Pallier
h3. Fichier spectre
273 11 Etienne Pallier
274 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
275 11 Etienne Pallier
A représenter sur axe 
276 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
277 11 Etienne Pallier
- Y : intensité
278 11 Etienne Pallier
279 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
280 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
281 1 Etienne Pallier
282 32 Etienne Pallier
h3. Stratégie de développement
283 13 Etienne Pallier
284 11 Etienne Pallier
Prendre le last stack only
285 11 Etienne Pallier
286 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
287 11 Etienne Pallier
288 11 Etienne Pallier
1 fich/jour
289 11 Etienne Pallier
290 11 Etienne Pallier
Methods to write :
291 11 Etienne Pallier
292 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
293 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
294 11 Etienne Pallier
295 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
296 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
297 16 Etienne Pallier
=> regarde un peu autour (avant et après)
298 11 Etienne Pallier
299 11 Etienne Pallier
findAutofocus(...)
300 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
301 11 Etienne Pallier
302 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
303 11 Etienne Pallier
304 11 Etienne Pallier
data_Feb25_2014_5 
305 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
306 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
307 1 Etienne Pallier
308 11 Etienne Pallier
id, SPECT_file, SOH_file, 
309 1 Etienne Pallier
310 11 Etienne Pallier
// from *_SOH.TXT file :
311 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
312 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
313 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
314 15 Etienne Pallier
pm(cnts), 					// Motor_Position
315 11 Etienne Pallier
316 11 Etienne Pallier
// from *_spect.TXT file :
317 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
318 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
319 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
320 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
321 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
322 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
323 11 Etienne Pallier
324 11 Etienne Pallier
325 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
326 11 Etienne Pallier
327 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
328 11 Etienne Pallier
329 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
330 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
331 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
332 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
333 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
334 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
335 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
336 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
337 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
338 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
339 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
340 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
341 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
342 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
343 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
344 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
345 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
346 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
347 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
348 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
349 15 Etienne Pallier
350 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
351 43 Etienne Pallier
352 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
353 43 Etienne Pallier
354 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
355 43 Etienne Pallier
356 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
357 43 Etienne Pallier
358 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
359 47 Etienne Pallier
360 136 Etienne Pallier
---
361 136 Etienne Pallier
362 83 Etienne Pallier
h2. RECUPERATION DU PROJET
363 91 Etienne Pallier
364 83 Etienne Pallier
365 83 Etienne Pallier
*a) Directement, depuis svn*
366 83 Etienne Pallier
367 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
368 83 Etienne Pallier
369 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
370 1 Etienne Pallier
371 90 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
372 90 Etienne Pallier
373 91 Etienne Pallier
374 58 Etienne Pallier
375 1 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
376 1 Etienne Pallier
377 1 Etienne Pallier
https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
378 86 Etienne Pallier
379 137 Etienne Pallier
---
380 137 Etienne Pallier
381 95 Etienne Pallier
h2. EXECUTION
382 92 Etienne Pallier
383 92 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
384 92 Etienne Pallier
385 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
386 92 Etienne Pallier
387 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
388 92 Etienne Pallier
389 92 Etienne Pallier
sudo port select --set python python27
390 92 Etienne Pallier
391 92 Etienne Pallier
$ which python
392 92 Etienne Pallier
/opt/local/bin/python
393 92 Etienne Pallier
394 92 Etienne Pallier
$ python --version
395 92 Etienne Pallier
Python 2.7.9
396 92 Etienne Pallier
397 92 Etienne Pallier
Mettre à jour MacPort :
398 92 Etienne Pallier
sudo port -v selfupdate
399 92 Etienne Pallier
sudo port upgrade outdated
400 92 Etienne Pallier
401 92 Etienne Pallier
402 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
403 92 Etienne Pallier
404 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
405 92 Etienne Pallier
406 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
407 92 Etienne Pallier
408 94 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
409 86 Etienne Pallier
410 89 Etienne Pallier
h3. 2) EXECUTING TESTS
411 89 Etienne Pallier
412 86 Etienne Pallier
h4. Depuis Eclipse
413 86 Etienne Pallier
414 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
415 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
416 86 Etienne Pallier
Run As / Python unit-test
417 89 Etienne Pallier
418 86 Etienne Pallier
419 89 Etienne Pallier
h4. En mode ligne de commande
420 86 Etienne Pallier
421 72 Etienne Pallier
h5. TESTS faits avec Python 2.7
422 72 Etienne Pallier
423 1 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
424 72 Etienne Pallier
425 73 Etienne Pallier
cd test/
426 1 Etienne Pallier
427 72 Etienne Pallier
$ py27 premiertest.py
428 1 Etienne Pallier
<pre>
429 72 Etienne Pallier
...
430 72 Etienne Pallier
----------------------------------------------------------------------
431 1 Etienne Pallier
Ran 3 tests in 0.000s
432 72 Etienne Pallier
433 72 Etienne Pallier
OK
434 73 Etienne Pallier
</pre>
435 72 Etienne Pallier
436 72 Etienne Pallier
$ py27 c_spec_hk_TEST.py
437 72 Etienne Pallier
438 72 Etienne Pallier
<pre>
439 72 Etienne Pallier
...
440 1 Etienne Pallier
======================================================================
441 62 Etienne Pallier
----------------------------------------------------------------------
442 1 Etienne Pallier
Ran 14 tests in 5.833s
443 1 Etienne Pallier
444 72 Etienne Pallier
OK
445 72 Etienne Pallier
</pre>
446 1 Etienne Pallier
447 62 Etienne Pallier
448 72 Etienne Pallier
449 72 Etienne Pallier
450 70 Etienne Pallier
*2) Tests de Performance (Benchmark)*
451 70 Etienne Pallier
452 62 Etienne Pallier
Depuis la racine du projet :
453 62 Etienne Pallier
454 62 Etienne Pallier
<pre>
455 62 Etienne Pallier
$ py27 c_spec_hk.py -t
456 62 Etienne Pallier
...Executing main program...
457 62 Etienne Pallier
Testing execution time of several methods
458 62 Etienne Pallier
459 62 Etienne Pallier
All times are in SECONDS
460 62 Etienne Pallier
461 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
462 62 Etienne Pallier
0.000790863037109
463 62 Etienne Pallier
464 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
465 62 Etienne Pallier
0.000117941689491
466 62 Etienne Pallier
467 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
468 62 Etienne Pallier
0.0429699897766
469 62 Etienne Pallier
470 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
471 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
472 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
473 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
474 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
475 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
476 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
477 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
478 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
479 62 Etienne Pallier
total 56
480 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
481 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
482 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
483 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
484 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
485 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
486 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
487 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
488 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
489 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
490 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
491 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
492 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
493 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
494 62 Etienne Pallier
495 62 Etienne Pallier
1.91459012032
496 1 Etienne Pallier
Average time per day : 0.273513
497 1 Etienne Pallier
498 1 Etienne Pallier
*** finished TIMING ***
499 62 Etienne Pallier
500 1 Etienne Pallier
</pre>
501 86 Etienne Pallier
502 89 Etienne Pallier
503 86 Etienne Pallier
504 72 Etienne Pallier
h5. TESTS faits avec Python 2.6
505 1 Etienne Pallier
506 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
507 1 Etienne Pallier
508 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
509 1 Etienne Pallier
510 72 Etienne Pallier
cd test/
511 72 Etienne Pallier
512 72 Etienne Pallier
$ python premiertest.py
513 72 Etienne Pallier
<pre>
514 72 Etienne Pallier
...
515 72 Etienne Pallier
----------------------------------------------------------------------
516 72 Etienne Pallier
Ran 3 tests in 0.000s
517 72 Etienne Pallier
518 72 Etienne Pallier
OK
519 72 Etienne Pallier
</pre>
520 72 Etienne Pallier
521 72 Etienne Pallier
$ python c_spec_hk_TEST.py
522 72 Etienne Pallier
523 72 Etienne Pallier
<pre>
524 72 Etienne Pallier
...
525 72 Etienne Pallier
======================================================================
526 72 Etienne Pallier
----------------------------------------------------------------------
527 72 Etienne Pallier
Ran 14 tests in 6.742s
528 72 Etienne Pallier
529 72 Etienne Pallier
OK
530 72 Etienne Pallier
</pre>
531 72 Etienne Pallier
532 72 Etienne Pallier
---
533 72 Etienne Pallier
534 72 Etienne Pallier
535 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
536 72 Etienne Pallier
537 58 Etienne Pallier
Depuis la racine du projet 
538 58 Etienne Pallier
539 58 Etienne Pallier
$ ./c_spec_hk.py -t
540 58 Etienne Pallier
<pre>
541 58 Etienne Pallier
...Executing main program...
542 58 Etienne Pallier
Testing execution time of several methods
543 58 Etienne Pallier
544 58 Etienne Pallier
All times are in SECONDS
545 58 Etienne Pallier
546 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
547 58 Etienne Pallier
0.00105306601524
548 58 Etienne Pallier
549 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
550 58 Etienne Pallier
0.000152537894249
551 58 Etienne Pallier
552 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
553 58 Etienne Pallier
0.0518409013748
554 58 Etienne Pallier
555 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
556 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
557 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
558 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
559 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
560 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
561 59 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
562 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
563 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
564 58 Etienne Pallier
total 56
565 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
566 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
567 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
568 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
569 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
570 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
571 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
572 80 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
573 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
574 25 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
575 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
576 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
577 22 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
578 21 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
579 21 Etienne Pallier
580 77 Etienne Pallier
2.33647012711
581 21 Etienne Pallier
Average time per day : 0.333781
582 21 Etienne Pallier
583 1 Etienne Pallier
*** finished TIMING ***
584 96 Etienne Pallier
</pre>
585 21 Etienne Pallier
586 97 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
587 1 Etienne Pallier
588 88 Etienne Pallier
h4. Depuis Eclipse
589 88 Etienne Pallier
590 21 Etienne Pallier
clic-droit sur c_spec_hk.py
591 97 Etienne Pallier
Run As / Python Run
592 21 Etienne Pallier
593 21 Etienne Pallier
h4. In Command line mode
594 1 Etienne Pallier
595 80 Etienne Pallier
	a) Pour voir l'aide :
596 81 Etienne Pallier
597 80 Etienne Pallier
$ python c_spec_hk.py -h
598 1 Etienne Pallier
599 80 Etienne Pallier
...Executing main program...
600 1 Etienne Pallier
601 81 Etienne Pallier
Usage:
602 1 Etienne Pallier
603 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
604 1 Etienne Pallier
OR
605 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
606 1 Etienne Pallier
607 80 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
608 80 Etienne Pallier
609 80 Etienne Pallier
All options available are (none is mandatory) :
610 80 Etienne Pallier
-d : activate DEBUG mode
611 80 Etienne Pallier
-h : print this HELP message
612 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
613 80 Etienne Pallier
-t : test execution TIME of several methods
614 1 Etienne Pallier
-v : print current VERSION number
615 21 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
616 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
617 81 Etienne Pallier
618 80 Etienne Pallier
619 23 Etienne Pallier
620 81 Etienne Pallier
	b) Speed testing (benchmark)
621 21 Etienne Pallier
622 21 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
623 21 Etienne Pallier
624 21 Etienne Pallier
625 82 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
626 1 Etienne Pallier
627 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
628 82 Etienne Pallier
629 21 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
630 21 Etienne Pallier
631 82 Etienne Pallier
Exemple d'affichage attendu :
632 21 Etienne Pallier
633 82 Etienne Pallier
...Executing main program...
634 82 Etienne Pallier
635 21 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
636 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
637 82 Etienne Pallier
638 21 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
639 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
640 82 Etienne Pallier
641 21 Etienne Pallier
Log files created in /tmp/LOGS/ :
642 21 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
643 36 Etienne Pallier
644 54 Etienne Pallier
645 36 Etienne Pallier
---
646 52 Etienne Pallier
647 50 Etienne Pallier
h2. DAILY WORKFLOW
648 52 Etienne Pallier
649 1 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
650 52 Etienne Pallier
651 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
652 1 Etienne Pallier
653 1 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
654 52 Etienne Pallier
655 37 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
656 53 Etienne Pallier
657 50 Etienne Pallier
<pre>
658 50 Etienne Pallier
659 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
660 50 Etienne Pallier
661 36 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
662 36 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
663 142 Etienne Pallier
        - le fichier log produit (CSV)
664 40 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
665 48 Etienne Pallier
666 1 Etienne Pallier
</pre>
667 51 Etienne Pallier
668 48 Etienne Pallier
h3. 2) WORKFLOW
669 57 Etienne Pallier
670 55 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
671 1 Etienne Pallier
672 39 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
673 57 Etienne Pallier
674 1 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
675 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
676 57 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
677 57 Etienne Pallier
678 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
679 57 Etienne Pallier
680 48 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
681 1 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
682 51 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
683 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
684 1 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
685 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
686 1 Etienne Pallier
687 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE