Wiki

Version 131 (Etienne Pallier, 05/28/2015 11:22 am)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 8 Etienne Pallier
{{toc}}
4 3 Etienne Pallier
5 105 Etienne Pallier
6 35 Etienne Pallier
---
7 35 Etienne Pallier
8 1 Etienne Pallier
9 124 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}UTILISATION EFFECTIVE EN SALLE BLANCHE%
10 124 Etienne Pallier
11 124 Etienne Pallier
12 106 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Utilisation_du_logiciel_C_SPEC_H
13 105 Etienne Pallier
14 105 Etienne Pallier
15 105 Etienne Pallier
---
16 123 Etienne Pallier
17 123 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}DEPOT SVN%
18 123 Etienne Pallier
19 35 Etienne Pallier
20 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
21 35 Etienne Pallier
22 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
23 35 Etienne Pallier
24 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
25 35 Etienne Pallier
26 35 Etienne Pallier
 * Administrateur : Etienne Pallier
27 35 Etienne Pallier
28 35 Etienne Pallier
 * Groupes :
29 76 Etienne Pallier
30 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
31 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
32 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
33 35 Etienne Pallier
34 35 Etienne Pallier
 * Ajout d'utilisateurs 
35 35 Etienne Pallier
36 11 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
37 42 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
38 41 Etienne Pallier
39 104 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
40 104 Etienne Pallier
41 104 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
42 104 Etienne Pallier
43 104 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
44 104 Etienne Pallier
45 104 Etienne Pallier
46 104 Etienne Pallier
47 104 Etienne Pallier
48 121 Etienne Pallier
49 11 Etienne Pallier
50 120 Etienne Pallier
---
51 120 Etienne Pallier
52 122 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}COLLABORATION DE CET OUTIL AVEC C-GDL%
53 122 Etienne Pallier
54 1 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}BESOIN%
55 1 Etienne Pallier
56 131 Etienne Pallier
Créer un *contexte* (ensemble d'informations de description) pour décrire chaque *observation* (série de tirs ChemCam) effectuée en salle blanche.
57 131 Etienne Pallier
A ce contexte, seront automatiquement associés tous les fichiers (spectres, HK, ...) générés à l'occasion des tirs ChemCam.
58 1 Etienne Pallier
Un nouveau contexte devra être créé à chaque fois qu'on change de roche, de distance de tir, ou bien de type d'atmosphère...
59 1 Etienne Pallier
60 129 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}SOLUTION TECHNIQUE%
61 129 Etienne Pallier
62 130 Etienne Pallier
Pour répondre à ce besoin, plutôt que de re-développer un nouvel outil, on doit pouvoir faire collaborer efficacement deux outils existants que sont C-GDL et C-SPEC-HK,
63 130 Etienne Pallier
et qui devront en outre subir quelques adaptations plus ou moins importantes.
64 126 Etienne Pallier
*C-GDL* est une IHM Java qui permet de créer manuellement un contexte 
65 126 Etienne Pallier
*C-SPEC-HK* est un script Python qui s'exécute en permanence en arrière-plan, et qui associe automatiquement les fichiers HK (SOH) aux fichiers spectres et crée un fichier LOG quotidien décrivant ces associations (pour la journée), au fur et à mesure des tirs ChemCam
66 126 Etienne Pallier
Il faut donc faire collaborer ces 2 outils pour qu'un contexte C-GDL soit automatiquement associé aux fichiers générés par les tirs ChemCam et qui sont regroupés par C-SPEC-HK (y-compris le fichier de LOG généré par C-SPEC-HK).
67 126 Etienne Pallier
68 126 Etienne Pallier
69 120 Etienne Pallier
70 120 Etienne Pallier
---
71 128 Etienne Pallier
72 128 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}SPECIFICATIONS%
73 128 Etienne Pallier
74 1 Etienne Pallier
75 11 Etienne Pallier
76 12 Etienne Pallier
h3. Schéma de connexion
77 11 Etienne Pallier
78 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
79 11 Etienne Pallier
80 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
81 11 Etienne Pallier
- MU : fait les tirs
82 11 Etienne Pallier
- BU : analyse les spectres
83 11 Etienne Pallier
84 11 Etienne Pallier
SOH (Spectra O? HK)
85 11 Etienne Pallier
86 30 Etienne Pallier
h3. Types d’observations
87 30 Etienne Pallier
88 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
89 11 Etienne Pallier
90 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
91 11 Etienne Pallier
-----	---------	------------------
92 11 Etienne Pallier
93 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
94 11 Etienne Pallier
95 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
96 1 Etienne Pallier
97 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
98 11 Etienne Pallier
99 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
100 11 Etienne Pallier
101 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
102 11 Etienne Pallier
103 11 Etienne Pallier
5		32 		BS
104 11 Etienne Pallier
105 11 Etienne Pallier
106 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
107 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
108 11 Etienne Pallier
109 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
110 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
111 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
112 11 Etienne Pallier
113 31 Etienne Pallier
h3. Fichier spectre
114 11 Etienne Pallier
115 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
116 11 Etienne Pallier
A représenter sur axe 
117 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
118 11 Etienne Pallier
- Y : intensité
119 11 Etienne Pallier
120 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
121 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
122 1 Etienne Pallier
123 32 Etienne Pallier
h3. Stratégie de développement
124 13 Etienne Pallier
125 11 Etienne Pallier
Prendre le last stack only
126 11 Etienne Pallier
127 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
128 11 Etienne Pallier
129 11 Etienne Pallier
1 fich/jour
130 11 Etienne Pallier
131 11 Etienne Pallier
Methods to write :
132 11 Etienne Pallier
133 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
134 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
135 11 Etienne Pallier
136 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
137 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
138 16 Etienne Pallier
=> regarde un peu autour (avant et après)
139 11 Etienne Pallier
140 11 Etienne Pallier
findAutofocus(...)
141 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
142 11 Etienne Pallier
143 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
144 11 Etienne Pallier
145 11 Etienne Pallier
data_Feb25_2014_5 
146 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
147 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
148 1 Etienne Pallier
149 11 Etienne Pallier
id, SPECT_file, SOH_file, 
150 1 Etienne Pallier
151 11 Etienne Pallier
// from *_SOH.TXT file :
152 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
153 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
154 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
155 15 Etienne Pallier
pm(cnts), 					// Motor_Position
156 11 Etienne Pallier
157 11 Etienne Pallier
// from *_spect.TXT file :
158 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
159 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
160 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
161 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
162 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
163 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
164 11 Etienne Pallier
165 11 Etienne Pallier
166 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
167 11 Etienne Pallier
168 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
169 11 Etienne Pallier
170 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
171 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
172 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
173 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
174 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
175 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
176 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
177 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
178 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
179 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
180 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
181 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
182 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
183 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
184 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
185 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
186 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
187 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
188 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
189 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
190 15 Etienne Pallier
191 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
192 43 Etienne Pallier
193 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
194 43 Etienne Pallier
195 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
196 43 Etienne Pallier
197 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
198 43 Etienne Pallier
199 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
200 47 Etienne Pallier
201 109 Etienne Pallier
h3. EVOLUTIONS DU PROJET suite à réunions du 29/4/15 et du 22/5/15
202 98 Etienne Pallier
203 99 Etienne Pallier
Réunion le 29/4/15 avec WR, AC, PM, et EP
204 1 Etienne Pallier
205 109 Etienne Pallier
Réunion le 22/5/15 avec idem + OG
206 109 Etienne Pallier
207 111 Etienne Pallier
*Actions* : 
208 110 Etienne Pallier
- OG et AC : réfléchier à une simplification éventuelle de l'outil CGDL (en un seul formulaire au lieu de plusieurs onglets)
209 110 Etienne Pallier
- EP : proposer une solution technique répondant au besoin
210 110 Etienne Pallier
211 125 Etienne Pallier
Voir la section ci-dessus "Collaboration de cet outil avec C-GDL"
212 119 Etienne Pallier
213 112 Etienne Pallier
214 112 Etienne Pallier
215 112 Etienne Pallier
216 109 Etienne Pallier
******************
217 109 Etienne Pallier
218 109 Etienne Pallier
NOUVELLES NOTES A TRIER
219 109 Etienne Pallier
220 109 Etienne Pallier
221 109 Etienne Pallier
Transférer tous les types de fichiers (TXT, RAW…)
222 109 Etienne Pallier
223 109 Etienne Pallier
Fichier SOH le plus près AVANT le transmit (génère le spectre)
224 109 Etienne Pallier
225 109 Etienne Pallier
(ce fichier SOH a été fait après le tir, et avant le transmit)
226 109 Etienne Pallier
227 109 Etienne Pallier
Changer label Distance : dist(mm) => dist SEED (mm)
228 109 Etienne Pallier
229 109 Etienne Pallier
Tableau utile pour la partie processing, sorte de masterlist
230 109 Etienne Pallier
231 109 Etienne Pallier
Convertir la colonne pm en distance réelle : (donner formule) « dist real (mm)»
232 109 Etienne Pallier
233 109 Etienne Pallier
234 109 Etienne Pallier
235 109 Etienne Pallier
C-GDL :
236 109 Etienne Pallier
237 109 Etienne Pallier
On change de contexte quand on change la roche, la distance, ou l’atmosphère…	
238 109 Etienne Pallier
Les champs bleus entrent dans le nom du contexte (y-compris « atmosphere, earth, mars » dans onglet Environment)
239 109 Etienne Pallier
240 109 Etienne Pallier
Hard/Location (label) en bleu
241 109 Etienne Pallier
242 109 Etienne Pallier
Dist/Distance to target => approximate dist to target
243 109 Etienne Pallier
enlever « obtained »
244 109 Etienne Pallier
st => step
245 109 Etienne Pallier
246 109 Etienne Pallier
Misc/Temperature => Instrument chamber temperature
247 109 Etienne Pallier
248 109 Etienne Pallier
more comments => Desc 
249 109 Etienne Pallier
"Sample in Martian chamber
250 109 Etienne Pallier
With folding mirror
251 109 Etienne Pallier
Laser in instrument chamber" 
252 109 Etienne Pallier
253 109 Etienne Pallier
Enlever laser pulse
254 109 Etienne Pallier
255 109 Etienne Pallier
256 109 Etienne Pallier
Onglet de démarrage START :
257 109 Etienne Pallier
- NEW from scratch
258 109 Etienne Pallier
ou
259 109 Etienne Pallier
- RE-OPEN (modif)
260 109 Etienne Pallier
- NEW from existant
261 109 Etienne Pallier
262 109 Etienne Pallier
supprimer la fonctionnalité du 000, 001, 002 à la fin du nom du contexte
263 109 Etienne Pallier
264 109 Etienne Pallier
Nouvel onglet ?
265 109 Etienne Pallier
NOTEBOOK
266 109 Etienne Pallier
267 109 Etienne Pallier
START déclenche un nouveau contexte
268 109 Etienne Pallier
269 109 Etienne Pallier
******************
270 109 Etienne Pallier
271 109 Etienne Pallier
272 109 Etienne Pallier
273 109 Etienne Pallier
274 109 Etienne Pallier
275 98 Etienne Pallier
276 101 Etienne Pallier
*Objectif final* : Faire collaborer les 3 outils C-Spec-HK, C-GDL, et la prise de photos par la webcam du pc portable de la salle blanche
277 101 Etienne Pallier
278 100 Etienne Pallier
C-Spec-HK est déjà installé sur le pc-EGSE. Il faudra y ajouter C-GDL.
279 100 Etienne Pallier
Dans l'idéal, la communication avec la webcam nécessitera de mettre les 2 pc (PC-EGSE et le portable webcam) en réseau (soit sur le réseau global IRAP, soit sur un réseau privé salle blanche avec un hub ou switch ; sachant que pc-EGSE est déjà en réseau privé avec le BU-EGSE, il faudrait donc mettre ces 3 éléments sur un même réseau).
280 1 Etienne Pallier
En attendant, on pourrait se contenter d'un "mode dégradé", qui consisterait à copier manuellement (via clé ou disque usb) les photos de la webcam sur le pc-EGSE
281 98 Etienne Pallier
282 101 Etienne Pallier
*Adaptations nécessaires sur les logiciels (C-Spec-HK et C-GDL) :*
283 100 Etienne Pallier
284 102 Etienne Pallier
*1) C-GDL*
285 1 Etienne Pallier
286 102 Etienne Pallier
C-GDL réalise 1 contexte par cible
287 98 Etienne Pallier
288 102 Etienne Pallier
Lancer C-GDL au démarrage du pc
289 1 Etienne Pallier
290 102 Etienne Pallier
(OPT: Créer un contexte vide par défaut au démarrage, mais pas forcément nécessaire)
291 1 Etienne Pallier
292 102 Etienne Pallier
Cible LIBS only (enlever RMI et FOCUS)
293 1 Etienne Pallier
294 102 Etienne Pallier
Créer un fichier xml sur SAVE (contenant uniquement le contexte de la cible) :
295 102 Etienne Pallier
actuellement, ce fichier n'est pas créé séparément, il est ajouté à un fichier CgdlContextList.xml dans le répertoire du programme
296 102 Etienne Pallier
(trié par date puis par nom de cible)
297 102 Etienne Pallier
=> Ajouter un nouveau bouton "Save Context" (en plus du bouton "Save") qui crée un fichier séparé du contexte (xml)
298 1 Etienne Pallier
299 102 Etienne Pallier
Ajouter un bouton "RESET ALL" sur le premier onglet (Observation) qui remet TOUS les onglets à leurs valeurs par défaut
300 1 Etienne Pallier
301 102 Etienne Pallier
Dans l'idéal, plutôt que d'être codées en dur, les valeurs par défaut doivent être dans un fichier xml DEFAULT.xml (que l'on pourra ainsi faire évoluer dans le temps sans avoir à toucher au code)
302 1 Etienne Pallier
303 102 Etienne Pallier
Au démarrage : on part sur un nouveau contexte avec les valeurs par défaut standard
304 103 Etienne Pallier
Une fois le contexte créé, il reste actif pendant toute l'utilisation du logiciel,
305 103 Etienne Pallier
et ne change que si on change le nom de la cible.
306 1 Etienne Pallier
307 103 Etienne Pallier
Le fichier contexte ne contient que l'heure, il faudrait ajouter minutes et secondes.
308 103 Etienne Pallier
309 102 Etienne Pallier
VALEURS PAR DEFAUT des champs pour chaque onglet :
310 1 Etienne Pallier
311 1 Etienne Pallier
Observation :
312 1 Etienne Pallier
- type : LIBS
313 1 Etienne Pallier
314 1 Etienne Pallier
Target :
315 1 Etienne Pallier
- granulo : unknown
316 1 Etienne Pallier
- rough : unknown
317 1 Etienne Pallier
- size : 1-5 cm
318 1 Etienne Pallier
- albedo : remplacer 0 par unknown
319 1 Etienne Pallier
- origin : ajouter PELLET
320 1 Etienne Pallier
- composition : unknown
321 1 Etienne Pallier
322 1 Etienne Pallier
Env :
323 1 Etienne Pallier
- Mars
324 1 Etienne Pallier
- pressure : controlled
325 1 Etienne Pallier
326 1 Etienne Pallier
Hard :
327 1 Etienne Pallier
- Location : IRAP
328 1 Etienne Pallier
- body unit : + Chemcam EM 2013 (par défaut)
329 1 Etienne Pallier
- Ctrl/cde : LANL/GSE
330 1 Etienne Pallier
- Mast : CC EQM
331 98 Etienne Pallier
- Fiber : FM-like
332 98 Etienne Pallier
333 98 Etienne Pallier
Dist :
334 98 Etienne Pallier
- Obtained : autofocus
335 98 Etienne Pallier
336 98 Etienne Pallier
Misc :
337 98 Etienne Pallier
- temperature : désactiver
338 98 Etienne Pallier
- SOH : yes
339 98 Etienne Pallier
- more comments : 
340 102 Etienne Pallier
"Sample in Martian chamber
341 98 Etienne Pallier
With folding mirror
342 102 Etienne Pallier
Laser in cold chamber"
343 102 Etienne Pallier
- Laser freq : 3 Hz
344 102 Etienne Pallier
- Existing of laser : désactiver
345 98 Etienne Pallier
346 102 Etienne Pallier
END :
347 98 Etienne Pallier
bouton Save Context (rouge si pas encore fait, ou bien le nom du fichier en rouge ?)
348 98 Etienne Pallier
349 103 Etienne Pallier
Voir avec Agnès : Faut-il vraiment maintenir la fonctionnalité "ajouter des fichiers numériques au contexte" ?
350 98 Etienne Pallier
351 98 Etienne Pallier
352 107 Etienne Pallier
353 107 Etienne Pallier
354 102 Etienne Pallier
*2) C-Spec-HK*
355 107 Etienne Pallier
356 107 Etienne Pallier
Fichier LOG : Produire un CSV + un fichier HTML (ou fichier texte séparé par tabulations) pour qu'il soit lisible sans devoir passer par Open Office
357 102 Etienne Pallier
358 1 Etienne Pallier
DARK BEFORE/AFTER : priorité au DARK AFTER
359 1 Etienne Pallier
Le DARK BEFORE est très rare, il existerait seulement si il y a 2 DARK à la suite (le 2ème serait le DARK BEFORE du SPECTRE LIBS qui arrive ensuite)
360 103 Etienne Pallier
=> pour simplifier, on peut le supprimer (donc supprimer 2 colonnes dans le fichier LOG)
361 1 Etienne Pallier
362 103 Etienne Pallier
Passer le délai de la boucle du traitement quotidien à 2 secondes (au lieu de 60 actuellement)
363 1 Etienne Pallier
364 103 Etienne Pallier
Les 2 fichiers "LOG général" et "LOG du jour" doivent s’afficher automatiquement au démarrage
365 102 Etienne Pallier
366 103 Etienne Pallier
Le LOG général affiche l'état en cours d'exécution du script, pour savoir où on en est :
367 103 Etienne Pallier
- a) traitement global des fichiers, avec affichage des dossiers jours créés
368 103 Etienne Pallier
Ne pas afficher le contenu de /home/vx/EQM_DATA/
369 1 Etienne Pallier
(log files « created » in …)
370 102 Etienne Pallier
car ces dossiers ont été créés antérieurement
371 103 Etienne Pallier
N’afficher le contenu QUE du dossier qui vient d’être créé
372 103 Etienne Pallier
- b) traitement quotidien des fichiers du jour, avec affichage de : 
373 103 Etienne Pallier
  - numéro d'itération
374 103 Etienne Pallier
  - fichiers SPECTRE et SOH traités (+ leur nombre)
375 102 Etienne Pallier
376 103 Etienne Pallier
Le LOG quotidien affiche le contenu du fichier LOG du jour (qui se remplit au fur et à mesure)
377 102 Etienne Pallier
378 102 Etienne Pallier
Mettre les 4 champs de température laser
379 102 Etienne Pallier
380 103 Etienne Pallier
Formule pour distance à partir de pm (quelqu'un doit me la donner)
381 102 Etienne Pallier
(supprimer dist(mm))
382 102 Etienne Pallier
383 103 Etienne Pallier
Supprimer nshots
384 102 Etienne Pallier
385 102 Etienne Pallier
Créer un dossier avec pour nom datedujour+contexte-name/
386 102 Etienne Pallier
Si pas de contexte avec la date du jour (au démarrage), créer un dossier datedujour+NO-CONTEXT/
387 103 Etienne Pallier
Quand le contexte change (un nouveau fichier contexte a été créé via C-GDL), alors un nouveau dossier est créé
388 103 Etienne Pallier
*Problème : que va-t-il se passer si le contexte est créé A POSTERIORI, après avoir fait tous les tirs ???*
389 102 Etienne Pallier
390 103 Etienne Pallier
(Technique interne : Ne laisser que c-spec-hk-workflow à la racine du projet, le reste doit être dans un sous-dossier (contiendra c-spec-hk + tests))
391 98 Etienne Pallier
392 98 Etienne Pallier
393 98 Etienne Pallier
394 98 Etienne Pallier
395 98 Etienne Pallier
396 98 Etienne Pallier
397 98 Etienne Pallier
398 98 Etienne Pallier
399 98 Etienne Pallier
400 98 Etienne Pallier
401 98 Etienne Pallier
402 98 Etienne Pallier
403 98 Etienne Pallier
404 98 Etienne Pallier
405 98 Etienne Pallier
406 98 Etienne Pallier
407 98 Etienne Pallier
408 98 Etienne Pallier
409 98 Etienne Pallier
410 98 Etienne Pallier
411 98 Etienne Pallier
412 98 Etienne Pallier
413 98 Etienne Pallier
414 98 Etienne Pallier
415 98 Etienne Pallier
416 98 Etienne Pallier
417 98 Etienne Pallier
418 17 Etienne Pallier
419 11 Etienne Pallier
420 86 Etienne Pallier
---
421 4 Etienne Pallier
422 83 Etienne Pallier
h2. RECUPERATION DU PROJET
423 91 Etienne Pallier
424 83 Etienne Pallier
425 83 Etienne Pallier
*a) Directement, depuis svn*
426 83 Etienne Pallier
427 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
428 83 Etienne Pallier
429 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
430 1 Etienne Pallier
431 90 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
432 90 Etienne Pallier
433 91 Etienne Pallier
434 58 Etienne Pallier
435 1 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
436 1 Etienne Pallier
437 1 Etienne Pallier
https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
438 86 Etienne Pallier
439 95 Etienne Pallier
h2. EXECUTION
440 92 Etienne Pallier
441 92 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
442 92 Etienne Pallier
443 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
444 92 Etienne Pallier
445 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
446 92 Etienne Pallier
447 92 Etienne Pallier
sudo port select --set python python27
448 92 Etienne Pallier
449 92 Etienne Pallier
$ which python
450 92 Etienne Pallier
/opt/local/bin/python
451 92 Etienne Pallier
452 92 Etienne Pallier
$ python --version
453 92 Etienne Pallier
Python 2.7.9
454 92 Etienne Pallier
455 92 Etienne Pallier
Mettre à jour MacPort :
456 92 Etienne Pallier
sudo port -v selfupdate
457 92 Etienne Pallier
sudo port upgrade outdated
458 92 Etienne Pallier
459 92 Etienne Pallier
460 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
461 92 Etienne Pallier
462 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
463 92 Etienne Pallier
464 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
465 92 Etienne Pallier
466 94 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
467 86 Etienne Pallier
468 89 Etienne Pallier
h3. 2) EXECUTING TESTS
469 89 Etienne Pallier
470 86 Etienne Pallier
h4. Depuis Eclipse
471 86 Etienne Pallier
472 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
473 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
474 86 Etienne Pallier
Run As / Python unit-test
475 89 Etienne Pallier
476 86 Etienne Pallier
477 89 Etienne Pallier
h4. En mode ligne de commande
478 86 Etienne Pallier
479 72 Etienne Pallier
h5. TESTS faits avec Python 2.7
480 72 Etienne Pallier
481 1 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
482 72 Etienne Pallier
483 73 Etienne Pallier
cd test/
484 1 Etienne Pallier
485 72 Etienne Pallier
$ py27 premiertest.py
486 1 Etienne Pallier
<pre>
487 72 Etienne Pallier
...
488 72 Etienne Pallier
----------------------------------------------------------------------
489 1 Etienne Pallier
Ran 3 tests in 0.000s
490 72 Etienne Pallier
491 72 Etienne Pallier
OK
492 73 Etienne Pallier
</pre>
493 72 Etienne Pallier
494 72 Etienne Pallier
$ py27 c_spec_hk_TEST.py
495 72 Etienne Pallier
496 72 Etienne Pallier
<pre>
497 72 Etienne Pallier
...
498 1 Etienne Pallier
======================================================================
499 62 Etienne Pallier
----------------------------------------------------------------------
500 1 Etienne Pallier
Ran 14 tests in 5.833s
501 1 Etienne Pallier
502 72 Etienne Pallier
OK
503 72 Etienne Pallier
</pre>
504 1 Etienne Pallier
505 62 Etienne Pallier
506 72 Etienne Pallier
507 72 Etienne Pallier
508 70 Etienne Pallier
*2) Tests de Performance (Benchmark)*
509 70 Etienne Pallier
510 62 Etienne Pallier
Depuis la racine du projet :
511 62 Etienne Pallier
512 62 Etienne Pallier
<pre>
513 62 Etienne Pallier
$ py27 c_spec_hk.py -t
514 62 Etienne Pallier
...Executing main program...
515 62 Etienne Pallier
Testing execution time of several methods
516 62 Etienne Pallier
517 62 Etienne Pallier
All times are in SECONDS
518 62 Etienne Pallier
519 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
520 62 Etienne Pallier
0.000790863037109
521 62 Etienne Pallier
522 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
523 62 Etienne Pallier
0.000117941689491
524 62 Etienne Pallier
525 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
526 62 Etienne Pallier
0.0429699897766
527 62 Etienne Pallier
528 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
529 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
530 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
531 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
532 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
533 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
534 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
535 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
536 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
537 62 Etienne Pallier
total 56
538 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
539 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
540 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
541 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
542 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
543 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
544 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
545 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
546 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
547 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
548 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
549 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
550 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
551 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
552 62 Etienne Pallier
553 62 Etienne Pallier
1.91459012032
554 1 Etienne Pallier
Average time per day : 0.273513
555 1 Etienne Pallier
556 1 Etienne Pallier
*** finished TIMING ***
557 62 Etienne Pallier
558 1 Etienne Pallier
</pre>
559 86 Etienne Pallier
560 89 Etienne Pallier
561 86 Etienne Pallier
562 72 Etienne Pallier
h5. TESTS faits avec Python 2.6
563 1 Etienne Pallier
564 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
565 1 Etienne Pallier
566 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
567 1 Etienne Pallier
568 72 Etienne Pallier
cd test/
569 72 Etienne Pallier
570 72 Etienne Pallier
$ python premiertest.py
571 72 Etienne Pallier
<pre>
572 72 Etienne Pallier
...
573 72 Etienne Pallier
----------------------------------------------------------------------
574 72 Etienne Pallier
Ran 3 tests in 0.000s
575 72 Etienne Pallier
576 72 Etienne Pallier
OK
577 72 Etienne Pallier
</pre>
578 72 Etienne Pallier
579 72 Etienne Pallier
$ python c_spec_hk_TEST.py
580 72 Etienne Pallier
581 72 Etienne Pallier
<pre>
582 72 Etienne Pallier
...
583 72 Etienne Pallier
======================================================================
584 72 Etienne Pallier
----------------------------------------------------------------------
585 72 Etienne Pallier
Ran 14 tests in 6.742s
586 72 Etienne Pallier
587 72 Etienne Pallier
OK
588 72 Etienne Pallier
</pre>
589 72 Etienne Pallier
590 72 Etienne Pallier
---
591 72 Etienne Pallier
592 72 Etienne Pallier
593 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
594 72 Etienne Pallier
595 58 Etienne Pallier
Depuis la racine du projet 
596 58 Etienne Pallier
597 58 Etienne Pallier
$ ./c_spec_hk.py -t
598 58 Etienne Pallier
<pre>
599 58 Etienne Pallier
...Executing main program...
600 58 Etienne Pallier
Testing execution time of several methods
601 58 Etienne Pallier
602 58 Etienne Pallier
All times are in SECONDS
603 58 Etienne Pallier
604 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
605 58 Etienne Pallier
0.00105306601524
606 58 Etienne Pallier
607 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
608 58 Etienne Pallier
0.000152537894249
609 58 Etienne Pallier
610 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
611 58 Etienne Pallier
0.0518409013748
612 58 Etienne Pallier
613 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
614 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
615 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
616 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
617 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
618 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
619 59 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
620 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
621 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
622 58 Etienne Pallier
total 56
623 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
624 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
625 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
626 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
627 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
628 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
629 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
630 80 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
631 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
632 25 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
633 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
634 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
635 22 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
636 21 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
637 21 Etienne Pallier
638 77 Etienne Pallier
2.33647012711
639 21 Etienne Pallier
Average time per day : 0.333781
640 21 Etienne Pallier
641 1 Etienne Pallier
*** finished TIMING ***
642 96 Etienne Pallier
</pre>
643 21 Etienne Pallier
644 97 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
645 1 Etienne Pallier
646 88 Etienne Pallier
h4. Depuis Eclipse
647 88 Etienne Pallier
648 21 Etienne Pallier
clic-droit sur c_spec_hk.py
649 97 Etienne Pallier
Run As / Python Run
650 21 Etienne Pallier
651 21 Etienne Pallier
h4. In Command line mode
652 1 Etienne Pallier
653 80 Etienne Pallier
	a) Pour voir l'aide :
654 81 Etienne Pallier
655 80 Etienne Pallier
$ python c_spec_hk.py -h
656 1 Etienne Pallier
657 80 Etienne Pallier
...Executing main program...
658 1 Etienne Pallier
659 81 Etienne Pallier
Usage:
660 1 Etienne Pallier
661 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
662 1 Etienne Pallier
OR
663 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
664 1 Etienne Pallier
665 80 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
666 80 Etienne Pallier
667 80 Etienne Pallier
All options available are (none is mandatory) :
668 80 Etienne Pallier
-d : activate DEBUG mode
669 80 Etienne Pallier
-h : print this HELP message
670 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
671 80 Etienne Pallier
-t : test execution TIME of several methods
672 1 Etienne Pallier
-v : print current VERSION number
673 21 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
674 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
675 81 Etienne Pallier
676 80 Etienne Pallier
677 23 Etienne Pallier
678 81 Etienne Pallier
	b) Speed testing (benchmark)
679 21 Etienne Pallier
680 21 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
681 21 Etienne Pallier
682 21 Etienne Pallier
683 82 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
684 1 Etienne Pallier
685 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
686 82 Etienne Pallier
687 21 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
688 21 Etienne Pallier
689 82 Etienne Pallier
Exemple d'affichage attendu :
690 21 Etienne Pallier
691 82 Etienne Pallier
...Executing main program...
692 82 Etienne Pallier
693 21 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
694 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
695 82 Etienne Pallier
696 21 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
697 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
698 82 Etienne Pallier
699 21 Etienne Pallier
Log files created in /tmp/LOGS/ :
700 21 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
701 36 Etienne Pallier
702 54 Etienne Pallier
703 36 Etienne Pallier
---
704 52 Etienne Pallier
705 50 Etienne Pallier
h2. DAILY WORKFLOW
706 52 Etienne Pallier
707 1 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
708 52 Etienne Pallier
709 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
710 1 Etienne Pallier
711 1 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
712 52 Etienne Pallier
713 37 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
714 53 Etienne Pallier
715 50 Etienne Pallier
<pre>
716 50 Etienne Pallier
717 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
718 50 Etienne Pallier
719 36 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
720 36 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
721 40 Etienne Pallier
        - les fichiers logs produits (CSV)
722 40 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
723 48 Etienne Pallier
724 1 Etienne Pallier
</pre>
725 51 Etienne Pallier
726 48 Etienne Pallier
h3. 2) WORKFLOW
727 57 Etienne Pallier
728 55 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
729 1 Etienne Pallier
730 39 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
731 57 Etienne Pallier
732 1 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
733 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
734 57 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
735 57 Etienne Pallier
736 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
737 57 Etienne Pallier
738 48 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
739 1 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
740 51 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
741 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
742 1 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
743 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
744 1 Etienne Pallier
745 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE