Wiki

Version 101 (Etienne Pallier, 04/30/2015 10:21 am)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 8 Etienne Pallier
{{toc}}
4 3 Etienne Pallier
5 35 Etienne Pallier
---
6 35 Etienne Pallier
7 35 Etienne Pallier
h2. DEPOT SVN
8 35 Etienne Pallier
9 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
10 35 Etienne Pallier
11 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
12 35 Etienne Pallier
13 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
14 35 Etienne Pallier
15 35 Etienne Pallier
 * Administrateur : Etienne Pallier
16 35 Etienne Pallier
17 35 Etienne Pallier
 * Groupes :
18 76 Etienne Pallier
19 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
20 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
21 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
22 35 Etienne Pallier
23 35 Etienne Pallier
 * Ajout d'utilisateurs 
24 35 Etienne Pallier
25 35 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
26 35 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
27 35 Etienne Pallier
28 35 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
29 35 Etienne Pallier
30 35 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
31 11 Etienne Pallier
32 42 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
33 41 Etienne Pallier
34 12 Etienne Pallier
---
35 11 Etienne Pallier
36 11 Etienne Pallier
h2. SPECIFICATIONS
37 1 Etienne Pallier
38 11 Etienne Pallier
39 12 Etienne Pallier
h3. Schéma de connexion
40 11 Etienne Pallier
41 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
42 11 Etienne Pallier
43 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
44 11 Etienne Pallier
- MU : fait les tirs
45 11 Etienne Pallier
- BU : analyse les spectres
46 11 Etienne Pallier
47 11 Etienne Pallier
SOH (Spectra O? HK)
48 11 Etienne Pallier
49 30 Etienne Pallier
h3. Types d’observations
50 30 Etienne Pallier
51 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
52 11 Etienne Pallier
53 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
54 11 Etienne Pallier
-----	---------	------------------
55 11 Etienne Pallier
56 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
57 11 Etienne Pallier
58 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
59 1 Etienne Pallier
60 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
61 11 Etienne Pallier
62 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
63 11 Etienne Pallier
64 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
65 11 Etienne Pallier
66 11 Etienne Pallier
5		32 		BS
67 11 Etienne Pallier
68 11 Etienne Pallier
69 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
70 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
71 11 Etienne Pallier
72 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
73 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
74 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
75 11 Etienne Pallier
76 31 Etienne Pallier
h3. Fichier spectre
77 11 Etienne Pallier
78 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
79 11 Etienne Pallier
A représenter sur axe 
80 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
81 11 Etienne Pallier
- Y : intensité
82 11 Etienne Pallier
83 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
84 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
85 1 Etienne Pallier
86 32 Etienne Pallier
h3. Stratégie de développement
87 13 Etienne Pallier
88 11 Etienne Pallier
Prendre le last stack only
89 11 Etienne Pallier
90 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
91 11 Etienne Pallier
92 11 Etienne Pallier
1 fich/jour
93 11 Etienne Pallier
94 11 Etienne Pallier
Methods to write :
95 11 Etienne Pallier
96 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
97 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
98 11 Etienne Pallier
99 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
100 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
101 16 Etienne Pallier
=> regarde un peu autour (avant et après)
102 11 Etienne Pallier
103 11 Etienne Pallier
findAutofocus(...)
104 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
105 11 Etienne Pallier
106 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
107 11 Etienne Pallier
108 11 Etienne Pallier
data_Feb25_2014_5 
109 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
110 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
111 1 Etienne Pallier
112 11 Etienne Pallier
id, SPECT_file, SOH_file, 
113 1 Etienne Pallier
114 11 Etienne Pallier
// from *_SOH.TXT file :
115 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
116 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
117 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
118 15 Etienne Pallier
pm(cnts), 					// Motor_Position
119 11 Etienne Pallier
120 11 Etienne Pallier
// from *_spect.TXT file :
121 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
122 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
123 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
124 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
125 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
126 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
127 11 Etienne Pallier
128 11 Etienne Pallier
129 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
130 11 Etienne Pallier
131 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
132 11 Etienne Pallier
133 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
134 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
135 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
136 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
137 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
138 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
139 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
140 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
141 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
142 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
143 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
144 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
145 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
146 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
147 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
148 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
149 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
150 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
151 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
152 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
153 15 Etienne Pallier
154 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
155 43 Etienne Pallier
156 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
157 43 Etienne Pallier
158 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
159 43 Etienne Pallier
160 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
161 43 Etienne Pallier
162 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
163 47 Etienne Pallier
164 99 Etienne Pallier
h3. EVOLUTIONS DU PROJET suite à réunions du 29/4/15 et du 5/5/15
165 98 Etienne Pallier
166 99 Etienne Pallier
Réunion le 29/4/15 avec WR, AC, PM, et EP
167 98 Etienne Pallier
168 99 Etienne Pallier
Réunion le 5/5/15 avec OG, WR, AC, PM, et EP
169 98 Etienne Pallier
170 101 Etienne Pallier
*Objectif final* : Faire collaborer les 3 outils C-Spec-HK, C-GDL, et la prise de photos par la webcam du pc portable de la salle blanche
171 101 Etienne Pallier
172 100 Etienne Pallier
C-Spec-HK est déjà installé sur le pc-EGSE. Il faudra y ajouter C-GDL.
173 100 Etienne Pallier
Dans l'idéal, la communication avec la webcam nécessitera de mettre les 2 pc (PC-EGSE et le portable webcam) en réseau (soit sur le réseau global IRAP, soit sur un réseau privé salle blanche avec un hub ou switch ; sachant que pc-EGSE est déjà en réseau privé avec le BU-EGSE, il faudrait donc mettre ces 3 éléments sur un même réseau).
174 1 Etienne Pallier
En attendant, on pourrait se contenter d'un "mode dégradé", qui consisterait à copier manuellement (via clé ou disque usb) les photos de la webcam sur le pc-EGSE
175 98 Etienne Pallier
176 101 Etienne Pallier
*Adaptations nécessaires sur les logiciels (C-Spec-HK et C-GDL) :*
177 100 Etienne Pallier
178 100 Etienne Pallier
*1) C-Spec-HK*
179 100 Etienne Pallier
180 98 Etienne Pallier
DARK BEFORE/AFTER : priorité au DARK AFTER
181 98 Etienne Pallier
Le DARK BEFORE est très rare, il existerait seulement si il y a 2 DARK à la suite (le 2ème serait le DARK BEFORE du SPECTRE qui arrive ensuite)
182 98 Etienne Pallier
183 98 Etienne Pallier
Delai boucle 2 secondes 
184 98 Etienne Pallier
185 98 Etienne Pallier
186 98 Etienne Pallier
Le fichier du jour doit s’afficher tout seul
187 98 Etienne Pallier
(y-compris le LOG
188 98 Etienne Pallier
)
189 98 Etienne Pallier
190 98 Etienne Pallier
Démarrage du workflow :
191 98 Etienne Pallier
192 1 Etienne Pallier
ne pas afficher le contenu de /home/vx/EQM_DATA/
193 100 Etienne Pallier
(log files « created » in …)
194 98 Etienne Pallier
car ces dossiers ont été créés antérieurement
195 98 Etienne Pallier
196 98 Etienne Pallier
n’afficher le contenu QUE du dossier qui vient d’être créé
197 98 Etienne Pallier
198 98 Etienne Pallier
199 98 Etienne Pallier
200 98 Etienne Pallier
Mettre les 4 champs de température laser
201 98 Etienne Pallier
202 98 Etienne Pallier
Formule pour distance à partir de pm
203 98 Etienne Pallier
(supprimer dist(mm))
204 98 Etienne Pallier
205 98 Etienne Pallier
supprimer nshots
206 98 Etienne Pallier
207 98 Etienne Pallier
Supprimer DARK before
208 1 Etienne Pallier
209 100 Etienne Pallier
C-spechk : 
210 1 Etienne Pallier
211 100 Etienne Pallier
Créer un dossier avec pour nom datedujour+contexte-name/
212 100 Etienne Pallier
Si pas de contexte avec la date du jour (au démarrage), créer un dossier datedujour+NO-CONTEXT/
213 1 Etienne Pallier
214 100 Etienne Pallier
Ne laisser que c-spec-hk-workflow à la racine du projet, le reste doit être dans un sous-dossier (contiendra c-spec-hk + tests)
215 1 Etienne Pallier
216 100 Etienne Pallier
217 100 Etienne Pallier
218 100 Etienne Pallier
219 100 Etienne Pallier
*2) C-GDL*
220 100 Etienne Pallier
221 100 Etienne Pallier
222 100 Etienne Pallier
223 100 Etienne Pallier
Lancer C-GDL au démarrage
224 98 Etienne Pallier
(cible LIBS only)
225 98 Etienne Pallier
Créer un contexte vide par défaut au démarrage
226 98 Etienne Pallier
227 98 Etienne Pallier
1 contexte par cible
228 98 Etienne Pallier
229 98 Etienne Pallier
Créer un fichier xml sur SAVE (contenant uniquement le contexte de la cible)
230 98 Etienne Pallier
231 98 Etienne Pallier
232 98 Etienne Pallier
Définir les valeurs par défaut de chaque champ
233 98 Etienne Pallier
234 98 Etienne Pallier
Prendre le contexte précédent par défaut ???
235 98 Etienne Pallier
236 98 Etienne Pallier
Bouton RESET to default
237 98 Etienne Pallier
238 98 Etienne Pallier
Faire un fichier DEFAULT.xml contenant les valeurs par défaut standard
239 98 Etienne Pallier
240 98 Etienne Pallier
Au lancement du soft : démarrage sur valeurs par défaut standard
241 98 Etienne Pallier
242 98 Etienne Pallier
RESET doit être global, et non pas local à l’onglet, seulement dans onglet Observation
243 98 Etienne Pallier
244 98 Etienne Pallier
VALEURS PAR DEFAUT :
245 98 Etienne Pallier
246 98 Etienne Pallier
Observation :
247 98 Etienne Pallier
- type : LIBS
248 98 Etienne Pallier
249 98 Etienne Pallier
Target :
250 98 Etienne Pallier
- granulo : unknown
251 98 Etienne Pallier
- rough : unknown
252 98 Etienne Pallier
- size : 1-5 cm
253 98 Etienne Pallier
- albedo : remplacer 0 par unknown
254 98 Etienne Pallier
- origin : ajouter PELLET
255 98 Etienne Pallier
- composition : unknown
256 98 Etienne Pallier
257 98 Etienne Pallier
Env :
258 98 Etienne Pallier
- Mars
259 98 Etienne Pallier
- pressure : controlled
260 98 Etienne Pallier
261 98 Etienne Pallier
Hard :
262 98 Etienne Pallier
- Location : IRAP
263 98 Etienne Pallier
- body unit : + Chemcam EM 2013 (par défaut)
264 98 Etienne Pallier
- Ctrl/cde : LANL/GSE
265 98 Etienne Pallier
- Mast : CC EQM
266 98 Etienne Pallier
- Fiber : FM-like
267 98 Etienne Pallier
268 98 Etienne Pallier
Dist :
269 98 Etienne Pallier
- Obtained : autofocus
270 98 Etienne Pallier
271 98 Etienne Pallier
Misc :
272 98 Etienne Pallier
- temperature : désactiver
273 98 Etienne Pallier
- SOH : yes
274 98 Etienne Pallier
- more comments : 
275 98 Etienne Pallier
Sample in Martian chamber
276 98 Etienne Pallier
With folding mirror
277 98 Etienne Pallier
Laser in cold chamber
278 98 Etienne Pallier
279 98 Etienne Pallier
Laser freq : 3 Hz
280 98 Etienne Pallier
281 98 Etienne Pallier
Existing of laser : désactiver
282 98 Etienne Pallier
283 98 Etienne Pallier
END :
284 98 Etienne Pallier
bouton Save Context (rouge si pas encore fait ?)
285 98 Etienne Pallier
(ou le nom du fichier en rouge)
286 98 Etienne Pallier
287 98 Etienne Pallier
288 98 Etienne Pallier
289 98 Etienne Pallier
Fichier XML : classement par jour puis target
290 98 Etienne Pallier
291 98 Etienne Pallier
292 98 Etienne Pallier
293 98 Etienne Pallier
294 98 Etienne Pallier
295 98 Etienne Pallier
296 98 Etienne Pallier
297 98 Etienne Pallier
298 98 Etienne Pallier
299 98 Etienne Pallier
300 98 Etienne Pallier
301 98 Etienne Pallier
302 98 Etienne Pallier
303 98 Etienne Pallier
304 98 Etienne Pallier
305 98 Etienne Pallier
306 98 Etienne Pallier
307 98 Etienne Pallier
308 98 Etienne Pallier
309 98 Etienne Pallier
310 98 Etienne Pallier
311 98 Etienne Pallier
312 98 Etienne Pallier
313 98 Etienne Pallier
314 98 Etienne Pallier
315 98 Etienne Pallier
316 98 Etienne Pallier
317 17 Etienne Pallier
---
318 11 Etienne Pallier
319 86 Etienne Pallier
h2. RECUPERATION DU PROJET
320 4 Etienne Pallier
321 83 Etienne Pallier
322 91 Etienne Pallier
*a) Directement, depuis svn*
323 83 Etienne Pallier
324 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
325 83 Etienne Pallier
326 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
327 83 Etienne Pallier
328 83 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
329 1 Etienne Pallier
330 90 Etienne Pallier
331 90 Etienne Pallier
332 91 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
333 58 Etienne Pallier
334 1 Etienne Pallier
https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
335 1 Etienne Pallier
336 1 Etienne Pallier
h2. EXECUTION
337 86 Etienne Pallier
338 95 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
339 92 Etienne Pallier
340 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
341 92 Etienne Pallier
342 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
343 92 Etienne Pallier
344 92 Etienne Pallier
sudo port select --set python python27
345 92 Etienne Pallier
346 92 Etienne Pallier
$ which python
347 92 Etienne Pallier
/opt/local/bin/python
348 92 Etienne Pallier
349 92 Etienne Pallier
$ python --version
350 92 Etienne Pallier
Python 2.7.9
351 92 Etienne Pallier
352 92 Etienne Pallier
Mettre à jour MacPort :
353 92 Etienne Pallier
sudo port -v selfupdate
354 92 Etienne Pallier
sudo port upgrade outdated
355 92 Etienne Pallier
356 92 Etienne Pallier
357 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
358 92 Etienne Pallier
359 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
360 92 Etienne Pallier
361 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
362 92 Etienne Pallier
363 92 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
364 92 Etienne Pallier
365 94 Etienne Pallier
h3. 2) EXECUTING TESTS
366 86 Etienne Pallier
367 89 Etienne Pallier
h4. Depuis Eclipse
368 89 Etienne Pallier
369 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
370 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
371 86 Etienne Pallier
Run As / Python unit-test
372 86 Etienne Pallier
373 86 Etienne Pallier
374 89 Etienne Pallier
h4. En mode ligne de commande
375 86 Etienne Pallier
376 89 Etienne Pallier
h5. TESTS faits avec Python 2.7
377 86 Etienne Pallier
378 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
379 72 Etienne Pallier
380 1 Etienne Pallier
cd test/
381 72 Etienne Pallier
382 73 Etienne Pallier
$ py27 premiertest.py
383 1 Etienne Pallier
<pre>
384 72 Etienne Pallier
...
385 1 Etienne Pallier
----------------------------------------------------------------------
386 72 Etienne Pallier
Ran 3 tests in 0.000s
387 72 Etienne Pallier
388 1 Etienne Pallier
OK
389 72 Etienne Pallier
</pre>
390 72 Etienne Pallier
391 73 Etienne Pallier
$ py27 c_spec_hk_TEST.py
392 72 Etienne Pallier
393 72 Etienne Pallier
<pre>
394 72 Etienne Pallier
...
395 72 Etienne Pallier
======================================================================
396 72 Etienne Pallier
----------------------------------------------------------------------
397 1 Etienne Pallier
Ran 14 tests in 5.833s
398 62 Etienne Pallier
399 1 Etienne Pallier
OK
400 1 Etienne Pallier
</pre>
401 72 Etienne Pallier
402 72 Etienne Pallier
403 1 Etienne Pallier
404 62 Etienne Pallier
405 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
406 72 Etienne Pallier
407 70 Etienne Pallier
Depuis la racine du projet :
408 70 Etienne Pallier
409 62 Etienne Pallier
<pre>
410 62 Etienne Pallier
$ py27 c_spec_hk.py -t
411 62 Etienne Pallier
...Executing main program...
412 62 Etienne Pallier
Testing execution time of several methods
413 62 Etienne Pallier
414 62 Etienne Pallier
All times are in SECONDS
415 62 Etienne Pallier
416 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
417 62 Etienne Pallier
0.000790863037109
418 62 Etienne Pallier
419 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
420 62 Etienne Pallier
0.000117941689491
421 62 Etienne Pallier
422 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
423 62 Etienne Pallier
0.0429699897766
424 62 Etienne Pallier
425 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
426 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
427 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
428 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
429 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
430 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
431 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
432 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
433 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
434 62 Etienne Pallier
total 56
435 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
436 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
437 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
438 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
439 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
440 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
441 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
442 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
443 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
444 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
445 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
446 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
447 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
448 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
449 62 Etienne Pallier
450 62 Etienne Pallier
1.91459012032
451 62 Etienne Pallier
Average time per day : 0.273513
452 62 Etienne Pallier
453 1 Etienne Pallier
*** finished TIMING ***
454 1 Etienne Pallier
455 1 Etienne Pallier
</pre>
456 62 Etienne Pallier
457 1 Etienne Pallier
458 86 Etienne Pallier
459 89 Etienne Pallier
h5. TESTS faits avec Python 2.6
460 86 Etienne Pallier
461 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
462 1 Etienne Pallier
463 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
464 1 Etienne Pallier
465 72 Etienne Pallier
cd test/
466 1 Etienne Pallier
467 72 Etienne Pallier
$ python premiertest.py
468 72 Etienne Pallier
<pre>
469 72 Etienne Pallier
...
470 72 Etienne Pallier
----------------------------------------------------------------------
471 72 Etienne Pallier
Ran 3 tests in 0.000s
472 72 Etienne Pallier
473 72 Etienne Pallier
OK
474 72 Etienne Pallier
</pre>
475 72 Etienne Pallier
476 72 Etienne Pallier
$ python c_spec_hk_TEST.py
477 72 Etienne Pallier
478 72 Etienne Pallier
<pre>
479 72 Etienne Pallier
...
480 72 Etienne Pallier
======================================================================
481 72 Etienne Pallier
----------------------------------------------------------------------
482 72 Etienne Pallier
Ran 14 tests in 6.742s
483 72 Etienne Pallier
484 72 Etienne Pallier
OK
485 72 Etienne Pallier
</pre>
486 72 Etienne Pallier
487 72 Etienne Pallier
---
488 72 Etienne Pallier
489 72 Etienne Pallier
490 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
491 72 Etienne Pallier
492 72 Etienne Pallier
Depuis la racine du projet 
493 72 Etienne Pallier
494 58 Etienne Pallier
$ ./c_spec_hk.py -t
495 58 Etienne Pallier
<pre>
496 58 Etienne Pallier
...Executing main program...
497 58 Etienne Pallier
Testing execution time of several methods
498 58 Etienne Pallier
499 58 Etienne Pallier
All times are in SECONDS
500 58 Etienne Pallier
501 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
502 58 Etienne Pallier
0.00105306601524
503 58 Etienne Pallier
504 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
505 58 Etienne Pallier
0.000152537894249
506 58 Etienne Pallier
507 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
508 58 Etienne Pallier
0.0518409013748
509 58 Etienne Pallier
510 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
511 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
512 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
513 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
514 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
515 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
516 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
517 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
518 59 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
519 58 Etienne Pallier
total 56
520 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
521 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
522 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
523 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
524 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
525 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
526 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
527 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
528 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
529 80 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
530 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
531 25 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
532 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
533 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
534 22 Etienne Pallier
535 21 Etienne Pallier
2.33647012711
536 21 Etienne Pallier
Average time per day : 0.333781
537 77 Etienne Pallier
538 21 Etienne Pallier
*** finished TIMING ***
539 21 Etienne Pallier
</pre>
540 1 Etienne Pallier
541 96 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
542 21 Etienne Pallier
543 97 Etienne Pallier
h4. Depuis Eclipse
544 1 Etienne Pallier
545 88 Etienne Pallier
clic-droit sur c_spec_hk.py
546 88 Etienne Pallier
Run As / Python Run
547 21 Etienne Pallier
548 97 Etienne Pallier
h4. In Command line mode
549 21 Etienne Pallier
550 21 Etienne Pallier
	a) Pour voir l'aide :
551 1 Etienne Pallier
552 80 Etienne Pallier
$ python c_spec_hk.py -h
553 81 Etienne Pallier
554 80 Etienne Pallier
...Executing main program...
555 1 Etienne Pallier
556 80 Etienne Pallier
Usage:
557 1 Etienne Pallier
558 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
559 1 Etienne Pallier
OR
560 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
561 1 Etienne Pallier
562 81 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
563 1 Etienne Pallier
564 80 Etienne Pallier
All options available are (none is mandatory) :
565 80 Etienne Pallier
-d : activate DEBUG mode
566 80 Etienne Pallier
-h : print this HELP message
567 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
568 80 Etienne Pallier
-t : test execution TIME of several methods
569 80 Etienne Pallier
-v : print current VERSION number
570 80 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
571 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
572 21 Etienne Pallier
573 1 Etienne Pallier
574 81 Etienne Pallier
575 80 Etienne Pallier
	b) Speed testing (benchmark)
576 23 Etienne Pallier
577 81 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
578 21 Etienne Pallier
579 21 Etienne Pallier
580 21 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
581 21 Etienne Pallier
582 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
583 1 Etienne Pallier
584 82 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
585 82 Etienne Pallier
586 21 Etienne Pallier
Exemple d'affichage attendu :
587 21 Etienne Pallier
588 82 Etienne Pallier
...Executing main program...
589 21 Etienne Pallier
590 82 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
591 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
592 21 Etienne Pallier
593 82 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
594 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
595 21 Etienne Pallier
596 82 Etienne Pallier
Log files created in /tmp/LOGS/ :
597 82 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
598 21 Etienne Pallier
599 21 Etienne Pallier
600 36 Etienne Pallier
---
601 54 Etienne Pallier
602 36 Etienne Pallier
h2. DAILY WORKFLOW
603 52 Etienne Pallier
604 50 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
605 52 Etienne Pallier
606 1 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
607 52 Etienne Pallier
608 52 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
609 1 Etienne Pallier
610 1 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
611 52 Etienne Pallier
612 37 Etienne Pallier
<pre>
613 53 Etienne Pallier
614 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
615 50 Etienne Pallier
616 50 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
617 50 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
618 36 Etienne Pallier
        - les fichiers logs produits (CSV)
619 36 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
620 40 Etienne Pallier
621 40 Etienne Pallier
</pre>
622 48 Etienne Pallier
623 1 Etienne Pallier
h3. 2) WORKFLOW
624 51 Etienne Pallier
625 48 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
626 57 Etienne Pallier
627 55 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
628 1 Etienne Pallier
629 39 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
630 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
631 1 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
632 57 Etienne Pallier
633 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
634 57 Etienne Pallier
635 57 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
636 57 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
637 48 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
638 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
639 51 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
640 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
641 1 Etienne Pallier
642 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE