Wiki

Version 141 (Etienne Pallier, 05/28/2015 11:40 am)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 8 Etienne Pallier
{{toc}}
4 3 Etienne Pallier
5 105 Etienne Pallier
6 35 Etienne Pallier
---
7 35 Etienne Pallier
8 1 Etienne Pallier
9 124 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}UTILISATION EFFECTIVE EN SALLE BLANCHE%
10 124 Etienne Pallier
11 124 Etienne Pallier
12 106 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Utilisation_du_logiciel_C_SPEC_H
13 105 Etienne Pallier
14 105 Etienne Pallier
15 105 Etienne Pallier
---
16 123 Etienne Pallier
17 123 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}DEPOT SVN%
18 123 Etienne Pallier
19 35 Etienne Pallier
20 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
21 35 Etienne Pallier
22 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
23 35 Etienne Pallier
24 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
25 35 Etienne Pallier
26 35 Etienne Pallier
 * Administrateur : Etienne Pallier
27 35 Etienne Pallier
28 35 Etienne Pallier
 * Groupes :
29 76 Etienne Pallier
30 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
31 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
32 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
33 35 Etienne Pallier
34 35 Etienne Pallier
 * Ajout d'utilisateurs 
35 35 Etienne Pallier
36 11 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
37 42 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
38 41 Etienne Pallier
39 104 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
40 104 Etienne Pallier
41 104 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
42 104 Etienne Pallier
43 104 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
44 104 Etienne Pallier
45 104 Etienne Pallier
46 104 Etienne Pallier
47 104 Etienne Pallier
48 121 Etienne Pallier
49 11 Etienne Pallier
50 120 Etienne Pallier
---
51 120 Etienne Pallier
52 122 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}COLLABORATION DE CET OUTIL AVEC C-GDL%
53 122 Etienne Pallier
54 134 Etienne Pallier
Suite aux réunions du 29/4/15 et du 22/5/15 avec OG, WR, AC, PM, et EP,
55 134 Etienne Pallier
un nouveau besoin a été exprimé qui pourrait être résolu en faisant collaborer 2 outils existants (C-SPEC-HK et C-GDL),
56 134 Etienne Pallier
et en leur apportant quelques adaptations.
57 134 Etienne Pallier
58 141 Etienne Pallier
*Actions* : 
59 141 Etienne Pallier
- OG et AC : réfléchier à une simplification éventuelle de l'outil CGDL (en un seul formulaire au lieu de plusieurs onglets)
60 141 Etienne Pallier
- EP : proposer une solution technique répondant au besoin
61 141 Etienne Pallier
62 141 Etienne Pallier
63 1 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}BESOIN%
64 1 Etienne Pallier
65 131 Etienne Pallier
Créer un *contexte* (ensemble d'informations de description) pour décrire chaque *observation* (série de tirs ChemCam) effectuée en salle blanche.
66 131 Etienne Pallier
A ce contexte, seront automatiquement associés tous les fichiers (spectres, HK, ...) générés à l'occasion des tirs ChemCam.
67 1 Etienne Pallier
Un nouveau contexte devra être créé à chaque fois qu'on change de roche, de distance de tir, ou bien de type d'atmosphère...
68 1 Etienne Pallier
69 129 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}SOLUTION TECHNIQUE%
70 129 Etienne Pallier
71 130 Etienne Pallier
Pour répondre à ce besoin, plutôt que de re-développer un nouvel outil, on doit pouvoir faire collaborer efficacement deux outils existants que sont C-GDL et C-SPEC-HK,
72 130 Etienne Pallier
et qui devront en outre subir quelques adaptations plus ou moins importantes.
73 126 Etienne Pallier
*C-GDL* est une IHM Java qui permet de créer manuellement un contexte 
74 126 Etienne Pallier
*C-SPEC-HK* est un script Python qui s'exécute en permanence en arrière-plan, et qui associe automatiquement les fichiers HK (SOH) aux fichiers spectres et crée un fichier LOG quotidien décrivant ces associations (pour la journée), au fur et à mesure des tirs ChemCam
75 126 Etienne Pallier
Il faut donc faire collaborer ces 2 outils pour qu'un contexte C-GDL soit automatiquement associé aux fichiers générés par les tirs ChemCam et qui sont regroupés par C-SPEC-HK (y-compris le fichier de LOG généré par C-SPEC-HK).
76 126 Etienne Pallier
77 133 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}Adaptations nécessaires sur les 2 logiciels%
78 133 Etienne Pallier
79 139 Etienne Pallier
*Adaptations de C-GDL* : voir https://projects.irap.omp.eu/projects/cgdl/wiki/Wiki#Adaptations-%C3%A0-r%C3%A9aliser-sur-le-logiciel-C-GDL
80 133 Etienne Pallier
81 139 Etienne Pallier
*Adaptations de C-SPEC-HK* : 
82 138 Etienne Pallier
83 138 Etienne Pallier
NOUVELLES NOTES A TRIER
84 138 Etienne Pallier
85 138 Etienne Pallier
Transférer tous les types de fichiers (TXT, RAW…)
86 138 Etienne Pallier
87 138 Etienne Pallier
Fichier SOH le plus près AVANT le transmit (génère le spectre)
88 138 Etienne Pallier
89 138 Etienne Pallier
(ce fichier SOH a été fait après le tir, et avant le transmit)
90 138 Etienne Pallier
91 138 Etienne Pallier
Changer label Distance : dist(mm) => dist SEED (mm)
92 138 Etienne Pallier
93 138 Etienne Pallier
Tableau utile pour la partie processing, sorte de masterlist
94 138 Etienne Pallier
95 138 Etienne Pallier
Convertir la colonne pm en distance réelle : (donner formule) « dist real (mm)»
96 138 Etienne Pallier
97 138 Etienne Pallier
******************
98 138 Etienne Pallier
99 138 Etienne Pallier
Anciennes notes à trier :
100 138 Etienne Pallier
101 138 Etienne Pallier
*Objectif final* : Faire collaborer les 3 outils C-Spec-HK, C-GDL, et la prise de photos par la webcam du pc portable de la salle blanche
102 138 Etienne Pallier
103 138 Etienne Pallier
C-Spec-HK est déjà installé sur le pc-EGSE. Il faudra y ajouter C-GDL.
104 138 Etienne Pallier
Dans l'idéal, la communication avec la webcam nécessitera de mettre les 2 pc (PC-EGSE et le portable webcam) en réseau (soit sur le réseau global IRAP, soit sur un réseau privé salle blanche avec un hub ou switch ; sachant que pc-EGSE est déjà en réseau privé avec le BU-EGSE, il faudrait donc mettre ces 3 éléments sur un même réseau).
105 138 Etienne Pallier
En attendant, on pourrait se contenter d'un "mode dégradé", qui consisterait à copier manuellement (via clé ou disque usb) les photos de la webcam sur le pc-EGSE
106 138 Etienne Pallier
107 138 Etienne Pallier
Fichier LOG : Produire un CSV + un fichier HTML (ou fichier texte séparé par tabulations) pour qu'il soit lisible sans devoir passer par Open Office
108 138 Etienne Pallier
109 138 Etienne Pallier
DARK BEFORE/AFTER : priorité au DARK AFTER
110 138 Etienne Pallier
Le DARK BEFORE est très rare, il existerait seulement si il y a 2 DARK à la suite (le 2ème serait le DARK BEFORE du SPECTRE LIBS qui arrive ensuite)
111 138 Etienne Pallier
=> pour simplifier, on peut le supprimer (donc supprimer 2 colonnes dans le fichier LOG)
112 138 Etienne Pallier
113 138 Etienne Pallier
Passer le délai de la boucle du traitement quotidien à 2 secondes (au lieu de 60 actuellement)
114 138 Etienne Pallier
115 138 Etienne Pallier
Les 2 fichiers "LOG général" et "LOG du jour" doivent s’afficher automatiquement au démarrage
116 138 Etienne Pallier
117 138 Etienne Pallier
Le LOG général affiche l'état en cours d'exécution du script, pour savoir où on en est :
118 138 Etienne Pallier
- a) traitement global des fichiers, avec affichage des dossiers jours créés
119 138 Etienne Pallier
Ne pas afficher le contenu de /home/vx/EQM_DATA/
120 138 Etienne Pallier
(log files « created » in …)
121 138 Etienne Pallier
car ces dossiers ont été créés antérieurement
122 138 Etienne Pallier
N’afficher le contenu QUE du dossier qui vient d’être créé
123 138 Etienne Pallier
- b) traitement quotidien des fichiers du jour, avec affichage de : 
124 138 Etienne Pallier
  - numéro d'itération
125 138 Etienne Pallier
  - fichiers SPECTRE et SOH traités (+ leur nombre)
126 138 Etienne Pallier
127 138 Etienne Pallier
Le LOG quotidien affiche le contenu du fichier LOG du jour (qui se remplit au fur et à mesure)
128 138 Etienne Pallier
129 138 Etienne Pallier
Mettre les 4 champs de température laser
130 138 Etienne Pallier
131 138 Etienne Pallier
Formule pour distance à partir de pm (quelqu'un doit me la donner)
132 138 Etienne Pallier
(supprimer dist(mm))
133 138 Etienne Pallier
134 138 Etienne Pallier
Supprimer nshots
135 138 Etienne Pallier
136 138 Etienne Pallier
Créer un dossier avec pour nom datedujour+contexte-name/
137 138 Etienne Pallier
Si pas de contexte avec la date du jour (au démarrage), créer un dossier datedujour+NO-CONTEXT/
138 138 Etienne Pallier
Quand le contexte change (un nouveau fichier contexte a été créé via C-GDL), alors un nouveau dossier est créé
139 138 Etienne Pallier
*Problème : que va-t-il se passer si le contexte est créé A POSTERIORI, après avoir fait tous les tirs ???*
140 138 Etienne Pallier
141 138 Etienne Pallier
(Technique interne : Ne laisser que c-spec-hk-workflow à la racine du projet, le reste doit être dans un sous-dossier (contiendra c-spec-hk + tests))
142 138 Etienne Pallier
143 138 Etienne Pallier
144 138 Etienne Pallier
145 138 Etienne Pallier
146 138 Etienne Pallier
147 138 Etienne Pallier
148 138 Etienne Pallier
149 138 Etienne Pallier
150 138 Etienne Pallier
151 138 Etienne Pallier
152 138 Etienne Pallier
153 138 Etienne Pallier
154 138 Etienne Pallier
155 138 Etienne Pallier
156 138 Etienne Pallier
157 138 Etienne Pallier
158 138 Etienne Pallier
159 138 Etienne Pallier
160 138 Etienne Pallier
161 138 Etienne Pallier
162 138 Etienne Pallier
163 138 Etienne Pallier
164 138 Etienne Pallier
165 138 Etienne Pallier
166 138 Etienne Pallier
167 138 Etienne Pallier
168 138 Etienne Pallier
169 138 Etienne Pallier
170 138 Etienne Pallier
171 138 Etienne Pallier
---
172 126 Etienne Pallier
173 120 Etienne Pallier
174 120 Etienne Pallier
---
175 128 Etienne Pallier
176 128 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}SPECIFICATIONS%
177 128 Etienne Pallier
178 1 Etienne Pallier
179 11 Etienne Pallier
180 12 Etienne Pallier
h3. Schéma de connexion
181 11 Etienne Pallier
182 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
183 11 Etienne Pallier
184 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
185 11 Etienne Pallier
- MU : fait les tirs
186 11 Etienne Pallier
- BU : analyse les spectres
187 11 Etienne Pallier
188 11 Etienne Pallier
SOH (Spectra O? HK)
189 11 Etienne Pallier
190 30 Etienne Pallier
h3. Types d’observations
191 30 Etienne Pallier
192 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
193 11 Etienne Pallier
194 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
195 11 Etienne Pallier
-----	---------	------------------
196 11 Etienne Pallier
197 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
198 11 Etienne Pallier
199 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
200 1 Etienne Pallier
201 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
202 11 Etienne Pallier
203 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
204 11 Etienne Pallier
205 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
206 11 Etienne Pallier
207 11 Etienne Pallier
5		32 		BS
208 11 Etienne Pallier
209 11 Etienne Pallier
210 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
211 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
212 11 Etienne Pallier
213 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
214 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
215 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
216 11 Etienne Pallier
217 31 Etienne Pallier
h3. Fichier spectre
218 11 Etienne Pallier
219 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
220 11 Etienne Pallier
A représenter sur axe 
221 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
222 11 Etienne Pallier
- Y : intensité
223 11 Etienne Pallier
224 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
225 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
226 1 Etienne Pallier
227 32 Etienne Pallier
h3. Stratégie de développement
228 13 Etienne Pallier
229 11 Etienne Pallier
Prendre le last stack only
230 11 Etienne Pallier
231 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
232 11 Etienne Pallier
233 11 Etienne Pallier
1 fich/jour
234 11 Etienne Pallier
235 11 Etienne Pallier
Methods to write :
236 11 Etienne Pallier
237 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
238 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
239 11 Etienne Pallier
240 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
241 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
242 16 Etienne Pallier
=> regarde un peu autour (avant et après)
243 11 Etienne Pallier
244 11 Etienne Pallier
findAutofocus(...)
245 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
246 11 Etienne Pallier
247 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
248 11 Etienne Pallier
249 11 Etienne Pallier
data_Feb25_2014_5 
250 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
251 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
252 1 Etienne Pallier
253 11 Etienne Pallier
id, SPECT_file, SOH_file, 
254 1 Etienne Pallier
255 11 Etienne Pallier
// from *_SOH.TXT file :
256 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
257 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
258 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
259 15 Etienne Pallier
pm(cnts), 					// Motor_Position
260 11 Etienne Pallier
261 11 Etienne Pallier
// from *_spect.TXT file :
262 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
263 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
264 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
265 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
266 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
267 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
268 11 Etienne Pallier
269 11 Etienne Pallier
270 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
271 11 Etienne Pallier
272 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
273 11 Etienne Pallier
274 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
275 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
276 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
277 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
278 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
279 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
280 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
281 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
282 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
283 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
284 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
285 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
286 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
287 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
288 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
289 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
290 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
291 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
292 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
293 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
294 15 Etienne Pallier
295 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
296 43 Etienne Pallier
297 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
298 43 Etienne Pallier
299 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
300 43 Etienne Pallier
301 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
302 43 Etienne Pallier
303 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
304 47 Etienne Pallier
305 136 Etienne Pallier
---
306 136 Etienne Pallier
307 83 Etienne Pallier
h2. RECUPERATION DU PROJET
308 91 Etienne Pallier
309 83 Etienne Pallier
310 83 Etienne Pallier
*a) Directement, depuis svn*
311 83 Etienne Pallier
312 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
313 83 Etienne Pallier
314 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
315 1 Etienne Pallier
316 90 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
317 90 Etienne Pallier
318 91 Etienne Pallier
319 58 Etienne Pallier
320 1 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
321 1 Etienne Pallier
322 1 Etienne Pallier
https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
323 86 Etienne Pallier
324 137 Etienne Pallier
---
325 137 Etienne Pallier
326 95 Etienne Pallier
h2. EXECUTION
327 92 Etienne Pallier
328 92 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
329 92 Etienne Pallier
330 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
331 92 Etienne Pallier
332 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
333 92 Etienne Pallier
334 92 Etienne Pallier
sudo port select --set python python27
335 92 Etienne Pallier
336 92 Etienne Pallier
$ which python
337 92 Etienne Pallier
/opt/local/bin/python
338 92 Etienne Pallier
339 92 Etienne Pallier
$ python --version
340 92 Etienne Pallier
Python 2.7.9
341 92 Etienne Pallier
342 92 Etienne Pallier
Mettre à jour MacPort :
343 92 Etienne Pallier
sudo port -v selfupdate
344 92 Etienne Pallier
sudo port upgrade outdated
345 92 Etienne Pallier
346 92 Etienne Pallier
347 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
348 92 Etienne Pallier
349 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
350 92 Etienne Pallier
351 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
352 92 Etienne Pallier
353 94 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
354 86 Etienne Pallier
355 89 Etienne Pallier
h3. 2) EXECUTING TESTS
356 89 Etienne Pallier
357 86 Etienne Pallier
h4. Depuis Eclipse
358 86 Etienne Pallier
359 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
360 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
361 86 Etienne Pallier
Run As / Python unit-test
362 89 Etienne Pallier
363 86 Etienne Pallier
364 89 Etienne Pallier
h4. En mode ligne de commande
365 86 Etienne Pallier
366 72 Etienne Pallier
h5. TESTS faits avec Python 2.7
367 72 Etienne Pallier
368 1 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
369 72 Etienne Pallier
370 73 Etienne Pallier
cd test/
371 1 Etienne Pallier
372 72 Etienne Pallier
$ py27 premiertest.py
373 1 Etienne Pallier
<pre>
374 72 Etienne Pallier
...
375 72 Etienne Pallier
----------------------------------------------------------------------
376 1 Etienne Pallier
Ran 3 tests in 0.000s
377 72 Etienne Pallier
378 72 Etienne Pallier
OK
379 73 Etienne Pallier
</pre>
380 72 Etienne Pallier
381 72 Etienne Pallier
$ py27 c_spec_hk_TEST.py
382 72 Etienne Pallier
383 72 Etienne Pallier
<pre>
384 72 Etienne Pallier
...
385 1 Etienne Pallier
======================================================================
386 62 Etienne Pallier
----------------------------------------------------------------------
387 1 Etienne Pallier
Ran 14 tests in 5.833s
388 1 Etienne Pallier
389 72 Etienne Pallier
OK
390 72 Etienne Pallier
</pre>
391 1 Etienne Pallier
392 62 Etienne Pallier
393 72 Etienne Pallier
394 72 Etienne Pallier
395 70 Etienne Pallier
*2) Tests de Performance (Benchmark)*
396 70 Etienne Pallier
397 62 Etienne Pallier
Depuis la racine du projet :
398 62 Etienne Pallier
399 62 Etienne Pallier
<pre>
400 62 Etienne Pallier
$ py27 c_spec_hk.py -t
401 62 Etienne Pallier
...Executing main program...
402 62 Etienne Pallier
Testing execution time of several methods
403 62 Etienne Pallier
404 62 Etienne Pallier
All times are in SECONDS
405 62 Etienne Pallier
406 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
407 62 Etienne Pallier
0.000790863037109
408 62 Etienne Pallier
409 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
410 62 Etienne Pallier
0.000117941689491
411 62 Etienne Pallier
412 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
413 62 Etienne Pallier
0.0429699897766
414 62 Etienne Pallier
415 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
416 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
417 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
418 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
419 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
420 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
421 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
422 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
423 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
424 62 Etienne Pallier
total 56
425 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
426 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
427 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
428 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
429 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
430 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
431 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
432 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
433 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
434 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
435 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
436 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
437 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
438 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
439 62 Etienne Pallier
440 62 Etienne Pallier
1.91459012032
441 1 Etienne Pallier
Average time per day : 0.273513
442 1 Etienne Pallier
443 1 Etienne Pallier
*** finished TIMING ***
444 62 Etienne Pallier
445 1 Etienne Pallier
</pre>
446 86 Etienne Pallier
447 89 Etienne Pallier
448 86 Etienne Pallier
449 72 Etienne Pallier
h5. TESTS faits avec Python 2.6
450 1 Etienne Pallier
451 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
452 1 Etienne Pallier
453 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
454 1 Etienne Pallier
455 72 Etienne Pallier
cd test/
456 72 Etienne Pallier
457 72 Etienne Pallier
$ python premiertest.py
458 72 Etienne Pallier
<pre>
459 72 Etienne Pallier
...
460 72 Etienne Pallier
----------------------------------------------------------------------
461 72 Etienne Pallier
Ran 3 tests in 0.000s
462 72 Etienne Pallier
463 72 Etienne Pallier
OK
464 72 Etienne Pallier
</pre>
465 72 Etienne Pallier
466 72 Etienne Pallier
$ python c_spec_hk_TEST.py
467 72 Etienne Pallier
468 72 Etienne Pallier
<pre>
469 72 Etienne Pallier
...
470 72 Etienne Pallier
======================================================================
471 72 Etienne Pallier
----------------------------------------------------------------------
472 72 Etienne Pallier
Ran 14 tests in 6.742s
473 72 Etienne Pallier
474 72 Etienne Pallier
OK
475 72 Etienne Pallier
</pre>
476 72 Etienne Pallier
477 72 Etienne Pallier
---
478 72 Etienne Pallier
479 72 Etienne Pallier
480 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
481 72 Etienne Pallier
482 58 Etienne Pallier
Depuis la racine du projet 
483 58 Etienne Pallier
484 58 Etienne Pallier
$ ./c_spec_hk.py -t
485 58 Etienne Pallier
<pre>
486 58 Etienne Pallier
...Executing main program...
487 58 Etienne Pallier
Testing execution time of several methods
488 58 Etienne Pallier
489 58 Etienne Pallier
All times are in SECONDS
490 58 Etienne Pallier
491 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
492 58 Etienne Pallier
0.00105306601524
493 58 Etienne Pallier
494 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
495 58 Etienne Pallier
0.000152537894249
496 58 Etienne Pallier
497 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
498 58 Etienne Pallier
0.0518409013748
499 58 Etienne Pallier
500 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
501 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
502 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
503 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
504 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
505 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
506 59 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
507 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
508 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
509 58 Etienne Pallier
total 56
510 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
511 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
512 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
513 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
514 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
515 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
516 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
517 80 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
518 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
519 25 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
520 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
521 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
522 22 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
523 21 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
524 21 Etienne Pallier
525 77 Etienne Pallier
2.33647012711
526 21 Etienne Pallier
Average time per day : 0.333781
527 21 Etienne Pallier
528 1 Etienne Pallier
*** finished TIMING ***
529 96 Etienne Pallier
</pre>
530 21 Etienne Pallier
531 97 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
532 1 Etienne Pallier
533 88 Etienne Pallier
h4. Depuis Eclipse
534 88 Etienne Pallier
535 21 Etienne Pallier
clic-droit sur c_spec_hk.py
536 97 Etienne Pallier
Run As / Python Run
537 21 Etienne Pallier
538 21 Etienne Pallier
h4. In Command line mode
539 1 Etienne Pallier
540 80 Etienne Pallier
	a) Pour voir l'aide :
541 81 Etienne Pallier
542 80 Etienne Pallier
$ python c_spec_hk.py -h
543 1 Etienne Pallier
544 80 Etienne Pallier
...Executing main program...
545 1 Etienne Pallier
546 81 Etienne Pallier
Usage:
547 1 Etienne Pallier
548 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
549 1 Etienne Pallier
OR
550 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
551 1 Etienne Pallier
552 80 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
553 80 Etienne Pallier
554 80 Etienne Pallier
All options available are (none is mandatory) :
555 80 Etienne Pallier
-d : activate DEBUG mode
556 80 Etienne Pallier
-h : print this HELP message
557 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
558 80 Etienne Pallier
-t : test execution TIME of several methods
559 1 Etienne Pallier
-v : print current VERSION number
560 21 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
561 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
562 81 Etienne Pallier
563 80 Etienne Pallier
564 23 Etienne Pallier
565 81 Etienne Pallier
	b) Speed testing (benchmark)
566 21 Etienne Pallier
567 21 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
568 21 Etienne Pallier
569 21 Etienne Pallier
570 82 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
571 1 Etienne Pallier
572 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
573 82 Etienne Pallier
574 21 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
575 21 Etienne Pallier
576 82 Etienne Pallier
Exemple d'affichage attendu :
577 21 Etienne Pallier
578 82 Etienne Pallier
...Executing main program...
579 82 Etienne Pallier
580 21 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
581 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
582 82 Etienne Pallier
583 21 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
584 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
585 82 Etienne Pallier
586 21 Etienne Pallier
Log files created in /tmp/LOGS/ :
587 21 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
588 36 Etienne Pallier
589 54 Etienne Pallier
590 36 Etienne Pallier
---
591 52 Etienne Pallier
592 50 Etienne Pallier
h2. DAILY WORKFLOW
593 52 Etienne Pallier
594 1 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
595 52 Etienne Pallier
596 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
597 1 Etienne Pallier
598 1 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
599 52 Etienne Pallier
600 37 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
601 53 Etienne Pallier
602 50 Etienne Pallier
<pre>
603 50 Etienne Pallier
604 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
605 50 Etienne Pallier
606 36 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
607 36 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
608 40 Etienne Pallier
        - les fichiers logs produits (CSV)
609 40 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
610 48 Etienne Pallier
611 1 Etienne Pallier
</pre>
612 51 Etienne Pallier
613 48 Etienne Pallier
h3. 2) WORKFLOW
614 57 Etienne Pallier
615 55 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
616 1 Etienne Pallier
617 39 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
618 57 Etienne Pallier
619 1 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
620 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
621 57 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
622 57 Etienne Pallier
623 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
624 57 Etienne Pallier
625 48 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
626 1 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
627 51 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
628 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
629 1 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
630 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
631 1 Etienne Pallier
632 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE