Wiki

Version 93 (Etienne Pallier, 04/28/2015 04:38 pm)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 8 Etienne Pallier
{{toc}}
4 3 Etienne Pallier
5 35 Etienne Pallier
---
6 35 Etienne Pallier
7 35 Etienne Pallier
h2. DEPOT SVN
8 35 Etienne Pallier
9 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
10 35 Etienne Pallier
11 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
12 35 Etienne Pallier
13 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
14 35 Etienne Pallier
15 35 Etienne Pallier
 * Administrateur : Etienne Pallier
16 35 Etienne Pallier
17 35 Etienne Pallier
 * Groupes :
18 76 Etienne Pallier
19 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
20 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
21 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
22 35 Etienne Pallier
23 35 Etienne Pallier
 * Ajout d'utilisateurs 
24 35 Etienne Pallier
25 35 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
26 35 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
27 35 Etienne Pallier
28 35 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
29 35 Etienne Pallier
30 35 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
31 11 Etienne Pallier
32 42 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
33 41 Etienne Pallier
34 12 Etienne Pallier
---
35 11 Etienne Pallier
36 11 Etienne Pallier
h2. SPECIFICATIONS
37 1 Etienne Pallier
38 11 Etienne Pallier
39 12 Etienne Pallier
h3. Schéma de connexion
40 11 Etienne Pallier
41 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
42 11 Etienne Pallier
43 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
44 11 Etienne Pallier
- MU : fait les tirs
45 11 Etienne Pallier
- BU : analyse les spectres
46 11 Etienne Pallier
47 11 Etienne Pallier
SOH (Spectra O? HK)
48 11 Etienne Pallier
49 30 Etienne Pallier
h3. Types d’observations
50 30 Etienne Pallier
51 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
52 11 Etienne Pallier
53 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
54 11 Etienne Pallier
-----	---------	------------------
55 11 Etienne Pallier
56 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
57 11 Etienne Pallier
58 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
59 1 Etienne Pallier
60 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
61 11 Etienne Pallier
62 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
63 11 Etienne Pallier
64 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
65 11 Etienne Pallier
66 11 Etienne Pallier
5		32 		BS
67 11 Etienne Pallier
68 11 Etienne Pallier
69 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
70 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
71 11 Etienne Pallier
72 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
73 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
74 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
75 11 Etienne Pallier
76 31 Etienne Pallier
h3. Fichier spectre
77 11 Etienne Pallier
78 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
79 11 Etienne Pallier
A représenter sur axe 
80 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
81 11 Etienne Pallier
- Y : intensité
82 11 Etienne Pallier
83 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
84 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
85 1 Etienne Pallier
86 32 Etienne Pallier
h3. Stratégie de développement
87 13 Etienne Pallier
88 11 Etienne Pallier
Prendre le last stack only
89 11 Etienne Pallier
90 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
91 11 Etienne Pallier
92 11 Etienne Pallier
1 fich/jour
93 11 Etienne Pallier
94 11 Etienne Pallier
Methods to write :
95 11 Etienne Pallier
96 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
97 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
98 11 Etienne Pallier
99 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
100 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
101 16 Etienne Pallier
=> regarde un peu autour (avant et après)
102 11 Etienne Pallier
103 11 Etienne Pallier
findAutofocus(...)
104 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
105 11 Etienne Pallier
106 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
107 11 Etienne Pallier
108 11 Etienne Pallier
data_Feb25_2014_5 
109 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
110 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
111 1 Etienne Pallier
112 11 Etienne Pallier
id, SPECT_file, SOH_file, 
113 1 Etienne Pallier
114 11 Etienne Pallier
// from *_SOH.TXT file :
115 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
116 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
117 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
118 15 Etienne Pallier
pm(cnts), 					// Motor_Position
119 11 Etienne Pallier
120 11 Etienne Pallier
// from *_spect.TXT file :
121 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
122 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
123 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
124 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
125 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
126 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
127 11 Etienne Pallier
128 11 Etienne Pallier
129 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
130 11 Etienne Pallier
131 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
132 11 Etienne Pallier
133 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
134 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
135 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
136 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
137 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
138 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
139 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
140 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
141 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
142 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
143 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
144 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
145 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
146 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
147 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
148 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
149 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
150 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
151 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
152 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
153 15 Etienne Pallier
154 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
155 43 Etienne Pallier
156 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
157 43 Etienne Pallier
158 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
159 43 Etienne Pallier
160 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
161 43 Etienne Pallier
162 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
163 47 Etienne Pallier
164 17 Etienne Pallier
---
165 11 Etienne Pallier
166 86 Etienne Pallier
h2. RECUPERATION DU PROJET
167 4 Etienne Pallier
168 83 Etienne Pallier
169 91 Etienne Pallier
*a) Directement, depuis svn*
170 83 Etienne Pallier
171 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
172 83 Etienne Pallier
173 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
174 83 Etienne Pallier
175 83 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
176 1 Etienne Pallier
177 90 Etienne Pallier
178 90 Etienne Pallier
179 91 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
180 58 Etienne Pallier
181 1 Etienne Pallier
https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
182 1 Etienne Pallier
183 1 Etienne Pallier
h2. EXECUTION
184 86 Etienne Pallier
185 93 Etienne Pallier
h3. 1) Prérequis : Python 2.7
186 92 Etienne Pallier
187 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
188 92 Etienne Pallier
189 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
190 92 Etienne Pallier
191 92 Etienne Pallier
sudo port select --set python python27
192 92 Etienne Pallier
193 92 Etienne Pallier
$ which python
194 92 Etienne Pallier
/opt/local/bin/python
195 92 Etienne Pallier
196 92 Etienne Pallier
$ python --version
197 92 Etienne Pallier
Python 2.7.9
198 92 Etienne Pallier
199 92 Etienne Pallier
Mettre à jour MacPort :
200 92 Etienne Pallier
sudo port -v selfupdate
201 92 Etienne Pallier
sudo port upgrade outdated
202 92 Etienne Pallier
203 92 Etienne Pallier
204 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
205 92 Etienne Pallier
206 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
207 92 Etienne Pallier
208 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
209 92 Etienne Pallier
210 92 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
211 92 Etienne Pallier
212 89 Etienne Pallier
h3. EXECUTING TESTS
213 86 Etienne Pallier
214 89 Etienne Pallier
h4. Depuis Eclipse
215 89 Etienne Pallier
216 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
217 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
218 86 Etienne Pallier
Run As / Python unit-test
219 86 Etienne Pallier
220 86 Etienne Pallier
221 89 Etienne Pallier
h4. En mode ligne de commande
222 86 Etienne Pallier
223 89 Etienne Pallier
h5. TESTS faits avec Python 2.7
224 86 Etienne Pallier
225 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
226 72 Etienne Pallier
227 1 Etienne Pallier
cd test/
228 72 Etienne Pallier
229 73 Etienne Pallier
$ py27 premiertest.py
230 1 Etienne Pallier
<pre>
231 72 Etienne Pallier
...
232 1 Etienne Pallier
----------------------------------------------------------------------
233 72 Etienne Pallier
Ran 3 tests in 0.000s
234 72 Etienne Pallier
235 1 Etienne Pallier
OK
236 72 Etienne Pallier
</pre>
237 72 Etienne Pallier
238 73 Etienne Pallier
$ py27 c_spec_hk_TEST.py
239 72 Etienne Pallier
240 72 Etienne Pallier
<pre>
241 72 Etienne Pallier
...
242 72 Etienne Pallier
======================================================================
243 72 Etienne Pallier
----------------------------------------------------------------------
244 1 Etienne Pallier
Ran 14 tests in 5.833s
245 62 Etienne Pallier
246 1 Etienne Pallier
OK
247 1 Etienne Pallier
</pre>
248 72 Etienne Pallier
249 72 Etienne Pallier
250 1 Etienne Pallier
251 62 Etienne Pallier
252 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
253 72 Etienne Pallier
254 70 Etienne Pallier
Depuis la racine du projet :
255 70 Etienne Pallier
256 62 Etienne Pallier
<pre>
257 62 Etienne Pallier
$ py27 c_spec_hk.py -t
258 62 Etienne Pallier
...Executing main program...
259 62 Etienne Pallier
Testing execution time of several methods
260 62 Etienne Pallier
261 62 Etienne Pallier
All times are in SECONDS
262 62 Etienne Pallier
263 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
264 62 Etienne Pallier
0.000790863037109
265 62 Etienne Pallier
266 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
267 62 Etienne Pallier
0.000117941689491
268 62 Etienne Pallier
269 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
270 62 Etienne Pallier
0.0429699897766
271 62 Etienne Pallier
272 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
273 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
274 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
275 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
276 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
277 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
278 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
279 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
280 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
281 62 Etienne Pallier
total 56
282 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
283 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
284 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
285 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
286 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
287 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
288 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
289 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
290 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
291 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
292 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
293 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
294 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
295 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
296 62 Etienne Pallier
297 62 Etienne Pallier
1.91459012032
298 62 Etienne Pallier
Average time per day : 0.273513
299 62 Etienne Pallier
300 1 Etienne Pallier
*** finished TIMING ***
301 1 Etienne Pallier
302 1 Etienne Pallier
</pre>
303 62 Etienne Pallier
304 1 Etienne Pallier
305 86 Etienne Pallier
306 89 Etienne Pallier
h5. TESTS faits avec Python 2.6
307 86 Etienne Pallier
308 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
309 1 Etienne Pallier
310 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
311 1 Etienne Pallier
312 72 Etienne Pallier
cd test/
313 1 Etienne Pallier
314 72 Etienne Pallier
$ python premiertest.py
315 72 Etienne Pallier
<pre>
316 72 Etienne Pallier
...
317 72 Etienne Pallier
----------------------------------------------------------------------
318 72 Etienne Pallier
Ran 3 tests in 0.000s
319 72 Etienne Pallier
320 72 Etienne Pallier
OK
321 72 Etienne Pallier
</pre>
322 72 Etienne Pallier
323 72 Etienne Pallier
$ python c_spec_hk_TEST.py
324 72 Etienne Pallier
325 72 Etienne Pallier
<pre>
326 72 Etienne Pallier
...
327 72 Etienne Pallier
======================================================================
328 72 Etienne Pallier
----------------------------------------------------------------------
329 72 Etienne Pallier
Ran 14 tests in 6.742s
330 72 Etienne Pallier
331 72 Etienne Pallier
OK
332 72 Etienne Pallier
</pre>
333 72 Etienne Pallier
334 72 Etienne Pallier
---
335 72 Etienne Pallier
336 72 Etienne Pallier
337 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
338 72 Etienne Pallier
339 72 Etienne Pallier
Depuis la racine du projet 
340 72 Etienne Pallier
341 58 Etienne Pallier
$ ./c_spec_hk.py -t
342 58 Etienne Pallier
<pre>
343 58 Etienne Pallier
...Executing main program...
344 58 Etienne Pallier
Testing execution time of several methods
345 58 Etienne Pallier
346 58 Etienne Pallier
All times are in SECONDS
347 58 Etienne Pallier
348 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
349 58 Etienne Pallier
0.00105306601524
350 58 Etienne Pallier
351 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
352 58 Etienne Pallier
0.000152537894249
353 58 Etienne Pallier
354 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
355 58 Etienne Pallier
0.0518409013748
356 58 Etienne Pallier
357 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
358 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
359 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
360 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
361 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
362 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
363 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
364 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
365 59 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
366 58 Etienne Pallier
total 56
367 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
368 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
369 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
370 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
371 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
372 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
373 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
374 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
375 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
376 80 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
377 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
378 25 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
379 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
380 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
381 22 Etienne Pallier
382 21 Etienne Pallier
2.33647012711
383 21 Etienne Pallier
Average time per day : 0.333781
384 77 Etienne Pallier
385 21 Etienne Pallier
*** finished TIMING ***
386 21 Etienne Pallier
</pre>
387 1 Etienne Pallier
388 88 Etienne Pallier
h3. EXECUTING MAIN SCRIPT 
389 21 Etienne Pallier
390 88 Etienne Pallier
h4. 1) Depuis Eclipse
391 1 Etienne Pallier
392 88 Etienne Pallier
clic-droit sur c_spec_hk.py
393 88 Etienne Pallier
Run As / Python Run
394 21 Etienne Pallier
395 88 Etienne Pallier
h4. 2) In Command line mode
396 21 Etienne Pallier
397 21 Etienne Pallier
	a) Pour voir l'aide :
398 1 Etienne Pallier
399 80 Etienne Pallier
$ python c_spec_hk.py -h
400 81 Etienne Pallier
401 80 Etienne Pallier
...Executing main program...
402 1 Etienne Pallier
403 80 Etienne Pallier
Usage:
404 1 Etienne Pallier
405 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
406 1 Etienne Pallier
OR
407 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
408 1 Etienne Pallier
409 81 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
410 1 Etienne Pallier
411 80 Etienne Pallier
All options available are (none is mandatory) :
412 80 Etienne Pallier
-d : activate DEBUG mode
413 80 Etienne Pallier
-h : print this HELP message
414 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
415 80 Etienne Pallier
-t : test execution TIME of several methods
416 80 Etienne Pallier
-v : print current VERSION number
417 80 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
418 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
419 21 Etienne Pallier
420 1 Etienne Pallier
421 81 Etienne Pallier
422 80 Etienne Pallier
	b) Speed testing (benchmark)
423 23 Etienne Pallier
424 81 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
425 21 Etienne Pallier
426 21 Etienne Pallier
427 21 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
428 21 Etienne Pallier
429 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
430 1 Etienne Pallier
431 82 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
432 82 Etienne Pallier
433 21 Etienne Pallier
Exemple d'affichage attendu :
434 21 Etienne Pallier
435 82 Etienne Pallier
...Executing main program...
436 21 Etienne Pallier
437 82 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
438 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
439 21 Etienne Pallier
440 82 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
441 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
442 21 Etienne Pallier
443 82 Etienne Pallier
Log files created in /tmp/LOGS/ :
444 82 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
445 21 Etienne Pallier
446 21 Etienne Pallier
447 36 Etienne Pallier
---
448 54 Etienne Pallier
449 36 Etienne Pallier
h2. DAILY WORKFLOW
450 52 Etienne Pallier
451 50 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
452 52 Etienne Pallier
453 1 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
454 52 Etienne Pallier
455 52 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
456 1 Etienne Pallier
457 1 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
458 52 Etienne Pallier
459 37 Etienne Pallier
<pre>
460 53 Etienne Pallier
461 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
462 50 Etienne Pallier
463 50 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
464 50 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
465 36 Etienne Pallier
        - les fichiers logs produits (CSV)
466 36 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
467 40 Etienne Pallier
468 40 Etienne Pallier
</pre>
469 48 Etienne Pallier
470 1 Etienne Pallier
h3. 2) WORKFLOW
471 51 Etienne Pallier
472 48 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
473 57 Etienne Pallier
474 55 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
475 1 Etienne Pallier
476 39 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
477 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
478 1 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
479 57 Etienne Pallier
480 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
481 57 Etienne Pallier
482 57 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
483 57 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
484 48 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
485 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
486 51 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
487 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
488 1 Etienne Pallier
489 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE