Wiki

Version 67 (Etienne Pallier, 03/23/2015 09:49 am)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 8 Etienne Pallier
{{toc}}
4 3 Etienne Pallier
5 35 Etienne Pallier
---
6 35 Etienne Pallier
7 35 Etienne Pallier
h2. DEPOT SVN
8 35 Etienne Pallier
9 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
10 35 Etienne Pallier
11 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
12 35 Etienne Pallier
13 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
14 35 Etienne Pallier
15 35 Etienne Pallier
 * Administrateur : Etienne Pallier
16 35 Etienne Pallier
17 35 Etienne Pallier
 * Groupes :
18 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
19 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
20 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
21 35 Etienne Pallier
22 35 Etienne Pallier
 * Ajout d'utilisateurs 
23 35 Etienne Pallier
24 35 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
25 35 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
26 35 Etienne Pallier
27 35 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
28 35 Etienne Pallier
29 35 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
30 11 Etienne Pallier
31 42 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
32 41 Etienne Pallier
33 12 Etienne Pallier
---
34 11 Etienne Pallier
35 11 Etienne Pallier
h2. SPECIFICATIONS
36 1 Etienne Pallier
37 11 Etienne Pallier
38 12 Etienne Pallier
h3. Schéma de connexion
39 11 Etienne Pallier
40 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
41 11 Etienne Pallier
42 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
43 11 Etienne Pallier
- MU : fait les tirs
44 11 Etienne Pallier
- BU : analyse les spectres
45 11 Etienne Pallier
46 11 Etienne Pallier
SOH (Spectra O? HK)
47 11 Etienne Pallier
48 30 Etienne Pallier
h3. Types d’observations
49 30 Etienne Pallier
50 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
51 11 Etienne Pallier
52 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
53 11 Etienne Pallier
-----	---------	------------------
54 11 Etienne Pallier
55 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
56 11 Etienne Pallier
57 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
58 1 Etienne Pallier
59 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
60 11 Etienne Pallier
61 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
62 11 Etienne Pallier
63 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
64 11 Etienne Pallier
65 11 Etienne Pallier
5		32 		BS
66 11 Etienne Pallier
67 11 Etienne Pallier
68 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
69 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
70 11 Etienne Pallier
71 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
72 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
73 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
74 11 Etienne Pallier
75 31 Etienne Pallier
h3. Fichier spectre
76 11 Etienne Pallier
77 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
78 11 Etienne Pallier
A représenter sur axe 
79 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
80 11 Etienne Pallier
- Y : intensité
81 11 Etienne Pallier
82 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
83 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
84 1 Etienne Pallier
85 32 Etienne Pallier
h3. Stratégie de développement
86 13 Etienne Pallier
87 11 Etienne Pallier
Prendre le last stack only
88 11 Etienne Pallier
89 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
90 11 Etienne Pallier
91 11 Etienne Pallier
1 fich/jour
92 11 Etienne Pallier
93 11 Etienne Pallier
Methods to write :
94 11 Etienne Pallier
95 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
96 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
97 11 Etienne Pallier
98 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
99 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
100 16 Etienne Pallier
=> regarde un peu autour (avant et après)
101 11 Etienne Pallier
102 11 Etienne Pallier
findAutofocus(...)
103 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
104 11 Etienne Pallier
105 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
106 11 Etienne Pallier
107 11 Etienne Pallier
data_Feb25_2014_5 
108 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
109 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
110 1 Etienne Pallier
111 11 Etienne Pallier
id, SPECT_file, SOH_file, 
112 1 Etienne Pallier
113 11 Etienne Pallier
// from *_SOH.TXT file :
114 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
115 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
116 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
117 15 Etienne Pallier
pm(cnts), 					// Motor_Position
118 11 Etienne Pallier
119 11 Etienne Pallier
// from *_spect.TXT file :
120 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
121 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
122 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
123 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
124 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
125 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
126 11 Etienne Pallier
127 11 Etienne Pallier
128 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
129 11 Etienne Pallier
130 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
131 11 Etienne Pallier
132 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
133 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
134 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
135 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
136 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
137 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
138 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
139 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
140 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
141 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
142 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
143 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
144 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
145 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
146 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
147 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
148 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
149 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
150 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
151 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
152 15 Etienne Pallier
153 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
154 43 Etienne Pallier
155 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
156 43 Etienne Pallier
157 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
158 43 Etienne Pallier
159 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
160 43 Etienne Pallier
161 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
162 47 Etienne Pallier
163 17 Etienne Pallier
---
164 11 Etienne Pallier
165 61 Etienne Pallier
h2. INSTALLATION ET TESTS
166 4 Etienne Pallier
167 65 Etienne Pallier
Prérequis : Python 2.7
168 1 Etienne Pallier
169 63 Etienne Pallier
h3. Sur Mac (Machine de développement)
170 1 Etienne Pallier
171 58 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
172 58 Etienne Pallier
173 1 Etienne Pallier
sudo port select --set python python27
174 1 Etienne Pallier
175 1 Etienne Pallier
$ which python
176 1 Etienne Pallier
/opt/local/bin/python
177 1 Etienne Pallier
178 1 Etienne Pallier
$ python --version
179 1 Etienne Pallier
Python 2.7.9
180 2 Etienne Pallier
181 2 Etienne Pallier
Mettre à jour MacPort :
182 2 Etienne Pallier
sudo port -v selfupdate
183 2 Etienne Pallier
sudo port upgrade outdated
184 1 Etienne Pallier
185 65 Etienne Pallier
186 65 Etienne Pallier
187 65 Etienne Pallier
188 58 Etienne Pallier
h3. Sur CentOS 6.5 (serveur de production)
189 64 Etienne Pallier
190 1 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
191 1 Etienne Pallier
192 65 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
193 65 Etienne Pallier
194 65 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
195 60 Etienne Pallier
196 58 Etienne Pallier
cd /home/vx/C-SPEC-HK/
197 58 Etienne Pallier
198 58 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
199 58 Etienne Pallier
200 58 Etienne Pallier
cd c-spec-hk-svn/
201 1 Etienne Pallier
202 66 Etienne Pallier
h3. Tests Unitaires et Fonctionnels
203 1 Etienne Pallier
204 67 Etienne Pallier
Depuis la racine du projet :
205 67 Etienne Pallier
206 62 Etienne Pallier
py27 c_spec_hk_TEST.py
207 62 Etienne Pallier
<pre>
208 62 Etienne Pallier
----------------------------------------------------------------------
209 62 Etienne Pallier
Ran 14 tests in 5.833s
210 62 Etienne Pallier
211 62 Etienne Pallier
OK
212 62 Etienne Pallier
213 1 Etienne Pallier
</pre>
214 62 Etienne Pallier
215 66 Etienne Pallier
h3. Test de Performance (Benchmark)*
216 62 Etienne Pallier
217 62 Etienne Pallier
<pre>
218 62 Etienne Pallier
$ py27 c_spec_hk.py -t
219 62 Etienne Pallier
...Executing main program...
220 62 Etienne Pallier
Testing execution time of several methods
221 62 Etienne Pallier
222 62 Etienne Pallier
All times are in SECONDS
223 62 Etienne Pallier
224 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
225 62 Etienne Pallier
0.000790863037109
226 62 Etienne Pallier
227 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
228 62 Etienne Pallier
0.000117941689491
229 62 Etienne Pallier
230 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
231 62 Etienne Pallier
0.0429699897766
232 62 Etienne Pallier
233 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
234 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
235 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
236 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
237 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
238 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
239 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
240 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
241 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
242 62 Etienne Pallier
total 56
243 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
244 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
245 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
246 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
247 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
248 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
249 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
250 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
251 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
252 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
253 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
254 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
255 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
256 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
257 62 Etienne Pallier
258 62 Etienne Pallier
1.91459012032
259 62 Etienne Pallier
Average time per day : 0.273513
260 62 Etienne Pallier
261 62 Etienne Pallier
*** finished TIMING ***
262 62 Etienne Pallier
263 62 Etienne Pallier
</pre>
264 62 Etienne Pallier
265 62 Etienne Pallier
266 62 Etienne Pallier
267 62 Etienne Pallier
TESTS FAITS AVEC PYTHON 2.6
268 62 Etienne Pallier
269 62 Etienne Pallier
270 59 Etienne Pallier
*1) Test de Benchmark*
271 58 Etienne Pallier
272 58 Etienne Pallier
$ ./c_spec_hk.py -t
273 58 Etienne Pallier
<pre>
274 58 Etienne Pallier
...Executing main program...
275 58 Etienne Pallier
Testing execution time of several methods
276 58 Etienne Pallier
277 58 Etienne Pallier
All times are in SECONDS
278 58 Etienne Pallier
279 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
280 58 Etienne Pallier
0.00105306601524
281 58 Etienne Pallier
282 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
283 58 Etienne Pallier
0.000152537894249
284 58 Etienne Pallier
285 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
286 58 Etienne Pallier
0.0518409013748
287 58 Etienne Pallier
288 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
289 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
290 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
291 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
292 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
293 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
294 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
295 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
296 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
297 58 Etienne Pallier
total 56
298 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
299 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
300 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
301 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
302 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
303 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
304 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
305 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
306 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
307 58 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
308 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
309 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
310 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
311 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
312 58 Etienne Pallier
313 58 Etienne Pallier
2.33647012711
314 58 Etienne Pallier
Average time per day : 0.333781
315 58 Etienne Pallier
316 58 Etienne Pallier
*** finished TIMING ***
317 58 Etienne Pallier
</pre>
318 1 Etienne Pallier
319 58 Etienne Pallier
320 59 Etienne Pallier
*2) Execution des TESTS*
321 58 Etienne Pallier
322 58 Etienne Pallier
cd test/
323 58 Etienne Pallier
324 58 Etienne Pallier
$ python premiertest.py
325 58 Etienne Pallier
<pre>
326 58 Etienne Pallier
...
327 58 Etienne Pallier
----------------------------------------------------------------------
328 58 Etienne Pallier
Ran 3 tests in 0.000s
329 58 Etienne Pallier
330 58 Etienne Pallier
OK
331 58 Etienne Pallier
</pre>
332 58 Etienne Pallier
333 58 Etienne Pallier
$ python c_spec_hk_TEST.py
334 58 Etienne Pallier
335 58 Etienne Pallier
<pre>
336 58 Etienne Pallier
...
337 58 Etienne Pallier
======================================================================
338 58 Etienne Pallier
----------------------------------------------------------------------
339 58 Etienne Pallier
Ran 14 tests in 6.742s
340 58 Etienne Pallier
341 58 Etienne Pallier
OK
342 58 Etienne Pallier
</pre>
343 21 Etienne Pallier
344 21 Etienne Pallier
---
345 21 Etienne Pallier
346 33 Etienne Pallier
h2. EXECUTION
347 21 Etienne Pallier
348 25 Etienne Pallier
h3. A. EXECUTING TESTS 
349 1 Etienne Pallier
350 22 Etienne Pallier
(pour s'assurer que tout va bien)
351 22 Etienne Pallier
352 21 Etienne Pallier
h4. 1) en mode ligne de commande
353 21 Etienne Pallier
354 21 Etienne Pallier
cd test/
355 21 Etienne Pallier
./chemcamSpectraOrganize_TEST.py
356 21 Etienne Pallier
357 21 Etienne Pallier
Voici le genre d'affichage attendu si tout va bien :
358 21 Etienne Pallier
359 21 Etienne Pallier
Log files created in SPECTRA/LOGS/ :
360 21 Etienne Pallier
total 56
361 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:04 2011_0223_logs.txt
362 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:04 2013_0223_logs.txt
363 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:04 2014_0123_logs.txt
364 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:04 2014_0223_logs.txt
365 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff  3630 10 mar 12:04 2014_0225_logs.txt
366 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:04 2014_0226_logs.txt
367 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:04 2015_0223_logs.txt
368 21 Etienne Pallier
369 21 Etienne Pallier
createAllLogFiles(True) execution time : 3.223165 seconds
370 21 Etienne Pallier
371 21 Etienne Pallier
TestFunctionalTests() finished
372 21 Etienne Pallier
.
373 21 Etienne Pallier
TestFunctionalTests() finished
374 21 Etienne Pallier
.
375 21 Etienne Pallier
TestParseArgs() finished
376 21 Etienne Pallier
.
377 21 Etienne Pallier
TestUnitTests() finished
378 21 Etienne Pallier
.
379 21 Etienne Pallier
TestUnitTests() finished
380 21 Etienne Pallier
.
381 21 Etienne Pallier
TestUnitTests() finished
382 21 Etienne Pallier
.
383 21 Etienne Pallier
TestUnitTests() finished
384 21 Etienne Pallier
.
385 21 Etienne Pallier
--------------------------
386 21 Etienne Pallier
Ran 7 tests in 5.869s
387 21 Etienne Pallier
388 21 Etienne Pallier
OK
389 21 Etienne Pallier
390 21 Etienne Pallier
391 21 Etienne Pallier
h4. 2) Depuis Eclipse
392 21 Etienne Pallier
393 21 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
394 21 Etienne Pallier
clic-droit sur test/chemcamSpectraOrganize_TEST.py
395 21 Etienne Pallier
Run As / Python unit-test
396 21 Etienne Pallier
397 26 Etienne Pallier
h3. B. EXECUTING MAIN SCRIPT
398 21 Etienne Pallier
399 21 Etienne Pallier
h4. 1) In Command line mode
400 21 Etienne Pallier
401 21 Etienne Pallier
	a) Pour voir l'aide :
402 21 Etienne Pallier
403 21 Etienne Pallier
./c-hk.py -h
404 21 Etienne Pallier
405 21 Etienne Pallier
406 21 Etienne Pallier
	b) Speed testing (benchmark)
407 21 Etienne Pallier
408 21 Etienne Pallier
./c-hk.py -t
409 21 Etienne Pallier
You should get this kind of display results (run on a Macbook Pro 11.1, end 2013, 2.8Ghz Intel Dual Core i7, RAM 16Go) :
410 21 Etienne Pallier
411 21 Etienne Pallier
$ ./c-hk.py -t
412 21 Etienne Pallier
Testing execution time of several methods
413 21 Etienne Pallier
414 21 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
415 21 Etienne Pallier
0.000821402072906
416 21 Etienne Pallier
417 21 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
418 21 Etienne Pallier
0.000123869013786
419 21 Etienne Pallier
420 21 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
421 21 Etienne Pallier
0.0619421958923
422 21 Etienne Pallier
423 21 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
424 21 Etienne Pallier
Log files created in test/SPECTRA/LOGS/ :
425 21 Etienne Pallier
total 56
426 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 14:51 2011_0223_logs.txt
427 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 14:51 2013_0223_logs.txt
428 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 14:51 2014_0123_logs.txt
429 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 14:51 2014_0223_logs.txt
430 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff  3630 10 mar 14:51 2014_0225_logs.txt
431 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 14:51 2014_0226_logs.txt
432 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 14:51 2015_0223_logs.txt
433 21 Etienne Pallier
434 21 Etienne Pallier
2.76413011551
435 21 Etienne Pallier
436 24 Etienne Pallier
finished TIMING
437 23 Etienne Pallier
438 23 Etienne Pallier
439 21 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
440 21 Etienne Pallier
441 21 Etienne Pallier
./c-hk.py -p 'test/SPECTRA' -i 'DATA' -o 'LOGS'
442 21 Etienne Pallier
443 21 Etienne Pallier
Exemple d'affichage attendu :
444 21 Etienne Pallier
445 21 Etienne Pallier
path is "test/SPECTRA"
446 21 Etienne Pallier
inputDataDir is "DATA"
447 21 Etienne Pallier
ouputLogDir is "LOGS"
448 21 Etienne Pallier
449 21 Etienne Pallier
Log files created in test/SPECTRA/LOGS/ :
450 21 Etienne Pallier
total 56
451 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:14 2011_0223_logs.txt
452 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:14 2013_0223_logs.txt
453 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:14 2014_0123_logs.txt
454 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:14 2014_0223_logs.txt
455 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff  3630 10 mar 12:14 2014_0225_logs.txt
456 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:14 2014_0226_logs.txt
457 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 10 mar 12:14 2015_0223_logs.txt
458 21 Etienne Pallier
459 21 Etienne Pallier
h4. 2) Depuis Eclipse
460 21 Etienne Pallier
461 21 Etienne Pallier
clic-droit sur cc_spectra_HK_extract.py
462 21 Etienne Pallier
Run As / Python Run
463 21 Etienne Pallier
Type d'affichage attendu :
464 21 Etienne Pallier
465 21 Etienne Pallier
path is "test/SPECTRA"
466 21 Etienne Pallier
inputDataDir is "DATA"
467 21 Etienne Pallier
ouputLogDir is "LOGS"
468 21 Etienne Pallier
469 21 Etienne Pallier
Log files created in test/SPECTRA/LOGS/ :
470 21 Etienne Pallier
total 56
471 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 Mar 10 12:17 2011_0223_logs.txt
472 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 Mar 10 12:17 2013_0223_logs.txt
473 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 Mar 10 12:17 2014_0123_logs.txt
474 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 Mar 10 12:17 2014_0223_logs.txt
475 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff  3630 Mar 10 12:17 2014_0225_logs.txt
476 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 Mar 10 12:17 2014_0226_logs.txt
477 21 Etienne Pallier
-rwxrwxrwx  1 epallier  staff   533 Mar 10 12:17 2015_0223_logs.txt
478 36 Etienne Pallier
479 36 Etienne Pallier
480 36 Etienne Pallier
---
481 36 Etienne Pallier
482 36 Etienne Pallier
h2. DAILY WORKFLOW
483 36 Etienne Pallier
484 54 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
485 36 Etienne Pallier
486 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
487 50 Etienne Pallier
488 52 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
489 1 Etienne Pallier
490 52 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
491 52 Etienne Pallier
492 1 Etienne Pallier
<pre>
493 1 Etienne Pallier
494 52 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
495 37 Etienne Pallier
496 53 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
497 50 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
498 50 Etienne Pallier
        - les fichiers logs produits (CSV)
499 50 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
500 50 Etienne Pallier
501 36 Etienne Pallier
</pre>
502 36 Etienne Pallier
503 40 Etienne Pallier
h3. 2) WORKFLOW
504 40 Etienne Pallier
505 48 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
506 1 Etienne Pallier
507 51 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
508 48 Etienne Pallier
509 57 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
510 55 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
511 1 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
512 39 Etienne Pallier
513 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
514 1 Etienne Pallier
515 57 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
516 57 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
517 57 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
518 57 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
519 57 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
520 48 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
521 1 Etienne Pallier
522 51 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE