Wiki

Version 135 (Etienne Pallier, 05/28/2015 11:36 am)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 8 Etienne Pallier
{{toc}}
4 3 Etienne Pallier
5 105 Etienne Pallier
6 35 Etienne Pallier
---
7 35 Etienne Pallier
8 1 Etienne Pallier
9 124 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}UTILISATION EFFECTIVE EN SALLE BLANCHE%
10 124 Etienne Pallier
11 124 Etienne Pallier
12 106 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Utilisation_du_logiciel_C_SPEC_H
13 105 Etienne Pallier
14 105 Etienne Pallier
15 105 Etienne Pallier
---
16 123 Etienne Pallier
17 123 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}DEPOT SVN%
18 123 Etienne Pallier
19 35 Etienne Pallier
20 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
21 35 Etienne Pallier
22 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
23 35 Etienne Pallier
24 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
25 35 Etienne Pallier
26 35 Etienne Pallier
 * Administrateur : Etienne Pallier
27 35 Etienne Pallier
28 35 Etienne Pallier
 * Groupes :
29 76 Etienne Pallier
30 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
31 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
32 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
33 35 Etienne Pallier
34 35 Etienne Pallier
 * Ajout d'utilisateurs 
35 35 Etienne Pallier
36 11 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
37 42 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
38 41 Etienne Pallier
39 104 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
40 104 Etienne Pallier
41 104 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
42 104 Etienne Pallier
43 104 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
44 104 Etienne Pallier
45 104 Etienne Pallier
46 104 Etienne Pallier
47 104 Etienne Pallier
48 121 Etienne Pallier
49 11 Etienne Pallier
50 120 Etienne Pallier
---
51 120 Etienne Pallier
52 122 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}COLLABORATION DE CET OUTIL AVEC C-GDL%
53 122 Etienne Pallier
54 134 Etienne Pallier
Suite aux réunions du 29/4/15 et du 22/5/15 avec OG, WR, AC, PM, et EP,
55 134 Etienne Pallier
un nouveau besoin a été exprimé qui pourrait être résolu en faisant collaborer 2 outils existants (C-SPEC-HK et C-GDL),
56 134 Etienne Pallier
et en leur apportant quelques adaptations.
57 134 Etienne Pallier
58 1 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}BESOIN%
59 1 Etienne Pallier
60 131 Etienne Pallier
Créer un *contexte* (ensemble d'informations de description) pour décrire chaque *observation* (série de tirs ChemCam) effectuée en salle blanche.
61 131 Etienne Pallier
A ce contexte, seront automatiquement associés tous les fichiers (spectres, HK, ...) générés à l'occasion des tirs ChemCam.
62 1 Etienne Pallier
Un nouveau contexte devra être créé à chaque fois qu'on change de roche, de distance de tir, ou bien de type d'atmosphère...
63 1 Etienne Pallier
64 129 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}SOLUTION TECHNIQUE%
65 129 Etienne Pallier
66 130 Etienne Pallier
Pour répondre à ce besoin, plutôt que de re-développer un nouvel outil, on doit pouvoir faire collaborer efficacement deux outils existants que sont C-GDL et C-SPEC-HK,
67 130 Etienne Pallier
et qui devront en outre subir quelques adaptations plus ou moins importantes.
68 126 Etienne Pallier
*C-GDL* est une IHM Java qui permet de créer manuellement un contexte 
69 126 Etienne Pallier
*C-SPEC-HK* est un script Python qui s'exécute en permanence en arrière-plan, et qui associe automatiquement les fichiers HK (SOH) aux fichiers spectres et crée un fichier LOG quotidien décrivant ces associations (pour la journée), au fur et à mesure des tirs ChemCam
70 126 Etienne Pallier
Il faut donc faire collaborer ces 2 outils pour qu'un contexte C-GDL soit automatiquement associé aux fichiers générés par les tirs ChemCam et qui sont regroupés par C-SPEC-HK (y-compris le fichier de LOG généré par C-SPEC-HK).
71 126 Etienne Pallier
72 133 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}Adaptations nécessaires sur les 2 logiciels%
73 133 Etienne Pallier
74 133 Etienne Pallier
Adaptations de C-GDL : voir https://projects.irap.omp.eu/projects/cgdl/wiki/Wiki#Adaptations-%C3%A0-r%C3%A9aliser-sur-le-logiciel-C-GDL
75 133 Etienne Pallier
76 133 Etienne Pallier
Adaptations de C-SPEC-HK : 
77 126 Etienne Pallier
78 120 Etienne Pallier
79 120 Etienne Pallier
---
80 128 Etienne Pallier
81 128 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}SPECIFICATIONS%
82 128 Etienne Pallier
83 1 Etienne Pallier
84 11 Etienne Pallier
85 12 Etienne Pallier
h3. Schéma de connexion
86 11 Etienne Pallier
87 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
88 11 Etienne Pallier
89 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
90 11 Etienne Pallier
- MU : fait les tirs
91 11 Etienne Pallier
- BU : analyse les spectres
92 11 Etienne Pallier
93 11 Etienne Pallier
SOH (Spectra O? HK)
94 11 Etienne Pallier
95 30 Etienne Pallier
h3. Types d’observations
96 30 Etienne Pallier
97 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
98 11 Etienne Pallier
99 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
100 11 Etienne Pallier
-----	---------	------------------
101 11 Etienne Pallier
102 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
103 11 Etienne Pallier
104 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
105 1 Etienne Pallier
106 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
107 11 Etienne Pallier
108 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
109 11 Etienne Pallier
110 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
111 11 Etienne Pallier
112 11 Etienne Pallier
5		32 		BS
113 11 Etienne Pallier
114 11 Etienne Pallier
115 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
116 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
117 11 Etienne Pallier
118 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
119 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
120 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
121 11 Etienne Pallier
122 31 Etienne Pallier
h3. Fichier spectre
123 11 Etienne Pallier
124 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
125 11 Etienne Pallier
A représenter sur axe 
126 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
127 11 Etienne Pallier
- Y : intensité
128 11 Etienne Pallier
129 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
130 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
131 1 Etienne Pallier
132 32 Etienne Pallier
h3. Stratégie de développement
133 13 Etienne Pallier
134 11 Etienne Pallier
Prendre le last stack only
135 11 Etienne Pallier
136 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
137 11 Etienne Pallier
138 11 Etienne Pallier
1 fich/jour
139 11 Etienne Pallier
140 11 Etienne Pallier
Methods to write :
141 11 Etienne Pallier
142 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
143 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
144 11 Etienne Pallier
145 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
146 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
147 16 Etienne Pallier
=> regarde un peu autour (avant et après)
148 11 Etienne Pallier
149 11 Etienne Pallier
findAutofocus(...)
150 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
151 11 Etienne Pallier
152 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
153 11 Etienne Pallier
154 11 Etienne Pallier
data_Feb25_2014_5 
155 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
156 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
157 1 Etienne Pallier
158 11 Etienne Pallier
id, SPECT_file, SOH_file, 
159 1 Etienne Pallier
160 11 Etienne Pallier
// from *_SOH.TXT file :
161 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
162 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
163 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
164 15 Etienne Pallier
pm(cnts), 					// Motor_Position
165 11 Etienne Pallier
166 11 Etienne Pallier
// from *_spect.TXT file :
167 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
168 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
169 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
170 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
171 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
172 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
173 11 Etienne Pallier
174 11 Etienne Pallier
175 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
176 11 Etienne Pallier
177 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
178 11 Etienne Pallier
179 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
180 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
181 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
182 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
183 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
184 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
185 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
186 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
187 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
188 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
189 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
190 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
191 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
192 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
193 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
194 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
195 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
196 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
197 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
198 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
199 15 Etienne Pallier
200 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
201 43 Etienne Pallier
202 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
203 43 Etienne Pallier
204 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
205 43 Etienne Pallier
206 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
207 43 Etienne Pallier
208 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
209 47 Etienne Pallier
210 83 Etienne Pallier
h2. RECUPERATION DU PROJET
211 91 Etienne Pallier
212 83 Etienne Pallier
213 83 Etienne Pallier
*a) Directement, depuis svn*
214 83 Etienne Pallier
215 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
216 83 Etienne Pallier
217 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
218 1 Etienne Pallier
219 90 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
220 90 Etienne Pallier
221 91 Etienne Pallier
222 58 Etienne Pallier
223 1 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
224 1 Etienne Pallier
225 1 Etienne Pallier
https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
226 86 Etienne Pallier
227 95 Etienne Pallier
h2. EXECUTION
228 92 Etienne Pallier
229 92 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
230 92 Etienne Pallier
231 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
232 92 Etienne Pallier
233 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
234 92 Etienne Pallier
235 92 Etienne Pallier
sudo port select --set python python27
236 92 Etienne Pallier
237 92 Etienne Pallier
$ which python
238 92 Etienne Pallier
/opt/local/bin/python
239 92 Etienne Pallier
240 92 Etienne Pallier
$ python --version
241 92 Etienne Pallier
Python 2.7.9
242 92 Etienne Pallier
243 92 Etienne Pallier
Mettre à jour MacPort :
244 92 Etienne Pallier
sudo port -v selfupdate
245 92 Etienne Pallier
sudo port upgrade outdated
246 92 Etienne Pallier
247 92 Etienne Pallier
248 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
249 92 Etienne Pallier
250 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
251 92 Etienne Pallier
252 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
253 92 Etienne Pallier
254 94 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
255 86 Etienne Pallier
256 89 Etienne Pallier
h3. 2) EXECUTING TESTS
257 89 Etienne Pallier
258 86 Etienne Pallier
h4. Depuis Eclipse
259 86 Etienne Pallier
260 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
261 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
262 86 Etienne Pallier
Run As / Python unit-test
263 89 Etienne Pallier
264 86 Etienne Pallier
265 89 Etienne Pallier
h4. En mode ligne de commande
266 86 Etienne Pallier
267 72 Etienne Pallier
h5. TESTS faits avec Python 2.7
268 72 Etienne Pallier
269 1 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
270 72 Etienne Pallier
271 73 Etienne Pallier
cd test/
272 1 Etienne Pallier
273 72 Etienne Pallier
$ py27 premiertest.py
274 1 Etienne Pallier
<pre>
275 72 Etienne Pallier
...
276 72 Etienne Pallier
----------------------------------------------------------------------
277 1 Etienne Pallier
Ran 3 tests in 0.000s
278 72 Etienne Pallier
279 72 Etienne Pallier
OK
280 73 Etienne Pallier
</pre>
281 72 Etienne Pallier
282 72 Etienne Pallier
$ py27 c_spec_hk_TEST.py
283 72 Etienne Pallier
284 72 Etienne Pallier
<pre>
285 72 Etienne Pallier
...
286 1 Etienne Pallier
======================================================================
287 62 Etienne Pallier
----------------------------------------------------------------------
288 1 Etienne Pallier
Ran 14 tests in 5.833s
289 1 Etienne Pallier
290 72 Etienne Pallier
OK
291 72 Etienne Pallier
</pre>
292 1 Etienne Pallier
293 62 Etienne Pallier
294 72 Etienne Pallier
295 72 Etienne Pallier
296 70 Etienne Pallier
*2) Tests de Performance (Benchmark)*
297 70 Etienne Pallier
298 62 Etienne Pallier
Depuis la racine du projet :
299 62 Etienne Pallier
300 62 Etienne Pallier
<pre>
301 62 Etienne Pallier
$ py27 c_spec_hk.py -t
302 62 Etienne Pallier
...Executing main program...
303 62 Etienne Pallier
Testing execution time of several methods
304 62 Etienne Pallier
305 62 Etienne Pallier
All times are in SECONDS
306 62 Etienne Pallier
307 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
308 62 Etienne Pallier
0.000790863037109
309 62 Etienne Pallier
310 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
311 62 Etienne Pallier
0.000117941689491
312 62 Etienne Pallier
313 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
314 62 Etienne Pallier
0.0429699897766
315 62 Etienne Pallier
316 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
317 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
318 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
319 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
320 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
321 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
322 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
323 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
324 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
325 62 Etienne Pallier
total 56
326 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
327 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
328 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
329 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
330 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
331 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
332 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
333 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
334 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
335 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
336 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
337 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
338 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
339 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
340 62 Etienne Pallier
341 62 Etienne Pallier
1.91459012032
342 1 Etienne Pallier
Average time per day : 0.273513
343 1 Etienne Pallier
344 1 Etienne Pallier
*** finished TIMING ***
345 62 Etienne Pallier
346 1 Etienne Pallier
</pre>
347 86 Etienne Pallier
348 89 Etienne Pallier
349 86 Etienne Pallier
350 72 Etienne Pallier
h5. TESTS faits avec Python 2.6
351 1 Etienne Pallier
352 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
353 1 Etienne Pallier
354 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
355 1 Etienne Pallier
356 72 Etienne Pallier
cd test/
357 72 Etienne Pallier
358 72 Etienne Pallier
$ python premiertest.py
359 72 Etienne Pallier
<pre>
360 72 Etienne Pallier
...
361 72 Etienne Pallier
----------------------------------------------------------------------
362 72 Etienne Pallier
Ran 3 tests in 0.000s
363 72 Etienne Pallier
364 72 Etienne Pallier
OK
365 72 Etienne Pallier
</pre>
366 72 Etienne Pallier
367 72 Etienne Pallier
$ python c_spec_hk_TEST.py
368 72 Etienne Pallier
369 72 Etienne Pallier
<pre>
370 72 Etienne Pallier
...
371 72 Etienne Pallier
======================================================================
372 72 Etienne Pallier
----------------------------------------------------------------------
373 72 Etienne Pallier
Ran 14 tests in 6.742s
374 72 Etienne Pallier
375 72 Etienne Pallier
OK
376 72 Etienne Pallier
</pre>
377 72 Etienne Pallier
378 72 Etienne Pallier
---
379 72 Etienne Pallier
380 72 Etienne Pallier
381 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
382 72 Etienne Pallier
383 58 Etienne Pallier
Depuis la racine du projet 
384 58 Etienne Pallier
385 58 Etienne Pallier
$ ./c_spec_hk.py -t
386 58 Etienne Pallier
<pre>
387 58 Etienne Pallier
...Executing main program...
388 58 Etienne Pallier
Testing execution time of several methods
389 58 Etienne Pallier
390 58 Etienne Pallier
All times are in SECONDS
391 58 Etienne Pallier
392 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
393 58 Etienne Pallier
0.00105306601524
394 58 Etienne Pallier
395 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
396 58 Etienne Pallier
0.000152537894249
397 58 Etienne Pallier
398 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
399 58 Etienne Pallier
0.0518409013748
400 58 Etienne Pallier
401 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
402 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
403 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
404 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
405 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
406 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
407 59 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
408 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
409 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
410 58 Etienne Pallier
total 56
411 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
412 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
413 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
414 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
415 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
416 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
417 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
418 80 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
419 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
420 25 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
421 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
422 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
423 22 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
424 21 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
425 21 Etienne Pallier
426 77 Etienne Pallier
2.33647012711
427 21 Etienne Pallier
Average time per day : 0.333781
428 21 Etienne Pallier
429 1 Etienne Pallier
*** finished TIMING ***
430 96 Etienne Pallier
</pre>
431 21 Etienne Pallier
432 97 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
433 1 Etienne Pallier
434 88 Etienne Pallier
h4. Depuis Eclipse
435 88 Etienne Pallier
436 21 Etienne Pallier
clic-droit sur c_spec_hk.py
437 97 Etienne Pallier
Run As / Python Run
438 21 Etienne Pallier
439 21 Etienne Pallier
h4. In Command line mode
440 1 Etienne Pallier
441 80 Etienne Pallier
	a) Pour voir l'aide :
442 81 Etienne Pallier
443 80 Etienne Pallier
$ python c_spec_hk.py -h
444 1 Etienne Pallier
445 80 Etienne Pallier
...Executing main program...
446 1 Etienne Pallier
447 81 Etienne Pallier
Usage:
448 1 Etienne Pallier
449 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
450 1 Etienne Pallier
OR
451 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
452 1 Etienne Pallier
453 80 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
454 80 Etienne Pallier
455 80 Etienne Pallier
All options available are (none is mandatory) :
456 80 Etienne Pallier
-d : activate DEBUG mode
457 80 Etienne Pallier
-h : print this HELP message
458 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
459 80 Etienne Pallier
-t : test execution TIME of several methods
460 1 Etienne Pallier
-v : print current VERSION number
461 21 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
462 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
463 81 Etienne Pallier
464 80 Etienne Pallier
465 23 Etienne Pallier
466 81 Etienne Pallier
	b) Speed testing (benchmark)
467 21 Etienne Pallier
468 21 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
469 21 Etienne Pallier
470 21 Etienne Pallier
471 82 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
472 1 Etienne Pallier
473 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
474 82 Etienne Pallier
475 21 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
476 21 Etienne Pallier
477 82 Etienne Pallier
Exemple d'affichage attendu :
478 21 Etienne Pallier
479 82 Etienne Pallier
...Executing main program...
480 82 Etienne Pallier
481 21 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
482 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
483 82 Etienne Pallier
484 21 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
485 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
486 82 Etienne Pallier
487 21 Etienne Pallier
Log files created in /tmp/LOGS/ :
488 21 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
489 36 Etienne Pallier
490 54 Etienne Pallier
491 36 Etienne Pallier
---
492 52 Etienne Pallier
493 50 Etienne Pallier
h2. DAILY WORKFLOW
494 52 Etienne Pallier
495 1 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
496 52 Etienne Pallier
497 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
498 1 Etienne Pallier
499 1 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
500 52 Etienne Pallier
501 37 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
502 53 Etienne Pallier
503 50 Etienne Pallier
<pre>
504 50 Etienne Pallier
505 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
506 50 Etienne Pallier
507 36 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
508 36 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
509 40 Etienne Pallier
        - les fichiers logs produits (CSV)
510 40 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
511 48 Etienne Pallier
512 1 Etienne Pallier
</pre>
513 51 Etienne Pallier
514 48 Etienne Pallier
h3. 2) WORKFLOW
515 57 Etienne Pallier
516 55 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
517 1 Etienne Pallier
518 39 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
519 57 Etienne Pallier
520 1 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
521 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
522 57 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
523 57 Etienne Pallier
524 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
525 57 Etienne Pallier
526 48 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
527 1 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
528 51 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
529 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
530 1 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
531 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
532 1 Etienne Pallier
533 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE